Laplacian-LoRA: Oversmoothing in tiefen GCNs durch spektrale Low‑Rank‑Anpassung

In tiefen Graph Convolutional Networks (GCNs) führt das Phänomen des Oversmoothings dazu, dass Knotenrepräsentationen mit zunehmender Tiefe zusammenfallen. Traditionelle Ansätze versuchen, dieses Problem durch architektonische Änderungen oder Residualverbindungen zu mildern, lassen jedoch die zugrunde liegende spektrale Ursache oft unberücksichtigt.

Die neue Methode Laplacian-LoRA adressiert das Problem direkt: Sie fügt dem festen Laplacian-Propagationsoperator eine lernbare, spektral verankerte Korrektur hinzu. Diese Anpassung schwächt gezielt die Kontraktion, behält aber die Stabilität und die Low‑Pass‑Induktionsbias bei. In umfangreichen Benchmark-Tests und bei unterschiedlichen Netzwerkstärken konnte Laplacian-LoRA das Auftreten von Oversmoothing um bis zu das Doppelte der effektiven Tiefe verzögern.

Diagnostische Analysen der Varianz zeigen, dass die Verbesserungen auf einer echten Verzögerung des kollabierenden Repräsentationsraums beruhen. Gleichzeitig demonstriert die spektrale Analyse, dass die Korrektur glatt, begrenzt und gut kontrolliert ist. Diese Ergebnisse verdeutlichen, dass Oversmoothing ein tiefenabhängiges spektrales Phänomen ist, das systematisch durch eine geringe, low‑Rank‑Anpassung des Graphenpropagationsoperators aufgehalten werden kann.