Kontrastives Prompt‑Tuning steigert Energieeffizienz von LLM‑Code

Moderne Sprachmodelle können zwar funktionell korrekten Code generieren, produzieren jedoch häufig weniger energieeffiziente Programme als menschliche Entwickler. Diese Ineffizienzen erhöhen den Rechenaufwand und widersprechen den Zielen des Green Software Development, der darauf abzielt, den Energieverbrauch von Software zu senken.

In einer neuen Studie wird untersucht, ob und wie große Sprachmodelle (LLMs) so optimiert werden können, dass sie energieeffizienteren Code erzeugen. Dazu wird die Methode des Contrastive Prompt Tuning (CPT) eingesetzt. CPT kombiniert kontrastives Lernen, das dem Modell beibringt, effizienten von ineffizienten Code zu unterscheiden, mit Prompt‑Tuning, einer Parameter‑Effizienten Feinabstimmung, die nur einen Bruchteil des Aufwands traditioneller Methoden erfordert.

Die Evaluation von CPT wurde an Python-, Java- und C++‑Aufgaben durchgeführt und drei verschiedene Modelle getestet. Die Ergebnisse zeigen, dass CPT die Code‑Genauigkeit bei zwei Modellen konsistent verbessert, während die Energieeffizienz je nach Modell, Programmiersprache und Aufgabenkomplexität unterschiedlich ausfällt. Damit wird deutlich, dass die Optimierung von LLMs für energieeffizienten Code zwar vielversprechend ist, aber noch nicht einheitlich zuverlässig funktioniert.