Efficient Transformer-Lernmodelle für Hausenergiemanagement durch Knowledge Distillation

In der Wohnungsenergiebranche hat sich das Transformer-basierte Reinforcement Learning als vielversprechende Lösung für die sequentielle Steuerung von Energiesystemen etabliert. Besonders der Decision Transformer kann aus historischen Daten effektive Batterieverteilungsstrategien ableiten, wodurch die Eigenverbrauchsrate von Photovoltaikstrom erhöht und Stromkosten gesenkt werden.

Ein zentrales Problem bleibt jedoch die hohe Rechen- und Speicheranforderung dieser Modelle, die sie für den Einsatz in ressourcenbeschränkten Haussteuerungen ungeeignet machen. In der vorliegenden Studie wird Knowledge Distillation eingesetzt, um das Entscheidungsverhalten leistungsstarker Decision Transformer „Lehrermodelle“ auf kompakte „Schülermodelle“ zu übertragen. Durch das Kopieren der Aktionen der Lehrer werden die Steuerungsqualitäten erhalten, während die Modellgröße drastisch reduziert wird.

Die Experimente, die auf dem Ausgrid-Datensatz durchgeführt wurden, zeigen, dass die Distillation die Leistungsfähigkeit der Steuerung in nahezu allen Konfigurationen beibehält und sogar leichte Verbesserungen von bis zu 1 % erzielt. Gleichzeitig werden die Parameterzahl um bis zu 96 %, der Speicherbedarf um 90 % und die Inferenzzeit um 63 % reduziert. Selbst bei Schülermodellen mit identischer Architektur führen die Kompressionsergebnisse zu vergleichbaren Kosteneinsparungen.

Die Ergebnisse demonstrieren, dass Knowledge Distillation die Anwendung von Decision Transformer in energieeffizienten Haussteuerungen praktisch macht, indem sie die Modelle an die Beschränkungen eingebetteter Systeme anpasst, ohne die Steuerungsqualität zu gefährden.