CircuChain: LLMs trennen Kompetenz von Konformität in der Schaltkreis-Analyse

Mit dem neuen Benchmark CircuChain wird ein entscheidendes Problem in der Anwendung großer Sprachmodelle (LLMs) in der Elektrotechnik adressiert: Ein numerisch korrektes Ergebnis reicht nicht aus, wenn es gegen etablierte methodische Konventionen wie Mesh-Richtungen oder Polaritätszuweisungen verstößt. Solche Fehler können in sicherheitskritischen Systemen gravierende Folgen haben.

CircuChain besteht aus kontrollierten und „Trap“-Aufgabenpaaren, die über fünf klassische Schaltkreis-Topologien verteilt sind. Durch gezielte Variation von Vorzeichenkonventionen, Stromrichtungen und Polaritydefinitionen werden die Modelle gezwungen, sowohl physikalisches Verständnis als auch die Einhaltung expliziter Anweisungen zu demonstrieren.

Die Bewertung erfolgt in mehreren Schritten: Zunächst werden symbolische Lösen und SPICE-Simulationen eingesetzt, um die mathematische Richtigkeit zu prüfen. Anschließend klassifiziert ein LLM-basierter Fehler‑Taxonomie-Ansatz die Fehler in Konventionsfehler, physikalische Fehler, Rechenfehler oder Halluzinationen. Diese Kombination ermöglicht eine feingranulare Fehlerzuordnung.

Die Ergebnisse zeigen eine klare Divergenz zwischen Konformität und Kompetenz. Das leistungsstärkste Modell weist nahezu perfekte physikalische Fähigkeiten auf, aber eine hohe Rate an Konventionsverletzungen, wenn die Trap-Bedingungen die natürlichen Vorzeichen umkehren. Geringere Modelle hingegen zeigen zwar weniger physikalische Genauigkeit, halten sich jedoch besser an die expliziten Anweisungen.

Diese Erkenntnisse unterstreichen die Notwendigkeit, bei der Entwicklung von LLMs nicht nur die reine Rechenleistung, sondern auch die Einhaltung von Fachkonventionen zu berücksichtigen – ein entscheidender Faktor für die sichere Integration von KI in technische Anwendungen.