LingVarBench: synthetische Telefontranskripte verbessern NER um bis zu 95 %

Die neue Plattform LingVarBench nutzt große Sprachmodelle, um realistische Telefontranskripte zu erzeugen und damit die automatisierte Erkennung von benannten Entitäten (NER) in Gesprächsaufzeichnungen deutlich zu steigern. Durch die Kombination von strukturierten Feldwerten, konversationellen Sätzen und automatischer Validierung kann die Pipeline tausende synthetische Transkripte generieren, die typische Telefonmerkmale wie Stottern, Unterbrechungen und Sprecherüberlappungen enthalten.

Der Prozess beginnt damit, dass ein Sprachmodell realistische Daten für verschiedene Anwendungsfälle erstellt. Anschließend wird das Modell wiederholt aufgefordert, diese Daten in natürliche Gesprächssätze zu verwandeln. Jede generierte Aussage wird anschließend von einem separaten, auf NER spezialisierten Modell geprüft, um sicherzustellen, dass die ursprünglichen Strukturdaten korrekt extrahiert werden können. Auf diese Weise wird die Qualität der synthetischen Daten automatisch garantiert.

Dank dieser automatisierten Validierung und der Verwendung von DSPys SIMBA-Optimierer zur Generierung von Extraktionsaufforderungen erreicht LingVarBench beeindruckende Genauigkeiten: bis zu 95 % für numerische Felder, 90 % für Namen und über 80 % für Datumsangaben – deutlich besser als die 88‑89 % bzw. 47‑79 % bei Zero‑Shot-Ansätzen. Die Ergebnisse zeigen, dass die aus synthetischen Daten gelernten Muster auch auf echte Telefonaufzeichnungen mit Hintergrundgeräuschen und fachspezifischer Terminologie übertragbar sind.

LingVarBench bietet damit eine skalierbare Lösung, um die Kosten und den Aufwand für die manuelle Annotation von Telefontranskripten drastisch zu reduzieren. Durch die Kombination aus KI‑generierten Daten, automatischer Validierung und optimierten Prompt‑Engineering-Methoden können Unternehmen ihre NER‑Modelle schneller und genauer trainieren, ohne auf teure, manuelle Annotationsprozesse angewiesen zu sein.