PromptPort: Zuverlässige strukturierte Extraktion über Modelle hinweg

In der Praxis scheitert die strukturierte Extraktion mit großen Sprachmodellen nicht an fehlendem Verständnis, sondern an unzuverlässiger Ausgabeformatierung. Ein Prompt, der bei GPT‑4 sauberes JSON liefert, kann bei Llama zu gefesseltem, prosa­artig verpacktem oder sogar fehlerhaftem Output führen, sodass strenge Parser die ansonsten korrekten Ergebnisse ablehnen. Dieses Phänomen, das die Autoren als „Format Collapse“ bezeichnen, wurde systematisch untersucht.

Zur Messung der Zuverlässigkeit wurde ein zweistufiges Evaluationsframework eingeführt: ROS (Reliability of Strict Parsing) bewertet die operative Zuverlässigkeit, während CSS (Canonical Semantic Score) die semantische Qualität nach einer Standardisierung misst. Auf einem Benchmark von 37.346 Kameradatenbeispielen über sechs Modellfamilien zeigte sich ein drastischer Format‑Collapse, etwa bei Gemma‑2B (ROS 0.116 vs. CSS 0.246). Zudem lagen die Portabilitätsgaps zwischen Modellen bei 0,4 bis 0,6 F1‑Punkten.

Die Lösung ist PromptPort, eine leichte, aber effektive Schicht, die deterministische Canonicalisierung mit einem DistilBERT‑Verifikator und einer Safe‑Override‑Policy kombiniert. PromptPort behebt Formatfehler um 6 bis 8 F1‑Punkte, fügt eine semantische Auswahl hinzu, die weitere 14 bis 16 F1‑Punkte bringt, und erreicht nahezu die Leistung eines Feld‑Orakels (0,890 vs. 0,896 im Zero‑Shot‑Modus). Die Methode generalisiert auf bislang nicht getestete Modellfamilien und bietet bei Unsicherheit eine explizite Abstention, was die Zuverlässigkeit in produktiven Deployments deutlich erhöht.