LLMs mit prüfbaren Tools: LIT steigert Zuverlässigkeit

In einer bahnbrechenden Veröffentlichung präsentiert ein Forschungsteam ein neues Framework namens LIT (LLMs with Inspectable Tools), das die Zuverlässigkeit großer Sprachmodelle (LLMs) deutlich erhöht. Durch die gezielte Nutzung externer, verlässlicher Tools anstelle von rein internen, oft undurchsichtigen Entscheidungsprozessen können LLMs nun Aufgaben in sicherheitskritischen Bereichen besser bewältigen.

LIT nutzt die bereits vorhandene Tool‑Calling-Funktionalität moderner LLMs, um systematisch die zuverlässigsten und leicht zu debuggenden Lösungswege auszuwählen. Dabei kann das Modell mehrere aufeinanderfolgende Tool‑Aufrufe kombinieren, um komplexe Probleme zu lösen. Das Framework wird durch ein neues Benchmark‑Set von 1.300 Fragen unterstützt, das speziell dafür entwickelt wurde, die Leistungsfähigkeit von LIT in mathematischen, programmiertechnischen und modellbasierten Aufgaben zu testen.

Ein zentrales Element von LIT sind die sogenannten Reliability‑Cost‑Functions, die für jede verfügbare Tool‑Option angeben, wie zuverlässig sie ist und wie einfach sie zu troubleshootern ist. So gilt ein Taschenrechner als sehr zuverlässig, während ein lineares Vorhersagemodell bei Verteilungssprüngen weniger zuverlässig, aber dennoch leicht zu debuggen ist. Ein Random‑Forest‑Tool hingegen wird als weder zuverlässig noch leicht zu debuggen eingestuft. Durch diese Bewertung können LLMs gezielt die optimale Kombination von Tools wählen und damit die Vertrauenswürdigkeit ihrer Ergebnisse erhöhen.