Fairness in Black Box LLMs: Post‑Processing ermöglicht gerechte Algorithmen

Große Sprachmodelle (LLMs) wie GPT‑4, Gemini und Claude können dank In‑Context‑Learning ohne Feinabstimmung Aufgaben lösen. Diese Bequemlichkeit macht sie für viele Bereiche attraktiv, doch in sensiblen Anwendungen, in denen unterschiedliche Bevölkerungsgruppen gleich behandelt werden müssen, stellt sich die Frage der Gerechtigkeit.

Traditionelle Fairness‑Algorithmen, die auf Modell‑Fine‑Tuning oder Head‑Tuning basieren, funktionieren nicht mehr, wenn die Gewichte des Modells geschlossen sind. Das bedeutet, dass die meisten hochleistungsfähigen kommerziellen LLMs nicht direkt für gerechte Klassifikatoren angepasst werden können.

Die neue Methode behandelt das LLM als Feature‑Extraktor. Durch gezielte Prompt‑Gestaltung werden aus den token‑basierten Log‑Wahrscheinlichkeiten des Modells statistische Merkmale gewonnen, die die gewünschte Fairness‑Kriterien widerspiegeln. Anschließend wird ein klassischer Fairness‑Algorithmus auf diese Merkmale angewendet, um einen leichten, nachträglich trainierten Klassifikator zu erzeugen.

In Experimenten mit fünf Datensätzen – darunter drei tabellarische – zeigte das Verfahren starke Kompromisse zwischen Genauigkeit und Fairness. Die Ergebnisse gelten gleichermaßen für offene und geschlossene Modelle und demonstrieren, dass gerechte Algorithmen auch bei Black‑Box‑LLMs realisierbar sind.