FairLLaVA: Parameter‑effizientes Feintuning für faire Vision‑Language‑Assistenten

Multimodale große Sprachmodelle (MLLMs) können bei Bild‑basierten Aufgaben zwar beeindruckende Ergebnisse liefern, zeigen jedoch oft ungleiche Leistungen zwischen verschiedenen Bevölkerungsgruppen. In sicherheitskritischen Bereichen wie der klinischen Diagnostik kann dies zu verzerrten Berichten und einem Vertrauensverlust in KI‑unterstützte Entscheidungen führen.

Um diese Ungleichheiten zu adressieren, präsentiert FairLLaVA einen parameter‑effizienten Ansatz, der die gegenseitige Information zwischen Zielattributen minimiert. Durch die Regularisierung der Modellrepräsentationen wird die Demografie‑Unabhängigkeit gefördert, ohne die Gesamtleistung zu beeinträchtigen. Der Ansatz lässt sich als leichtgewichtiger Plug‑in in bestehende Low‑Rank‑Adapter‑Feintuning‑Workflows integrieren und ist damit architekturagnostisch.

In umfangreichen Tests auf großen Datensätzen für die Erzeugung von Röntgen‑Berichten und bei dermatoskopischen Visual‑Question‑Answering‑Aufgaben zeigte FairLLaVA eine konsequente Reduktion der inter‑Gruppen‑Disparitäten. Gleichzeitig verbesserte sich die gleichberechtigte klinische Performance sowie die Qualität der generierten Texte über verschiedene medizinische Bildmodalitäten hinweg.

Der Quellcode ist frei verfügbar unter https://github.com/bhosalems/FairLLaVA und ermöglicht Forschern sowie Entwicklern, FairLLaVA in ihre eigenen Vision‑Language‑Projekte zu integrieren.