XIL-Studie zeigt begrenzte Einflussnahme von Reihenfolge auf Nutzervertrauen

Explanatory Interactive Learning (XIL) ist ein interaktives Lernframework, das Nutzern ermöglicht, KI‑Modelle durch gezielte Rückmeldungen zu ihren Erklärungen zu verbessern. Dabei werden dem Nutzer ausgewählte Beispiele, wie Bilder mit zugehörigen Tags, zusammen mit den erklärenden Bildregionen präsentiert. Der Nutzer kann dann Feedback geben, das der Algorithmus nutzt, um das Modell zu optimieren.

Frühere Untersuchungen haben Bedenken geäußert, dass die Reihenfolge, in der die Beispiele gezeigt werden, die Nutzerzufriedenheit und die Qualität des Feedbacks beeinflussen könnte – ein bekanntes kognitives Bias, das als Order‑Effect bezeichnet wird. Diese Studien basierten jedoch oft auf experimentellen Setups, die sich deutlich von typischen XIL‑Anwendungen unterscheiden, sodass die Ergebnisse schwer zu interpretieren waren.

In einer neuen, groß angelegten Untersuchung mit insgesamt 713 Teilnehmern wurden die Bedingungen so gestaltet, dass sie reale XIL‑Aufgaben widerspiegeln. Die Forscher manipulierten die Reihenfolge, in der korrekte und fehlerhafte Erklärungen innerhalb und zwischen Debugging‑Sitzungen präsentiert wurden. Die Ergebnisse zeigten, dass die Reihenfolge nur einen begrenzten, aber signifikanten Einfluss auf das Vertrauen der Nutzer in das Modell hatte – und zwar ausschließlich innerhalb einer einzelnen Sitzung. Zwischen den Sitzungen blieb der Effekt nicht vorhanden.

Diese Erkenntnisse deuten darauf hin, dass die Reihenfolge der erklärenden Beispiele in XIL‑Systemen zwar das Vertrauen der Nutzer beeinflussen kann, jedoch nur in begrenztem Maße und nicht über mehrere Sitzungen hinweg. Für Entwickler bedeutet dies, dass die Gestaltung der Präsentation von Erklärungen zwar berücksichtigt werden sollte, aber nicht als kritischer Faktor für die Gesamtqualität des Feedbacks gilt.