AgriCoT: Benchmark für logisches Denken in Vision‑Language‑Modellen

In der Landwirtschaft gewinnen Vision‑Language‑Modelle (VLMs) immer mehr an Bedeutung, weil sie Aufgaben wie Präzisionslandwirtschaft, Pflanzenüberwachung, Schädlingsbekämpfung und Umweltverträglichkeit unterstützen. Doch bisherige Tests konzentrieren sich meist auf reine Antwortgenauigkeit und lassen die entscheidende Fähigkeit zum logischen Denken unberücksichtigt.

Mit dem neuen Benchmark AgriCoT wird dieses Problem angegangen. Das Datenset enthält 4.535 sorgfältig kuratierte Fragen, die explizit Chain‑of‑Thought‑Reasoning erfordern. Dadurch lässt sich die Fähigkeit von VLMs messen, komplexe landwirtschaftliche Probleme schrittweise zu analysieren und zu lösen – besonders in Zero‑Shot‑Szenarien, in denen das Modell noch keine spezifische Trainingsdaten hat.

In einer umfassenden Evaluation wurden 26 führende VLMs – sowohl proprietäre als auch Open‑Source‑Modelle – getestet. Die Ergebnisse zeigen, dass viele Modelle zwar Antworten liefern können, aber bei der logischen Argumentation deutlich hinter den Erwartungen zurückbleiben. Der Unterschied zwischen Antwortgenauigkeit und echter Problemlösungspotenzial unterstreicht die Notwendigkeit, Chain‑of‑Thought‑Mechanismen in die Bewertung einzubeziehen.

AgriCoT steht allen Forschern und Entwicklern zur Verfügung und kann unter https://huggingface.co/datasets/wenyb/AgriCoT abgerufen werden. Mit diesem Benchmark soll die Weiterentwicklung von VLMs in der Landwirtschaft beschleunigt und die Qualität von KI‑gestützten Entscheidungen verbessert werden.