Mehrere KI-Modelle lernen gemeinsam: 16,7 % mehr Genauigkeit bei Logik

Ein brandneues Reinforcement‑Learning‑Framework namens RLCCF (Reinforcement Learning from Coevolutionary Collective Feedback) hat die Art und Weise, wie große Sprachmodelle (LLMs) ihre Denkfähigkeiten verbessern, revolutioniert. Im Gegensatz zu bisherigen Ansätzen, die auf teure menschliche Labels oder komplexe Reward‑Modelle angewiesen sind, arbeitet RLCCF ohne externe Aufsicht und nutzt stattdessen die kollektive Intelligenz mehrerer Modelle.

Der Kernmechanismus von RLCCF ist die Maximierung der „Collective Consistency“ (CC). Dabei werden mehrere LLMs gleichzeitig trainiert und ihre jeweiligen Ausgaben gemeinsam bewertet. Jede Ausgabe erhält einen gewichteten Beitrag, der sich aus dem „Self‑Consistency“ (SC) Score des Modells ergibt – also wie sicher das Modell selbst in seiner Antwort ist. Auf diese Weise fließen die zuverlässigsten Stimmen stärker in die kollektive Entscheidung ein, während weniger sichere Modelle weniger Einfluss haben.

In umfangreichen Experimenten mit vier führenden Open‑Source‑LLMs auf vier mathematischen Logik‑Benchmarks konnte RLCCF die Genauigkeit im Durchschnitt um 16,72 % steigern. Das bedeutet nicht nur, dass einzelne Modelle ihre Leistung deutlich verbessern, sondern auch, dass die gesamte Modellgruppe als Ganzes eine höhere Mehrheitsgenauigkeit erreicht.

RLCCF zeigt, dass KI‑Modelle durch kooperative Evolution ohne menschliche Eingriffe deutlich leistungsfähiger werden können. Diese Entwicklung eröffnet neue Wege für die Skalierung von KI‑Systemen, insbesondere in Bereichen, in denen qualitativ hochwertige Trainingsdaten knapp oder teuer sind.