PaCoRe: Parallel koordiniertes Denken steigert Testzeitrechenleistung massiv
Die neue Methode PaCoRe (Parallel Coordinated Reasoning) löst ein zentrales Problem moderner Sprachmodelle: die Begrenzung der Testzeitrechenleistung (TTC) durch die feste Kontextfenstergröße. Statt der üblichen sequentiellen Verarbeitung nutzt PaCoRe mehrere Runden paralleler Denkpfade, die über ein Nachrichten‑Austausch‑System koordiniert werden.
In jeder Runde werden zahlreiche parallele Argumentationspfade gestartet. Die Ergebnisse dieser Pfade werden in kontextbeschränkten Nachrichten zusammengefasst, die anschließend zusammengeführt werden, um die nächste Runde zu steuern. Durch diese iterative Synthese entsteht ein finaler Antwortvorschlag, der weit über die Kapazität eines einzelnen Kontextfensters hinausgeht.
Das System wird end‑to‑end mit groß angelegtem, ergebnisorientiertem Reinforcement Learning trainiert, wodurch die Modelle die nötigen Synthesefähigkeiten erlernen. Dadurch kann PaCoRe effektiv Millionen von Tokens an Rechenleistung nutzen, ohne die Kontextgrenzen zu überschreiten. In mathematischen Benchmark‑Tests übertrifft ein 8‑Billionen‑Parameter‑Modell die Leistung von GPT‑5, indem es 94,5 % bei HMMT 2025 erreicht – ein deutlich höherer Wert als die 93,2 % von GPT‑5.
Die Entwickler haben die Modell‑Checkpoints, Trainingsdaten und die komplette Inferenzpipeline öffentlich zugänglich gemacht, um weitere Forschung und Anwendungen zu fördern.