MultiGA: LLMs kombinieren – Evolutionäre Algorithmen für NLP

In einer neuen Studie wird ein innovativer Ansatz namens MultiGA vorgestellt, der die Kraft mehrerer Sprachmodelle nutzt, um komplexe Aufgaben der natürlichen Sprache zu lösen. Durch die Kombination von Outputs aus einer vielfältigen Population von LLMs – sowohl Open‑Source als auch proprietär – wird eine Ausgangsbevölkerung für einen genetischen Algorithmus geschaffen.

Der Algorithmus bewertet die generierten Lösungen mit einer neutralen Fitnessfunktion und führt anschließend einen iterativen Rekombinationsprozess durch. Dabei werden die besten Merkmale aus den verschiedenen Modellen gemischt und verfeinert, bis ein optimales Ergebnis erreicht ist.

MultiGA wurde an einer Reihe von Aufgaben getestet, darunter die Generierung von SQL-Code aus Text, Reiseplanungen, das GPQA‑Benchmark für fortgeschrittene Wissenschaftsfragen sowie das BBQ‑Bias‑Benchmark. Die Ergebnisse zeigen, dass MultiGA die Genauigkeit des jeweils besten LLMs für die jeweilige Aufgabe erreicht und damit einen vielversprechenden Ansatz für zukünftige Forschungsarbeiten bietet, bei denen die Auswahl eines einzelnen vortrainierten Modells unklar oder suboptimal ist.