LLM-gestützte Evolutionäre Codeoptimierung: PhyloEvolve revolutioniert GPU-Algorithmen

Ein neues Forschungsprojekt namens PhyloEvolve nutzt Künstliche Intelligenz, um wissenschaftliche Berechnungsalgorithmen für moderne GPUs automatisch zu optimieren. Durch die Kombination von großen Sprachmodellen (LLMs) mit evolutionären Methoden wird der bisher mühsame Prozess der Codeanpassung, Benchmarking und Feinabstimmung drastisch vereinfacht.

PhyloEvolve formuliert die Optimierung als In-Context Reinforcement Learning (ICRL), wodurch die gesamte Optimierungshistorie als Lernsignal genutzt wird, ohne dass das Modell neu trainiert werden muss. Dabei werden Algorithmus-Distillation und prompt-basierte Decision Transformers eingesetzt, um jede Änderung des Codes und das daraus resultierende Leistungsfeedback systematisch zu verarbeiten.

Ein zentrales Merkmal ist die phylogenetische Baumstruktur, die die Abstammung, Divergenz und Rekombination von Algorithmusvarianten abbildet. Diese Darstellung ermöglicht nicht nur das Rückverfolgen von Erfolgen, sondern auch den Transfer von Erkenntnissen zwischen verschiedenen Codevarianten und die Reproduzierbarkeit der Optimierung.

Die Methode kombiniert Elite-Trajektorien-Pooling, Multi-Island-Parallelexploration und containerisierte Ausführung, um Exploration und Ausnutzung auf heterogenen Hardwareplattformen auszubalancieren. In Tests mit PDE-Lösern, Manifold-Learning-Algorithmen und spektralen Graphverfahren zeigte PhyloEvolve konsistente Leistungssteigerungen, was die Zukunft der automatisierten GPU-Optimierung vielversprechend macht.