Genetischer Algorithmus optimiert Prompt-Token für Diffusionsmodelle

Text‑zu‑Bild‑Diffusionsmodelle liefern beeindruckende Bilder, sind aber stark von der Formulierung des Prompts abhängig. Um den langwierigen manuellen Trial‑and‑Error-Prozess zu ersetzen, hat ein neues Verfahren einen genetischen Algorithmus (GA) eingesetzt, der die Token‑Vektoren direkt für CLIP‑basierte Diffusionsmodelle optimiert.

Der GA maximiert eine Fitnessfunktion, die zwei entscheidende Aspekte kombiniert: die ästhetische Qualität, gemessen mit dem LAION Aesthetic Predictor V2, und die Bild‑Prompt‑Übereinstimmung, bewertet durch CLIPScore. Auf 36 Prompts aus dem Parti‑Prompts‑Datensatz wurde das Verfahren getestet und zeigte deutlich bessere Ergebnisse als herkömmliche Methoden wie Promptist oder zufällige Suche – die Fitness stieg um bis zu 23,93 %.

Das System ist modellunabhängig und lässt sich leicht an andere Diffusionsmodelle mit tokenisierten Textencodern anpassen. Es bietet ein modulares Framework, das zukünftige Erweiterungen unterstützt, und die Autoren diskutieren die aktuellen Einschränkungen sowie mögliche Weiterentwicklungen.