M&C: Neues Framework zur Auswahl des besten Text‑zu‑Bild‑Modells

Die rasante Entwicklung von Text‑zu‑Bild‑Modellen auf Basis von Diffusion‑ und Transformer‑Architekturen hat die KI‑Community in den letzten Jahren stark vorangetrieben. Durch das Pre‑Training auf riesigen Datensätzen und die offene Verfügbarkeit auf Plattformen wie HuggingFace können Anwender nun eigene Anwendungen bauen, indem sie ein vortrainiertes Modell auf ihre spezifischen Daten anpassen. Doch gerade diese Demokratisierung bringt ein neues Problem mit sich: Welches vortrainierte Modell eignet sich am besten für die Feinabstimmung auf einem bestimmten Anwendungsfall?

Um diese Herausforderung anzugehen, präsentiert die Forschungsgruppe ein erstes Modell‑Auswahl‑Framework namens M&C (Match & Choose). Das Herzstück von M&C ist ein sogenannter Matching‑Graph, der aus Knoten besteht, die die verfügbaren Modelle und die profilierten Datensätze repräsentieren, sowie aus Kanten, die die erwartete Feinabstimmungsleistung (Modell‑Daten‑Kante) und die Ähnlichkeit zwischen Datensätzen (Daten‑Daten‑Kante) erfassen. Durch die Einbettung dieses Graphen in ein spezielles Modell kann M&C anhand der Merkmale des Modells, der Daten und der Graph‑Embedding‑Features vorhersagen, welches Modell nach der Feinabstimmung die höchste Bildqualität für den Zielbereich liefert.

Die Autoren haben M&C auf zehn unterschiedlichen Text‑zu‑Bild‑Modellen und 32 verschiedenen Datensätzen getestet. Im Vergleich zu drei etablierten Baselines konnte M&C die beste Modellwahl zuverlässig vorhersagen und damit die Notwendigkeit einer aufwändigen, vollständigen Feinabstimmung aller Kandidaten eliminieren. Das Ergebnis zeigt, dass M&C ein praktisches Werkzeug für Entwickler und Forscher darstellt, die schnell und effizient das optimale Modell für ihre spezifischen Anforderungen auswählen wollen.