Modellkollaps in der KI: Herausforderungen für zukünftige Textgenerierung

Der KI-Hype und die Verbreitung von KI-generierten Texten birgt Gefahren für zukünftige KI-Modelle, wie eine Studie der Cornell University zeigt. Generative KI-Modelle wie ChatGPT schreiben bereits heute immer mehr Texte. Diese Modelle wurden intensiv entwickelt und trainiert, um die Wahrscheinlichkeit von Wortfolgen zu erlernen.


Ein möglicher Nachteil besteht darin, dass zukünftige KI-Modelle vermehrt mit KI-generierten Texten trainiert werden, was zu nicht behebbaren Fehlern führen kann – ein Phänomen, das als Modellkollaps bezeichnet wird. KI-Modelle, wie zum Beispiel Large Language Models (LLM) oder Textgeneratoren, werden normalerweise mit einer riesigen Menge an menschlich erstellten Texten trainiert, um zu lernen, wie man sinnvolle und menschenähnliche Texte verfasst. Dabei sollen sie verschiedene Schreibstile und Ausdrücke erkennen und nachahmen können. Allerdings, wenn immer mehr Texte von KI-Modellen selbst generiert werden und diese generierten Texte als Trainingsdaten für neue KI-Modelle dienen, kann es zu einer Verschlechterung der Qualität kommen. Die KI können in einem solchen Fall vor allem ihren eigenen Schreibstil reproduzieren und aufgrund der massenhaften Verbreitung dieser generierten Texte könnten auch deren Fehler und Mängel zum Standard für die neuen Modelle werden. Als Analogie aus der nicht-digitalen Welt können beispielweise Kopien von Kopien gesehen werden. Die Qualität der folgenden Kopie sinkt, da das Original einen stärkeren Druck und Umrandungen im Vergleich zur ersten Kopie beibehält. Überträgt man dieses Bild auf die LLM wird klar, dass sich durch die eigene Reproduktion des Schreibstils markantere und interessante Schreibstile wieder und wieder gefiltert werden.


Diese Entwicklung könnte die Vielfalt in den Texten einschränken, da die neuen KI-Modelle eher geneigt wären, nur den Schreibstil des ursprünglichen Modells nachzuahmen, anstatt die Bandbreite der menschlichen Ausdrucksweise zu erfassen.

Der Modellkollaps stellt also eine Herausforderung dar, die bewältigt werden muss, um sicherzustellen, dass KI-Modelle weiterhin qualitativ hochwertige und vielfältige Texte erzeugen können, ohne sich auf vorherige Fehler zu stützen. Forscherinnen und Forscher arbeiten daran, Lösungen zu finden, um diese Problematik anzugehen.

Die Studie der Cornell University verdeutlicht, dass KI-Modelle ohne menschliche Hilfe problematische Inhalte verbreiten könnten, ähnlich wie es bereits im Internet geschieht. Der Lernprozess der KI ist keineswegs unabhängig vom Menschen. KI kann den kreativen Prozess unterstützen, aber es werden weiterhin menschliche Texter für den finalen Schliff benötigt.


Bei Fragen melden Sie sich gerne bei:

Tim Schmidt
Zukunftszentrum KI NRW | TBS NRW 
tim.schmidt@tbs-nrw.de 

Zurück

Das Projekt Zukunftszentrum KI NRW wird im Rahmen des Programms Zukunftszentren durch das Bundesministerium für Arbeit und Soziales und vom Ministerium für Arbeit, Gesundheit und Soziales NRW sowie durch die Europäische Union über den Europäischen Sozialfonds Plus (ESF Plus) gefördert.