{"id":4282,"date":"2023-07-27T16:29:52","date_gmt":"2023-07-27T14:29:52","guid":{"rendered":"https:\/\/www.zukunftszentrum-ki.nrw\/?p=4282"},"modified":"2024-03-04T16:53:30","modified_gmt":"2024-03-04T15:53:30","slug":"modellkollaps-in-der-ki-herausforderungen-fuer-zukuenftige-textgenerierung","status":"publish","type":"post","link":"https:\/\/sgp-digital.de\/zuz\/modellkollaps-in-der-ki-herausforderungen-fuer-zukuenftige-textgenerierung\/","title":{"rendered":"Modellkollaps in der KI: Herausforderungen f\u00fcr zuk\u00fcnftige Textgenerierung"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">Der KI-Hype und die Verbreitung von KI-generierten Texten birgt Gefahren f\u00fcr zuk\u00fcnftige KI-Modelle, wie eine Studie der Cornell University zeigt. Generative KI-Modelle wie ChatGPT schreiben bereits heute immer mehr Texte. Diese Modelle wurden intensiv entwickelt und trainiert, um die Wahrscheinlichkeit von Wortfolgen zu erlernen.<\/p>\n\n\n\n<hr class=\"wp-block-separator has-alpha-channel-opacity\"\/>\n\n\n\n<p class=\"wp-block-paragraph\">Ein m\u00f6glicher Nachteil besteht darin, dass zuk\u00fcnftige KI-Modelle vermehrt mit KI-generierten Texten trainiert werden, was zu nicht behebbaren Fehlern f\u00fchren kann &#8211; ein Ph\u00e4nomen, das als Modellkollaps bezeichnet wird. KI-Modelle, wie zum Beispiel Large Language Models (LLM) oder Textgeneratoren, werden normalerweise mit einer riesigen Menge an menschlich erstellten Texten trainiert, um zu lernen, wie man sinnvolle und menschen\u00e4hnliche Texte verfasst. Dabei sollen sie verschiedene Schreibstile und Ausdr\u00fccke erkennen und nachahmen k\u00f6nnen. Allerdings, wenn immer mehr Texte von KI-Modellen selbst generiert werden und diese generierten Texte als Trainingsdaten f\u00fcr neue KI-Modelle dienen, kann es zu einer Verschlechterung der Qualit\u00e4t kommen. Die KI k\u00f6nnen in einem solchen Fall vor allem ihren eigenen Schreibstil reproduzieren und aufgrund der massenhaften Verbreitung dieser generierten Texte k\u00f6nnten auch deren Fehler und M\u00e4ngel zum Standard f\u00fcr die neuen Modelle werden. Als Analogie aus der nicht-digitalen Welt k\u00f6nnen beispielweise Kopien von Kopien gesehen werden. Die Qualit\u00e4t der folgenden Kopie sinkt, da das Original einen st\u00e4rkeren Druck und Umrandungen im Vergleich zur ersten Kopie beibeh\u00e4lt. \u00dcbertr\u00e4gt man dieses Bild auf die LLM wird klar, dass sich durch die eigene Reproduktion des Schreibstils markantere und interessante Schreibstile wieder und wieder gefiltert werden.<\/p>\n\n\n\n<hr class=\"wp-block-separator has-alpha-channel-opacity\"\/>\n\n\n\n<p class=\"wp-block-paragraph\">Diese Entwicklung k\u00f6nnte die Vielfalt in den Texten einschr\u00e4nken, da die neuen KI-Modelle eher geneigt w\u00e4ren, nur den Schreibstil des urspr\u00fcnglichen Modells nachzuahmen, anstatt die Bandbreite der menschlichen Ausdrucksweise zu erfassen.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large is-resized\"><img loading=\"lazy\" decoding=\"async\" width=\"1200\" height=\"671\" src=\"https:\/\/www.zukunftszentrum-ki.nrw\/wp-content\/uploads\/Tim-1200x671.png\" alt=\"\" class=\"wp-image-4283\" style=\"width:578px;height:323px\" srcset=\"https:\/\/sgp-digital.de\/zuz\/wp-content\/uploads\/Tim-1200x671.png 1200w, https:\/\/sgp-digital.de\/zuz\/wp-content\/uploads\/Tim-500x280.png 500w, https:\/\/sgp-digital.de\/zuz\/wp-content\/uploads\/Tim-768x430.png 768w, https:\/\/sgp-digital.de\/zuz\/wp-content\/uploads\/Tim.png 1387w\" sizes=\"auto, (max-width: 1200px) 100vw, 1200px\" \/><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Der Modellkollaps stellt also eine Herausforderung dar, die bew\u00e4ltigt werden muss, um sicherzustellen, dass KI-Modelle weiterhin qualitativ hochwertige und vielf\u00e4ltige Texte erzeugen k\u00f6nnen, ohne sich auf vorherige Fehler zu st\u00fctzen. Forscherinnen und Forscher arbeiten daran, L\u00f6sungen zu finden, um diese Problematik anzugehen.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Die Studie der Cornell University verdeutlicht, dass KI-Modelle ohne menschliche Hilfe problematische Inhalte verbreiten k\u00f6nnten, \u00e4hnlich wie es bereits im Internet geschieht. Der Lernprozess der KI ist keineswegs unabh\u00e4ngig vom Menschen. KI kann den kreativen Prozess unterst\u00fctzen, aber es werden weiterhin menschliche Texter f\u00fcr den finalen Schliff ben\u00f6tigt.<\/p>\n\n\n\n<hr class=\"wp-block-separator has-alpha-channel-opacity\"\/>\n\n\n\n<figure class=\"wp-block-table is-style-stripes\"><table><tbody><tr><td>Bei Fragen melden Sie sich gerne bei:<br><br>Tim Schmidt<br>Zukunftszentrum KI NRW | TBS NRW\u00a0<br><a href=\"mailto:tim.schmidt@tbs-nrw.de\" target=\"_blank\" rel=\"noreferrer noopener\">tim.schmidt@tbs-nrw.de<\/a>\u00a0<\/td><\/tr><\/tbody><\/table><\/figure>\n","protected":false},"excerpt":{"rendered":"<p>Der KI-Hype und die Verbreitung von KI-generierten Texten birgt Gefahren f\u00fcr zuk\u00fcnftige KI-Modelle, wie eine &#8230;<\/p>\n","protected":false},"author":17,"featured_media":4286,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[189,1],"tags":[],"class_list":["post-4282","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-kuenstliche-intelligenz-ki","category-neuigkeiten"],"acf":[],"_links":{"self":[{"href":"https:\/\/sgp-digital.de\/zuz\/wp-json\/wp\/v2\/posts\/4282","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/sgp-digital.de\/zuz\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/sgp-digital.de\/zuz\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/sgp-digital.de\/zuz\/wp-json\/wp\/v2\/users\/17"}],"replies":[{"embeddable":true,"href":"https:\/\/sgp-digital.de\/zuz\/wp-json\/wp\/v2\/comments?post=4282"}],"version-history":[{"count":4,"href":"https:\/\/sgp-digital.de\/zuz\/wp-json\/wp\/v2\/posts\/4282\/revisions"}],"predecessor-version":[{"id":5415,"href":"https:\/\/sgp-digital.de\/zuz\/wp-json\/wp\/v2\/posts\/4282\/revisions\/5415"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/sgp-digital.de\/zuz\/wp-json\/wp\/v2\/media\/4286"}],"wp:attachment":[{"href":"https:\/\/sgp-digital.de\/zuz\/wp-json\/wp\/v2\/media?parent=4282"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/sgp-digital.de\/zuz\/wp-json\/wp\/v2\/categories?post=4282"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/sgp-digital.de\/zuz\/wp-json\/wp\/v2\/tags?post=4282"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}