Ersticken GPT-Modelle an ihren eigenen Abgasen? (Technik)
.
Auszug aus der Übersetzung
"Und es geht nicht nur um Text. Wenn Sie ein Musikmodell mit Mozart trainieren, können Sie eine Ausgabe erwarten, die ein bisschen wie Mozart klingt, aber ohne den Glanz – nennen wir es „Salieri“. Und wenn Salieri nun die nächste Generation trainiert und so weiter, wie wird dann die fünfte oder sechste Generation klingen?"
... und weiter
"In unserem neuesten Artikel zeigen wir, dass die Verwendung von modellgeneriertem Inhalt im Training irreversible Defekte verursacht. Die Enden der ursprünglichen Inhaltsverteilung verschwinden. Innerhalb weniger Generationen wird der Text zu Müll, da Gaußsche Verteilungen konvergieren und sogar zu Deltafunktionen werden können. Wir nennen diesen Effekt Modellkollaps."
englische Quelle: https://www.lightbluetouchpaper.org/2023/06/06/will-gpt-models-choke-on-their-own-exhaust/
Das klingt nach Inzucht in der DNA der GPTs
und zum Schluss: "So wie wir die Ozeane mit Plastikmüll übersät und die Atmosphäre mit Kohlendioxid gefüllt haben, werden wir auch das Internet mit Blödsinn füllen." (gleiche Quelle)
Schöne neue Welt
--
das Geheimnis der Medizin besteht darin,
den Patienten abzulenken,
während die Natur sich selber hilft (Voltaire)
Sisyphos hatte es auch nicht leicht