Also ich bin so halb im Thema drin und finde Halluzination gut. Vor allem, wenn man eine eigene spezialisierte LLM erstellt, was man da sieht, beschreibt da beschreibt “Halluzination” sehr gut was passiert.
“Lüge”, “Flunkerei” und “Betrug” impliziert ja ein bewusstes irreführendes Handeln. Das ist ja nicht der Fall.
Die Verwendung des Begriffs „Halluzination“ sagt nichts darüber aus, ob man die Technik verstanden hat.
Der Begriff wird auch in Fachkreisen verwendet, siehe zB
Das Ganze ist ungefähr so, als würde ich den Begriff Cookie in Web-Browsern kritisieren, weil er nichts mit Keksen zu tun hat. Es ist nunmal der im Fachbereich akzeptierte und verwendete Begriff.
Ja, haste Recht. Habe ich wohl übertrieben mit der Aussage.
Sereksim hat das meiste ja schon beantwortet.
Zur Frage warum LLMs Antworten erfinden: Mein Verständnis ist dass die Modelle darauf trainiert werden, Antworten zu geben. Also eine Antwort geben wird im Training als „richtiger“ bewertet als keine Antwort oder „Ich weiß es nicht“. Das ist natürlich erstmal sinnvoll. Führt aber dazu, dass auch Antworten mit geringerer Wahrscheinlichkeit für Richtigkeit gegeben werden, wenn keine bessere generiert werden kann.
Man stelle sich vor man sagt einem Sechsjährigen dass es wichtig ist, jede Frage zu beantworten. Der wird auch Antworten erfinden die plausibel klingen. Auf dem Niveau sind die LLMs.
Ich bin etwas spät zur Party, aber würde gern etwas Senf aus fachlicher Sicht dazu geben.
@TilRq hab oben gefragt:
Die Antwort von @sereksim ist bereits sehr treffend, ich möchte sie aber noch etwas ergänzen. Das, was du als „gelerntes Wissen“ bezeichnest, @TilRq, ist in den meisten Fällen gar nicht im Modell selbst gespeichert (also gelernt). Stattdessen werden mehrere Suchanfragen im Internet (oder in internen Datenbanken) ausgeführt, deren Ergebnisse anschließend vom LLM zusammengefasst werden. Die dabei verwendeten Webseiten können dann natürlich auch als Quellen angegeben werden. Perplexity AI hat diesen Ansatz früh verfolgt, ChatGPT ist später mit seiner Websuche nachgezogen.
Das erklärt auch, warum Systeme wie ChatGPT, M365 Copilot oder Perplexity AI oft schon nach wenigen Stunden – manchmal auch Tagen – Fragen zur aktuellen Nachrichtenlage beantworten können. Beispiel:
Wie hat sich Selenskys Einstellung zu Trumps letzten Friedensplan für die Ukraine verändert. Gib zu jeder Aussage Zeitpunkte mit an.
und die Antwort
https://www.perplexity.ai/search/wie-hat-sich-selenskys-einstel-yQZ_bUevQI6JtV4fHCSqcg#0
Mit Training wäre eine solche Aktualität nicht zu erreichen. Ich vergleiche eine solche RAG Lösung gern mit einem Praktikanten, den ich mit einer Frage und viel Zeit ins Archiv schicke und bitte eine Zusammenfassung zu schreiben. Dem fehlt möglicherweise auch das Wissen über die Unternehmensinterna, aber wenn er Quellen suchen und zusammenfassen kann, kann trotzdem was sinnvolles bei raus kommen.
Ein RAG-Ansatz (Retrieval-Augmented Generation) lässt sich relativ halluzinationssicher gestalten, wenn man ein zweites LLM einsetzt, das die Quellen und den generierten Text überprüft und sicherstellt, dass die Aussagen tatsächlich aus den Quellen ableitbar sind. Dagegen sprechen allerdings die höheren Kosten und die längere Antwortzeit, weshalb dieser Ansatz bisher vor allem als Schutzmaßnahme gegen die Leakage sensibler, gefährlicher oder unethischer Daten genutzt wird.
Die Diskussion über den Begriff „Halluzination“ halte ich ansonsten für wenig sinnvoll. Es ist ein etablierter Fachbegriff, dessen Bedeutung allen Fachleuten klar ist – und genau das ist entscheidend: eine gemeinsame Sprache, die Missverständnisse vermeidet. Wem ist geholfen wenn man eine Parallelsprache entwickelt und so Missverständnisse entstehen?
Du hast ja bereits sehr gute Antworten bekommen. An denen möchte ich auch nichts ändern. Ich will aber vielleicht noch mal eine etwas andere Perspektive geben, die ein bisschen mehr zur grundlegenden Funktionsweise von LLMs aufzeigt und dir somit eine bessere Intuition gibt.
Disclaimer: Wie @HokusPokus1 bereits zurecht angemerkt hat, sind ChatGPT und Co aktuell weit mehr als nur einfache LLMs, sondern können Internetsuchen oder andere Tools nutzen. Daher würde ich behaupten, dass das falsche Wiedergeben von Quellen - sofern ChatGPT eine richtige Recherche ausführt - heutzutage weniger ein Problem ist als zu Beginn. Wenn ein LLM eine Quelle hat, dann kann es diese in der Regel sehr gut zusammenfassen.
Aber gerade am Anfang hat man ja doch oft gesehen, dass ChatGPT irgendwelche Quellen erfindet. Manchmal gab es zwar sogar die Artikel, aber der Inhalt stimmte überhaupt nicht zu der Aussage von ChatGPT. Woran liegt das also?
Ich möchte dir das mit einem dir vielleicht bekannten, mathematischen Konzept erklären: lineare Regression.
(Ich hoffe, man sieht das Bild so, wie ich es beabsichtige.)
Bei der linearen Regression geht es darum, dass man einige Datenpunkte - Messwerte aus der echten Welt - hat und versucht, den generellen Trend zu erfassen. Dies geschieht häufig dadurch, dass man versucht, eine Gerade so durch die Punkte zu legen, dass die Gerade zwar nicht durch alle Punkte genau verläuft - das geht oftmals gar nicht, wenn die Punkte tatsächlich nicht auf einer gemeinsamen Geraden liegen -, sondern die Gerade soll den “Trend“ entdecken. Man geht davon aus, dass die Messwerte einige Messfehler haben und daher nicht genau auf der gefundenen Gerade liegen. Gleichzeitig möchte man keine komplexere Funktion, die zwar durch alle Datenpunkte exakt verlaufen würde, aber dafür nicht den “Trend“ genau abbildet. Vielmehr würde eine solche Funktion die Messfehler exakt abbilden und so vermutlich eine schlechtere Beschreibung der Realität sein als die einfache Gerade, die zwar nicht alle Punkte trifft, dafür aber den Trend/die Realität besser beschreibt.
So viel zur Theorie. Die Frage ist, was bringt so eine Regression? Sie hat im Endeffekt zwei Vorteile. Zum einen können wir mithilfe der Geraden Werte berechnen, für die wir keine Messwerte haben. Wenn wir das Beispiel aus dem Bild nehmen, dann haben wir ja ganz viele echte Paare von Körpergröße zu Einkommen. Wenn wir einen Messwert zu Körpergröße 1,8 m haben, können wir den entsprechenden Einkommenswert für diesen Messwert ablesen. Was aber, wenn wir zur Körpergröße 1,65 m keinen Messwert haben? Da wir ja jetzt eine Gerade haben, die den Trend Körpergröße zu Einkommen abbildet, können wir einfach anhand der Gerade ablesen, welches Einkommen zu dieser vorher nicht gemessenen Körpergröße gehört.
Zweitens dient eine Regression der Kompression. Eine solche Gerade ist eine lineare Funktion y = m*x+b, die wir abspeichern können, indem wir nur die Werte für die beiden Parameter m und b abspeichern. Die eigentlichen Messwerte (was in der Realität eine riesige Datenmenge sein könnte) können wir “löschen“, da wir mithilfe der Regressionsgerade quasi eine kompakte Repräsentation des zugrundeliegenden Trends haben.
Was hat das alles mit LLMs zu tun? Nun, LLMs sind (stark vereinfacht gesagt) nichts anderes als Regressionen. Wie bereits gesagt bestehen LLMs aus neuronalen Netzen. Das ist ein fancy Wort. Aber eigentlich ist ein neuronales Netzwerk nichts anderes als eine mathematische Funktion. Diese Funktion ist zwar deutlich komplizierter als das Beispiel der lineare Funktion von oben, aber im Prinzip funktioniert es genauso. Die Messwerte aus dem oberen Beispiel sind im Falle von LLMs Sätze, Wörter, Texte etc, und beim Training von LLMs wird eine Regression auf diese Daten ausgeführt. Beim Training versucht man also, die Funktion des neuronalen Netzwerkes so anzupassen, dass diese den Trainingsdaten, also Wörter, Texte etc. möglichst gut “approximiert“ bzw. den Trend erkennt. (Um genau zu sein, trainiert man das neuronale Netz so, dass es - gegeben einem Text - die Wahrscheinlichkeiten für jedes mögliche, nachfolgende Wort berechnet. Und das Ziel beim Training ist, dass für das “richtigen“ nächstem Wort die höchste Wahrscheinlichkeit berechnet wird.)
Zusammengefasst kann man also sagen, dass man alle Texte aus dem Internet, Büchern etc. nimmt und man versucht, den “Trend” mithilfe einer Funktion zu lernen. Am Ende steht dann das gelernte neuronale Netz. Und wie bei der linearen Regression am Anfang kann man dann die Messdaten bzw. Trainingsdaten “wegwerfen“, da man mit der gelernten Funktion ja jetzt eine kompakte Repräsentation dieser Daten hat. Daher ist es auch falsch zu denken, dass ein LLM auf seine Trainingsdaten zugreifen kann. Das kann es nicht. Um in unserem einfachen Beispiel der linearen Regression zu bleiben, wurden die Trainingsdaten nur dafür genutzt, die Regressionsgerade zu berechnen. Danach wurden die Daten weggeschmissen. Und wenn ich nach dem Training eine Frage habe (welches Einkommen zu welcher Körpergröße oder ich chatte mit ChatGPT), dann werden nicht die Trainingsdaten benutzt, sondern die gelernte Regressionsfunktion, um die Frage zu beantworten.
Ich weiß, das geht alles über deine eigentlichen Fragen hinaus. Gleichzeitig denke ich, dass ein zumindest grundlegendes, auch mathematisches, Verstädnis für die Funktionsweise von LLMs unabdingbar ist, um LLMs zumindest intuitiv zu verstehen.
Dieses Thema wurde nach 3 Tagen automatisch geschlossen. Es sind keine neuen Antworten mehr erlaubt.
