Ich habe mal ChatGPT gefragt wie …

Schlimm genug, dass diese Binsenweisheiten (die sie ja wohl sind und für die man gar keine KI bräuchte) bei einem Teil der Leute immer noch nicht angekommen sind.

Danke für den interessanten Versuch. Dann spare ich mir den.

1 „Gefällt mir“

Absolut.

Idee an die Moderation, vielleicht könnte man diesen Thread nutzen, um generell Antworten von Chat GPT zu sammeln, quasi als ,Stimme der KI,.
Habe den Titel bewusst neutral gehalten.

1 „Gefällt mir“

Hier Mal eine Conversation mit ChatGPT aus einem anderen Forum über die Pferderasse der Blumento-Pferde :wink:

https://www.mikrocontroller.net/topic/551729?goto=new#7363325

1 „Gefällt mir“

Lies dir mal den gesamten Thread durch, da kommen schon noch nachvollziehbare Antworten.

Außerdem gilt auch hier, dass eine KI durch solche Trickfragen ähnlich verarscht werden kann, wie ein Mensch. Wenn wir das als Beweis mangelnder Intelligenz oder Kompetenz werten, stellen wir auch dem Menschen damit kein gutes Zeugnis aus.

Dass der Bot Antworten fantasiert, liegt an der Programmierung. Der Bot versucht, möglichst gut bewertete Antworten zu geben, ähnlich wie der Mensch in einer Klausur-Situation. Jetzt stell dir vor in einer Klausur würde die Frage nach den Blumentopferden gefragt. Was glaubst du, wie viele Klausurschreiber hier auch eine Antwort fantasieren würden, in der Hoffnung, damit zumindest ein paar Punkte abzugreifen? Ich glaube, hier würden wir auch vom Menschen einige ähnlich „kreative“ Antworten bekommen… Ein Freund von mir ist Erdkundelehrer an der Grundschule und was der manchmal für fantasierte Antworten auf Nicht-Trickfragen bekommt ist schon sehr amüsant…

3 „Gefällt mir“

Twitter-Thread, in dem ChatGPT ein nicht existierendes Buch analysiert und in historischen Kontext setzt:

https://twitter.com/lamahueterin/status/1644090722184830978

So wie vorwiegend über ChatGPT berichtet wurde, verwundert es zwar nicht, aber dennoch finde ich es erschreckend, wie unkrititsch viele Leute mit solchen KI-Sprachsystemen umgehen und sie sogar für eine ähnlich seriöse Quelle halten wie etwa von Menschen editierte Enzyklopädien. Deshalb finde ich es enorm wichtig, dass die Antworten dieser Systeme auf sogenannte „Trickanfragen“ möglichst starke Verbreitung finden. Vielleicht wird so zumindest noch einigen Menschen klar, dass die Fähigkeit zu Formulieren (das kann ChatGPT wirklich gut!) nicht dasselbe ist wie eine Wissensdatenbank (da ist das System grottenschlecht) oder weiter gefasst, dass Intelligenz nicht zwangskäufig Urteilsvermögen bedeutet und dass Quantität (in diesem Fall der verarbeiteten Daten) nicht zwangsläufig in Qualität umschlagen muss.
Wen es interessiert: James Bridle führt diese Kritik im Guardian sehr viel fundierter und anschaulischer aus: The stupidity of AI | Artificial intelligence (AI) | The Guardian

2 „Gefällt mir“

Die Wissensdatenbank ist schon relativ gut, auf den absoluten Großteil der Fragen gibt ChatGPT absolut brauchbare Antworten.

Letztlich wäre es vermutlich einfach, dem Nutzer eine simple Option zu geben (z.B. einen Slider) wie hoch die Genauigkeit der Antworten sein muss. So würde der Bot dann, wenn die Quellenlage nicht dem Genauigkeitswunsch den Nutzers entspricht, einfach sagen: „Für die Beantwortung dieser Frage reichen die mir zugänglichen Informationen nicht aus!“

Aktuell ist der Bot halt so programmiert, dass er immer eine Antwort gibt, egal wie miserabel oder gar nicht-vorhanden die Quellenlage ist.

Was ist Urteilsvermögen anderes, als der Abgleich einer neuen Information mit vorhandenen Informationen? Wenn mir jemand erzählt, „dieser Stein kann schweben“, gleiche ich das mit vorhandenen Informationen (Gravitation existiert, Technologien, welche einen Stein schweben lassen könnten, sind nicht vorhanden) ab und komme zu dem Ergebnis: Die Aussage ist mit an Sicherheit grenzender Wahrscheinlichkeit falsch.

Gerade Urteilsvermögen ist eine absolute Stärke von KIs, da mehr Informationen zum Abgleichen zwangsläufig zu einem besseren Urteil führen.

Ich finde alle Extreme in der Debatte schwierig. Die Technologie steht noch am Anfang und das, was sie bisher schon leisten kann, sollte man durchaus wohlwollend anerkennen, ohne die (gesellschaftlichen) Gefahren, die dadurch entstehen können, zu verkennen…

1 „Gefällt mir“

Die beiden Aussagen widersprechen sich doch komplett. Es gibt doch unzählige Beispiele für Biografien oder Literaturbelege, die ChatGPT sich einfach ausdenkt, wie kann man da ernsthaft von einer „relativ guten Wissensdatenbank“ reden?
Ich habe keine Ahnung von der Struktur oder Programmierung solcher Systeme, aber was ich verstanden habe, ist, dass sie einfach mit bestimmten Wahrscheinlichkeiten Wörter aneinanderreihen. Soweit ich es verstanden habe, ist diese Wahrscheinlichkeiten eben eine rein mathematische, hängt also von den ausgewerteten Datenquellen ab. Dabei wird eine Website eines historischen Forschungsinstituts nicht grundsätzlich anders bewertet als der Blog eines Neonazis. (Falls ich mich hier irre, korrigier mich gerne!).
Und das ist eben etwas ganz anderes, als Urteilsvermögen. Zudem findet der von Dir erwähnte Abgleich ja gerade nicht statt - der wäre ja etwa bei den erwähnten fiktiven Biografien und Buchtiteln in Sekundenbruchteilen zu bewerkstelligen.

Ich bin auch gegen Extrempositionen in der Debatte und ich finde etwas den Einsatz von ChatGPT als „Sekretär“ auch relativ unkritisch. Aber ich finde auch, dass in der aktuellen Diskussion die Faszination für die Möglichkeiten der Technik ein zu starkes Gewicht hat gegenüber der Frage, von wem und zu welchem Zwecke diese Systeme programmiert werden und der Frage, wie sie sich von wem für was nutzen lassen. Vielleicht liegen wir da ja gar nicht so weit auseinander.

Man darf nicht vergessen, dass ChatGPT nicht als Wissensdatenbank konzipiert ist. Was du beschreibst entspricht eher BingGPT, also der ChatGPT Adaption auf die Suchengine Bing von Microsoft. Dort kann man auch die Temperatur (die Kreativität und damit erlaubte Ungenauigkeit) der Antworten in 3 Abstufungen einstellen.

Man kann das einfach unter Das neue Bing – Weitere Informationen ausprobieren.

BingGPT (Microsoft Bing auf Basis von. ChatGPT) und Bard (Google) lösen das meines Wissens und stark verkürzt, indem sie einfach eine oder mehrere normale Suchen per Bing bzw. Google durchführen und dann die ersten x Suchmaschinentreffer zusammengefasst wiedergeben.

Die Mechanismen hinter den Suchmaschinen stellen ja schon heute sicher, dass meist(!) seriöse Ergebnisse über Blogs landen (bei ähnlicher Relevanz). Damit liest das LLM mehr seriöse Quellen als unseriöse und gibt so seriösere Antworten.

Nichtsdestotrotz, das System ist noch lange nicht ausgereift und sollte stets mit Vorsicht behandelt werden.

Absolute Zustimmung, das war ja genau mein Punkt: Dass ChatGPT wie eine Wissensdatenbank behandelt wird, obwohl es keine ist. Natürlich sitzt hier das Problem (mal wieder) vor dem Computer, aber ich finde es extrem wichtig, gerade wegen dieser aktuellen Nutzung immer wieder darauf hinzuweisen, dass ChatGPT eben nicht Wikipedia ist (ganz abgesehen davon, dass auch Letzteres auch nicht immer verlässlich ist). In dieser Situation sind Antworten wie die von @Daniel_K, die Wissensdatenbank sei „relativ gut“, aus meiner Sicht extrem gefährlich (nicht persönlich gemeint).

Ein Beispiel:
Ich bin gerade mit einer sehr einfachen Anfrage grandios gescheitert: Nenne mir den Schauspieler von Rolle X in der Serie Y. Erst schlug mir ChatGPT vier Namen von Schauspielern vor, die in der Serie nicht mitspielen. Dann behauptete es, die Serie existiere nicht und dann, die Serie gäbe es zwar, aber die Rolle nicht. Selbst bei einer direkten Frage nach den entsprechenden Informationen in der Internet Movie Database (imdb) oder bei Wikipedia, schlug ChatGPT Namen erneut vor, die ich vorher schon als falsch zurückgewiesen hatte oder behauptete fälschlicherweise, diese Seiten enthielten die gewünschte Information nicht. Am Ende hat das System mich dann gebeten, ihm doch den richtigen Namen zu verraten :wink:
Wenn Schüler:innen auf dieser Grundlage ihre Hausarbeiten schreiben (lassen), haben die Lehrenden in Zukunft zumindest was zu Lachen…

Wir reden etwas aneinander vorbei.
ChatGPT hat schon eine erhebliche Wissensdatenbank, aber wie schon richtig gesagt wurde, ist es darauf programmiert, auf absolut alles zu antworten, auch bei mäßigem oder nicht-vorhandenen Wissen. Das ändert nichts daran, dass dem Programm eine große Datenbank zu Grunde liegt.

Ich hoffe, du hast dabei bedacht, dass ChatGPT nur mit Daten bis 2021 trainiert wurde. Wenn du also nach einer neuen Serie fragst, wird dir der Bot aus einer technischen Unmöglichkeit heraus keine sinnvollen Antworten geben können. ChatGPT hat zwar eine immense Datenbank, aber eben nur bis 2021.

Magst du die gleiche Anfrage vielleicht mal an Bard oder BingGPT schicken (oder mir per PN schicken damit ich es ausprobieren kann). Ich vermute da sieht das Ergebnis anders aus.

Edit: Aussage samt Zitat gelöscht, da ich die Referenz falsch gelesen habe.

Ich habe ihn auch nicht als Wissensdatenbank bezeichnet, sondern gesagt, dass dem Bot eine relativ ausführliche Wissens-Datenbank zur Verfügung steht. Der Bot selbst ist ein Chat-Bot. Beides schließt sich keinesfalls aus. Fakt ist, man kann ChatGPT zu nahezu allen Alltagsthemen Fragen stellen und bekommt zu 99% sinnvolle Antworten, außer halt, man stellt Fragen, deren Beantwortung Post-2021-Wissen benötigt oder nutzt aus, dass der Bot sich „verunsichern“ lässt, wenn man ihm etwas als Realität unterstellt (siehe das Beispiel mit den Blumentopferden…) und ihn auffordert, dazu Stellung zu beziehen, er aber nicht so programmiert ist, schlicht zu sagen: „Das weiß ich nicht“, sondern anfängt, zu fantasieren.

Ja, ich habe in der Tat @Daniel_K und @pitus in einen Topf geworfen, es aber sogleich bemerkt und meinen Post entsprechend editiert - kam mir alles so grün vor :slight_smile: Sorry für die Verwirrung und nichts für ungut!

@Daniel: Mir ist schon klar, wie Du das Wort Wissensdatenbank inzwischen meinst, aber Deine Formulierung in direkter Reaktion auf meinen Kommentar in Post #7 habe ich schon so gelesen, dass sich ChatGPT quasi als Wikipedia-Ersatz nutzen lässt. Den Widerspruch zu „lieber falsche Antworten, als keine Antworten“ habe ich ja auch entsprechend bemerkt. Die Aussage

geht ja in dieselbe Richtung, lässt sich aber - wie mein kleines Beispiel zeigt - sehr schnell falsifizieren.

Was die Anfrage angeht: Ganz blöd bin ich ja nicht, die letzte Staffel der Serie ist von 2010. Auch habe ich keine „fiese“ oder suggestive Frage gestellt, sondern eben eine ziemlich basale Abfrage einer Verknüfung (Serie - Rolle - Schauspieler). Zudem habe ich das System ja wie gesagt sogar noch explizit auf imdb und wikipedia als sichere Quellen hingewiesen.
Die ursprüngliche Anfrage lautete im O-Ton: „wie heißt der schauspieler der in kriminaldauerdienst mehmet kilic spielt“. Würde mich interessieren, was Bard und Bing dazu sagen, ich hab da (noch) keinen Account.

Stimmt. Ich habe die Aussage von @Veche falsch gelesen. Ich habe daher meine Aussage gelöscht und per Hinweis auf die Löschung hingewiesen. Sorry für die falsche Zuschreibung.

Das hier ist die Antwort von BingGPT. Auch eine Quelle wird angegeben.

Bard scheint hingegen nicht in der Lage zu sein, die Information zu suchen. Es geht damit aber transparent um und dichtet keine Informationen zusammen.

Ein möglicher Grund für Bards Fehlschlag mag sein, dass Bard bisher nur für US und UK zugelassen ist (und auch nur Nutzer mit solchen IPs zulässt. Es wird also ein VPN Service benötigt). Gut möglich, dass man damit Probleme mit Fragen kaschieren möchte, die nicht-englische Quellen benötigen.

Edit: @Veche hat mich gebeten nochmal den deutschen Prompt in BingGPT zu testen. Auch der deutsche Prompt wird erfolgreich beantwortet.

1 „Gefällt mir“

Es gilt bei jeder KI natürlich das selbe, was für alle Datenbanken gilt:
Die DB / KI ist nur so gut wie die Daten mit denen sie gefüttert wurde…
Sprich wenn die KI mit Lügen und falschen Informationen gefüttert worden ist, oder eventuell mit gefakten Bildern, dann ist das schon das eigentliche Problem.

Und ja, dazu kommt natürlich noch der Anwender selbst, der mit so Quatsch wie Blumentopfpferde kommt.

Was man unterscheiden muss, ist das öffentlich (kostenlos) nutzbare ChatGPT, was auf dem älteren GPT-3/3.5 basiert und GPT-4, was bei OpenAI leider nur im Abo-Modell (20€/Monat) verfügbar ist. Microsoft’s Bing verwendet aber auch schon GPT-4.
Während GPT-3 bei Behauptungen des Benutzers oftmals einknickt und annimmt, dass der Benutzer wohl Recht hat (oder es vl. um WIssen nach 2021 geht), widerspricht GPT-4 und stellt aus seiner Sicht falsche Dinge richtig - und es ist ziemlich gut darin (so z.B. im oben zitierten Beispiel mit der Pferderasse „Blumentopferde“).

Die Redaktion einer Klatschzeitschrift hat ein KI-generiertes Interview mit Michael Schumacher abgedruckt und wird dafür verklagt. Besonders absurd ist dabei die Unterüberschrift „Es klingt täuschend echt“.

Da frage ich mich, wird die KI in Zukunft solche Zeitschriften und z.B. auch Horoskope völlig allein schreiben? Ich meine wenn es einen Bereich gibt, in dem die Halluzinationen und sonstigen KI-Fehler keine Rolle spielen dürften, dann doch wohl dort. :wink:

1 „Gefällt mir“