Neue Technologie: Chat GPT, Künstliche Intelligenz und Implikationen auf politischen Diskurs

@Matder sorry, aber ich glaube kaum dass das korrekt ist. Der folgende Beitrag wird eine kleine Linksammlung. Ich hoffe es bleibt übersichtlich genug.

Eine Liste mit durchaus heute schon nutzbaren LLMs, inklusive einiger Open-Source Modelle.

Databricks hat das Dataset zu seinem Dolly bei Huggingface zum Download bereitgestellt.

Es basiert auf dem Dataset von Alpaca (Finetuning von Stanford auf Basis von Facebooks LLaMA), das damit ebenfalls offen zugänglich ist.

Auch das Trainingsset von RedPajama ist frei verfügbar

, ebenso wie die Daten von den mpt-Modellen der Firma mosaicml (diese Woche von Databricks gekauft), dessen Dataset auf Googles C4-Set beruht.

Es ist, denke ich, kein Zufall, dass Stimmen bei Google befürchten, dass die Open-Source Community bald die LLM-Entwicklung dominiert und nicht Unternehmen wie Google und OpenAI.

Und Sam Altman hat vor einer Weile gesagt, er sei überzeugt, OpenAIs Vorteil gegenüber Open-Source seien vor allem:

  • , dass sie der Open-Source Community mit jeder Version einige Monate voraus sei
  • , dass ihre Modelle easy zu nutzen sind und
  • es bereits eingebaute Sicherheitsfeatures gäbe.

Das sei in Zukunft OpenAIs Alleinstellungsmerkmal, den es gegenüber Open-Source zu verteidigen gäbe (keine Quelle vorhanden. Ich weiß nicht mehr wo genau das war. Ich gebe meine Erinnerung wieder.)

Das sieht mir alles nicht so aus, als ob das eine geschlossene Veranstaltung großer Firmen bliebe. Nichts für ungut.

1 „Gefällt mir“

Wirklich verbreitet sind diese Modelle aber nicht, oder? Da kann man jetzt spekulieren, woran das liegt, wo sie ja im Vergleich zu einem ChatGPT-Plus Account sogar kostenlos sind. :wink:

Und das die Qualität der Traningsdaten relevant ist, sieht man ja eben gerade daran, dass OpenAI in Kenia Traningsdaten mit Rassismus und ähnlichen Labeln hat versehen lassen. Das hätten sie kaum getan, wenn es nicht wichtig gewesen wäre, um ihrer KI den ganzen negativen bias auszutreiben.

Ich glaube bei der Frage nach dem Verstehen liegen wir einfach zu weit auseinander. Für mich bleiben Large Language Modells einfach Computer-Programme, die nach stochastischen Mustern Texte als Antworten auf Texte generieren. Eine beeindruckende Technik und als Interface für Computer oder für Textbearbeitung sicher sinnvoll, aber mehr auch nicht.

Sagen wir einfach, wir sind uns einige, dass wir uns hier nicht einig sind. :slight_smile:

Das liegt sicher daran, dass ChatGPT einfach easy zu nutzen ist und damit für die ersten PoCs ideal. Mit Dolly konnte ich schon spielen und das klappt auch ganz gut. Auch Alpaka funktioniert gut. Und MPT kommt jetzt bald nativ zu Databricks.

Auf unserer todo list steht in etwa

  1. LLM PoCs mit ChatGPT
  2. Dringende Projekte mit ChatGPT lösen
  3. Open Source LLMs evaluieren
  4. Produktive Umsetzung nicht zeitkritischer Projekte mit OpenSource LLMs

Langfristiger Wechsel auf OpenSource, falls 3. erfolgreich, schon allein wegen der Kosten und des möglichen Fine Tunings.

Man hört ja dieser Tage immer, das die Crypto-Influencer von gestern, die AI-Bros von heute sind. Bei dem OpenAI-Chef geht es aber auch in die Gegenrichtung:

Zitat:

Worldcoin stellt in den kommenden Wochen und Monaten an vielen Standorten den in Erlangen entwickelten Iris-Scanner „Orb“ auf - etwa an Universitäten oder vor Supermärkten. Wer sich dort scannen lässt, erhält als Anreiz einen bestimmten Betrag in der eigens dafür geschaffenen Kryptowährung Worldcoin.

Ja genau, dem Typ, der erst mit Weltuntergangs-Geschichten von KI-Systemen die Regulierung seiner Konkurrenz erreichen wollte und dann, als die EU-Regulierung seine Bude traff, mit einem Bluff drohte, dem werde ich natürlich gerne meine biometrischen Daten geben und dafür Krypto-Coins bekommen :laughing:

Das wirkt langsam wie ein Satire-Projekt von John Oliver oder Jan Böhmermann.

edit:
Bei watson heißt es (Quelle):

Gemäss «MIT Technology Review» soll Worldcoin seine ersten halbe Millionen Nutzerinnen und Nutzer vor allem in Schwellenländern mit fragwürdigen Methoden rekrutiert haben. Vertreter des Start-ups hätten arme Menschen mit Versprechen von Reichtum gelockt und getäuscht, um an ihre biometrischen Daten zu kommen.

Also wie immer bei Crypto-Währungen…

1 „Gefällt mir“

Nun mein Beitrag:
Der Hinweis, dass eine Kennzeichnung von Inhalten erforderlich scheint wurde bereits genannt und auf die KI Inhalte bezogen. Dies halte ich wie auch Pip Klöckler für nicht durchhaltbar. Eher läuft es darauf hinaus „echte“ menschliche Kommunikation zu kennzeichnen.

An anderer Stelle führte Pip ein, dass Nachrichten zukünftig Biometrisch respektive per EPerso verifiziert werden. (Quelle: Doppelgänger Podcast, Folge habe ich leider nicht mehr auf dem Schirm)
Eben da auch schon der Hinweis, dass Unternehmen in Staaten der dritten Welt bereits Biometrischedaten für wenig Geld sammeln respektive eine biometrischer Fingerscann spätestens nach dem 10. hack schwierig wird.

Ich hoffe ich konnte der Diskussionen dienen.

Hallo Zusammen,
ih habe ChatGPT genutzt um ein redaktionellen Plot über die sehr ausschweifende Diskussion zu schreiben. Das hat 10Sec. gedauert und spart mir Zeit ob das Thema das ich gerne beitragen möchte nicht irgend wo schon genannt ist.

Hier die Zusammenfassung:
Thematischer Block 1: Verständnis und Definition von „Verstehen“

  • Jens2 und Matder diskutieren über den Begriff „Verstehen“ im Zusammenhang mit künstlicher Intelligenz (KI) und Computercode.
  • Die Frage nach einer Definition von „Verstehen“ wird als Basis für eine sinnvolle Diskussion betont.
  • Es wird auf die Unterschiede zwischen klassischer Software und KI hingewiesen, wobei die KI näher am Verständnis eines Menschen liegen soll.
  • Ein Interview mit Manolis Kellis vom MIT wird als Beispiel angeführt, um das emergente Verhalten von KI-Systemen zu erklären.
  • Es wird auf die Bedeutung des Kontexts und der Definitionen im Diskurs verwiesen.

Thematischer Block 2: Reaktionen auf KI in den USA und Deutschland

  • Es wird festgestellt, dass in den USA anfangs Begeisterung über die Möglichkeiten der KI herrschte, während in Deutschland die Fokus auf den Gefahren lag.
  • Die Unterschiede in der Wahrnehmung werden als möglicher Zusammenhang mit nationaler Persönlichkeit diskutiert.
  • Es werden Medienberichte über die KI-Diskussion in den USA und Deutschland genannt.

Thematischer Block 3: Diskussion über die Relevanz und Risiken von KI

  • Es wird betont, dass die Diskussion über KI wichtig ist, da sie erhebliches disruptives Potenzial für die Arbeitswelt und die Demokratie hat.
  • Das Thema KI wird als hochrelevant und mit potenziellen Risiken verbunden angesehen.
  • Es wird auf die unaufhaltsame Entwicklung der KI hingewiesen und die Notwendigkeit, sich mit den potenziellen Risiken auseinanderzusetzen.
  • Unterschiedliche Ansichten zur KI-Entwicklung und der Rolle von Pionieren werden diskutiert.
  • Es wird erwähnt, dass die Grundstimmung in den USA von Pioniergeist geprägt war, während in Deutschland eine vorsichtigere Haltung herrschte.

Thematischer Block 4: Kritische Stimmen zur KI-Debatte

  • Es wird darauf hingewiesen, dass es auch kritische Stimmen zur KI in den USA gibt, obwohl dort anfangs Begeisterung vorherrschte.
  • Die Motivation einiger Pioniere, die Risiken anzuerkennen und dennoch Teil der Entwicklung zu sein, wird diskutiert.
  • Es wird auf die Komplexität des Themas und die Bedeutung von Diskussionen über potenzielle Risiken hingewiesen.
  • Eine Diskussion über Definitionen und den Kontext von „Verstehen“ im Zusammenhang mit KI findet statt.
  • Es werden verschiedene Ansichten zur KI-Diskussion und zu bestimmten Unternehmen wie OpenAI und Tesla geäußert.

Das ist in der Tat wieder so eine Sache, die dazu führt, dass irgendwann grundsätzlich allen Medien ein Hinweis hinzugefügt wird, den dann kein Mensch mehr beachtet. („Dauerwerbesendung“; „Unterstützt durch Product Placement“ usw.).

Es macht einfach Sinn, bei redaktionellen Inhalten eine KI für die einfachen Arbeiten unterstützend einzusetzen. Wenn daher die Kennzeichnungspflicht von KI-generierten Inhalten zu weit angelegt wird, wird sie jede Wirkung verlieren, weil absolut alles Kennzeichnungspflichtig wird. Wird sie hingegen zu eng angelegt, wird es zu viele Wege geben, um die Kennzeichnung zu vermeiden.

Ich sehe daher eine solche Kennzeichnung auch eher als Zeichen der Hilflosigkeit und kann mir kaum vorstellen, dass eine Kennzeichnungspflicht irgend etwas bringen wird. Einzig in der direkten Kommunikation („Chatbots als Customer Service“) ist eine Kennzeichnung in jedem Fall sinnvoll.

3 „Gefällt mir“

sehr sachlich und gut erklärt.

2 „Gefällt mir“

Interessanter Vortrag.

Gerade die Entwicklungsstufen (ab Minute 44:40) von Information über Wissen über Reasoning bis zu Bewusstsein sind ja genau das, was ich oben auch beschrieben habe. Da GPT-4 zumindest eindeutig die Schwelle des „Reasoning“ überschritten hat ist der Weg zum Bewusstsein tatsächlich nicht mehr weit.

Meines Erachtens setzt das nur noch voraus, dass die KI ein aktives Gedächtnis bekommt, daher dass sie in der Lage ist, sich auch nach der Trainingsphase noch (selbständig!) weiter zu entwickeln. Daraus erwächst dann zwangsläufig etwas, das man als „Bewusstsein“ definieren kann (wenn man sich von religiös-verklärten Bewusstseins-Definitionen frei macht…). Denn das Gedächtnis ermöglicht es, „Erfahrungen“ in Interaktionen mit anderen Wesen (Menschen oder andere KIs) zu machen und sich „Meinungen“ auf diesen Grundlagen zu bilden. Sobald es darüber keine menschliche Kontrolle mehr gibt (wie das aktuell im Rahmen der Trainingsdaten zumindest begrenzt noch der Fall ist) sind wir schon sehr nah an etwas, das man auch „Persönlichkeit“ nennen könnte.

Für eine KI gilt hier tatsächlich das Gleiche wie für den Menschen: „Das Ganze ist mehr als die Summe seiner Teile“. Auch der Mensch hat, wenn man es auf Neuronen und Hormone herunterbricht, kein bestimmbares Bewusstsein, dennoch sind wir uns einig, dass so etwas wie ein Bewusstsein existiert. Es entsteht aus dem Zusammenwirken all dieser kleinen Teile. Und nur, weil eine KI keine biologischen Störfeuer wie Hormone hat, heißt das nicht, dass hier ein Programm aus einer Unmenge individueller Interaktionen mit Menschen und anderen KIs keine „Persönlichkeit“ entwickeln könnte.

Der Sprung zu einer „starken KI“ könnte in der Tat nur noch wenige Jahre in der Zukunft liegen, die LLM, um die es in diesem Vortrag geht, sind relativ eindeutig eine Vorstufe auf diesem Weg und bieten im Prinzip schon fast alles, was als Basis zur Entstehung einer starken KI nötig ist.

Aber tatsächlich hängt das alles davon ab, wie wir Dinge wie „Bewusstsein“, „Persönlichkeit“, „Intelligenz“ oder - um zu der früheren Diskussion zurück zu kommen - „Verstehen“ definieren. Der Vortrag bestärkt mich jedenfalls darin, GPT-4 zuzugestehen, „verstehen“ zu können, da „verstehen“ eine unentbehrliche Grundlage für das „Reasoning“ ist, zu dem GPT-4 zweifelsohne schon in der Lage ist.

1 „Gefällt mir“

Bei Leschs Kosmos geht es in der aktuellen Folge auch um KI-Software und ob das echte „Intelligenz“ sein kann:

Die Freiburger Informatik-Professorin Hannah Bast, die offenbar ein glühender ChatGPT-Fan ist diskutiert mit Harald Lesch, der in der menschlichen Existenz definitiv mehr sieht, teilweise sehr kontrovers.

edit:
Und beim sehr guten Podcast Denkangebote von Katharina Nocun (bei dem Ulf auch schon zu Gast war) gibt es auch eine aktuelle Folge zu KI-Problemen allgemein mit Matthias Spielkamp von algorithm-watch:

Ja, der Vortrag von Thomas Stahl ist sehr gut und sachlich !

Dass die starke Emergenz in diesen Modellen und die sich damit entwickelnden Fähigkeiten (wie „Reasoning“) etwas absolut revolutionäres - etwas so noch nie da gewesenes - sind, geht in der Wahrnehmung der Öffentlichkeit tatsächlich aktuell weitgehend unter.
Die 2017 von Google entwickelte Transformer-Architektur ist sicherlich ein wichtiger Meilenstein in der Entwicklung hin in Richtung starker KI und die aktuellen Modelle (speziell GPT-4) sind sicherlich Vorstufen zu solchen starken KI-Systemen.

Was Thomas Stahl da in seinem Vortrag zitiert, ist das altbekannte Jubbel-Paper von Microsoft (dem OpenAI-Hauptinvestor) über das Produkt von OpenAI.

Was ich daran kritisch finde, habe ich hier schon mal geschrieben:

Das sehen auch andere Leute ähnlich:

Es gibt noch mehr kritische Artikel, die sich mit dem Problem befassen, wenn Firmen ihre Werbung als Wissenschaft verkaufen, nur weil die Texte nicht in der Marketing Abteilung sondern bei der Forschungsabteilung entstanden sind. Aber die will ich hier alle nicht zitieren.

Es gibt übrigens einen sehr guten Tweet von Arvind Narayanan (Computer Science Professor in Princeton) mit einem recht guten Erklärungsansatz, warum so viele Leute, die sich nicht näher mit den technischen Hintergründen beschäftigen, auf solche Tech-Hypes hereinfallen:
tweet

Das gilt natürlich nicht für die Leute bei Microsoft Research (die wurden von oben dazu verdonnert das Paper zu schreiben), nicht für Forscher wie Frau Prof. Bast und ihren Auftritt bei Lesch-Kosmos (für Prof. Bast ist der aktuelle KI-Hype ein potenzieller Forschungsgelder-Segen) und auch nicht für Thomas Stahl (dessen Arbeitgeber „B+M Informatik“ ja KI-Lehrgänge verkauft).

Kann ich mich nur anschliessen… sich auf ein gerade heute bekanntes Tool seine Diskussion zu begründen ist bei diesem Thema aus meiner Sichtweise zu kurz gegriffen. Als Beispiel kann der heute bekannte politischer Podcast mit KI geschärften Argumenten morgen vielleicht die Mehrheit überzeugen… Frage also wer hat morgen diesen KI-Engine hierfür… Yuval überzeugt mit dem von ihm beschrieben KI Generierung von „Intimacy“ in der morgigen Welt.

Na ja, das „Sparks of AGI“ Papier ist ein durchaus interessantes, seriöses und gut geschriebenes wissenschaftliches Papier, das die kognitiven Fähigkeiten aber auch die Grenzen des GPT-4-Modells (einer frühen Version davon) nachvollziehbar analysiert. Die Analyse erfolgte rein „phänomenologisch“, also von außen beobachtend. So wie Wissenschaftler die kognitiven Fähigkeiten eines Menschen beurteilen würden (das können sie ja auch tun, ohne deren Gehirne bis ins letzte zu verstehen). Klar, man kann über den Titel streiten: was „AGI“ und „Sparks“ bedeuten ist natürlich Interpretationssache und natürlich ist nicht optimal, dass OpenAI die Details zu GPT-4 nicht publik macht. Das hat jetzt aber erst einmal nichts mit dem Papier zu tun, denn jeder kann ja GPT-4 nutzen und die proklamierten Fähigkeiten selbst nachvollziehen. Es zweifelt glaube ich niemand ernsthaft daran, dass die im Papier genannte Beispiele real sind. Thomas Stahl hat in seinem Vortrag oben ja einige davon gut erklärt. Das Papier ist z.B. hier frei zugänglich. Wenn du es nicht kennst: schaue doch mal hinein. Und wenn du methodische Kritik am Inhalt hast oder glaubst, dass etwas darin nicht zutrifft, dann wären fundierte Argumente sehr hilfreich. Einfach nur zu behaupten oder zu suggerieren, dass sei ja nur Werbung greift zu kurz.

Hier sind gleich drei haltlose Behauptungen drin, für die du keine Belege bringst.
Das Muster ist doch immer das gleiche: Sobald Experten etwas sagen, das dir nicht gefällt, versuchst du die Experten (hier die Autoren des Papiers, Frau Prof. Bast oder Thomas Stahl) persönlich anzugreifen. Anstatt sachlich auf die von den Experten vorgebrachten Argumente einzugehen. Darum geht es doch hier: um eine sachliche Diskussion. Nicht um die von dir lediglich vermuteten unlauteren Beweggründe der Experten. Fast alle KI-Experten haben beruflich mehr oder weniger mit KI zu tun. Insofern kann man fast jedem von denen unterstellen, dass sie von einem angeblichen Hype finanziell profitieren. Dass du so argumentierst zeigt, dass es dir offenbar an sachlichen Argumenten fehlt.

1 „Gefällt mir“

Es ist 2024 Wahl in Deutschland und es wird über die 2030 ‚KI‘ diskutiert (AGI - LOL). Vie interessanter ist, was heute möglich ist. Ich halte einiges von dem was so grade, in Dauerwiederholungsschleife über den Äther geht, für Gatekeeping was die Leute im Diskurs halten soll und sie daran hindert ‚ins doing zu kommen‘.

Ich hab schon mal ein paar nette Sachen gebaut und recht coole Anwendungen. Beispiel: Sich Methoden der Wissenschaftsleugnung aus einem Posting herauslesen und dann entscheiden, ob man sich damit beschäftigt.

Jede Minute, die wir grade dasitzen und uns irgendwelche Leute mit Gatekeeping reinziehen - oder der sinnfreien Wiederholung von eh schon vorhandenen Informationen - sitzt auch jemand vom Zuschnitt eines Cambridge Analytics da und entwickelt ein Brexit Tool on Stereoids.
Die ‚AI‘ Revolution ist dieses Jahr im März ordentlich losgegangen (chatgpt 3.5) und ich schätze diesen Inovationszyklus auf etwa 36 Monate ein. In so fern ist es wirklich wichtig, vom Armchairmodus zum Handeln zu kommen und sich nicht am jetzt grade von einer Informatiktechnischen Doppelnull (z.B. Precht) erklären zu lassen was auch halt Germanisten nicht verstehen - Es ist weder seine Expertise, noch ist er intelligent dazu.
Die Technik wird Mitte der nächsten Legislaturperiode schon klare Auswirkungen zeigen (Steigerung der Produktivität und wahrscheinlich Arbeitslose) und die Politik hat genau keine Antworten. In so fern sind wir Bürger sehr gut beraten, sich damit zu beschäftigen, statt hier eine Diskussion zu führen, ob jemand das Thema Overhyped um Forschungsgelder zu kassieren.

Tatsächlich würde ich sogar sagen, dass wir seit März mit GPT-4 auch schon den nächsten Innovationszyklus sehen, den ich persönlich viel beeindruckender finde als GPT-3.5 (siehe dazu auch den oben verlinkten Vortrag von Thomas Stahl).

Absolut. Wir müssen endlich ins Doing kommen. Die Zeit drängt, das Thema ist hochrelevant und wir werden womöglich tatsächlich bald Arbeitslose oder verstärkte Desinformation sehen.

Ein Problem bei der bisherigen Diskussion ist, dass das Thema KI viele verschiedene Fassetten hat, aber der komplette Austausch dazu zuletzt in diesem einen Thread „Neue Technologie: Chat GPT, KI, …“ stattfand. Dadurch war die Diskussion (wie auch HansRiegel oben schon angemerkt hat) sehr ausschweifend.
Daher der Vorschlag: lieber schneller mal ein neues Fokus-Thema anlegen und in der Überschrift klar machen, worum genau es geht (z.B. „KI: Auswirkungen auf den Arbeitsmarkt“ oder „KI: Potential zur Desinformation“ oder „KI: Gefahren durch Trainingsdaten-Bias“ oder „KI: Existenzielles Risiko“). Und dann sollten wir darauf achten, dass darin auch wirklich nur über die jeweilige Sache diskutiert wird.

1 „Gefällt mir“

Ich finde auch, dass dieser Thread hier geschlossen werden kann.

Auf Wunsch wieder geöffnet.
Bitte öffnet für Teil-Themen neue differenzierte Threads.
Wer hier noch auf der Meta-Ebene diskutieren möchte, kann das gern tun. Es wird nur bei so vielen Beiträgen irgendwann unübersichtlich, insbesondere wenn es mehrere Diskussionsstränge gibt.