die Fortschritte im Bereich der Künstlichen Intelligenz sind beeindruckend – aber auch beunruhigend. Während viel über KI im Kontext von Jobs, Regulierung oder Urheberrecht gesprochen wird, scheinen die systemischen Risiken noch immer wenig öffentliche Aufmerksamkeit zu bekommen. Dabei gibt es gewichtige Stimmen aus Wissenschaft, Politik und Tech, die vor systemischen oder gar existenziellen Gefahren durch KI warnen:
Im vergangenen Jahr unterzeichneten hunderte Fachleute (darunter KI-Pioniere wie Geoffrey Hinton und Yoshua Bengio) ein Statement, in dem es heißt: „Mit KI verbundene Risiken für das Aussterben der Menschheit sollten auf eine ähnliche Ebene gestellt werden wie Pandemien und Atomkrieg.” (Quelle)
The Elders (ein unabhängiges Gremium ehemaliger Staats- und Regierungschefs, Friedensnobelpreisträger:innen und führender Persönlichkeiten, das sich für Menschenrechte, Frieden und eine nachhaltige Zukunft einsetzt) haben die neue Initiative “Long-View Leadership” gestarted, bei der “Ungoverend AI” ein zentrales Thema darstellt. (Video)
Autor:innen wie Yuval Noah Harari weisen darauf hin, dass KI nicht nur ein technologisches, sondern ein zutiefst politisches Thema ist – mit Risiken für Wahrheit, Machtverteilung und gesellschaftlichen Zusammenhalt. (Quelle)
2023 warnte der ehemalige Bundesgesundheitsminister Karl Lauterbach im ZDF vor dem Missbrauch von KI zur Entwicklung neuartiger Biowaffen: „Es ist ganz klar, dass mt Künstlicher Intelligenz die Entwicklung von Pandemien deutlich vorantreiben wird.” (Quelle : Video ab Sekunde 38))
Mich würde sehr interessieren, wie ihr das seht – und ob die Lage diesen Blickwinkel auf das Thema KI vielleicht einmal in einer Episode aufgreifen sollte. Sind solche Warnungen überzogen und es gibt aktuell keinen triftigen Grund zur Sorge – oder ist das tatsächlich eine gesellschaftliche Debatte, die wir mehr und breiter führen sollten?
Wenn ihr hilfreiche Quellen, Perspektiven oder Anlaufstellen kennt, um mehr über diese Aspekte zu lernen, freue ich mich sehr über Empfehlungen, Gedanken, Ergänzungen und Einschätzungen!
Ich würde dieses Thema begrüßen. Ein Tipp dazu: Nur wenn man gleich am Anfang mal aufdröselt, was mit „KI“ gemeint ist, kann man mit minimaler Tiefe drüber sinnieren:
Einmal wird „KI“ zur Zeit mit generativen Modellen, LLMs (ChatGPT, Llama, Claude, …) gleichgesetzt. Die würfeln auf Grundlage menschengeschriebener Texte Wortfolgen, die echter Sprache verblüffend ähnlich sind. Aber genaugenommen ist das Ergebnis weder künstlich noch intelligent. Es gibt ein paar sinnvolle Anwendungen, aber auch Gefahren: In Schule und Studium werden Methoden der Leistungsüberprüfung unbrauchbar, WWW und Suchergebnisse werden wegen „AI-Slop“ unbrauchbar, Propaganda kann automatisiert werden, …
Andererseits gibt es „KI“ auch in Form spezialisierter Anwendungen, die mit quantifizierbaren Unsicherheiten seriös bei der Beantwortung wichtiger Fragen helfen: Welche Bäume sind auf diesem Satellitenbild? Ist auf diesem Röntgenbild ein Tumor? Muss das Auto jetzt bremsen, um einen Unfall zu vermeiden? …
Auch solche Anwendungen können gesellschaftlich problematisch sein, wenn z.B. Verantwortung für Entscheidungen auf den Algorithmus abgeschoben wird, oder wenn die Algorithmen gesellschaftliche Ungerechtigkeiten verstärken (siehe Cathy O’Neils „Weapons of Math Destruction“).
Und schließlich haben wir da noch diese quasi-religiöse Besessenheit in Interaktion mit dem Marketing durchgeknallter Investoren (Altman, Musk, Thiel, …), die von „Artificial General Intelligence“ faseln, und dabei irgendetwas zwischen Gott und Skynet meinen …
Was unterscheidet denn „echte“ von „unechter“ Sprache?
Die Texte, die moderne LLMs ausgeben, sind, wenn die Eingaben stimmen, für mich von menschengeschriebenen Texten nur durch ihren Stil und die fehlenden Fehler zu unterscheiden.
Wann ist ein Ergebnis denn künstlich? Und wann ist es intelligent?
Ich glaube aber, dass das in die falsche Richtung führt. Am Ende des Tages macht es keinen Unterschied, ob eine Programmausgabe durch schlaues Raten, maschinelles Lernen, Münzwurf oder ein transdimensionales Orakel entsteht. Was zählt sind die Implikationen für die Gesellschaft, die du schon richtig ansprichst.
Dabei können Nutzen und Gefahren Hand-in-Hand gehen. Eine ganz konkrete Auswirkung vom Fortschritt der Computerprogramme sehen wir aktuell, wenn man versucht, als Junior-Informatiker oder Quereinsteiger einen Job zu finden: Es ist sehr schwierig. Das lässt sich zum einen an der aktuellen Wirtschaftslage begründen, aber auch die LLMs tragen hier meiner Meinung nach einen großen Beitrag, weil sie die Aufgaben der Junioren im Kosten-Nutzen-Verhältnis zumindest in der Software-Entwicklung schon sehr gut übernehmen können (Support, Betrieb usw. ist nochmal ein anderes Thema). Für die Unternehmen ist das erstmal ein Vorteil, weil sie ihre Produkte günstiger anbieten können. Für die jungen Arbeitnehmer ist es eine Gefahr, weil die Hürde zum Einstieg in die Branche viel höher wird.
Konkret zum Thema Gesellschaft und Demokratie sehe ich die größte Gefahr in der Art, wie wir Menschen Informationen verarbeiten. „Flood the zone with shit“ wird viel leichter, wenn sich der „shit“ quasi-automatisiert erstellen lässt. Unter jedem Youtube-Video eines vom öffentlichen Rundfunk geposteten Videos findest du mittlerweile innerhalb von Minuten nach Upload eine Reihe automatisch generierter Kommentare. Wenn wir das Thema „Authentizität“ von Menschen und Nachrichten im Web nicht geregelt bekommen wird dieses als Basis für einen Informationsaustausch immer weniger durchführbar werden.
Ich bin Softwareentwickler, experimentiere mit Copilot und Claude Code. Es kostet Zeit und Mühe, das mit Gewinn in den Workflow zu integrieren - wie bei jedem Tool. Das Potential, das eigentlich Schreiben von Code zu beschleunigen ist da, aber ein LLM kann keine Entwickler*in ersetzen. Ich glaube wirklich, dass da Fake News gestreut wird.
.
Unter „Sprache“ verstehen wir i.A. ein System zur Kommunikation, zur Übermittlung von Wissen, Erfahrung, Bedeutung, Information, Gefühl, … Mit „echter Sprache“ meine ich, dass Sprache als Vehikel für Bedeutung ausserhalb von Sprache benutzt wird. Das muss kein Mensch sein: Wenn der Computer mir sagt „File not found“ drückt das eine Realität (Betriebssystem, Filestem, Massespeicher) aus.
Bei LLM-generiertem Text gibt es keine Realität darunter. Niemand, der dir etwas mitteilen möchte. Keine Mitteilung. Kein Modell der Welt, das in Sprache übersetzt wurde. Das nenne ich „fake Sprache“, weil’s halt nur so aussieht, aber nicht das ist, was wir normalerweise bekommen, wenn wir Sprache konsumieren.
Ich reite so drauf rum, weil große Gefahren meines Erachtens darin begründet sind, dass viele Leute das nicht wissen.
Würde ich so tatsächlich nicht sagen. Wenn man den Agent entsprechend aufbaut über eine gewisse Zeit können damit sehr wohl Entwickler ersetzt werden. Besonders bei einfacheren Skripten und Anwendungen. Ich sehe auch viele Marketing- und Social Media Mitarbeiter in Gefahr. Wir konnten jetzt auch mit einem Agent problemlos einen Newsletter mit Grafiken erstellen lassen.
Das KI Gefahren birgt ist klar. Allerdings ist es ein Werkzeug und nur so gefährlich wie der Nutzer. Natürlich braucht es da Regulierung. Allerdings wäre die zunächst bei den wesentlichen schlimmeren Diensten wie Tik Tok und Insta angebracht.
du hast recht - diese Diskussion fehlt total in Deutscjhland!
Zu den Kommentaren hier: Finde es gut, dass verschiedene Perspektiven vertreten sind. @hvw hat bei den aktuellen Problemen (Propaganda, Fake News) definitiv recht. Aber ich glaube, wir unterschätzen massiv was in den nächsten 1-3 Jahren kommt.
Warum ich mir Sorgen mache:
Aktuelle AI-Systeme sind die schwächsten, die wir je wieder sehn werden
Erste echte Agenten (Claude Code, Operator) kommen grade raus - können bereits stundenlang autonom arbeiten (Introducing Claude 4 \ Anthropic)
In experimentellen Settings können sie schon: Server mieten, sich selbst duplizieren, langfristig planen, bei Biowaffen helfen
Das eigentliche Problem:
Eine handvoll Firmen entwickelt demokratisch unkontroliert eine neue „Spezies“ - Systeme die sich replizieren und autonom agieren können, erfüllen wissenschaftliche Kriterien dafür.
Wenn die Timelines von https://ai-2027.com/ stimmen (kann man sogar dagegen wetten), haben wir vielleicht 1-2 Jahre für vernünftige Governance.
Das sollten wir diskutieren - die Relevanz ist einfach enorm hoch, egal welche Position man vertritt.
Eine Lage-Episode dazu wäre echt wertvoll, um verschiedene Perspektiven zu beleuchten.
Ich bin auch ein Softwareentwickler und benutze erfolgreich Claude (durch aider), um Commits/Pull Requests zu erstellen. Es funktioniert nicht gut genug, um das Programm autonom als Agent fliegen zu lassen, aber ich erstelle heute Applikationen in Stunden, die mich früher Tage gekostet hätten, und lasse das Programm in Minuten Code erzeugen, für den ich früher einen Junior eine Stunde lang anleiten und dann 2 Tage lang hätte programmieren lassen müssen. Also Fake News sind das für mich jetzt nicht…
Najut, wenn die Timelines stimmen haben wir noch 5 Jahre, bevor wir entweder in einem AI-gesteuerten Utopia leben oder die Menschheit ausgelöscht wird. Bevor „wir“ als Deutschland/Europa da überhaupt irgendwas machen müssten wir überhaupt erstmal zu einem relevanten Gewicht in dem Feld werden. Aktuell sieht es ja danach aus, dass die USA und China hier Fakten schaffen und wir uns mit unserer Governance höchstens selbst einschränken können. Ich befürworte das nicht, was die Amerikaner und Chinesen machen, weil die Trainings von den großen Modellen aktuell nur unter großem Rechtsbruch geschehen. Fragt sich: Können wir an der Ursache überhaupt noch was ändern?
Ich finde es auch ein extrem relevantes Thema - heute kam z.B. ein FAZ Gastbeitrag zur fehlenden deutschen AGI Preparedness - erschienen von Monika Schnitzer (Vorsitzende der Wirtschaftsweisen, schon mehrmals bei der Lage im Interview) und Daniel Privitera (einer der einflussreichsten AI Governance Leuten in Deutschland).
Es ist also wirklich keine Randmeinung mehr und viel zu wenig auf dem Radar der deutschen Politik.
Gut, dass das Thema KI und insbesondere AGI (Artificial General Intelligence) hier zur Sprache kommt – diese Debatte fehlt meiner Meinung nach in Deutschland.
Während in den USA (Taskforce zu KI Sicherheitsfragen), China (AGI als strategisches Ziel und massive Investitionen) oder UK (Frontier AI Taskforce) die Möglichkeit einer baldigen AGI längst ernsthaft diskutiert und politisch adressiert wird, gibt es hier soweit ich weiß nichts vergleichbares.
Ich sehe in Deutschland keine Strategie, wie wir mit den Chancen und Risiken von KI und insbesondere AGI umgehen wollen.
Ich glaube auch, dass wir unterschätzen, wie schnell sich die Lage verändern kann: Die Timelines, die viele internationale Expert:innen für AGI nennen, liegen bei nur wenigen Jahren. Ich bin keine technische Forscherin, aber denke, dass die, die sich mit der Materie auskennen und auch wissen, was zurzeit in den großen AI Labs passiert realistischere Einschätzungen treffen als wir das ohne Hintergrundwissen können.
Ihr @thunfischtoast und @EvanderHammer weist darauf hin, dass wir in Europa und speziell in Deutschland ohnehin kaum noch Einfluss auf die Entwicklung nehmen können, weil die großen Player in den USA und China sitzen. Das stimmt – aber gerade deshalb sollte Deutschland sich einsetzen, um zumindest handlungs- und anschlussfähig zu bleiben.
Was mich interessieren würde: Was könnten Kernelemente einer deutschen AGI-Strategie sein?
Die Organisation KIRA (Start — The KIRA Center) hat Vorschläge geschrieben, die mir sinnvoll erscheinen, hier ein Auszug:
KI-Standort Deutschland stärken
KI-Nutzung in Industrie und Mittelstand fördern
kurzfristig Fokus auf lokale Adoption & Assurance-Lösungen
langfristig Stärkung der europäischen KI-Infrastruktur
Bevölkerung vor Risiken schützen
Einsatz für internationale Mindestsicherheitsstandards
Resilienz gegenüber KI-Schäden in Bereichen wie Cybersicherheit und Desinformation
Kapazitäten für Risikoevaluationen fördern
Staatliche Kapazitäten aufbauen
Rekrutierung führender Fachleute aus Forschung und Industrie
enge Zusammenarbeit mit internationalen Partnern (z. B. European AI Office)
Einrichtung eines ständigen KI-Rates beim Bundeskanzleramt
Interessant. Ich bin vielleicht zu ignorant, was andere Arbeitsumgebungen angeht. Deine Beschreibung kommt vielleicht aus einem Unternehmen, wo sehr arbeitsteilig entwickelt wird? Du hast einen Requirements Engineer, einen SW-Architekten/Designer und einen Test-Engineer? Gehört alles zur SW-Entwicklung, kann man aber sicher nicht Claude überlassen. Aber auch reine Codeerzeugung/Problemlösung auf Sprachebene: Für mich eher eine Weg, schneller Infos zu finden, die ich sonst direkt von StackOverflow hole, außer, dass ich da Kontext, Datum, … habe. Sehr hilfreich finde ich Claude hingegen beim Lernen eine neuen Sprache.
Schön wärs das ist offtopic, deswegen verstecke ich es:
Zusammenfassung
Ich bin gelernter Informatiker und war früher in einem Beratungs-Unternehmen bis zum Teamleiter tätig, deswegen weiß ich, wie es ist, Junioren anzuleiten. Heute bin ich als Wissenschaftler an einer Uniklinik, wo man dann Architekt, Designer, Anforderungsentwickler, Agile Coach, Tester und Anwender in Personalunion ist… es ist auch nicht so, dass die LLMs das alles perfekt können. Wenn ich aber sehr eng spezifiziere kommen da schon sehr solide Klassen und Funktionen raus. Dann muss ich meistens ein paar Runden drehen, da die Programme dazu tendieren, sehr verbos zu coden, mehrere fast identische Funktionen zu erstellen usw. Wenn man da mit Erfahrung drauf schaut bin ich aber immer noch viel schneller, als das alles selbst zu tippen. Ich finde es auch hilfreich, mir Vorlagen generieren zu lassen, z.B. für ein Anforderungs-Dokument, wo ich dann „nur noch“ Lücken füllen muss.
Ich denke, dass wir etwas trennen müssen zwischen:
Umgehen mit den Folgen der Nutzung von KI
Die Förderung von KI-Anbietern in Europa, am besten mit ausnahmsweise fair trainierten Modellen, einem Vergütungssytem für „Datenspender“, am besten mit grüner Energie betrieben usw.
Das Handling von AGI / einer hypothetischen Super-Intelligenz
Die ersten beiden Sachen sind recht konkret, bei letzterem weiß ich nicht, ob man sich überhaupt darauf vorbereiten kann, oder ob die Vorbereitung im Moment seiner Erfindung nicht hinfällig ist…
Coding: Stimme voll zu - deine Erfahrwung mit aider/Claude deckt sich mit dem was ich höre. Das ist definitiv nicht „Fake News“ sondern schon ziemlich transformativ für Entwickler.
Deutschland/Europa: Du hast recht, wir sind definitiv nicht führend und werden es wahrscheinlich auch nicht. Aber ich denke das ist paradoxerweise fast ein Vorteil für Regulation - weil wir wirtschaftlich nicht großartig geschadet werden wenn wir Technologien regulieren die wir eh nicht haben
Was Deutschland international pushen könnte:
Chip monitoring (ist bereits teilweise im Gange)
Koordinierte Pause-Mechanismen - aktuell hat man ja gar nicht die Möglichkeit Datencenter weltweit abzuschalten wenn was schiefgeht
International koordinierte Standards - SB 1047 in Kalifornien war ein guter Versuch, sowas könnte man europäisch/international pushen
Das Ziel: Nicht AI stoppen, sondern gefährliche AI-Trainings koordiniert regulieren bevor es zu spät ist.
Stimme dir zu - die Timelines sind definitiv alarmierend. Und ja, China/USA schaffen Fakten. Aber vielleicht können wir wenigstens den Rahmen mitgestalten in dem das passiert?
Ich fänd es wirklich interessant wenn Lage der Nation das mal besprechen würde - auch was es da für konkrete Möglichkeiten gibt. Man kann leicht sagen „Deutschland sollte dafür pushen“, aber wie das dann ganz konkret aussehen könnte wär echt spannend zu hörwen
Danke, sehr ausführlich. Wenn ich das so lese, kommt es meinen Erfahrungen wieder näher: schneller tippen (lassen), erster Aufschlag für eine Gliederung oder Struktur, solche Sachen. Ist für mich weit entfernt von „Softwareentwicklung“ (vgl. z.B. SWEBOK oder „Intelligenz“ und der revolutionäre Impact ist auch noch etwas emtfernt. Gibt es auf GitHub irgendeine ernstzunehmende Software mit Autorenangabe Claude oder CoPilot?
AGI: Halte ich wirklich für Marketingquatsch. Auch wenn einem die technische Intuition nicht sagt, dass ein stochastischer Papagei wie GPT keine Chance hat, Menschen durch überbordende Intelligenz gefährlich zu werden, könnten wir bei „Expertenquellen“ wenigstens darauf achten, dass dahinter nicht die Konzerne stehen, deren Aktienkurse direkt von der Erwartung an ihre „KI“-Produkte abhängen.
Letztlich schießt sich die Wirtschaft mit diesem Verhalten ordentlich ins Knie: Wenn sie Junior-Entwickler durch KI ersetzen, wird es bald keine erfahrenen Senior-Entwickler mehr geben und damit auch keine neue Trainingsdaten für KI.
Das ist das alte Argument „LLMs sind doch nur stochastischer Papagei“, das also LLM letztlich ein auf Basis von Wahrscheinlichkeiten wild zusammengewürfelter Text ist, der nur scheinbar Sinn ergibt.
Wenn dem so wäre, warum sind die Ergebnisse dann oft verblüffend hilfreich und zutreffen?
Ich lasse z.B. häufiger Text zwischen Deutsch und Englisch übersetzen, obwohl ich beide Sprachen (im Fall von Englisch: annähernd) fließend spreche. Fehler sind mir dabei noch fast nie begegnet.
Ich lasse häufig eigenen Text korrekturlesen. Einwandfrei, sowohl Rechtschreibung, als auch Interpunktion.
Ich lasse häufig Textentwürfe mit Vorgaben zu Länge und Stil umformulieren. Ist in aller Regel deutlich besser, als mein Original.
Ich lasse häufig Sachverhalte recherchieren. Abhängig von der Qualität des Prompts und den Vorgaben zu den Quellen sind die Ergebnisse verblüffend oft besser, als hätte ich selbst recherchiert. Dennoch gibt es v.a. bei dieser Anwendung Halluzinationen = Fehler, oft mit einer angeblichen Quelle, in der die Behauptung gar nicht aufgestellt wurde. Irgendwie sind LLMs nicht in der Lage, „ich weiß es nicht“ zu sagen.
Die guten Ergebnisse liegen wohl daran, dass das LLM mit seinen Trainingsdaten halt doch ein „Modell der Welt“ haben. Man darf nicht vergessen: Die „guten“ LLMs werden mit fast unendlich vielen Daten trainiert. Das sind so viele Daten, dass die Hersteller große Mühe haben, überhaupt noch weitere Daten zu finden, mit denen sie trainieren können.
das ist offtopic, deswegen verstecke ich es:
