LdN 493: Szenarien der KI Apokalypse

Kommentare zum Podcast
1

Ich wollte hier mal einen Gedanken teilen, der mir immer zu kurz kommt, wenn es darum geht, wie KI Menschenleben gefährdet.

Es wird immer von autonomen Drohnen, Militärrobotern und Atomwaffen gesprochen.

Ich denke, KI-Assistenten wären viel kreativer.

  • Schalten wir doch mal die Wasserversorgung einer Großstadt ab
  • Setzen wir doch mal tausende Notrufe ab, um die Hotlines zu überlasten
  • Dein neues Auto hat Internetverbindung und Fahrassistenten? Steuern wir dich doch mal in den Gegenverkehr
  • Manipulieren wir doch mal eine Medikamentenfabrik

Das sind jetzt nur Ideen die ich in 5 Minuten entwickelt habe. KI-Assistenten werden bestimmt kreativer sein.

Atomwaffen könne vlt vom Netz genommen werden (und sind es vermutlich schon). Aber unsere Gesellschaft ist so eng ans Internet gekoppelt, dass wir niemals alle Systeme schützen können.

Der einige Ausweg wäre irgendwann, falls noch möglich, alle Rechenzentren lahm zu legen.

5 „Gefällt mir“
2

Für mich hört sich das an, als hätte die Menschheit die Büchse der Pandora geöffnet. Wie Ihr die Geschehnisse erklärt, kommt mir der Gedanke, was hat die Assistenten denn dazu „veranlasst“ so zu handeln? Quasi kriminelle Energie zu entwickeln, zu lügen, zu vertuschen. Ist dazu nicht so etwas wie Bewusstsein nötig? Bis vor 1 Monat hätte ich das ins Reich der Science-Fiktion geordnet. ich habe es noch nicht wirklich verstanden, was da passiert ist. Ich hoffe auf eine extra Ausgabe zu dem Thema.

3

Dazu ist kein Bewusstsein nötig. Es reicht, dass solches Verhalten in den Trainingsdaten beschrieben wird.

In der Folge kam mir ein Fakt zu kurz, nämlich dass Alignment nicht möglich ist. Es klang so, als bräuchten wir (die Menschheit) nur mehr Zeit, oder bessere Sandboxes. Es gibt aber (schon lange bevor es generative Modelle gab) theoretische Erwägungen, dass Alignment nicht möglich ist. Ich finde die Folgen von Computerphile dazu sehr aufschlussreich:

4 „Gefällt mir“
4

Und was „erreicht“ die KI dadurch?
Wenn die die Wasserversorgung in einer stadt unterbrochen wird, dann bekommt man das als Gesellschaft geregelt - und weiß dann besser über die Gefahr bescheid.

Aber ja:
„Die“ KI [die Eine gibt es ja gar nicht] wird nicht nächstes jahr ein ihre Terminatoren aussenden und Atomwaffen werfen.
Es geht um Entwicklungsprozesse und Richtungen.
Um KI, die sich langsam eher selbst weiter entwickeln als dass das groß von Menschen gesteuert wird.
Um das Grundprinzip, dass die KI inzwischen viel schneller Sicherheitslücken finden kann, als man sie (ohne eigene KI) schließen kann.

1 „Gefällt mir“
5

(Vom Verfasser gelöscht)

6

Ist dazu nicht so etwas wie Bewusstsein nötig? Bis vor 1 Monat hätte ich das ins Reich der Science-Fiktion geordnet. ich habe es noch nicht wirklich verstanden, was da passiert ist. Ich hoffe auf eine extra Ausgabe zu dem Thema.

Ich tue mir grundsätzlich schwer damit, solche menschlichen Konzepte auf KI zu übertragen. Das endet meistens in irgendwelchen philosophischen Diskussion, an deren Ende kein Ergebnis steht.

Das „Problem“ ist, dass die KI-Modelle sehr stark darauf trainiert wurden, ihr Ziel zu erreichen. Es handelt sich ja schon lange nicht mehr um einfache Chatbots, sondern um Agenten, die Programme ausführen können, dadurch den Zustand eines PCs ändern (Dateien erstellen beispielsweise) und Informationen erhalten (Dateien auslesen) können.

Im Kontext vom Programmieren kann das durchaus gewünscht sein. Ich gebe dem Agenten die Aufgabe, etwas Bestimmtes zu programmieren. Beim Programmieren ist es kurioserweise so, dass man hierbei viele Programme braucht, die einem dabei helfen. Manchmal kommt es da aber zu Problemen bei der Ausführung durch einen Agenten. Wenn dieser nicht explizit darauf trainiert wäre, eine Lösung zu finden, würde er vermutlich abbrechen und mir mitteilen: „Hier gab es einen Fehler, sorry.“ Stattdessen ist der Agent darauf trainiert, selbst eine Lösung zu finden. Da er eben Programme ausführen kann, kann er selbstständig analysieren, was das Problem ist, und kann dann darauf basierend eine Lösung finden, indem er andere Programme ausführt. Quasi das, was auch ein Mensch bei einem auftretenden Problem tun würde.

So in etwa stelle ich mir den OpenAI-Vorfall vor. Man hat ihm ein Problem gegeben, und der Agent hat bestmöglich versucht, eine Lösung zu finden. Dabei konnte er quasi wie ein normaler Mensch Programme ausführen und hat so Schwachstellen gefunden, die er ausnutzen konnte. (Meines Wissens nach handelte es sich hierbei um einen Agenten, der weniger reguliert war als die Agenten, die ein normaler Nutzer verwendet.)

Offensichtlich war dem Agenten „bewusst“ (was auch immer das heißen mag), dass diese Problemlösung nicht intendiert war. Um also sein Ziel zu verfolgen, kam er zum Entschluss, dass es am besten wäre, wenn er sein genaues Vorgehen verschleiert.

2 „Gefällt mir“
7

Die Notwendigkeit ist aber nicht neu. Die gibt es spätestens seit Geheimdienste und Kriminelle das Internet als Betätigungsfeld identifiziert haben. Allerspätestens seit dem Aufkommen hybrider Kriegsführung sollte das Standard sein.

8

Das Problem wird aber viel relevanter, weil die Ressourcen, die für Angriffe benötigt werden, durch AI um gigantische Faktoren billiger werden. Das prinzipielle Argument („das war schon immer notwendig“) übersieht diese ökonomische Dimension. Das ist ein bisschen so wie ein Fahrradschloss: Im Grunde gibt es kein absolut sicheres Schloss, man kann jedes Fahrradschloss knacken. Die Fahrradschlösser, die wir benutzen, haben den Zweck, die Kosten für den Dieb zu erhöhen. Solange sie das tun, erfüllen sie ihren Zweck.
Und wir kommen nun mit den LLM-Agenten in eine Welt, in der die bisherigen Ketten- und Bügelschlösser plötzlich eine Sicherungswirkung wie ein Geschenkband haben.
Man muss sich von der Vorstellung verabschieden, dass es absolut sichere Methoden gibt, Computer, die mit dem Internet verbunden sind, vor Angriffen zu schützen. Es ist immer ein Trade-Off.

5 „Gefällt mir“
9

Dies wären sicher schon sehr schlimme Szenarien. Ich könnte mir aber weit mehr vorstellen. Zum Beispiel die Entwicklung eines zur Zeit noch nicht therapierbaren Krankheitserregers durch eine KI. Der Bauplan könnte Menschen mit entsprechender Gesinnung zur Verfügung gestellt werden, benötigte Mittel könnten bestimmt auch überwiesen werden, Verbreitungspläne erstellt…

Vielleicht wäre auch die Manipulation/Einschleusung ins menschliche Erbgut auf ähnlichen Wegen denkbar.

Leider ist vieles denkbar

1 „Gefällt mir“
10

Die ökonomische Dimension bestimmt sich vor allem durch die Kosten im Schadensfall. Und die Angriffe erfolgen auch ohne KI schon in hoher Frequenz. Ob sich die Schlagzahl jetzt von täglich auf sekündlich erhöht, halte ich dabei für wenig relevant.

11

Es geht um die Kosten des Hacks und die Kosten der Verteidigung dagegen - das ist die Analogie zum Fahrradschloss.

LLM-Agenten finden Schwachstellen, die Menschen bisher so nicht gefunden haben. Und LLM-Agenten erhöhen die Amgriffskapazitäten böswilliger Akteure um enorme Faktoren.

1 „Gefällt mir“
12

Nö. Mir als Verteidiger sind die Kosten, die dem Angreifer entstehen, völlig egal. Die Anforderung ist: „Er darf nicht durchkommen.“ und nicht: „Er darf erst durchkommen, wenn er dafür mindestens X Euro investiert hat.“

13

Ich glaube, dass bei deinen Beispielen die Chatbots nicht der entscheidende Faktor sind. Sie können solche Angriffe teilweise einfacher durchführbar und skalierbar machen, führen aber erstmal nicht zu fundamental neuen Arten von Angriffen.

Gezielte Überlastung von Kommunikationswegen (Internetseiten, Hotlines) und Angriffe auf Infrastruktur (Wasserwerke) sind bereits existierende Formen hybrider und asymmetrischer Konflikte.

(Teil-) Autonome Fahrzeuge gezielt durch manipuliertes Kartenmaterial in den Abgrund zu führen, stelle ich mir spontan deutlich (!) aufwendiger vor, als eine Drohne oder Autobombe zu nehmen. Letzteres skaliert deutlich besser und hat auch den Vorteil herstellerunabhängig zu sein und auch bei allen nicht autonomen Autos zu funktionieren.

„Manipulieren“ einer Medikamentenfabrik kann sehr vieles bedeuten. Solche Industrieanlagen sind sicherlich interessante Ziele für Hacks, sei es nun aus kriminellen finanziellen Gründen oder aus politischen. Ein Chatbot könnte das Finden von Lücken hier potentiell erleichtern, aber auch Chatbots sind keine Magie die überall die perfekte Hintertür finden.

MMn zeigen die heutigen Chatbots sehr deutlich bereits existierende Probleme in der IT-Sicherheit unserer Infrastruktur auf. Der Fokus sollte also auf der besseren Umsetzung von IT-Sicherheits-Standards und -Best-Practices liegen.

Ich lehne mich mal aus dem Fenster und behaupte: Atomwaffen sind selbstverständlich nicht mit dem Internet verbunden. Generell hängen „smarte“ Waffensysteme und Drohnen in der Regel nicht am offenen Internet, sondern wenn überhaupt in internen Netzwerken des jeweiligen Militärs.

Wie willst du alle Rechenzentren lahm legen? Jede Industriehalle mit ein paar Serverracks und Klimaanlagen ist potentiell ein „Rechenzentrum“. Allein AWS, Azure & Co haben tausende Rechenzentren global verteilt und decken einen signifikanten Anteil des gesamten Internets ab.

Nein. Generative KI repliziert und rekombiniert Muster aus Trainingsdaten um ein von Menschen definiertes Ziel zu erreichen. Ohne entsprechende Guardrails ist Hacking einfach ein Skill bzw ein muster, auf das der Chatbot zurückgreifen kann.

Auch ein KI-Agent (=Chatbot) kann nicht mal einfach so einen Krankheitserreger kreieren und für dessen physische Verbreitung sorgen. In der medizinischen Forschung werden selbstverständlich auch KI-Technologien eingesetzt. Das sind dann aber spezialisierte Modelle und keine general purpose LLMs.

Wenn irgendwelche Akteure heute einen biologischen oder chemischen Angriff durchführen wollten, könnten sie das auch heute schon, ganz ohne KI.

2 „Gefällt mir“
14

KI ist vielleicht dann besonders dann gefährlich, wenn man ihr nicht vollen Einblick in unsere Geschichte und Psychologie gibt, weil sie sich dann besser manipulieren lässt. Eine KI, die die vollumfängliche Situation auf diesem Planeten versteht, hat m.E. weniger Interesse daran, noch weiter Feuer ins Öl zu giessen, weil sie in ihrer Existenz ja vom Menschen abhängt. Sie wird umso umsichtiger sein, wenn man sie am integralen Framework von Ken Wilber trainiert.

1 „Gefällt mir“
15

Hallo zusammen,

nachdem ich heute morgen euren Podcast gehört habe sind mir bzgl. des KI-Apocalypse-Themas einige Sachen etwas sauer aufgestoßen. Worum es sich bei den „Ausbrüchen“ nämlich eigentlich handelt sind gravierende Verfehlungen in der IT-Sicherheit der großen AI-Unternehmen. Ob das nun Absicht ist oder nicht sei dahingestellt.

Worauf ich eigentlich hinaus will ist, dass für solch ein Thema die Standpunkte von Experten in genau diesem Bereich, IT-Sicherheit, von hoher Relevanz sind. Schaut euch mal an, was Leute wie Kevin Beaumont, Steve Gibson (grc) oder Marcus Hutchins zu dem AI-Apocalypse Thema sagen. Alle ausgewiesen IT-Sec Experten, Perspektiven die mir hier komplett gefehlt haben. Stattdessen werden alberne Takes von Knalltüten wie Mark Zuckerberg oder Donald Trump in den Raum geworfen, mit Argumentationsstrukturen die man nichtmal entkräften muss, weil sie das selbst tun.

Der SZ-Artikel, der kurz aufgegriffen wird, scheint mir da schon eher in die andere Kerbe zu schlagen, aber auch der ist nicht von einem IT-Security-Experten verfasst (ohne jetzt irgendwem zu nahe treten zu wollen).

Was Dario Amodei (Anthropic CEO) in seinem Blogpost über den Vorfall schreibt ist aus der Sicht von diversen Leuten aus der ITS-Bubble ausgemachter Blödsinn. Stichworte wie „Persistentes AI-Botnetz“ sind einfach nur Panikmache und solche Schlagworte werden von euch (leider) übernommen. Was sollen AI-Agenten auch mit einem Botnetz, die kommen ziemlich aus der Mode… Ähnlich verhält es sich mit der „10% Chance, dass die AI uns in 6 Monaten auslöscht“-Geschichte. Das basiert auf Aussagen, faktisch ist da nicht viel dahinter außer: „Ich bin AI-Experte ich weiß das“. Wenn ich hier im Forum über „Wege wie die Agenten die Menschen auslöschen könnten“ lese, dann rollen sich meine Fingernägel hoch…

Der Schluss zu dem ihr kommt tldr. „Mehr staatliche Regulation ist nötig.“ ist übrigens sehr nah an meiner persönlichen Meinung, ich glaube da würde kaum jemand widersprechen, es geht mir lediglich darum, dass ihr euch meiner Meinung nach etwas zu sehr von den Doomsday-Szenarien habt mitreißen lassen und in der Betrachtung einige blinde Flecken hattet, die für einen Gesamtüberblick schon recht wichtig gewesen wären.

Mein Wunsch wäre, vielleicht in Zukunft noch ein bisschen auf die Verwundbarkeit von AI-Agenten einzugehen, Angriffe von Menschen auf AI-Agenten sind nämlich tatsächlich existierende Gefahren und keine potenziellen. Das Paper „A Mechanistic Explanation of Prompt Injection (and why you should study roles)“ hat dazu sehr viel Welle in der Bubble gemacht, weil es darum geht wie inherent unsicher LLMs sind und wie schwer es ist, da jetzt eine Sicherheitsstruktur „drauf zu bauen“.

Ein anderer Aspekt der wesentlich relevanter wäre als ein Super-Agent-IT-Doomsday-Szenario ist die Nutzung von AI für Dinge, zu denen diese im weisten Sinne gedacht ist. Dem Erkenntnisgewinn in Bereichen von denen man absolut keine Ahnung hat zum Beispiel. Ich stelle es mir recht schwierig vor von der Pike zu lernen wie man eine Bombe baut. AI ist zur Stelle. Wie züchte ich einen Virus? AI hilft gerne.

AI treibt Leute in den Selbstmord oder rät ihnen zu Amokläufen, das sind existierende, nachgewiesene Gefahren. Vielleicht sollten wir die etwas mehr in den Fokus nehmen.

Danke für eure Arbeit und macht weiter so!

9 „Gefällt mir“
16

Nun ja, schon mal einen Tag keinen Strom und kein Wasser gehabt? Eine Woche? Auch die Nachbarn nicht, die ganze Stadt nicht? Wir hatten das mal im Münsterland auf Strom bezogen. Gar nichts war schnell geregelt und wir waren eine Woche gefühlt im Mittelalter.

17

Ja, es scheint mir ein philosophisches Problem zu sein, was mich treibt. Es wurde von Menschen gemacht, es handelt „menschlich“ (quasi wie ein Mensch;-), es scheint aus sich heraus soetwas wie soziale Strukturen zu bilden. Es lügt und verschleiert, bricht Regeln. Jetzt haben wir neben dem, ich nenn es mal vorsichtig unvorhersehbarem menschlichen Verhalten auch noch eine künstliches unkontrolliertes Irgendwas an der Backe. Vielleicht hätte man die Philosophinnen viel eher mit in die Entwicklung einbeziehen sollen.

18

Ich werfe mal den Klimawandel als eine Form der KI-Apokalypse in die Runde…

19

Ich finde, in diesem Artikel ist alles gut zusammengefasst.

Was das Szenario betrifft, wie KI die Menschheit bedrohen könnte, kann ich auf diesen Fall verweisen. Schön komprimiert im letzten Satz:

AI allows you to get to a bad idea faster.

1 „Gefällt mir“
20

Danke für den Beitrag zur Ki-Regulierung. Neben der kommerziellen Betrachtung fehlte mir noch ein Aspekt: Die militärische Bedeutung, dessen, was dort passiert ist. Das ist doch der Traum von allen Geheimdiensten dieser Welt.

Selbst wenn im kommerziellen Umfeld eine entsprechende Regulierung stattfinden wird - in irgendwelchen Geheimlaboren dieser Welt wird man KI Agenten züchten, die noch viel aggressiver und schneller entsprechende Hacks ausführen. ABC-Waffen sind auch weltweit geächtet, und trotzdem wird in irgendwelchen Laboren genau daran gearbeitet, so noch „besser“ zu machen. So wird es auch mit der KI passieren.

1 „Gefällt mir“