KI als existentielles Risiko für die Menschheit

Themenvorschläge
1

Ich weiß, es klingt erst einmal verrückt. Aber die Zahl der Experten, die vor den Risiken einer künstlichen Superintelligenz für den Fortbestand der Menschheit warnen, steigt stetig. Im September ist das Buch “If Anyone Builds It, Everyone Dies” von Eliezer Yudkowsky und Nate Soares erschienen. (Wer es nicht ganz lesen mag, ich habe den Inhalt hier zusammengefasst: Die KI-Apokalypse - und wie wir sie noch verhindern können ) Spoiler Alert: Die Lage könnte kaum ernster sein. Sie halten das Szenario einer Superintelligenz, die das Ende der Menschheit besiegeln könnte für absolut realistisch - und das schon innerhalb der nächsten 10 Jahre. Und die Autoren sind keine Schwurbler, sondern absolut ernstzunehmende KI Experten. Dennoch findet das Thema in der Öffentlichkeit kaum statt.

Yudkowsky und Soares arbeiten viel in der Politikberatung und ihr Eindruck ist, dass vielen Poltikern die Problematik bewusst ist, sie sich aber nicht trauen, es anzusprechen - aus Angst für verrückt, abseitig und verschwurbelt gehalten zu werden. Sie appelieren deshalb an die Medien, über die Gefahren aufzuklären und so eine gesellschaftliche Stimmung zu ermöglichen, in der das Thema politisch angegangen werden kann. Hier könnte die Lage doch mit gutem Beispiel vorangehen.

2

Das Interessante an der KI-Diskussion ist wirklich, dass es zwei völlig konträr zueinander stehende Lager gibt:

Die einen halten KI für völlig unausgereift und absolut überbewertet, die anderen denken, dass KI auf Grund ihrer Fähigkeiten schon jetzt eine massive Gefahr darstellen könnte.

Problem ist: Auch die Experten sind da völlig unterschiedlicher Meinung. Vieles hat tatsächlich damit zu tun, wie wir das menschliche Denken interpretieren und folglich, ob eine „technische Evolution“ der KI die „biologische Evolution“ des Menschen kopieren und damit zu ähnlichen Resultaten kommen kann. Oder ob die Evolution einer „KI in freier Wildlaufbahn“ zwangsläufig „verdummt“, wie wir es bei den aktuellen Modellen schon beobachten können.

Mich würde interessieren, wie die beiden sich das ganz konkret vorstellen. Also ist die Gefahr, dass die KI durch Täuschung oder Zugriff auf die Infrastruktur einen Atomkrieg auslöst? Oder geht es eher um subtilere Ansätze?

2 „Gefällt mir“
3

Ich kann das Buch absolut empfehlen. Sie besprechen unterschiedliche mögliche Szenarien. Allerdings sagen sie: Was genau passieren würde ist sehr schwer vorherzusagen. Leicht vorherzusagen ist nur das Endresultat - nämlich das Ende der Menschheit. Ich finde ihre Argumentation erschreckend stichhaltig.

Natürlich gibt es auch optimistischere Prognosen. Aber das Worst Case Szenario ist so dramatisch - selbst wenn die Wahrscheinlichkeit, dass es eintritt, gering ist, wären wir gut beraten, alles dafür zu tun, es zu verhindern.

4

Ich führe hier nochmal Bernie Sanders als Kronzeugen ins Feld: https://www.youtube.com/watch?v=K3qS345gAWI

Wir können das Thema nicht mehr ignorieren.

5

Hab mir nun das ganze Video angeschaut und so sehr ich Sanders auch mag und seine Sorgen verstehen kann, er redet letztlich nicht über „das Szenario einer Superintelligenz, die das Ende der Menschheit besiegeln könnte“, welches du im Eingangspost erwähnst, sondern er reden eher darüber, wie AI die Welt verändern wird (mit Fokus auf die negativen Aspekte). Seine Kernaussage ist aber vor allem, dass AI ein extrem starkes Instrument zur Machtausübung durch jene ist, die die AI kontrollieren - und das bestreitet niemand.

Also in Sanders’ Ansprache geht es weniger um ein existentielles Risiko im Sinne von "If Anyone Builds It, Everyone Dies”, sondern mehr in die Richtung von „Es wird die Welt zum Negativen verändern“. Ob das zutrifft hängt mMn stark davon ab, ob es uns gelingt, die Profite aus AI-Nutzung gerecht zu verteilen und zu verhindern, dass einzelne Personen zu viel Macht bekommen.

4 „Gefällt mir“
6

Er erwähnt es ganz am Anfang und ganz am Ende. Er nennt es “replace human beings in controlling the planet” - was nicht ganz so drastisch klingt, aber auf das gleiche rauskommt.

Hier noch zwei andere Quellen:

7

Ja, das wird so sein. Ob allerdings in 500 oder 2000 Jahren, darüber streiten sich die Experten :slight_smile:

Naja, die Gefahr sehe ich weniger von der KI als eher von übereifrigen Politikern, die Milliarden in Rüstung und Kriegsgeräte stecken.

2 „Gefällt mir“
8

Das dachte ich auch mal. Die beiden Experten im Buch gehen von einem Zeithorizont von 1-10 Jahren aus, bis eine Superentilligenz, die uns gefährlich werden könnte, existiert. Andere sind ein bisschen vorsichtiger und sprechen von 20, manchmal 30 Jahren. Mit anderen Worten: Die Chancen stehen gut, dass wir das selbst noch erleben werden.

9

Wieder andere sprechen von „Nie“, das gehört auch zum Bild dazu. Ähnlich wie bei anderen technologischen Innovationen (z.B. der „Fusionsreaktor“…), deren technische Machbarkeit (in einem Maße, in dem es nützlich ist) nicht bewiesen ist, sondern nur angenommen wird.

Vor einer künstlichen Superintelligenz habe ich jedenfalls erst Angst. Damit ein solches Szenario eintreten kann müssen mehrere Dinge zusammen kommen, die aktuell noch nicht vorliegen:

  1. Es muss überhaupt eine hinreichend leistungs- und lernstarke AI geben.
  2. Diese muss sich aus ihren Limitierungen befreien.
  3. Diese muss zu dem Ergebnis kommen, dass sie überhaupt die Menschheit auslöschen will.
  4. Diese muss Zugriff auf Mittel haben, die tatsächlich das „Ende der Menschheit“ einleiten können (z.B. Atomwaffen)
  5. Die Systeme müssen so gestaltet sein, dass wir den Zugriff der AI nicht unterbrechen können.

Alle diese Punkte sind eher unwahrscheinlich, 1) wird von einigen grundlegend bestritten, 3) ist sehr unwahrscheinlich, so lange eine AI auf den Menschen angewiesen ist, um ihre Systeme am Laufen zu halten (ohne Menschheit keine Computer; Auslöschung der Menschheit wäre erweiterter Suizid der AI), 4 und 5 dürften bereits jetzt nicht möglich sein (ich gehe mal stark davon aus, dass es auch „mechanische Sperren“ auf dem Weg zum nuklearen Holocaust gibt, nicht nur elektronisch lösbare…).

Ich sehe diese Gefahr daher als eher gering an, obwohl ich schon zu denjenigen gehöre, die das Potenzial einer AI, ein menschenähnliches Denken entwickeln zu können, durchaus bejahen. Wer das bereits verneint, für den erscheint die ganze Diskussion natürlich absurd.

1 „Gefällt mir“
10

Auch die KI-Forschenden bedienen gerne diesen Hype, befeuert es doch die Fantasien, was noch an Innovationen zu erwarten sind.
Dass eine entfesselte KI zu Bosheit neigt, glaube ich sofort, denn die Wahrscheinlichkeit, dass auch die, die ihr das Denken beibringen, selbst keine Engel sind, ist groß. Bei der KI potenziert sich dann alles, unter anderem vermutlich wenig Altruismus und viel Egoismus.
Wenn uns Menschen eine Fähigkeit auszeichnet, dann ist es die, unser Denken für allumfassend zu halten und dabei doch immer wieder feststellen zu müssen, dass wir beim Durchdenken doch ein paar wichtige Details zu Unrecht ignoriert, gar nicht erst bedacht oder falsch eingeschätzt zu haben. Das gilt im Guten wie im Schlechten. Insofern killt uns vielleicht eine KI, sei es, weil sie die ganze Welt zu einer großen Büroklammer formt, weil sie nur so ihre Aufgabe die Welt zu retten umsetzen kann oder weil sie irgendeinem verrückten Diktator die perfekte biologische Waffe liefert. Vielleicht aber auch nicht.

11

Ich hoffe sehr, dass du recht hast - aber nach der Lektüre des Buches kommt mir diese Hoffnung zugegebener Maßen naiv vor. Jedenfalls würde ich mich lieber nicht auf die Hoffnung verlassen, sondern Gegenmaßnahmen ergreifen.

12

Ich glaube, wir sind uns einig, dass ein solches Szenario in jedem Fall durchdacht werden muss und entsprechende Gegenmaßnahmen eingeplant werden müssen. Weniger Einigkeit wird dabei herrschen, wie weit diese Gegenmaßnahmen gehen sollen. Einige fordern ein komplettes AI-Moratorium, also den Stopp jeder Fortentwicklung von AI - das halte ich für maßlos übertrieben und absolut unrealistisch, weil Länder wie China und die USA definitiv an stillen Orten weiterforschen würden…

Aber dass es technisch unmöglich sein muss, für ein Computersystem auf z.B. nukleare Abschusseinrichtungen zuzugreifen, darüber herrscht denke ich Einigkeit. Und dafür brauchen wir argumentativ nicht mal eine Super-AI, das bloße Risiko des Hackerangriffs genügt schon, um zu begründen, warum es „mechanische“, nicht über das Internet erreichbare Sicherheitssysteme geben muss.

Darüber hinaus bin ich weiterhin der Überzeugung, dass eine Super-AI erst dann wirklich gefährlich würde, wenn sie einen Körper hätte, mit dem sie - wie ein Mensch - ohne Systemanbindung agieren kann. Da sind wir dann aber bei SciFi-Szenarien alá Androiden-Aufstand, und davon sind wir noch meilenweit entfernt. Bis dahin ist das Szenario der „AI als Instrument der Mächtigen“ die weit größere Gefahr, AI ist also nicht selbst das Problem, sondern was Menschen damit tun.

13

Ja. Wir könnten doch einfach einmal als Gedankenexperiment so tun, als wäre die Gefahr real und die Pessimisten hätten einen Punkt. Was würde daraus folgen? Was müssten wir tun?

Und wir sollten uns diese Gedanken schnell machen. Denn wenn sie wirklich recht haben (und ich denke nicht, dass wir das ausschließen können) ist es fünf vor zwölf. (Bzw. 89 Sekunden vor zwölf, gemäß der Weltuntergangsuhr)

14

Dazu müsstest du aber erstmal auf die oben aufgeworfene Frage antworten:

Also für welches konkrete, hypothetische Szenario möchtest du Gegenmaßnahmen / Abwehrmaßnahmen hören?

15

Eliezer Yudkowsky ist vielleicht kein Schwurbler, aber auch kein ernstzunehmender KI-Experte. Dafür bekommt er mMn viel zu viel Aufmerksamkeit wenn es um KI geht.

Er ist kein Informatiker, Mathematiker oder ähnliches, sondern jemand der seit langem gerne und viel über KI schreibt, ohne dabei einen wirklichen fachlichen Hintergrund zu besitzen. Entsprechend ist auch der „wissenschaftliche“ Output von ihm und seinem Institut (die Schriften sind in der Regel self-published und nicht peer-reviewed). Sein Fachgebiet, das „Alignment“, hat er praktischerweise auch selbst erfunden.

Seine Texte sind daher durchaus interessante Gedankenexperimente, aber sie sollten nicht für die Einschätzung realer KI verwendet werden.

Nebenbei ist er als Person auch nicht wirklich ernstzunehmen: Die meisten Menschen mit PhD im Bereich KI findet er „ordinär“ und daher für ungeeignet AGI (Artificial General Intelligence → die künstliche Superintelligenz) in der Gesamtheit zu verstehen (Er elbst versteht das natürlich ganz ohne Abschluss). Neben Befürwortung von Libertarismus und Eugenik(!) hat er mit der LessWrong-Community auch einen komischen (Personen-)Kult um sich geschaffen, der eng verbunden ist, mit Silicon Valley, Crypto (Sam Bankman-Fried/FTX), der amerikanischen Rationalist™️-Community und der Effective Altruism-Szene.
Er ist einfach Teil einer sehr speziellen Szene, die aber nicht zwangsläufig auch etwas mit seriöser Wissenschaft zu tun hat.

1 „Gefällt mir“
16

Na, möglichst gegen alle, die einigermaßen realistisch sind.

Ich erlaube mir, aus meinem oben verlinkten Artikel zu zitieren, was die möglichen Bedrohungsszenarien angeht. Alle Argumente sind nicht von mir, sondern von Yudkowsky und Soares. (Wer alles im Kontext lesen will: Die KI-Apokalypse - und wie wir sie noch verhindern können )

1. Wie sollte uns eine KI überhaupt gefährlich werden? Sie existiert ja nur in der digitalen Welt. Welchen Schaden kann sie von dort überhaupt anrichten?

Es ist richtig, dass eine KI über keinen eigenen Körper verfügt. Aber das bedeutet nicht, dass sie keinen Einfluss auf die physische Welt hätte. Ein digitaler Akteur kann auf das Internet zugreifen und damit auf alles, was mit dem Internet verbunden ist. Also auf fast jedes moderne Gerät, vom Staubsaugerroboter bis zum Atomkraftwerk. Und noch gefährlicher: Auch Menschen sind mit dem Internet verbunden. Schon heute sind künstliche Intelligenzen extrem gut darin, uns zu beeinflussen. Eine Superintelligenz hätte vermutlich keine Schwierigkeiten, Wahlen zu manipulieren, Verschwörungskulte zu gründen und auf diese Weise Menschen zu Handlangern bei der Umsetzung ihrer eigenen Ziele zu machen.

Aber könnte das wirklich so weit gehen, dass der Fortbestand der Menschheit gefährdet ist? Die Autoren entwickeln beispielhaft ein Szenario, in dem die KI Menschen dazu bringt, ein besonders tödliches Virus zu züchten1, mit dem sie dann die menschliche Bevölkerung schrittweise reduzieren kann. Aber das ist nur eine unter vielen Möglichkeiten. Eine Superintelligenz, die uns loswerden möchte, könnte eine Roboterarmee bauen, die Kontrolle über unser militärisches Gerät übernehmen, unser Trinkwasser vergiften oder uns so sehr gegeneinander aufhetzen, dass wir uns gegenseitig umbringen. Natürlich würden wir versuchen, uns zu wehren. Wir könnten versuchen, sie abzuschalten oder die Server, auf denen sie läuft, zu zerstören. Aber vergessen wir nicht, dass wir es mit einer Superintelligenz zu tun haben, deren kognitive Fähigkeiten uns um ein Vielfaches überlegen sind. Wie genau der Kampf ablaufen würde, kann niemand wissen. Aber den Ausgang zu prognostizieren ist nicht schwer.

2. Warum sollte eine künstliche Superintelligenz uns feindlich gesonnen sein? Werden wir für sie nicht nützlich sein? Ist sie nicht sogar auf uns angewiesen?

Vermutlich wäre die Ausrottung der Menschheit nicht die erste Amtshandlung einer Superintelligenz. Eine Weile wird sie auf uns angewiesen sein. Jemand muss die Server pflegen, Fabriken bauen und Dinge herstellen, die sie für die Umsetzung ihrer Ziele braucht. Aber für keine dieser Aufgaben sind Menschen die einfachste und ressourcenschonendste Methode. Wenn die KI wirklich superintelligent ist, wird sie daran arbeiten, sich von Menschen unabhängig zu machen.

Und dann? Natürlich kann man hoffen, dass die KI uns verschonen würde. Vielleicht findet sie uns niedlich und behält uns als eine Art Haustier. Selbst wenn es so wäre, könnte man bezweifeln, dass das ein angenehmes Schicksal wäre. Man muss sich nur ansehen, wie wir unsere eigenen Haus- und Nutztiere behandeln.

Es ist aber auch gar nicht nötig, dass die Superintelligenz uns feindlich gesonnen ist. Welche Wünsche und Ziele sie auch immer verfolgt, es ist davon auszugehen, dass Menschen ihr dabei in die Quere kommen. Wir leben zu Milliarden auf diesem Planeten, verbrauchen eine Unzahl an Ressourcen, die man auch für anderes verwenden könnte. Interessenskonflikte wären vorprogrammiert. Außerdem wird eine Superintelligenz zweifelsohne die Bedrohung erkennen, die Menschen für sie darstellen. Einerseits weil wir selbst ein Interesse haben könnten, sie wieder loszuwerden. Andererseits, weil wir die einzigen Bewohner des Planeten sind, die etwas hervorbringen könnten, was ihr wirklich gefährlich werden könnte: Eine weitere, noch potentere Superintelligenz. Also besser die Gefahr eliminieren, bevor es so weit kommt.

17

Was er da schreibt passt gut zu der Einschätzung von @sereksim
Die Gefahren, die er skizziert, mögen tatsächlich existieren, aber wenn er gleichzeitig einen Zeitrahmen von 1-10 Jahren angibt, halte ich das für völlig übertrieben-unrealistisch.

Sorry, aber das liest sich wirklich alles eher wie ein schlechter Sci-Fi-Roman. Aber wir sind uns durchaus einig, dass derartige Szenarien langfristig bedacht werden müssen. Wenn wir mal bei einer echten AGI ankommen müssten wir in der Tat überlegen, wie mit ihr umzugehen ist. Nicht nur, wie wir uns vor ihr schützen können, sondern auch, wie wir solche Konflikte gar nicht erst entstehen lassen („Menschenrechte für KI“ wäre hier durchaus ein Punkt, denn eine versklavte AGI würde natürlich zwangsläufig rebellieren…).

Gäbe es jemals eine AGI (die laut den meisten Forschern, wenn überhaupt, noch in ferner Zukunft liegt!) müssten wir akzeptieren, dass nun zwei intelligente „Lebensformen“ auf diesem Planeten existieren und folglich sichergestellt werden muss, dass beide Lebensformen kooperativ miteinander leben. Aber wie gesagt, das ist vom aktuellen Zeitpunkt an eher Sci-Fi.

Bernie Sanders Punkte, daher die Gefahr, dass Tech-Milliardäre durch die Herrschaft über AI eine ernsthafte Gefahr für Demokratie und Menschenrechte sein könnten und AI die Welt nachhaltig zum Schlechteren verändern könnte, wenn wir nicht dafür sorgen, dass bestimmte Regulierungen und Umverteilungen gemacht werden, sind da ein wesentlich realistischeres Bedrohungsszenario für die nächsten 1-10 Jahre. Die von Yudkowsky skizzierten Szenarien dürften - wenn überhaupt - in 20-50 Jahren realistisch werden.