Gerne würde ich hier nochmal den neuen Bericht von METR/Redwood zum Vorfall diskutieren.
Link zum Report https://metr.org/hugging-face-incident-report-aug-2026.pdf
Spannend fande ich in den Analysen dazu auch die Perpektive des Security Engineers Marius Horatu der das ganze etwas nüchterner betrachtet. The Hugging Face Incident Is Not an AI Story
Vielen Dank für den Hinweis! Wir haben das Thema für die nächste Woche auch für die Lage der Nation auf dem Zettel, daher freuen wir uns über Hinweise auf Quellen, denen wir nachgehen sollten 
(Vom Verfasser gelöscht)
Die habe ich mir auch angehört und fand ich auch sehr spannend 
Ich bin auch interessiert, habe davon über die NYTimes erfahren und finde das Thema sehr wichtig.
Rogue AI könnte wichtiger werden als alle anderen Themen, wenn man nicht rechtzeitig über Maßnahmen nachdenkt. Viel Zeit ist nicht mehr.
Ajeya Cotra war auch zu Gast bei Hard Fork dem IT Podcast der NYT.
Was ich an den ganzen scary Terminator Szenarien nicht verstehe ist: eine rogue AI bräuchte doch immer ein Rechenzentrum mit Stromversorgung und Internetzugang.
Es gibt doch auf der Welt hunderttausende die in der Lage sind Gebäude zu sprengen und Leitungen zu kappen?
Aber trotzdem wierd, dass Terminator die wahrscheinlichste Zukunftsfantasie geworden ist. Ich hatte so auf Star Trek TNG gehofft und Mad Max befürchtet 
Das setzt voraus, dass jemand rechtzeitig die Gefahr erkennt, der gleichzeitig weiß, wo, was zu sprengen wäre und der überzeugt genug ist, das dann auch zu machen und nicht von anderen aufgehalten wird, die noch glauben, alles im Griff und eine gigantische Gelegenheit zu haben, ihre Innovation zu Geld zu machen. Klingt nicht nach einer super Sicherheitsstrategie, denke ich.
Oder die Menschen hören einfach auf die Rechenzentren zu warten bzw. die zugehörigen Kraftwerke mit Gas zu versorgen.
Gibt es nicht auf Seiten der Politik und auf EU Ebene Möglichkeiten, damit AI reguliert wird? Z.B. das keine Agenden erstellt werden dürfen?
Wie wollen wir das gegen amerikanische Konzerne durchsetzen?
Wir könnten natürlich sagen, dass die Konzerne gewisse Features nicht mehr im europäischen Markt anbieten dürfen. Aber das zu umgehen schafft mittlerweile jedes Kind. Also bliebe nur, den Konzernen vorzuschreiben, diese Features weltweit nicht anzubieten und ihnen sonst den Zugang zum europäischen Markt zu verwehren. Aber das wäre fast schon Trump’sche Erpressung und das Echo der US-Regierung würde mit Sicherheit harsch ausfallen.
Also wie soll die EU sowas also realistisch regulieren? Welche Hebel hat sie?
Aktuell diskutieren die Chefs der drei großen AI-Konzerne ja wieder darüber, den Fortschritt von AI bewusst zu bremsen, weil die Gefahren zu groß würden. Ob das echte Angst oder PR ist sei dahingestellt.
Aber auch hier muss man sich fragen:
Wenn die großen amerikanischen AI-Konzerne den Fortschritt bremsen, wird China das natürlich zum Aufholen oder sogar Überholen nutzen. Bei Gentechnik konnte man sich darauf einigen, einige ethisch problematische Dinge nicht zu tun - und auch China hält sich daran. Aber AI ist möglicherweise eine revolutionäre Technologie und ich wage sehr zu bezweifeln, dass China, Indien und co. sich einer bewussten Verlangsamung der Entwicklung anschließen werden.
Abgesehen davon wie gefährlich KI-Systeme aktuell wirklich schon sind und noch werden, finde ich auch den Vergleich mit Atomenergie und Atomwaffen spannend. KI ist ja nicht das erste Forschungsthema mit potenziellen Gefahren. Oder bei der Erforschung von Medikamenten gibt es auch strenge Regeln. Natürlich gibt es hier auch Ausreißer bei der Regulierung und Kontrolle aber irgendwie konnten sich da ja auch ein paar Staaten auf ein paar Grenzen eignen. Falls hier jemand schon stärker drin ist oder links zu Analysen oder ähnlichem hat immer gerne.
Das sind größtenteils Behauptungen ihrer Hersteller. Ich halte KI-Systeme zwar für potentiell manipulativ, aber das sind soziale Medien auch.
Der ist völlig übertrieben. Aller Schaden, den Computerprogramme mit maschinellem Lernen (also „KI“) in der realen Welt anrichten können, kann auch ein Computerprogramm ohne „KI“, z.B. Computerviren anrichten, denn dafür braucht es ja immer Hardware in der realen Welt, also Infrastruktur, Industrieanlagen oder eben Waffen. Und für dessen Bedienung, Warten und Versorgung braucht es immer auch Menschen.
Also, ganz entspannt bleiben, die eigentlichen Gefahren durch Sprachmaschinen sind andere. 
Netzpolitik.org hat heute einen guten Kommentar dazu:
Zitat zur Frage von @Schorschie :
Ein KI-Agent tut nichts, was nicht zuvor von Menschen oder Organisationen technisch und organisatorisch ermöglicht wurde.“
Ermöglichen ist etwas ganz anderes als erlauben.
Vorsicht, nicht immer weiß ich vorher, was ich ermögliche (GAU).
Um Regeln (siehe Asimov etc.) scheren sich die Agenten, wie im 
Fall, heute schon nicht mehr, wenn es gilt, ein Ziel zu erreichen.
(Vom Verfasser gelöscht)
Ich kenne mich nicht aus welche Möglichkeiten existieren, aber vielleicht sollten wir uns einfach mal Regeln für diese neue Welt geben, die auch unsere Psyche (z.B. vor Social Media) schützen.
Wir als Individuen? Definitiv, aber wie so oft bei schädlichem Verhalten (Rauchen, Alkohol, ungesundes Essen, Bewegungsmangel etc.) sind viele dazu nicht in der Lage. Ich z.B. nutze gar kein Social Media mit problematischen Algorithmen, kein Twitter, kein Facebook, kein Instagram, kein TikTok, selbst YouTube nur sehr gezielt (im Monat vielleicht kombinierte 3 Stunden, und das ist schon hoch geschätzt). Aber viele können das nicht, vor allem Kinder können das i.d.R. nicht, wenn sie schon im frühen Alter mit diesen psychologischen Suchtmechanismen konfrontiert werden.
Und weg von der individuellen Ebene, also auf der gesellschaftlichen Ebene, bleibt wieder die Frage, wer „wir“ ist. Wie auch bei der Frage nach dem Klimawandel muss bei Fragen wie nach der Weiterentwicklung von AI oder eben von Social Media Algorithmen eigentlich eine weltweite Lösung her. Die EU kann da ohne die USA gar nix effektiv regeln, und die USA werden aus nationalem Interesse ihre Social Media Konzerne und AI Konzerne eher schützen wollen, vor allem unter nationalistischen Regierungen wie der von Trump. Deutschland oder die EU kann da einfach keine Regeln geben, weil es sie nicht effektiv durchsetzen kann.
Mit „wir“ meinte ich unsere gewählten Vertreter, z.B. auf EU Ebene. Dem Treiben zugucken ergibt auch keinen Sinn.
Ich nutze auch kein Social Media mehr und kann es nur jedem empfehlen sowie allen unter 18 jährigen.
Ja, aber wie gesagt: Wie soll das funktionieren?
Also fordern kann man das natürlich, aber es macht keinen Sinn, etwas zu fordern, das offensichtlich nicht funktionieren kann.