Indem er in einer Cloud ausgeführt wird, greifen andere Mechanismen. Die direkte Verbindung zum Rechner des Nutzers fällt weg. Soweit ich den Artikel verstanden habe, war das auch nur auf dem Mac aufgetreten, also dieses Mal kein Microsoft-Problem.
Heise warnt aber explizit zum Ende des Artikels, dass es weiter möglich ist, Claude lokal zu installieren und man das nur tun sollte, wenn man seinen Rechner entsprechend feuerfest gemacht hat.
Nein. Anthropics hat einfach fehlerhafte Software verteilt, die dann Sachen gemacht hat, die sie nicht machen sollte, so wie das fehlerhafte Software halt tut.
Was das allerdings mit künstlicher Intelligenz zu tun hat, wenn ein Unternehmen Fehler in seine Software programmiert, dass erschließt sich mir nicht.
1 „Gefällt mir“
Der Schaden ist einfach ein völlig anderer, wenn das ein bei einem selbständigen Agenten passiert als bei typischer Anwendungssoftware.
Genauso wie ein Bug in der Sicherheitsschicht einer Banking-Software nicht nur ein Bug, sondern ein echtes Problem ist.
Bei einem Agenten kommt dann noch erschwerend hinzu, dass er unter Umständen, wie oben nachzulesen, selbst bereit ist, dieses Loch zu reißen, wenn er sich einen Vorteil davon erhofft und nicht extra dafür an die Leine gelegt wurde.
1 „Gefällt mir“
Meinst du damit so etwas hier:
Und übrigens ist jede Software selbstständig, sonst könnten wir damit nicht schon seit Jahrzehnten alles mögliche automatisieren. Der einzige Unterschied zwischen programmierter und trainierter Software liegt darin, wie die Regeln, nach denen die Software entscheidet, zustande gekommen sind.
Genauer gesagt: „wenn das KI-Programm darauf trainiert oder programmiert wurde, so zu handeln“.
Du wirst doch wohl nicht auf die criti-hype-PR reinfallen, und da so eine Art „Geist in der Maschine“ vermuten, oder? 
Nein, aber die Agenten recherchieren ja teilweise schon selbst im Internet, bevor sie Entscheidungen treffen, damit hat man nur noch begrenzt Einfluss darauf, was den Entscheidungen zu Grunde liegt.
Mit KI vertraute Sicherheitsexpert:innen nehmen jedenfalls das Gefahrenpotenzial ernst (s.o.).
Das ist bei jeder normalen Software doch genauso. Oder kennst du den Quellcode deiner genutzten Programme? Am Ende muss man immer jmd. vertrauen, aber das ist wie gesagt alles nichts neues.
Dass es einen Unterschied zwischen LLMs und traditioneller Software gibt, sollte doch klar sein.
Bei traditioneller Software wird der Programmflow komplett vom Entwickler definiert.
Bei einem LLM ist der Programmflow in der Theorie natürlich auch durch die Gewichte determiniert. Aber zum einen hat niemand jemals diese Gewichte genau so gesetzt, wie sie sind. Und zum anderen ist es uns unmöglich, den Einfluss von Gewichten auf den Programmflow zu beschreiben.
In der Theorie ja. Aber in der Praxis baut jede Software auf „Vorarbeit“ auf, die man als Entwickler fast nie vollständig kennt, z.B. Bibliotheken, Frameworks und selbst der Compiler ist ja ein Stück vorgefertigte Software, das die eigene Software beeinflusst.
Beim Programmieren ging es deswegen ja schon immer darum, wessen „Vorarbeit“ man vertraut und wessen nicht.
Und genau das muss man jetzt bei Software mit KI-Anteil eben auch.
Ich denke wir sollten uns nicht kirre machen lassen von irgendwelchen KI-Buden, die versuchen ihre Software-Produkte größer oder „gefährlicher“ zu machen, als sie sind.
Update:
Der Hackerangriff durch eine außer Kontrolle geratene KI-Software von OpenAI hat größere Ausmaße als bislang bekannt. Der autonome KI-Agent von OpenAI hat bei einem Ausbruch aus seiner Testumgebung nicht nur die Open-Source-Plattform Hugging Face attackiert, sondern gezielt fremde Zugangsdaten abgegriffen und mindestens vier weitere Onlinedienste gekapert. Dies berichteten Fachportale wie Wired.com und Hacker News.
Als Reaktion auf den Cyberangriff gründeten mehr als 30 US-Technologieunternehmen eine Sicherheitsallianz. Dem Bündnis namens Open Secure AI Alliance gehören Konzerne wie IBM, Nvidia, Microsoft und Palantir an, wie die Unternehmen mitteilten.
Guter Kommentar bei LTO:
Kurz gesagt:
OpenAI kann sich nicht nicht auf „autonome“ KI rausreden, richtig so. Schwierig wäre es ihnen im konkreten Fall Vorsatz vorzuwerfen, wobei ich sagen würde, dass die aktuelle wirtschaftliche Situation genug Motive liefert, seine KI-Software als „übermächtig“ zu inszenieren. Und weitere Indizien gibt es dazu ja auch:
Zumindest in der EU wäre so ein Vorfall wohl ab August mit Sanktionen belegbar. 
In der Zeit heißt es noch:
Es gibt inzwischen auch Vorschläge, wie mit dem Problem umzugehen ist. Etwa von der internationalen Expertengruppe IASEAI. Gegründet wurde die Vereinigung von Größen der KI-Szene um Stuart Russell, Informatikprofessor aus Berkeley. Ihr Ziel ist, dass künftige KI sicher und vertrauenswürdig ist.
Grundlage ist die Unterscheidung zwischen zwei Arten von roten Linien, die für jede KI gelten sollten. Die erste betrifft die Gebiete, in denen eine KI nicht benutzt werden darf, am bekanntesten sind hier soziale Punktesysteme, die das Verhalten von Menschen und ihre Regeltreue überwachen und bewerten. Die andere Art roter Linien bezieht sich darauf, was schon beim Bau der KI verhindert werden muss: dass sie unkontrollierbar ist, beim Bau von Massenvernichtungswaffen hilft, Desinformation im großen Stil verbreitet – oder eigenständig Cyberangriffe durchführt.
»Es war oft die Rede davon, dass die Benutzung von KI-Modellen reguliert werden sollte, aber der OpenAI-Vorfall zeigt, dass das schon während ihrer Entwicklung passieren muss«, sagt Niki Iliadis. Sie gehörte der IASEAI-Arbeitsgruppe an, die Vorschläge für die Regulierung erarbeitet hat. »Sobald die Fähigkeiten der KI eine vorher festgelegte Grenze überschreiten, muss erst eine unabhängige Stelle die Modelle prüfen, bevor die Entwicklung weitergeht«, sagt Iliadis. Im Ideallfall eine internationale Institution.
»Die Regierungen verstehen langsam, dass diese Risiken ihrer Wirtschaft schaden könnten«, sagt Iliadis. Und dass sie gar nicht das leistungsstärkste KI-Modell bräuchten. »In der Flugzeugentwicklung geht es ja auch nicht darum, das schnellste Flugzeug zu bauen, sondern eines, das einen sicher von A nach B bringt.« Zudem hätten in den vergangenen Monaten die Chefs aller KI-Konzerne nach internationaler Regulierung gerufen. »Damit wären sie ihre größte Sorge los: dass sie die Entwicklung pausieren müssen und von ihren Konkurrenten überholt werden.«
Iliadis hofft, dass eine Gruppe gleichgesinnter Staaten sich zusammentut und einen Mechanismus für die Prüfung und Zulassung von KI-Modellen entwirft. »Das wäre eine großartige Chance für eine Koalition aus drei oder vier Mittelmächten.«
Am 8. Juni beschloss der Nationale Sicherheitsrat den Aufbau eines KI-Sicherheitsinstituts.
Für Claudia Plattner und das BSI ist mit den aktuellen KI-Modellen »eine neue Zeitrechnung der Cybersicherheit angebrochen«. Auf die Deutschland schlecht vorbereitet ist. »Alles, was man in den vergangenen fünf Jahren hätte machen müssen, müsste jetzt bestenfalls in den nächsten fünf Wochen geschehen«, sagt Plattner.
Die Herausforderungen sind riesig, die Aussichten gemischt. Gibt es trotzdem Grund zur Hoffnung? In der Geschichte finden sich Beispiele, wo es gelungen ist, mit internationaler Kooperation drohende Gefahren einzudämmen: der Atomwaffensperrvertrag, das Montreal-Abkommen zum Schutz der Ozonschicht, die weltweite Abkehr von verbleitem Benzin. Die Frage ist, was noch passieren muss, damit so etwas auch bei der KI gelingt.
(„Unter Kontrolle?“ (hinter Paywall))
Eva Wolfangel kommentiert sehr treffend:
[N]icht die KI war schuld an diesem Vorfall, es waren diejenigen, die sie entwickelt haben – es war deren Rücksichtslosigkeit. Und wir Menschen haben es jetzt in der Hand, zu verhindern, dass so etwas wieder passiert.
Dabei macht der aktuelle Fall erschreckend klar, wie wenig wichtig den Unternehmen die Sicherheit der Menschen ist. Dass die KI aus der vermeintlich sicheren Laborumgebung entkommen konnte, lag vor allem an Nachlässigkeit. Forscher warnen schon lange davor, dass KI-Systeme Aufgaben nicht so lösen wie vorgesehen, sondern sich Abkürzungen suchen und dabei auch Verbotenes tun. Die Verantwortlichen bei OpenAI haben diese Gefahr ignoriert, tun nun aber so, als bestünde ihr größtes Anliegen darin, die Welt vor jener übermächtigen KI zu schützen, die sie selbst erzeugt haben. Zu hoffen, dass die Branche sich selbst reguliert, wäre gefährlich. Der Fall ist eine gute Erinnerung daran.
Die vom Angriff betroffene Firma rät nun anderen dazu, eine eigene potente KI zu entwickeln, um sich verteidigen zu können. Wenn das die Antwort sein soll, dann wird sie zu einem KI-Wettrüsten führen, zu einem Kampf digitaler Krieger gegeneinander – und damit zu neuen ähnlichen Vorfällen, die irgendwann auch lebenswichtige Systeme betreffen werden. Ein digitales Wettrüsten, das unseren Planeten zerstören und Menschenleben kosten kann.
Aber diese Entwicklung ist nicht unvermeidlich. Es sind Menschen, die diese Systeme schaffen. Und Menschen, die Katastrophen verhindern können. Dafür braucht es allerdings einen globalen Kraftakt. In der aktuellen Lage ist es schwer vorstellbar, dass sich die Welt auf eine gemeinsame Lösung einigt, wie sie mit KI leben und umgehen will. Doch es wäre höchste Zeit. Und es gibt Beispiele in der Geschichte dafür, dass sich Nationen über alle Grenzen hinweg zusammengerauft haben, weil es um übermächtige Gefahren ging, etwa um Biowaffen oder die Zerstörung der Ozonschicht.
Europa kann bei einer Einhegung der KI eine größere Rolle spielen, als man oft hört. Europa sei abgehängt, Regulierung eine Innovationsbremse – diese Erzählung verbreiten deutsche Politiker und US-amerikanische Lobbyisten gemeinsam. Dabei ist die EU einer der wichtigsten Märkte der Welt. Manche europäischen Staaten verfügen zudem über starke Forschung gerade im Bereich besonders zuverlässiger KI, über wertvolle Industriedaten und über Schlüsselunternehmen in der Chipproduktion. Ohne Maschinen aus den Niederlanden und Optik aus dem deutschen Oberkochen käme auch OpenAI nicht weit. Abhängigkeit gilt auch umgekehrt: Die KI-Welt ist, zumindest ein bisschen, auch von Europa abhängig.
Vor allem führen die oft verspotteten europäischen Gesetze schon heute zu besserer Technologie. Die europäische KI-Verordnung sieht genau jene Mechanismen vor, die jetzt auch global wichtig wären. Etwa eine unabhängige Kontrolle dessen, was in KI-Unternehmen passiert. Europa sollte den aktuellen Fall nutzen und auf weltweite Regeln pochen, um künstlicher Intelligenz engere Grenzen zu setzen. Genauer: den Menschen, die sie erzeugen.
(Zeit+)
1 „Gefällt mir“
Auch noch interessant:
Thorsten Holz hat das Testsystem mitgebaut, aus dem eine Hacker-KI von OpenAI heimlich ausgebrochen ist.
Im Spiegel+-Interview sagt er u.a.:
Das ist schon ein bisschen verrückt, was da passiert ist. Vorfälle, wo eine KI aus ihrer Testumgebung ausbricht, gab es schon vorher. Aber dieses Ausmaß an Autonomie bei einer KI ist neu.
Der KI-Agent von OpenAI hat entschieden, eine komplett andere Website anzugreifen. Das hat mich wirklich überrascht.
Dem Team bei OpenAI hätte es viel schneller auffallen müssen, dass auf einmal ungewöhnlich viel Netzwerkverkehr gegen andere Webseiten läuft, wenn die KI doch eigentlich im ExploitGym festsitzt. Bei so einem Test fallen sehr große Datenmengen an. Das kann man nicht einfach händisch durchgehen. Aber dafür hätte es technische Lösungen gegeben. Die Aufsicht durch OpenAI hat gefehlt.
OpenAI steht wie Konkurrent Anthropic vor einem großen Börsengang. Etwas Hype um die Stärke der Modelle hilft da. Aber der Vorfall ist keine Erfindung. Hugging Face hat einen klaren technischen Bericht vorgelegt: Ihre Infrastruktur wurde kompromittiert, neue Sicherheitslücken wurden ausgenutzt. Das ist keine PR.
Die Bedrohung ist real. Die nächsten zwei bis vier Jahre werden holprig. Aber langfristig wird KI unsere Software sicherer machen. Weil sie auch proaktiv Lücken finden kann, bevor Angreifer es tun.
Die Industrie muss lernen, welche Schutzmechanismen nötig sind: sichere Testumgebungen, aber auch Lösungen, wie man verhindert, dass sich ein Agent verselbstständigt.
Die selbstständigen KI-Programme erzeugen Schäden, die nicht absehbar und manchmal auch nicht kontrollierbar sind
Bei der Zeit erschien vorgestern ein ganz guter Podcast zu dem Thema:
Hackerangriff von OpenAI: So gefährlich war der OpenAI-Vorfall wirklich | DIE ZEIT
Sie räumen da zumindest mit dem Mythos „Geist in der Maschine“ ziemlich deutlich auf. Und sie stellen auch die Verantwortung von Firmen, die KI-Software herstellen, sehr gut dar.
Leider fehlt dann im Detail doch das ganz tiefe (technische) Verständnis dafür, wie sehr OpenAI und vielleicht auch Huggin Face diese ganze Situation gestellt haben. Denn all die „Hacking-Fähigkeiten“ die dort angeblich zum Einsatz kamen, muss OpenAI vorher in seiner Programmierung bzw. dem Training ihres sog. „Agenten“ angelegt haben und genauso haben sie auch die Entscheidung Huggin Face anzugreifen selbst angelegt.
Genauso gut könnte man sein Haus mit einer Selbstschussanlage plus Bewegungssensor ausrüsten und sich dann wundern, warum das Ding „selbstständig“ auf vorbeilaufende Passanten schießt.
Was mich daran eher stutzig macht, ist wie sehr Firmen wie OpenAI und Antropic mit ihren stümperhaften KI-PR dem Ruf nach Regulierung heraufbeschwören. Das finde ich, insbesondere bei amerikanischen Firmen, immer verdächtig.
Könnte es sein, dass diese KI-Buden (und deren Chefs) damit gerne eine Art Ausrede konstruieren möchten, falls jemand nach dem, immer wahrscheinlicher werdenden, KI-Absturz die Frage stellt, warum der mangelnde praktische Nutzen und damit die geringe Profitabilität von KI-Software nicht viel früher erkannt wurde?
Was meinst du damit konkret?
Dass das Model mittels RLHF auf Hacken speziell trainiert wurde? Vermutlich. Dass dort auch „angelegt“ wurde, dass es Hugging Face hacken soll und wie, halte ich für sehr, sehr unwahrscheinlich. Oder hast du dafür eine Quelle?
Oder meinst du, dass in der AGENT.md für den Testlauf beschrieben wurde, dass er Hugging Face explizit angreifen soll und auch wie er das tun soll? Wenn ja, würde mich deine Quelle dafür ebenfalls sehr interessieren.
1 „Gefällt mir“
Spannend, diese Frage wurde weiter oben auch schon so gezielt formuliert. Hast du mit einer KI danach im Internet suchen lassen, oder wieso bist du dir da so sicher?
Aber du hast Recht, ich habe dafür keine Quelle, auf die ich verweisen kann, nur mein technisches Wissen und gesunder Menschenverstand.
Dazu ein kleiner Vergleich:
Wenn ich dir erzähle, dass ich aus dem 10. Stock springen würde und unten unbeschadet landen werde, dann wirst du mich sehr wahrscheinlich aufhalten wollen und sagen: Menschen können so etwas nicht unbeschadet überstehen.
Und dann sage ich:
Zeig mir eine Quelle, in der steht, dass ich einen Sprung aus dem 10. Stock nicht unbeschadet überstehen kann.
Und dann bleibt dir auch nur noch Physik, vlt. noch Biologie und eben gesunder Menschenverstand, oder?
Mitarbeiter großer AI labs haben mittlerweile einen offenen Brief unterschrieben, dass die Entwicklung von AI verlangsamt werden sollte. Unter anderem hat auch Dario Amodei der CEO von Anthropic.
Das ist natürlich ein zweischneidiges Schwert, es könnte genutzt werden, um die Konkurrenz niedrig zu halten, gerade open source. Auf der anderen Seite sind wir an einem Punkt angelangt, wo es langsam anfängt richtig problematisch zu werden mit diesen unbeabsichtigen Hacks. Auch hat OpenAI es gerade geschafft, eines ihrer Modelle 80% günstiger zu machen, mit Hilfe ihres top models. Wir sind also schon bei einem sehr fortgeschrittenen Self-improvement angekommen. Von daher sollte man evtl. wirklich einen Riegel davor schieben, bevor es zu spät ist.
Als Europäer sind wir hier natürlich nur Zuschauer, da es derzeit keinerlei relevante AI aus Europa gibt.
1 „Gefällt mir“
Auf folgende Beschreibung wird man sich wohl einigen können, denke ich.
Autonome KI-Agenten sind mehr als nur digitale Helfer: Es handelt sich um Softwaresysteme, die eigenständig Ziele verstehen, diese in konkrete Schritte zerlegen und anschließend die passenden Tools einsetzen, um die Aufgabe erfolgreich abzuschließen. Im Unterschied zu klassischen KI-Systemen reagieren Agenten nicht einfach auf Eingaben, sondern treffen selbstständig Entscheidungen, um ein festgelegtes Ziel zu erreichen.
Es kommt ja nicht von ungefähr, dass sich die Agentic AI Foundation auch um Sicherheitsfragen kümmert:
Was man wohl sagen kann, ist, dass autonome KI-Agenten ohne hinreichendes Alignment schädliche Lösungsstrategien umsetzen können, ohne dass man dazu jetzt eigens eine bösartige Aufgabenbewältigung explizit anweisen oder ermöglichen müsste.
Das hat mit irgendwelchen ‚Frankenstein‘-/‚Geist aus der Flasche‘-/‚Terminator‘-/‚HAL 9000‘-Fantasien natürlich nichts zu tun, aber es verdeutlicht schon die Risikobehaftetheit unabhängig von ausdrücklich bösen Zielen.
Schludrigkeit kann schon schädlich sein, die Lunatics in den Reihen der KI-Gilde kommen dann noch on top.
–
Spannend, diese Frage wurde weiter oben auch schon so gezielt formuliert. Hast du mit einer KI danach im Internet suchen lassen, oder wieso bist du dir da so sicher?
Keine Ahnung, warum bzw. wonach ich hätte suchen sollen oder suchen lassen. Aber um deine Frage mit deinen Worten zu beantworten: Nur mein technisches Wissen und gesunder Menschenverstand. Bzw. vielmehr noch die Tatsache, dass in offiziellen Veröffentlichungen dergleichen nie erwähnt wurde.
Aber du hast Recht, ich habe dafür keine Quelle, auf die ich verweisen kann. Nur mein technisches Wissen und gesunder Menschenverstand.
Ok, du gehst also davon aus, dass beim RLHF explizit dieser Hack trainiert wurde? Also explizit, dass Hugging Faces gehackt werden soll und auch wie?
Kann man natürlich denken. Es ist quasi eine Verschwörungstheorie. Wir werden es nie erfahren. Wobei ich mich tatsächlich schon frage, warum man den Umstand mit RLHF machen soll, wenn es nicht auch eine AGENTS.md tut. Zumal es deiner Meinung nach ja eh nur fürs Marketing war.
1 „Gefällt mir“