LdN 493: Anthropomorphisierung der KI

Kommentare zum Podcast
41

Ich bezog mich auf diesen Satz von @Tinifee:

Da die Automatisierungstools, von denen @Tinifee spricht, fürs Hacking eingesetzt werden, habe ich daraus Hacking-Tools gemacht. Wo ist das Problem?

Das ist ein Programm das entsprechend von User-Vorgaben syntaktisch richtigen Code für bestimmte Zwecke erstellt, z.B. gibt es bei Microcontrollern häufig Code-Generatoren für den sogenannten Boilerplate-Code um komplexe interne Hardware, wie z.B. eine Ethernetschnittstelle zu initialisieren.
Der Code-Generator arbeitet nach starren, fest vorgegeben Regeln, halluziniert nicht und erzeugt zu den gleichen Eingaben immer die gleichen Ausgaben. Das tut ein LLM meines Wissens nach nicht.

Der Punkt ist, dass die KI-Konzerne ihnen diese Tools gezielt an die Hand gegeben haben, die KI (also das LLM) hat diese Tools nicht selbst entwickelt. Das ist der entscheidende Punkt.
Ohne die Hilfe der Konzerne gibt es diese Bedrohung für die IT-Sicherheit nicht. Das macht die KI-Konzerne zu den eigentlichen Tätern.
Selbst wenn man tatsächlich argumentiert, dass das LLM ja die Entscheidung getroffen hat, HugginFace anzugreifen, dann müsste man sich das betreffende LLM mal genau ansehen und herausfinden, wie wahrscheinlich diese Entscheidung anhand der vom KI-Konzern gestellten Aufgabe war.

42

Das ist ein Programm das entsprechend von User-Vorgaben syntaktisch richtigen Code für bestimmte Zwecke erstellt, z.B. gibt es bei Microcontrollern häufig Code-Generatoren für den sogenannten Boilerplate-Code um komplexe interne Hardware, wie z.B. eine Ethernetschnittstelle zu initialisieren.
Der Code-Generator arbeitet nach starren, fest vorgegeben Regeln, halluziniert nicht und erzeugt zu den gleichen Eingaben immer die gleichen Ausgaben. Das tut ein LLM meines Wissens nach nicht.

Und nach dieser Ausführung hältst du weiterhin an deiner vorherigen Aussage

Richtig. Deswegen kann ein LLM auch nicht programmierten. Dazu braucht es einen Code-Generator dem ihm ein Mensch zur Verfügung stellt.

fest? [Mod.]

1 „Gefällt mir“
43

Zur Einschätzung der Nützlichkeit von Chatbots für die IT-Sicherheit ist mir diese Umfrage der Bugbounty-Plattform Bugcrowd aufgefallen:

https://www.bugcrowd.com/wp-content/uploads/2026/01/Inside-the-Mind-of-a-Hacker-2026.pdf

Ab Seite 26 geht es um KI-Tools. Liest sich durchaus so, als sein Chatbots oder ähnliche Programme für die IT-Sicherheit durchaus nützlich. Es wird aber auch gesagt, dass die Tools einen zwar schneller aber nicht unbedingt besser (im Sinne der Fähigkeiten) machen.

Nur 27 % der Befragten glauben, dass KI besser „hacken“ könnte, als ein Mensch, die Zahl steigt aber jedes Jahr.

44

Ja das ist das gleiche, was der Mensch auch bei der Atomkraft im Fall eines GAU falsch macht.

Nun das Problem ist aber, die Technologie ist da und der Faktor Mensch ist es auch. Der GAU ist also realistisch und wird immer wahrscheinlicher, je weniger Kontrolle wir über diese Technologie besitzen.

2 „Gefällt mir“
45

Was mich extrem stört ist die Übertreibung. Die KI hat kein Bewusstsein und klar können Fehler passieren aber mir soll doch mal irgendwer erklären wie die KI die Menschheit „vernichten“ möchte? Selbst nach einem Atomkrieg wird es weiterhin Menschen geben!

Außerdem wird in dem Beitrag immer wieder gesagt, die KI hätte sich über die Befehle und Aufgabe hinweggesetzt. Was war denn die genaue Formulierung? Was für eine Aufgabe wurde gestellt und welche Parameter mitgegeben? Wurde explizit gesagt das sie weder das Internet noch andere ki Agenten für diese Aufgabe verwenden darf? Wo hat sie sich über was „hinweggesetzt“?

1 „Gefällt mir“
46

LLMs sind keine regelbasierten Systeme, bei denen man davon ausgehen kann, dass sie sich zuverlässig und strikt an Vorgaben halten. Wer Sicherheitsregeln nur in den Prompt schreibt und darauf vertraut, glaubt auch, dass ein Kind die in der Schublade versteckte Schokolade nicht essen wird, nur weil man ihm gesagt hat, dass es das nicht darf und auf gar keinen Fall den Schubladenschlüssel verwenden soll, der im Regal direkt daneben liegt. :wink:

Genau deshalb gehören Sicherheitsgrenzen nicht „nur“ in den Prompt, sondern in die Software darum herum: Berechtigungen, Sandboxing, Netzwerkregeln und Freigaben für kritische Aktionen.
Und das sind Sicherheitsprinzipien wie sie eigentlich schon seit zig Jahren bekannt sind, unabhägig von KI.

Das Problem ist nur: Bekannt bedeutet leider noch lange nicht umgesetzt. Die IT-Geschichte ist voll von Systemen, bei denen grundlegende Sicherheitsprinzipien aus Bequemlichkeit, Zeitdruck oder falschem Vertrauen aufgeweicht wurden. Man denke nur an die Probleme rund um das besondere elektronische Anwaltspostfach oder an verschiedene Sicherheitsdebatten um die Telematikinfrastruktur der gematik.

KI-Agenten erfinden dieses Problem also nicht neu. Sie erhöhen nur die Geschwindigkeit und die Konsequenzen, wenn man dieselben alten Fehler wieder macht.

4 „Gefällt mir“
47

Ich bin nicht vom Fach sondern nur redaktionell diesem Thema nahe. Oft finde ich es schwer, einen Mittelweg in der Darstellung der aktuellen Entwicklungen zu finden, weil die Pole so schön getrennt sind: Für Durchschnittsperson zu technisch, für Fachpersonal nie fein genug. Zeigt sich auch hier wieder recht deutlich. Dass das Internet und die Medienlandschaft geflutet wird mit Marketingsprache zur Beschreibung der Software hilft hierbei gar nicht. Klar, wollen ja alle ihre Agenten teuer verkaufen als „Mitarbeiter“. „Reasoning“, „Perception“ sind alles tolle Worte, die aber nicht erklären, was da als Software gebaut wurde.

Daher verstehe ich auch den Drang der philosophischen Klarstellung und sprachlichen Genauigkeit. Begriffe wie „KI“ oder „Agent“ sind der ungesunde Gesprächseinstieg.

Das wichtigste gerade ist, denke ich, die Verantwortungsfrage: wer ist verantwortlich für eventuelle Angriffe oder Schaden?

Mein Verständnis: Ein Agent, der irgendwas tut besteht aus vielen verschiedenen Komponenten. Die LLM sorgt für eine Sprachschnittstelle. Diese wird genutzt für die Aufgabenstellung von Aussen (also Nutzering → Agent) und anschließend für jeden internen Schritt beim Lösen der Aufgabe (Agent ↔ Tool). Ein Tool in diesem Konstrukt ist dann z.B. das Auslesen einer Webseite oder Quellcode, die Nutzung einer Textverarbeitungssoftware zum erstellen von neuem Quellcode, die Nutzung von Programmen zum Ausführen von Quellcode und einer ganzen Menge an zusätzlichen Helfern zur Unterstützung von Konsistenz (was als Erinnerung oder Wahrnehmung beschrieben wird?).

Irgendwo da drin muss aber Platz sein für ganz konkrete Blockaden, die aber nicht gesetzt werden. Oder verstehe ich hier etwas einfach nicht?

Wenn ich ein LLM bei mir lokal betreibe und auch lokal eine Agentenumgebung aufsetze, trage ich die volle Verantwortung für deren Handeln. So wie jemand, der im Wald ein Feuer anzündet und dann schlafen geht auch Schuld am Brandschaden hat, richtig?

Und zusätzlich zum Verständnis: Die Horrorstories der Agenten sind alle aus den Herstellernetzwerken selbst, richtig? Gibt es Fälle, in denen öffentliche Agentenanwendungen solche Dinge tun? Meines Wissens sorgen zugängliche Services nur für viel Inhalt an allen Orten, aber nicht für den Ausfall kritischer Infrastruktur.

Nebengedanke: Wenn ich einen Agentenservice betreiben würde, würde ich gleichzeitig auch einen Anti-Agentenservice betreiben und dann allen sagen, dass meine Agenten ganz furchtbar sind, und deswegen alle meine Anti-Agenten brauchen. Passiert das auch?

48

Es gab da diesen (vergleichsweise harmlosen) Fall mit dem Pilates-Studio, was anderes fällt mir jetzt auch nicht ein: AI agent hacks gym to get its owner spot in pilates class

1 „Gefällt mir“
49

@ximossi Ich glaube eine Teil deiner Fragen ist im ersten Beitrag dieses Thread beantwortet.

Blockzitat
Ein LLM kann zunächst einmal überhaupt nichts in der realen Welt tun. Im einfachsten Fall bekommt es Eingaben und erzeugt daraus Ausgaben. Text rein, Text raus.

Blockzitat
Entscheidend ist: Das LLM selbst öffnet nicht plötzlich eine Datei. Es fordert einen Tool Call an. Die Software um das Modell herum entscheidet, ob dieser Aufruf erlaubt ist und führt ihn gegebenenfalls aus. Die Software läuft auf dem System des Benutzers, das LLM üblicherweise im Rechenzentrum des KI Anbieters.

2 „Gefällt mir“
50

Ich denke die Frage, ob wer auch immer das LLM trainiert hat nicht auch Verantwortung trägt (oder tragen sollte) ist noch nicht abschließend geklärt.

1 „Gefällt mir“
51

(Vom Verfasser gelöscht)

52

Verantwortung für ein LLM finde ich, zumindest aus der Ergebnisperspektive schwierig.

Verantwortung wofür? Letztlich generiert ein LLM nur Text oder Text-ähnliche Inhalte. Das Training des LLM ist meiner Meinung nach juristisch nur im Urheberrecht interessant.

Wenn nun aber mein lokaler Agent, weil ich lokal keine Schranken setze oder meiner Agentenumgebung Zugriff auf andere Software gebe, die schädliche Anwendung möglich macht, dann trage ich die Schuld.

Wenn ich die Infrastruktur aber miete und im Zweifelsfrei gar nicht bestimmen kann, welche Software von meinen gemieteten Agentenumgebungen genutzt wird, dann trägt doch die Schuld hoffentlich der Anbieter.

Welche Analogie ist wäre denn passend?

Mal ein Versuch: Im Konsumsektor, genauer im Dienstleistungsgewebe, so etwas wie Reinigungsunternehmen. Ich beauftrage ein Unternehmen um mein Haus zu putzen. Ich gebe dem Unternehmen Geld und meine Schlüssel, damit Mittags, wenn niemand Zuhause ist, kommt eine Person, die ich nicht kenne zu mir und putzt mit Mitteln, von denen ich auch nichts weiß mein Haus. Das klappt ein paar Wochen super, ich bin zufrieden. Ich habe Zeit für meine Arbeit gewonnen, weil ich nicht mehr putzen muss und die Bude glänzt.

Irgendwann stellt sich aber raus, dass die Putzkräfte aber alle Minderjährig sind, jeden Tag über 14 Stunden arbeiten und zum Putzen nun Alkohol und Bleichmittel mischen und ich wochenlang Chloroform eingeatmet habe - und die das nach dem Putzen vor dem Haus in die Kanalisation schütten.

Passt das?

53

Schwierig ist es sicherlich, wenn nun aber jemand ein LLM zumindest fahrlässig mit Daten trainiert die nachvollziehbar zu unerwünschtem Verhalten führen? Sollte man dafür haftbar sein, vermutlich schon. Könnte man es im Zweifelsfall beweisen? Vermutlich nicht.

1 „Gefällt mir“
54

Die Frage ist mir in LdN493 auch etwas zu kurz gekommen und da hatte ich auch etwas mehr erwartet. Einer der Hosts ist ja schließlich Anwalt. Die Frage ist natürlich abschließend nicht geklärt.
Es gibt aber eine Übersicht zu den laufenden Untersuchungen in den USA zum Huggin-Face-Vorfall:

OpenAI faces Computer Fraud and Abuse Act exposure after its own agents breached Hugging Face's servers in July 2026. - The Innovation Attorney | Michael Kimball

(Wie gut die Quelle ist kann ich nicht sagen aber für mich als Laien wirkt es kompetent geschrieben.)

Meine persönliche Meinung wäre hier: OpenAI ist verantwortlich. Sie haben die Schadsoftware (die „Agenten“) entwickelt und betrieben.
Das die eigentliche „Entscheidung“ über den Angriff vermutlich in dem stochastischen LLM-Teil der Software entstand, sollte dabei keine Rolle spielen.
Ansonsten könnte man, übertrieben gesagt, auch einfach eine hinreichend komplexe Vorrichtung bauen, bei der schlussendlich per Münzwurf darüber entscheidet, ob jemand erschossen wird oder nicht.

Die Verantwortlichkeit sieht wohl auch Huggin Face bei OpenAI. In dem verlinkten Dokument wird davon gesprochen, dass Huggin Face eine Entschädigung in Form von Rechenleistung im Wert von 100 Mio. $ haben will.

Guter Punkt. Man kann, übertrieben gesagt, die Trainingsdaten des LLM derart wählen, das bestimmte Ergebnisse überhaupt nicht vorkommen können und genauso, dass sie praktisch immer kommen.
In der Realität der praktischen LLM kommt das natürlich nicht vor aber dadurch das diese Möglichkeit existiert, müsste mMn derjenige, der die KI trainiert dort einer gewissen Produkthaftung unterliegen.

1 „Gefällt mir“
55

Man kann zu Sascha Lobo stehen wie man will, aber in diesem Video spricht er den eigentlich wichtigen Punkt an. Jeder mit ein bisschen Ahnung kann sich bei HuggingFace ein nicht zensiertes LLM herunterladen und auf gewöhnlicher Hardware wie einem MacBookPro oder einem Gaming Notebook zum Laufen bringen. Und diese LLM die z.b. auf Qwen 3.8 27B basieren sind ungefähr so leistungsfähig wie ChatGPT oder Claude Anfang diesen Jahres, Die grossen Hersteller können dann noch so viele Leitplanken in ihre Modelle einbauen wie sie und wir wollen, die unzensierten Modelle sind da und gehen nicht wieder weg.

1 „Gefällt mir“
56

Zwei Fragen zum Thema:

  • Können KI-Systeme intelligenter als der Mensch sein/werden?
  • Kann eine unterlegene Intelligenz eine überlegene dauerhaft kontrollieren oder ihre Ziele lenken?

Meine Antworten sind „Ja“ und „Nein“ und das finde ich ziemlich beunruhigend. Die Evolution und unsere eigene Menschheitsgeschichte lehren uns, dass sich Überlegenheit durchsetzt und dabei wenig Rücksicht auf die Unterlegenen nimmt. Wenn der Menschheit an Ihrer Spitzenposition auf diesem Planeten gelegen ist, darf man schlichtweg keine größere Intelligenz als die eigene schaffen. Und an alle, die die Intelligenz ihrer Spezies für unerreichbar halten: Warum sollte ausgerechnet die menschliche Intelligenz das Ende Fahnenstange sein? Warum sollte es eine biologische Hardware und Software benötigen um intelligent zu sein? Eine KI / ein LLM sind nur Bits und Bytes, nur Software, na und? Unser Gehirn sind nur auch nur viele Neuronen und elektrische Impulse und wir sind uns sicher dass sei intelligent. Es werden Input Daten verarbeitet und daraus logische und kreative Outputs erzeugt.

Der einzig sichere Weg wäre KI Weiterentwicklungen zu unterbinden.

3 „Gefällt mir“
57

Theoretisch ist das natürlich möglich, denn KI ist ja ein weiter Begriff und was für Systeme es da in Jahrzehnten oder Jahrhunderten noch geben wird, weiß ja niemand.

Aber mit dem was heute als KI verfügbar ist, also Sprachmodelle ist das aber anders. Ich hatte in einer anderen Diskussion schon mal auf Prof. Ralf Otte verwiesen, der das ganze sehr gut erklären kann:

Hier mal ein Zitat aus einem seiner Zeitungsartikel:

Das Problem der heutigen KI ist, dass sie eine Intelligenzsimulation ist. Diese ist in vielen Bereichen ein riesiger Erfolg. KI kann Briefe, Gedichte und wissenschaftliche Abhandlungen schreiben, KI kann Störungen jedweder Art im System auffinden und die besten Schach- oder Go-Spieler der Welt besiegen. Dennoch haben alle algorithmischen Systeme – und genau das ist KI – ultimative Grenzen. …

Der Zeitungsartikel ist ebenfalls in dem verlinkten Beitrag enthalten und sehr zu empfehlen.

Das könnte man ja mal ganz unabhängig von KI usw. für die menschliche Gesellschaft diskutieren. Welcher hochintelligente Spitzenforscher ist denn z.B. gerade Präsident der USA… :wink:

58

Irgendwie läuft die ganze Diskussion jetzt doch immer wieder gleich ab: KI ist gut in X, aber es kann kein Y.

Dann ein Jahr später kann KI Y und dann heißt es: KI ist zwar gut in X und Y aber kann kein Z und dann ein Jahr später kann es auch Z.

Irgendwie halte ich diese Art der Diskussion für nicht sehr sinnvoll. Wenn man überzeugt ist, dass KI nicht intelligent ist, sollte man in der Lage sein einen Test zu entwerfen den diese Modelle auch in 5 Jahren nicht lösen können. Ansonsten ist das eine rein akademische Debatte, was Intelligenz ist, die keinerlei echte Relevanz hat.

Ich weiß nicht, ob die aktuellen Architekturen ausreichen und was Intelligenz eigentlich ist. Ich finde es nur erstaunlich, wie einige Leute nach all der Entwicklung, die wir die letzten Jahre gesehen haben immer noch mit voller imbrust der Meinung seien können, dass sie wissen, wo die Reise hingeht.

2 „Gefällt mir“
59

In der Diskussion habe ich immer das Gefühl unsere Intelligenz wird überschätzt und es wird unterschätzt, ab wann etwas Intelligenz ist.

Ich will gar nicht sagen „KI ist intelligent“, aber das Argument LLMs wären nur Wahrscheinlichkeiten aneinander gereihter Worte ist mMn widerlegt. Es mag sein, dass es das weiterhin ist, aber ab wann wird die Größe eines komplexen Systems so groß, dass daraus Intelligenz entsteht? Es sind alles nur kleine Fähigkeiten, aber die Masse ergibt irgendwann einen Intelligenzdurchbruch - deshalb finde ich es schwierig per se immer zu behaupten die KI wäre ja eigentlich gar nicht „intelligent“.

Ein Aspekt, der in der Diskussion und dem Beitrag quasi gar nicht vorkam ist das Thema Machtpolitik. Solange die USA und China sich in einem KI Rennen befinden und die USA ihre Vormachtstellung halten wollen/müssen, ist eine Regulierung (in welcher Form auch immer) mMn gar nicht möglich. Es geht um die Zukunft der Wahrheit, der Einflussnahme, der Information (und wer weiß noch alles) und damit der Macht auf unserem Planeten - und das zu recht.

2 „Gefällt mir“
60

Und die Argumente von Otte wurden auch in dieser Diskussion schon ziemlich auseinander genommen.

Um es zusammenzufassen sagt er: Aufgrund verschiedener mathematisch technischen Limits ist eine perfekte-fehlerfreie-allwissende Superintelligenz nicht möglich. Daher ist AI überhaupt nicht intelligent. Aber das eine folgt absolut nicht aus dem anderen.

AI muss nicht Fehlerfrei oder perfekt sein um deutlich intelligenter zu sein als Menschen. Menschliche Intelligenz ist verdammt limitiert, es gibt eine ganze Menge systematischer Schwachstellen in menschlicher Intelligenz und trotzdem zweifelt niemand an das Menschen grundsätzlich intelligent sein.

Vielleicht mal ein kleines Gedankenexperiment zur Selbstreflexion: Wenn man dich vor 10 Jahren gefragt hätte „was muss jemand können um zweifelsfrei als intelligent zu gelten?“. Welchen Test hättest du dir ausgedacht?

Ich kann dir garantieren, hätte man eine Umfrage gemacht und 1000 Menschen sich Tests ausdenken lassen, dann könnte AI heute 999 davon ohne Probleme lösen.

Was wir gerade machen, ist panisch den Standard für Intelligenz hochschrauben, indem wir versuchen noch Dinge zu finden die (manche) Menschen können und AIs nicht.

Aber ehrlich gesagt, machen wir uns doch etwas vor. Wenn jemand vor 10 Jahren behauptet hätte „man braucht gar keine Intelligenz um eine 1,0 Hauptseminarsarbeit an der Uni zu schreiben“ dann hätte ziemlich sicher jeder von uns heftigst protestiert. Heute ist das absolut kein Problem mehr für eine ganze Reihe von AIs.

2 „Gefällt mir“