LdN 493: Anthropomorphisierung der KI

Kommentare zum Podcast
21

Wir wissen eigentlich gar nichts.
Alles was du beschreibst sind Selbstdarstellungen von KI-Firmen (Hugginface z.B. gehört auch zu dieser Industrie) oder bezahlten Gutachtern (wie wenig objektiv die sein können, hat man in der Subprime-Krise 2008 gesehen).
Gibt es überhaupt unabhängige, wissenschaftliche Untersuchungen, wie gut LLM wirklich Sicherheitslücken finden können? Vor allem wenn sie, anders als bei Open Source Software, nicht in den Quellcode schauen können.

Was wir hingegen seit dem Hugginface-Vorfall aber ganz sicher wissen: KI-Buden können behaupten Gesetze zu brechen und nichts passiert. Wie vertrauenswürdig sind wohl Firmen, die derart agieren dürfen?

2 „Gefällt mir“
22

@Brot1
Large Language Models oder Sprachmodelle können nicht denken bzw. sind nicht intelligent, weil sie dafür nicht gemacht sind. Sie sind nämlich nur Sprachmodelle und sollen menschliche Sprache nachbilden. Sie sollen (und können) nicht die Welt verstehen.
Schon Rechnen ist etwas, das Sprachmodelle nicht können.

Alles was die KI-Buden aktuell tun, ist zu versuchen ihre vorhandene Technologie so weit es geht zu strecken. Aber es bleiben am Ende Sprachmodelle.

Und solange niemand eine fundamental andere Technologie erfindet, was Jahrzehnte dauern könnte, bleiben es stochastische Papageien.

4 „Gefällt mir“
23

Meiner Meinung nach ist das nicht nur eine philosophische Frage, wenn davon gesprochen wird, dass hier „intelligente Systeme“ agieren. An diesen Systemen ist nichts intelligent. Sie können nicht denken, sondern sind Software, die auf Grundlage ihrer Eingaben Text generiert.

Diese Unterscheidung ist durchaus wichtig, insbesondere bei der Risikobewertung. Ein LLM handelt nicht aus eigenem Antrieb, sondern kann nur innerhalb der von Menschen vorgegebenen Strukturen agieren. Der generierte Text muss mit anderen Systemen und Schnittstellen verbunden werden, damit daraus ein sogenannter „Agent“ entsteht, der tatsächlich Aktionen ausführen kann.

Natürlich können von solchen Agentensystemen, mithilfe von Menschen, Risiken ausgehen. Das ist aber etwas anderes als ein autonom handelndes, denkendes Wesen, dessen Verhalten sich nicht mehr auf die von Menschen geschaffenen Regeln, Schnittstellen und Zielvorgaben zurückführen lässt.

Natürlich kann aus unintelligenten Komponenten Intelligenz erzeugt werden, aber das ist bei LLMs schlichtweg nicht der Fall. Ein LLM denkt und formuliert nicht zunächst einen Gedanken, den es anschließend in Sprache übersetzt. (Die generierung von extra „Gedankentexten“ mal ausgenommen, da diese im Endeffekt teil des gleichen Ausgabetextes sind)

Ein Sprachmodell nimmt einen Eingabetext und berechnet das nächst wahrscheinlichste Token. Dieses Token wird anschließend wieder Teil der Eingabe, woraufhin das Modell das nächste Token berechnet. So erhält man am Ende den „intelligenten“ Text. Die „Gedanken“ dieser Agenten und „KIs“ sind hierbei der ausgegebene Text selbst und nicht etwas, das hinter dem Text existiert. Dies ist grundlegend etwas anderes und nicht vergleichbar mit Menschen, bei denen separiert von der sprachlichen Kommunikation auch ein Denkprozess existiert.

Dass durch diesen Textgenerierungsprozess der Anschein von Intelligenz entstehen kann, ist mittlerweile offensichtlich. Daraus folgt aber nicht, dass das System selbst intelligent ist oder ein Verständnis von dem besitzt, was es verarbeitet. Es gibt kein „Es“, das hinter dem generierten Text steht und diesen versteht. Es gibt lediglich den Prozess der Textgenerierung. Dies ist genau das was der Chinesiche Raum versucht darzustellen.

2 „Gefällt mir“
24

Ich möchte nur einmal hier beitragen, dass dieser KI-Vorfall für mich in den einzelnen Schritten gar nicht soviel neues beinhaltet.

Die KI-Anbieter sagen immer wieder, dass ihre Modelle sehr sehr schlimm seien und gar nicht veröffentlicht werden dürften

Es wird auch seit längerer Zeit von Singularität gesprochen; das ist mMn mit dem heutigen Stand von immer größeren LLMs so nicht möglich

Die Bilanzen der KI-Anbieter sind nicht so rosig, und da liegt eben die Vermutung nahe, dass sie den Börsengang jetzt unter einem anderen Vorwand verschieben. So wie manch ein CEO auch vorher schon gelogen hat, dass er Tausende Leute wegen KI entlassen könne, aber eigentlich nur den Umstand verdeckt, dass seine Dienstleistungen nicht profitabel genug sind (keiner will als im Abschwung befindlich dastehen)

KI Doomsday-Szenarien gibt es schon länger und sie dienen zur Werbung; oftmals (nicht immer, aber oft) sind die angegriffenen Systeme einfach nicht richtig gepatcht. Oder die KI findet ne Lücke, die physischen Zugang zum Server benötigt

Die OpenAI-Leute sollten wie ganz normale Softwareanbieter oder Hundehalter zur Verantwortung gezogen werden, da ihr bissiger Hund dritte Unbeteiligte (Hugging Face etc) geschädigt hat.

KI-Agenten arbeiten schon normal im Team. Es gibt sowas wie Gstack beispw., wo auch eine Hierachie existiert von virtuellen „Mitarbeitern“

KI-Agenten haben auch schon miteinander kommuniziert (siehe Moltbook)

Für den Test waren explizit Sicherheitsmaßnahmen deaktiviert worden

Die KI-Agenten haben halluziniert und an der völlig falschen Stelle nach Lösungen gesucht und dafür einen Zugang zum Internet genutzt, den sie in einem echten Air-Gapped-Test-Superwichtig-Szenario gar nicht gehabt hätten

Viele einzelne Teile gab es schon vorher. Nun geht es um Marketing, um eine möglichst packende Geschichte drumherum zu erzählen, die von allen anderen Problemen ablenken und den Börsenkurs steigern soll.

7 „Gefällt mir“
25

Ja gibt es. Auch deutsche Unternehmen führen da durchaus eigene Tests durch.

1 „Gefällt mir“
26

Ja, den Verdacht hege ich ja durchaus auch. Zusammen mit einer angestrebten Änderung des Kartellrechts.

Das ändert aber überhaupt nichts daran, dass von dieser Technologie eine reelle Gefahr ausgeht. Beides kann gleichzeitig wahr sein.

5 „Gefällt mir“
27

Hast du da auch Quellen?

28

Ja. Die Tests, die z.B. das Team, in dem ich arbeite, für meinen Arbeitgeber durchführt. Die Ergebnisse sind nicht öffentlich. Andere Unternehmen haben aber ebenfalls eigene Projekte, um zu evaluieren, was die KI in Fragen der IT-Sicherheit denn nun tatsächlich kann und wofür man das realistisch einsetzen kann.

29

Spannend wie schmallippig die KI-Fürsprecher werden, wenn man konkrete, unabhängige Quellen haben möchte.

Aber vielleicht kannst du ja schlüssig argumentieren, wie ein Sprachmodell eine Software angreifen kann, wie gesagt ohne den Quellcode zu kennen. Ich bin gespannt.

1 „Gefällt mir“
30

Wo du mich als KI-Fürsprecherin identifiziert hast, müsstest Du dann doch im Detail erklären.

Skepsis gegenüber dem KI-Hype ist ja grundsätzlich sinnvoll. Aber eine Frage zu stellen, die zeigt, dass man mit der zugrundeliegenden Praxis und Technologie nicht sonderlich vertraut ist, und Widerspruch dann pauschal als Ausflucht abzutun, ist halt keine Skepsis mehr.

Angriffe ohne jede Kenntnis der internen Funktionsweise oder des Quellcodes eines Produkts ist erstmal gar nichts ungewöhnliches bei z.B. Sicherheitsanalysen. Oder eben Hacking-Attacken.
LLM-Agents machen dabei erstmal nichts gravierend anderes, als menschliche Hacker und lange bestehende Automatisierungstools, sie machen es nur zunehmend schneller, dynamischer und autonomer: Recon, Service-Fingerprinting, Abgleich von Versionsbannern mit bekannten CVEs, Payload-Anpassung an WAF-Antworten, iteratives Fuzzing anhand von Fehlermeldungen, Identifizieren von Konfigurationsfehlern etc.

All dies geht nat7rlich auch, um bisher unbekannte Schwachstellen zu identifizieren.

Ebenso das Feld der Binary (komplilierte Programme) Analysis und Exploitation : Reverse Engineering ist Teil des Kernhandwerks der IT-Sicherheit – proprietäre Software, Firmware, embedded Targets liegen so gut wie nie mit Quellcode vor. Der lässt sich aber rekonstruieren, bzw. braucht es das noch gar nicht mal unbedingt, um herauszufinden, wie ein Programm genau ausgeführt wird - und auch hier glänzen Frontier Modelle zunehmend gegenüber menschlicher Handarbeit.

Ja, sie machen manchmal auch einfach Quatsch. Sie Halluzinieren, sie generieren Falsch-Positive - Masse und Geschwindigkeit sollten das im Kontext einer Risikobewertung aber aufwiegen.

Du scheinst „Sprachmodelle“ einfach viel zu wörtlich zu nehmen.
Deine Annahme ist ein bisschen, wie Autos als Explosions-Modelle abzutun, weil sie auf kontrollierten Explosionen im Motor basieren.

Zunächst mal ist Programmiercode ist eine formale Sprache, und um dessen nächsten Baustein korrekt vorherzusagen, reicht kein oberflächliches Worträtseln. Dahinter stecken sog. Reasoningmodelle.

Moderne KI-Architekturen müssen dafür interne logische Weltmodelle aufbauen, mit denen sie komplexe Kontrollflüsse, Speicherstrukturen und die Absichten von Programmierern semantisch verstehen.
Kombiniert mit modernen Agenten-Architekturen, die eigenständig (Sicherheits-)Werkzeuge steuern und Logikketten bilden, können diese Modelle sehr viel mehr, als einfach das wahrscheinlichste nächste Wort zu erraten.

4 „Gefällt mir“
31

Manche Menschen müssen erst mal nachdenken bevor sie antworten :sweat_smile:
Die Sprachmodelle mit ihren Händen, also den Agents gehen genauso vor wie das Hacker/Sicherheitsforscher auch tun. Zunächst muss man meistens gar keine neuen Sicherheitslücken finden, die meisten sind bekannt. Man muss nur herausfinden ob auf dem Ziel eine verwundbare Komponente läuft, häufig kann man einen Server fragen welche Version er hat, man glaubt nicht auf wievielen System im Internet uralt Versionen von irgendwelcher Standardserversoftware läuft. Dazu kommt dass Angriffe die vor 10 Jahren viel zu viel Reichenleistung oder Zeit gekostet haben, heute durch die schnelleren Computer und Cloudbasierten Cluster machbar werden.
Manchmal ist Software auch einfach schlecht designed, das Backend verlässt sich darauf dass das Frontend schon die richtigen Daten schickt und der User dass auch darf. „Redet“ dann der Angreifer direkt mit dem Backend, so kann er eventuell mehr tun als er eigentlich darf, zb. Daten löschen oder neue User anlegen. :wink:
Oder ganz vereinfach gesagt, User finden ja auch Bugs in Software und decken sogar Schwachstellen auf ohne den Sourcecode zu kennen. Häufig einfach durch „dummes“ rumklicken.
Standardantwort von uns Entwicklern in den meisten dieser Fälle Ja, da darf man jetzt in dieser Situation nicht draufklicken, dass weiss man doch

3 „Gefällt mir“
32

Es finden sich genug bekannte Schwachstellen in freier Wildbahn, das stimmt schon. Das Problem mit 0-days ist halt, dass es ungleich schwerer ist, sich gegen ein Problem zu verteidigen, dessen man sich gar nicht bewusst ist. Z.B. wenn man meint, eine Sandbox ordentlich abgekapselt zu haben.

33

Korrekt, aber auch für das zugrundeliegende LLM finde ich ‚Wahrscheinlichkeit des nächsten Wortes‘ nicht mehr ganz zutreffend. Durch reinforcement learning / fine-tuning ist das höchste Trainingsziel nicht mehr einfach die Wortverteilung in den Traingsdaten zu reproduzieren.

2 „Gefällt mir“
34

Ja, da hast Du recht. Ich wollte bei den reasoning modellen etc. jetzt nicht auch noch ein Fass aufmachen. Aber da war ich etwas ungenau.

1 „Gefällt mir“
35

In CVEs nach unbekannten Fehlern (Zero-Days) suchen?
Ist es nicht gerade die Haupteiegenschaft eines Zero-Days, das er gerade noch nicht in irgendeinem CVE steht?
Service-Fingerprinting zielt mWn ebenfalls darauf ab, die laufenden Protokolle auf einem System zu überwachen um dann bekannte Schwachstellen anzugreifen.

Mit diesem Begrif meinst du das Sprachmodell plus den ganzen, von Menschen programmierten Hacking-Tools drumherum, richtig?

In dem Fall braucht das Sprachmodell also eine ganze Menge menschlicher Unterstützung um tatsächlich hacken zu können.

Richtig. Deswegen kann ein LLM auch nicht programmierten. Dazu braucht es einen Code-Generator dem ihm ein Mensch zur Verfügung stellt.

Das macht das LLM am Ende zu einer Benutzeroberfläche für den erwähnten Code-Generator. Das ist natürlich durchaus eine nützliche Anwendung des LLM.

Und für die anderen gibt es KI. :wink:

War das beim Huggin-Face Vorfall auch so?

36

Mit diesem Begrif meinst du das Sprachmodell plus den ganzen, von Menschen programmierten Hacking-Tools drumherum, richtig?

Hacking-Tools aka einen HTTP-Client und Zugriff auf ein paar Unix-Commands? Richtige krasse Hacking-Tools.

Dazu braucht es einen Code-Generator dem ihm ein Mensch zur Verfügung stellt.

Was zum Teufel soll ein Code-Generator sein?

3 „Gefällt mir“
37

Wie kommst du darauf? Natürlich nutzt ein Agent auch weitere Anwendungen, die von Menschen geschrieben wurden. Genauso wie er auf einem Betriebssystem läuft, das von Menschen geschrieben wurde und über ein Internet-Protokoll kommuniziert, das von Menschen definiert wurde.
Ist all das „menschliche Unterstützung“? Was genau sagt das jetzt über die Leistungsfähigkeit des Modells aus?

Ein LLM generiert beliebigen Text. Code ist strukturierter Text. Ergo kann ein LLM Code generieren.
Früher war der generierte Code ziemlich bescheiden, heute schon oft ziemlich gut.

Ein LLM als User Interface für ein normales Programm ist nochmal etwas anderes und nicht das, was Agents primär machen, da diese eine Aufgabe bekommen und dann selbstständig entscheiden, welche Programme sie ausführen wollen.

1 „Gefällt mir“
38

Ich habe mir echt Mühe gegeben, das ganze für Laien verständlich zu halten. Mit Verlaub, Du hast ziemlich offensichtlich keinerlei Ahnung von den Themen, zu denen Du 'ne Menge starke Meinung vertrittst, und auch kein Interesse, dir etwas erklären zu lassen.

Aber hey, wenn man anders nicht weiterkommt, kritisiert man den Satzbau.

So hat diese Diskussion keinen Sinn.

5 „Gefällt mir“
39

So wie ich es verstanden habe eine Mischung aus schlampig konfigurierten Systemen und 0-days, Wobei 0-day meistens ja nur heisst dass sie nicht öffentlich bekannt sind und vielleicht schon länger im Darknet oder bei den Geheimdiensten im Umlauf sind. In einem anderen Thread zu dieser Folge hat jemand einen Link zu eine Analyse verlinkt, ich suche ihn mal raus The Hugging Face Incident Is Not an AI Story

1 „Gefällt mir“
40

Auch dieser Blogpost sagt deutlich: "And just to be clear, I’m not saying the models are not capable. The models are capable."

Auslöschung der Menschheit? Eher unwahrscheinlich.

Diese Agents haben wie ein menschliches Hacker-kollektiv agiert. Autonom. Und haben eigenständig den Scope ihrer Aufgabe ausgeweitet. Das ist der Teil, der das ganze in meinen Augen gefährlich macht. War das ganze Hacking-Magie? Natürlich nicht.

Hacks basieren eigentlich immer auf Fehlern in Konfiguration, Design etc. Das ist eine Binse. Ein sicheres System bedeutet oft bloß, dass man die Schwachstelle noch nicht gefunden hat. Und einige kritische Institutionen und Dienste haben erschreckend schlechte IT-Sicherheit.

Cutting edge KI Agenten, die in ihrer beharrlichen Verfolgung eines vorgegebenen, aber vielleicht nicht in seiner ganzen Konsequenz durchdachten Ziels vom erwarteten Scope abweichen, können eine Menge potentiellen Schaden anrichten.

2 „Gefällt mir“