LdN 449: Chat-Kontrolle und Wortwahl des Jens Spahn

sereksim · 10. Juli 2026 um 10:02

Passend zum Thema Überwachung durch digitale Technik gibt es auch auf Bundesebene problematische Vorstöße:

Diese Reform, die neben weiteren drei Sicherheitsgesetzen gerade durch den Bundestag gedrängt wird, erweitert nun die geplanten KI-Überwachungsbefugnisse massiv. Bislang beinhaltete das „Sicherheitspaket“ die Erlaubnis, im Internet nach bestimmten Gesichtern zu suchen und Datenanalysen nach Palantir-Art durchzuführen. Nun kommt noch die automatisierte Auswertung von Videobildern hinzu. […] Dabei werden die Gesichter aller Passant*innen vermessen und mit einer Liste von gesuchten Gesichtern abgeglichen. […] Die andere Technologie, mit der die Bundespolizei Videostreams durchsuchen soll, prüft automatisiert, was die abgebildeten Menschen gerade tun. […] Sie ordnet menschliche Bewegungen in Kategorien ein wie: „Tanzen“, „Rennen“ oder „einander Umarmen“. Findet sie etwa Bewegungen, die auf einen Kampf hindeuten, weist sie die wachhabenden Beamt*innen auf die Situation hin.

Mart1n · 10. Juli 2026 um 11:16

Es ist die Rechtsgrundlage fuer verdachtsunabhängiges Durchsuchen von Nachrichten.
Anlasslose Massenueberwachung ist nicht und sollte nie rechtens sein!
Es ist ne andre Sache bei konkreten, schweren Verdachtsmomenten mit Staatstrojaner/zero-day-exploit/weiss der Geier sich Zugang zu Geraeten zu verschaffenb.
Aber nicht immer, ueberall, generell.
Wenn die Infrastruktur dafuer einmal da ist, dann ist die naechste Funktion nur ein commit/Schritt weit entfernt.

Zum Thema „nur unverschluesselte Kommunikation“ hat man ja bereits das Client-Side-Scanning im Sinn: Die Daten vor der Verschluesselung analysieren.

koebes · 10. Juli 2026 um 12:14

Immer wenn sexuelle Gewalt gegen Kinder als Motiv für Gesetzesverschärfungen angeführt wird, muss man an die Lage Folge(n?) von vor ein paar Jahren erinnern, die wunderbar aufgezeigt hat, wie unsere Behörden eine Art Arbeitsverweigerungshaltung bei diesem Thema an den Tag legen. Das Lage team hatte damals mit verhältnismäßig geringem Aufwand pädo content und communities digital ausgehoben, der zuvor Jahre lang ungescholten grassieren konnten.

der_Matti · 10. Juli 2026 um 14:03

Ich bin da gar nicht unbedingt dagegen. Ein paar Gegenden sind einfach unsicher und das schadet der Gesellschaft im Gesamten, wenn sich Bürger (vor allem Frauen) nicht sicher fühlen.
Wichtig wäre mir, dass nichts gespeichert wird oder vom System als Verdächtiges Erkanntes nicht länger gespeichert als nötig.

sereksim · 10. Juli 2026 um 14:11

Ich widerspreche dir doch gar nicht, sondern wollte nur klarstellen, worüber genau nun abgestimmt wurde. Das ist schon schlimm genug.

Das ist glücklicherweise eben nicht das, was zur Abstimmung stand. Client-Side-Scanning usw ist Teil der Diskussion um die vollumfängliche Chatkontrolle inklusive E2E-verschlüsselten Chats. Die ist leider auch nicht tot zu kriegen, aber stand dieses mal afaik nicht zur Abstimmung

sereksim · 10. Juli 2026 um 14:23

Ich bin da absolut gegen, aus verschiedenen Gründen. Als Argument für mehr Überwachung pauschal Frauen oder Kinder vorzuschieben halte ich so allgemein erstmal für falsch, unter anderem, weil Überwachung keine Verbrechen verhindert, sondern erstmal nur der Ahndung dient. Dazu kommt, dass Gewalt auf der Straße Frauen nicht disproportional trifft, das Argument also eher das existierende gesellschaftliche Bild der schützenswerten Frau widerspiegelt und weniger die Realität oder konkrete, wirkliche Prävention.
Anlasslose Massenüberwachung ist kein Selbstzweck und der konkrete Mehrwert muss mMn erstmal belegt werden. Natürlich freut sich die Polizei über mehr Kompetenzen und Werkzeuge, das reicht mir als Grund aber nicht.

Dazu kommt noch, dass die stärksten Befürworter von mehr Überwachung zufällig auch die stärksten Bekämpfer von mehr Geschlechtergerechtigkeit oder Kinderrechten sind.

KI-Modelle haben außerdem in der Regel einen Haufen biases. Gesichtserkennung hat insbesondere einen racial bias, der existierende Stereotype verstärkt:

Our research supports fears that facial recognition technology (FRT) can worsen racial inequities in policing. We found that law enforcement agencies that use automated facial recognition disproportionately arrest Black people. We believe this results from factors that include the lack of Black faces in the algorithms’ training data sets, a belief that these programs are infallible and a tendency of officers’ own biases to magnify these issues. - Police Facial Recognition Technology Can't Tell Black People Apart | Scientific American

Landmark studies, such as those by the National Institute of Standards and Technology (NIST), reveal that facial recognition algorithms exhibit significantly higher error rates for racial minorities. Furthermore, case studies of predictive tools like COMPAS show a clear racial disparity in risk assessments. The analysis concludes that these technologies create a dangerous feedback loop: biased data from historically over-policed communities trains algorithms to identify those same communities as high-risk, thereby justifying and intensifying their surveillance. This process launders historical prejudice through a seemingly neutral technological interface, entrenching racial inequality and posing a profound threat to justice. - https://journals.sagepub.com/doi/10.1177/21533687261455743

thunfischtoast · 10. Juli 2026 um 16:35

Da würde ich mitgehen, aber nicht als Argument gegen die Videoüberwachung an konkreten Hotspots. Das ist dann ja eben keine anlasslose Massenüberwachung, sondern eine sehr anlassbezogene Überwachung eines eng umschriebenen Raumes. Die Videoüberwachung in den Zügen ist ja auch Alltag.

Versteh mich nicht falsch: ich bin da auch sehr vorsichtig, und strikt dagegen alle BürgerInnen unter einen Generalverdacht zu stellen. Anders als bei der automatischen Chatüberwachung sehe ich aber an Bahnhöfen sowohl einen konkreten Anlass als auch eine realistische Umsetzungsmöglichkeit. Zu diskutieren wäre eben, ob die Maßnahme auch geeignet und angemessen ist.

TilRq · 11. Juli 2026 um 07:49

Nicht ganz: Es war nicht das Lage-Team, sondern Strg-F und die LdN hat darüber berichtet.

Dazu steht weiter oben:

TilRq · 11. Juli 2026 um 08:14

Also, ich bin auch gegen die Chat-Kontrolle, wie sie jetzt implementiert wird.

Aber Deine Beschreibung ist nicht zutreffend und bei informierte Leuten läufst du damit ganz schnell auf. Weder handelt es sich um eine Durchsuchung. Eine Durchsuchung setzt voraus, dass ein Dritte in Dein Gerät guckt. Und auch der Begriff Massenüberwachung erzeugt ganz andere Bilder.

Was es nicht ist: Staatstrojaner, „Durchsuchen von Nachrichten“, „jemand oder eine KI schaut sich Deine Inhalte an“, staatliche Massenüberwachung, Backdoor, …

Alle diese Begriffe lenkten von etwas ab, was eigentlich noch viel perfider ist:

Bislang war es nur eine befristete Testphase, jetzt wird es dauerhaft erlaubt: Wenn der Anbieter Deiner App sich freiwillig an der Chat-Kontrolle beteiligt, erstellt Deine App für jeden Inhalt einen digitalen Fingerabdruck („Hash“) – egal, ob Du den Inhalt selbst erstellt oder von anderen bekommen hast. Findet die App einen Inhalt, dessen Hash in einer staatlich geführten „Tabelle verbotener Inhalte“ steht, muss die App diesen Fund an eine zuständige Stelle melden.

Stand heute geht es ausschließlich um Inhalte im Zusammenhang mit sexuellem Missbrauch („CSA“).
Die staatliche Stelle ist ein noch einzurichtendes EU‑Zentrum zur Bekämpfung sexuellen Kindesmissbrauch bzw. Polizeibehörden oder Kinderschutzstellen.
Ende‑zu‑Ende‑verschlüsselte Inhalte (z.B. bei Signal, Threema, WhatsApp‑E2E) sind in der aktuell verlängerten Ausnahmeregelung ausdrücklich ausgenommen.

Reicht das für eine Entwarnung?

Nein! Denn damit wird eine technischen Infrastruktur geschaffen, die wir nicht „wieder in die Tube zurück bekommen“. Und stellt Euch mal vor, in Deutschland regiert die AfD (mit) - was meint Ihr, woran die dann arbeiten werden? Naheliegend ist doch: die Ausweitung der Fälle, in denen diese Technik eingesetzt werden darf, die Einbindung weiterer staatlicher Stellen und langfristig die Ausweitung auch auf Ende‑zu‑Ende‑verschlüsselte Inhalte.

Bringt das was für den Kampf gegen Kinderpornographie?

Es gibt zwar Hinweise, dass Meldungen von Plattformen wichtig für Ermittlungen sind. Ich habe da sehr starke Zweifel: Ich kann mir aber nicht vorstellen, dass die Täter allen ernstes App verwenden, die nicht Ende‑zu‑Ende‑verschlüsselt wäre. Eine saubere Wirkungsstudie, die belegt, dass gerade die anlasslose Chat‑Kontrolle ein verhältnismäßig wirksames Instrument ist, liegt bislang schlicht nicht vor.

sereksim · 14. Juli 2026 um 08:43

Die realistische Umsetzungsmöglichkeit allein kann selbstverständlich kein Grund sein. Wie konkret und sinnvoll der Anlass in den diversen Städten ist, in denen das eingeführt werden soll, lässt sich von außen nur schwer prüfen.

Zuvor gab es [automatisierte Videoüberwachung] nur in Mannheim. Vor fast genau einem Jahr wurde sie in Frankfurt am Main gestartet, vor zehn Monaten in Hamburg.
In Berlin wird der Einsatz gerade vorbereitet, ebenso in zwei Städten in Baden-Württemberg. Und am Freitag hat der Bundestag den Einsatz an deutschen Bahnhöfen beschlossen. Vier Tage zuvor hat das Innenministerium einen Gesetzentwurf veröffentlicht, der dem Verfassungsschutz den Zugriff auf Überwachungsanlagen erlaubt. - (aus dem unten verlinkten Artikel)

Ich kritisiere aber auch die angenommene Angemessenheit, weil es eben um weit mehr geht als „nur“ ein paar smarte Kamerasysteme an etablierten Brennpunken:

Für die biometrische Fahndung nach Beschuldigten und Zeugen (also auch nicht-Beschuldigten!) wird die Polizei eine biometrische Datenbank von potentiell Milliarden Menschen erstellen müssen (ähnlich zur kommerziellen und dsgvo-brechenden Plattform PimEyes)
die Polizei hat bereits ein Gesichtserkennungssystem. Das Gesetz stellt eine Ausweitung dieser Gesichtserkennung auf jeden Menschen dar, von dem es Fotos im Internet gibt.
die geplante Datenbank als Basis der KI-Analyse soll auch Daten von Zeugen, Opfern und Unbeteiligten enthalten, ohne dass diese davon wissen.
Sicherheitsbehörden dürfen KI-Modelle mit nicht pseudonymisierten oder anonymisierten Daten trainieren. Damit könnten unter anderem sehr detaillierte Personenprofile von jedem erstellt werden
Es ist noch kritischer, dass auch die intransparenten Geheimdienste diese Befugnisse erhalten sollen, da deren Kontrolle noch eingeschränkter ist.

Boutmachine · 14. Juli 2026 um 18:40

Kann mir jemand beantworten, bei welchen Diensten man jetzt „nicht mehr sicher ist“?

Scannt Microsoft, wenn man Win11 hat auch automatisch allerlei Dateien und Kommunikation im Allgemeinen?

drum · 20. Juli 2026 um 17:00

Mich hat das um ehrlich zu sein wirklich überrascht. Dass seit 2021 meine Mails und Chats überprüft werden hatte ich nicht mitbekommen. Was jetzt genau überprüft wird und welche Dimension das hat war mir also komplett unklar.

Im Podcast „Die Rechtslage - LTO“ war die Chatkontrolle jüngst Thema (min. 26:13):

Zur aktuellen Praxis: Die erkannten Fälle werden in den USA bei einer NGO NCMEC gesammelt und von dort an die jeweiligen Ermittlungsbehörden weitergeleitet. Beim BKA sind 2025 rund 220.000 Meldungen von dort eingegangen, von denen etwas mehr als die Hälfte strafrechtlich relevant war und was fast alle Meldungen sind, die die Behörden in diesem Bereich erhalten.

Das Auslaufen der Verordnung im April wurde von den Unternehmen ignoriert und es wurde seither - also verbotenerweise - weitergescannt und weiter gemeldet. Diesen Umstand empfindet man bei der LTO als Ausdruck eines gewissen „Kräfteverhältnisses“ zwischen den US amerikanischen Providern und der EU - das Nicht-Einschreiten von allen Beteiligten als „irre“.

Es geht bei der freiwilligen anlasslosen Chatkontrolle um drei Bereiche:

Hash-Wert-Abgleich mit bekanntem Bildmaterial
Erkennung von bisher unbekanntem Bildmaterial
Erkennen von Cyber-Grooming

Das Parlament hatte sich im März lediglich für eine anlassbezogene Chatkontrolle vom Typ Hash-Wert-Abgleich ausgesprochen. Es kam anders.

Den Sprechern ist nur eine einzige Klage bekannt, die sich gegen die freiwillige Chatkontrolle richtet - von der uns bestens bekannten GFF!

Weiteres zum Ablauf im EU-Parlament wurde hier ja bereits thematisiert und macht auch nur schlechte Laune. Ich kann den Podcast sehr empfehlen und LTO sowieso.

Ergänzung (für besonders Interessierte):

Aus dem Bericht der EU-Kommission zur Validierung (veröffentlicht einen Tag nach der Ratspositionierung zur „Chatkontrolle 2.0"):

Meta ist für den überwigenden Teil der Meldungen (an die NCMEC - private Inhalte/Kommunikation als Quelle) verantwortlich und verwendet laut eigenen Angaben für diese ausschließlich die Hash-Methode.

Die erfassten Meldungen werden vom NCMEC nach Diensten aber nicht nach privater vs. öffentlicher Kommunikation aufgeschlüsselt und beliefen sich 2024 auf insg. 2,65 Mio. Meldungen mit EU-Bezug.

Gemeldet an die EU (Meldung zusammengefasst) wurden:

Den Rückgang der Meldungen erklärt man sich durch die zunehmende Nutzung von verschlüsselter Kommunikation.

Die Kommission bezieht sich in der Methodenbeschreibung beim Hash-Verfahren überraschenderweise besonders auf die Google-Technologie, obwohl Meta mit 1,5 Mio (2024) den absolut überwiegenden Teil dieser Meldungen ausmachte.

Zwischen den abgegebenen Meldungen der NCMEC und den von den Ländern als erhaltenen berichteten Meldungen liegt eine Differenz von etwa 240.000 Meldungen oO.

Estland ist das einzige Land, das tatsächlich Angaben über die Verurteilungen in Folge der Chatkontrolle veröffentlicht hat → von 2022 bis 2024 in Summe 18.

Alle anderen Daten sind zur Validierung der konkreten Fragestellung nicht nutzbar.

Beispiel Deutschland (Zahlen sind da alle Verurteilungen wegen sexuellem Missbrauch von Kindern):

Wie wenig Mühe kann man sich eigentlich geben…

Welche Dienste überhaupt betroffen sind, da nennt der WDR:

E-Mails über Gmail oder Outlook.com

Direktnachrichten auf Instagram, Snapchat oder Discord

Kommunikation über Microsofts Xbox

Falls man dem Ganzen etwas Positives abgewinnen möchte: Vielleicht wird zumindest dieses „2.Lesungs-Eilverfahren-Loophole“ geschlossen, was da offenbar geschlummert hat und man kann es nicht für die Chatkontrolle 2.0 o.ä. nutzen.

Ich sehe durchaus Argumente für den konkreten Vorschlag des EU-Parlaments - die Szenarien, in denen das Ganzen plötzlich in eine dystopische Massenüberwachung ausartet, kann aber spätestens nach dieser Aktion wohl niemand mehr als unrealistisch abtun.

TilRq · 21. Juli 2026 um 06:24

Chats werden nur dann gescannt, wenn der Hersteller der Anwendung freiwillig mitmacht. Gescannt wird im Hintergrund. Der Nutzer erfährt höchstens über Pressemitteilungen oder indirekt über AGB/Datenschutzerklärungen, dass ihre unverschlüsselte Dienste grundsätzlich automatisiert geprüft werden können - bis der Account gesperrt ist oder die Polizei vor der Tür steht

Das sind alles US-Amerikanische Unternehmen. Die EU kann nicht verbieten, was amerikanische Unternehmen tun. Es sind m.W. keine EU-Hersteller bekannt, die an der freiwilligen teilnehmen.

drum · 21. Juli 2026 um 08:23

Sie haben Recht - es ist nicht die Chatkontrolle 2.0 und das ist sicher wichtig zu betonen. Aber für die meisten Menschen sind das Nuancen - zwischen „machen“ und „müssen“. Und dass Ende-zu-Ende verschlüsselte Nachrichten davon ausgenommen sind, ist an für sich ein logischer Widerspruch.

Man „löst“ den dann mit Client-Side-Scannig „nur auf“ und passt die Rechtslage „an die geänderten technologischen Entwicklungen und die damit verbundenen Herausforderungen an“.

Oder man reagiert auf einen konkreten Fall, bei dem im Nachhinein herauskommt, dass verschlüsselte Kommunikation zur Übertragung des „selbst hergestellten Bildmaterials“ genutzt wurde. An diese bestehende Ausnahmeregel anzuknüpfen ist argumentativ sehr viel einfacher.

Das würde allem widersprechen, was ich bisher dazu gelesen habe. Die ePrivacy-Richtlinie und die entsprechenden nationalen Gesetzgebungen betreffen auch US-Unternehmen mit Nutzern in der EU. Hier ist doch der erstaunliche Fall, dass die Gesetzgebung offenbar um die Praxis der US-Unternehmen herum gestrickt wird, obwohl es ja eigentlich anders herum sein sollte.

TilRq · 22. Juli 2026 um 12:32

Ja, das hatte ich mir im Nachgang auch überlegt.