LdN289 Chatkontrolle, Netzsperren und eine verpflichtende Altersverifikation für Kommunikations- und Speicherdienste

Die EU-Kommission hat am Mittwoch ihre Verordnung zur Bekämpfung von Kindesmissbrauchsdarstellungen im Netz vorgestellt. Darin ist die Verpflichtung der Anbieter von Kommunikationsdiensten enthalten, sämtliche Inhalte auf verdächtiges Material hin zu durchsuchen. Das soll insbesondere für Chatanbieter und Messengerdienste wie WhatsApp, Signal, Telegram & Co gelten, aber auch für Telefonie, E-Mail oder Videokonferenzen. Vorgesehen ist die Chatkontrolle, Netzsperren und eine verpflichtende Altersverifikation für Kommunikations- und Speicherdienste.Betroffen sind Texte, Bilder, Videos und Sprache.

Vollständiger Artikel unter: EU will alle Chats überwachen: Heftige Kritik

Über: https://twitter.com/chaosupdates/status/1524171360339038208?s=21&t=ibB5QC13Cc3WMc80TOwEOQ

2 „Gefällt mir“

Siehe auch
https://talk.lagedernation.org/t/geplante-inhaltsueberwachung-saemtlicher-kommunikation/10756/12

Interessant. Ich frage mich gerade wie die Filtersoftware funktioniert, die Facebook derzeit im Messenger nutzt um Ki.Po.-Bilder und Videos aufzudecken. Ich dachte allerdings auch, dass der Messenger irgendwie auch verschlüsselt ist, das ist ja anscheinend nicht so. Von meiner Arbeit weiß ich auch, dass auch bei der jetzigen Filtersoftware false positives auftauchen und idR. spätestens beim LKA aussortiert werden.

Hat die EU Komm. denn eigentlich auch einen Plan für das Problem an sich, oder will man nur alles scannen dürfen?

1 „Gefällt mir“

Noch eine Ergänzung: legitime Gründe zum Verschicken von Kipo. Bildern: Ich habe einen Klienten, politischer Aktivist aus Pakistan, der hat auf Facebook eine Verlinkung zu einem Artikel (pakistanischer Blog) inkl. Videos/Fotos geteilt, wo über eine Gruppe in Pakistan berichtet wurde, die u.a. Kinder misshandeln. Seine Aussage: Er wollte das bekannter machen, dass es diese Menschen gibt und die in Pakistan straffrei davon kommen, hat den geteilten Link entsprechend auch kommentiert. Problem: in dem Artikel waren Bilder zu sehen, die man durchaus als kinderpornografischen Inhalts einstufen kann. Er bekam einen Strafbefehl und wartet nach Widerspruch aktuell auf eine Verhandlung. Für ihn war das ein legitimer Grund.

Vorab: Irgendwer hat mal geschrieben, dass man soziale Probleme nicht mit Technik lösen kann. Das dürfte auch auf dieses Thema zutreffen.

Kommen wir aber mal zur Technik. Thema Hashwerte um „schlimme Bilder“ zu erkennen. Das Problem ist, dass Hash-Algorthmen eine „Quersumme“ über die Datei bilden, die möglichst Kollisionen vermeiden will, also dass zwei unterschiedliche Dateien den gleichen Hashwert ergeben. Im Umkehrshcluss heißt das, dass es reicht ein Bit in der Datei zu kippen um einen gänzlich anderen Hashwert zu bekommen. Beispiel:
Logo Euer Logo, mit Screenshot von der Webseite geholt.
Logo2 Und hier nochmal Euer Logo, um das Bild zu bekommen habe ich das obige in Gimp geladen und mit einer anderen Kompressionsstufe wieder exportiert. Beide Bilder sehen gleich aus. Hashwerte (sha256):

39790bdc33eba58ad2b2534782b40067c3bdce4a1612bae53b243d305a18784c  Logo.png
2d75fb1cdda8a38478d36c3c8b7a8e55199273cf13ac7c1eb29a872311a1fe83  Logo2.png

Damit dürfte klar sein, dass Hashwerte komplett ungeeignet sind.

Kommen wir zum Thema Künstliche Intelligenz. KiIund Machine Learning heißt in erster Näherung ja nur, dass ich das sogenannte „Neuronale Netz“ mit Daten füttere und jeweils die Klassifizierung vorgebe. D.h. Ich könnte meinem System 1000 Bilder von Hunden und Katzen zeigen und jeweils sagen was das ist und dann mal sehen, wie es ein neues Bild klassifiziert, eben als Hund oder Katze. Um das ganze dann auf „Kinderpornographie“-Erkennung zu trimmen bedeutet das im Umkehrschluss, dass dieses System erst mal mit all dem Schweinekram gefüttert werden muss, der so im Internet kursiert. Was wohl auch erklärt, warum „der Staat den Firmen das schenken will“, denn natürlich würde sich jeder IT-Mensch strafbar machen, der eine KI trainieren will und dazu schlimme Bilder braucht.

Aber jetzt mal ganz unabhängig von der Technik. Ich finde es sehr interessant, dass dieser Vorschlag von der EU-Kommission kommt, deren Chefin fiel so um 2009 hierzulande ja bereits mit einem Vorschlag von Netzsperren zur Bekämpfung der Kinderpornographie um Netz auf, was ihr auch den Beinamen „Zensursula“ eingebracht hat.

Und wenn man jetzt noch die Diskussion von neulich berücksichtigt, dass das BKA zwar weiß, wo die schlimmen Bilder im Netz stehen, aber nichts getan hat um sie zu löschen, dann frage ich mich schon, ob hier nicht unter dem Deckmäntelchen der Bekämpfung von KiPo (welcher moralisch gefestigte Mensch könnte da dagegen sein) nicht wieder ein Überwachungsinfrastruktur etabliert werden soll, die am Ende uns allen schaden zufügen kann.

5 „Gefällt mir“

Da hat die SZ etwas zu:
Messenger:Wie Facebook private Nachrichten durchleuchtet - sueddeutsche.de

Gruselig, das war mir tatsächlich noch nicht bekannt.
Ich sehe da auch eine echte Gefahr und mir kommen da Erinnerungen an den Fall des ehemaligen SPD-Politikers Edathy (Quelle: Wikipedia), der erst dem NSU-Untersuchungsausschuss vor saß und dann wegen des Verdachtes des Besitzes, kinderpornografischen Materials angeklagt wurde (Quelle: Merkur):

Gleichzeitig hat das BKA sich damals schützend vor eigene Beamte gestellt, die im Zuge der Emittlungen ebenfalls als Täter entlarvt wurden und diese unbenannt in den Ruhestand versetzt (Quelle: Spiegel)

Man stelle sich nur vor, das BKA säße zukünftig dank unzuverlässiger KI-Filter auf Tonnen von KiPo-Verdachtsmeldungen gegen praktisch alle Politiker, die sich bei Bedarf aus der Schublade holen ließen und wenn so ein Verdacht erst mal durch die Presse ging, dann kriegt man diesen Geist nur schwer wieder eingefangen.
Man könnte wahrscheinlich dann noch nicht mal verlangen, dass die fraglichen Bilder überprüft werden, da dies ja vermutlich den Tatbestand der Verbreitung erfüllt.

Beunruhigend.

1 „Gefällt mir“

Das ist nicht ganz richtig, bzw hat Microsoft eine Foto-DNA entwickelt, dessen Hash nicht so leicht manipuliert werden kann.

Microsoft verschenkte die Technik im Jahr 2013 an das NCMEC, um auf diese Weise den Einsatz gegen die Verbreitung kinderpornografischer Fotos (englisch: child sexual abuse material (CSAM)) zu unterstützen. Internetdienste, die eine Ende-zu-Ende-Verschlüsselung anbieten, können diese Verfahren jedoch nicht nutzen.

https://www.golem.de/news/kampf-gegen-kindesmissbrauch-die-wichtigsten-antworten-zur-chatkontrolle-2205-165302.html

X-Ways Forensics kann bis auf weiteres den sog. PhotoDNA-Hash-Algorithmus auf Fotos anwenden. Dank der Robustheit des Algorithmus’ und seiner Spezialisierung auf Fotos kann er Bilder normalerweise auch dann automatisch wiedererkennen, wenn sie wiederholt einer verlustbehafteten Kompression unterworfen wurden (JPEG), wenn sie in einem anderen Dateiformat gespeichert wurden oder vergrößert oder verkleinert wurden, wenn die Bildschärfe herauf- oder herabgesetzt wurde, wenn Bildteile verpixelt wurden, wenn die Farben oder Kontraste angepaßt wurden usw. Anders als Hash-Werte von konventionellen, zu allgemeinen Zwecken für Daten generischer Art entwickelten Algorithmen, sind PhotoDNA-Hashes resistent gegen diverse Bildoperationen oder ändern sich nur leicht. Optional können Fotos auch dann wiedererkannt werden, wenn sie gespiegelt wurden. Aus Zeitersparnisgründen und wegen vermuteter Irrelevanz werden Bilder mit einer Höhe oder Breite von weniger als 50 Pixeln nicht mit PhotoDNA untersucht.

https://documentation.help/WinHex-X-Ways-de/topic129.htm

1 „Gefällt mir“

Hier scheint es, zumindest auf englisch, eine Beschreibung des Algorithmus zu geben:
PhotoDNA and Limitations

3 „Gefällt mir“

Der Thread hier geht ja auch um die Frage, wie mit den Ergebnissen von client-side scanning umgegangen wird, daher passt das hier so einigermaßen:

Anfang Februar ist vor dem LG München ein Fall entschieden worden, der mich beim Lesen irgendwie stutzig macht. Natürlich nur in den Details, nicht im Gesamtergebnis.

Ausführliche Pressemitteilung des LG München dazu:
Pressemitteilung 04 vom 02.02.2022: „Keine zwingende Anhörung bei Kontosperrung aufgrund außerordentlicher Kündigung“ - justiz.bayern.de

Der Nutzer wurde gesperrt, was auch gut so ist, aber irgendwie klingt es für mich hier so klingt, als hätte das Gericht die Bilder, um die es hier geht nie selbst gesehen:

Nach der vollen Überzeugung der erkennenden Kammer gemäß § 286 Abs. 1 ZPO beinhal-ten die vom Kläger versandten streitgegenständlichen Fotos Inhalte, die pornographische und damit ausbeuterische Darstellungen von Minderjährigen enthielten. Es ist nicht erkennbar oder auch nicht vorgebracht worden, dass sich sowohl die Software als auch der konkret ein-gesetzte Mitarbeiter [Anm.: von Facebook] beim Abgleich der streitgegenständlichen Fotos mit den bekannten CEI-Inhalten geirrt hätten.

Wenn die Bilder vom Gericht gesichtet wurden und tatsächlich in den strafrechtlichen Bereich fallen würden, dann wären doch Ermittlungen gegen den Facebook-Nutzer wegen $184b STGB aufgenommen worden, oder sehe ich das falsch?
Und wieso ist es für das Gericht relevant, was das Unternehmen Facebook meint oder ob es sich irrt? Die Meinung eines deutschen Gerichtes steht doch wohl über der eines Unternehmens.

Ich bin kein Jurist und vielleicht erkenne ich hier etwas elementares nicht, daher würde ich interessieren, was Juristen dazu sagen.

Erst einmal Hallo von mir, ich freue mich hier dabei sein zu dürfen.

Der Gesetzentwurf „Chatkontrolle“ ist für mich ganz eindeutig ein Vorwand mit dem eigentlichen Ziel, dies später auszuweiten, spätestens wo es klar wird, dass die AI- oder Hash-basierte Lösungen nicht funktionieren. Der Zweck ist das Schwächen oder gar Abschaffen der E2E-Verschlüsselung. Zudem rechne ich fest damit, dass es nicht lange dauern wird, bis man ähnliches Vorgehen gegen „Terrorismus“/Querdenkergruppen" usw. fordert, wenn es einmal die Strukturen hierfür gibt. Bald kommen dann radikale Klima-Aktivist:innen usw. auch dran. Würde man es ernst meinen mit dem Kampf gegen sexualisierte Gewalt an Kindern, so würde man Resourcen so investieren, dass z.B. die Polizei ihre eigentliche Ermittlungsarbeit macht, in dem sie bei konkretem Verdacht bestimmte Foren/Chatgruppen infiltriert und Beweise sammelt, die zu Festnahmen und Verurteilungden von echten Tätern führt.
Fand die Diskussion in der aktuellen Lage-Folge zu diesem Thema sehr gut!

2 „Gefällt mir“

Hallöchen! :wave: Mich würde mal interessieren wie die zentrale Behörde nach einer Anordnung denn kontrolliert, dass in einen Client auch tatsächlich ein wie auch immer gearteter Filtermechanismus eingebaut wurde. Überspitztes Beispiel: Ein privates Unternehmen bekommt eine Anordnung, macht nix und sagt drei Monate später „Jawoll, wurde eingebaut“. Hat denn die zentrale Behörde die Autorität sich den proprietären Sourcecode des Clients anzuschauen?

Also für mich ist die ganze Chatkontrolle mal wieder der X-te Versuch mit dem vorgehaltenen Argument der Bekämpfung von Kinderpornografie verschlüsselte private Kommunikation anzugreifen. Never ending story.

1 „Gefällt mir“

Ich habe mir gerade die Passage angehört, ein Aspekt geht mir völlig verloren.
Wird dieses Vorgehen vorgeschrieben, also das Mitlesen eine privaten Kommunikation, könnte ich auch sinngemäß jeden Brief öffnen und nachschauen was da drin steht. Oder irre ich mich in diesem Zusammenhang?

1 „Gefällt mir“

hätte gemacht werden müssen, ob es gemacht wurde ist unklar, da es nicht Bestandteil der Klage war und ggf. die Strafanzeige im gesonderten Verfahren läuft/lief (Strafbefehl, Einstellung gg. Geldzahlung,…)

Je länger ich über den Vorschlag der EU nachdenke, desto mehr Gründe fallen mir ein, warum das keine gute Idee ist. Ein paar Gedanken:

  1. (Ausweich-)Reaktionen der Betroffenen
    Bei Maßnahmen sollte man immer auch die (Ausweich-)Reaktionen der Betroffenen mitdenken.

1.1 Technisches Wettrüsten/Evolution
Es wird zwangsläufig eine Evolution eintreten:
Wenn Bilder gescannt werden, dann werden Bilder nicht mehr direkt verschickt, sondern werden vorverschlüsselt. Das Passwort dafür kann man verklausuliert bekannt geben und regelmäßig ändern, so dass automatische Verfahren hier das Nachsehen haben – von Umschreibungen bis Steganographie ist hier vieles denkbar. Die Messenger-Apps und -Server bekommen so nur bereits vorverschlüsselte Inhalte zu Gesicht, womit die echte Ende-zu-Ende-Verschlüsselung (E2E) dann wieder hergestellt wäre und die gesamte Maßnahme ins Leere läuft.

E2E ist ein etabliertes Verfahren und kann meiner Meinung nach nie dauerhaft wirksam ausgehebelt werden. Sie kann verboten werden, was allenfalls den normalen Bürger*innen von ihrer Benutzung abschrecken würde, aber vorsätzlich Kriminelle sicherlich nicht.

1.2 Hash-Überprüfung nicht akzeptabel
Auch eine Hashüberprüfung wird eine Selbstzensur befeuern, da Benutzende sich nicht sicher sein können, ob eine gesendete Nachricht nicht doch gegen irgendeinen Filter verstoßen könnte – und sie können sich auch nicht sicher sein, ob wirklich „nur“ nach sexualisierter Gewalt gegen Kinder gefahndet wird. Da braucht „der Staat“ nur gezielt Andeutungen machen, um hier entsprechende Ängste zu schüren.

Wer wirklich sicher sein will, wird zu 1.1 greifen (müssen).

1.3 Warnungen wären kontraproduktiv
Wenn Benutzende nur gewarnt würden, dann könnten Kriminelle genau diese Funktion nutzen, um zu prüfen, ob ein gegebenes Material noch „sicher/nutzbar“ ist und bei Bedarf das Bild solange verfremden, bis der Filter nicht mehr anschlägt.
So würde man dann gemäß Konstruktion überhaupt keine Verstöße mehr ausfindig machen.

1.4 Behördensoftware zur Erkennung
Wenn es sich hierbei um Open Source handelt, greift Punkt 1.3 in analoger Form.

Wenn nicht, dann besteht die Gefahr, dass die Software zu einem Staatstrojaner ausgebaut wird, insbesondere, wenn die Software auch auf dem Gerät des Benutzenden laufen würde.
Die Zusatzfunktionen kann man nach ein paar Jahren anfangen einzubauen, wenn niemand mehr so genau hinschaut. Man muss den Code an diesen Stellen nur entsprechend undurchsichtig gestalten und die Einzelteile im Laufe der Zeit so hinzufügen, dass durch eine einfache Änderungsanalyse sich das Gesamtausmaß der Änderungen nicht so leicht durchschauen lässt.
Begleitend dazu kann man auch offiziell die Befugnisse der Software schrittweise ausbauen.

  1. Zur Überprüfungsbehörde

2.1 Gewalt gegen Behördenpersonal
Wie sieht es mit der Gewalt gegenüber den in dieser Überprüfungsbehörde arbeitenden Menschen aus? Sie müssen sich diese furchtbaren Bilder anschauen. Wie lange und was kann man hier den Menschen zumuten? Arbeitsschutzrechtlich vielleicht auch nicht ganz unproblematisch.

2.2 Neigungen des Behördenpersonals
Wer würde sich freiwillig für eine Arbeit bewerben, bei der man sich täglich Bilder anschauen muss, auf denen sexualisierte Gewalt gegenüber Kindern dargestellt wird? Vielleicht würde man durch die Einführung einer solchen Behörde ungewollt der Verbreitung derartiger Bilder Vorschub leisten.

2.3 Auswirkungen eines Skandals in der Überprüfungsbehörde
Was wäre der nächste Schritt, wenn auch nur ein Amtsmissbrauch aus dieser Behörde öffentlich wird? Wird die Behörde dann doch wieder wegoptimiert und die Daten direkt an die Exekutive weitergeleitet zur (letztlich beliebigen) Auswertung?
Wäre doch „schade“ alles wieder wegzuwerfen, nach dem die Industrie so viel Geld investieren musste und die Infrastruktur selbst doch so gut läuft.

2 „Gefällt mir“