Der Titel bei Netzpolitik scheint mir etwas „überspezifisch“:
Herzstück des Gesetzesvorschlags zur Künstlichen Intelligenz ist eine Liste mit Anwendungen, die künftig als „hochriskant“ eingestuft werden und genehmigungspflichtig sind. Als Beispiel nennt die Kommission algorithmische Systeme in medizinischen Geräten und selbstfahrende Autos.
D.h. es werden diverse Anwendungen verboten, aber wenn ich das richtig verstehe, dann können auch Algorithmen „als solche“ illegal werden? Angesichts dessen, dass jede:r so etwas programmieren und auf Github öffentlich stellen kann, frage ich mich, wie das konkret zu verstehen ist.
Das gleiche gilt bei neuen „Sicherheitsregeln für Roboter, 3D-Drucker und anderes Gerät“: Einen Quadrokopter kann man selber bauen, z.B. im 3D-Drucker, in Masse. Natürlich kann das auch gefährlich sein - nicht erst, wenn es ein 3D-Drucker für Metall ist.
[…]
Müssten wir nicht eine öffentliche Diskussion darüber führen, was erlaubt und was verboten sein soll? Warum meint der Staat (im Sinne der EU …) eigentlich, hier der bessere Kontrolleur sein zu können? Warum müssen sich öffentlich eingesetzte (KI-) Algorithmen nicht durch öffentliche Begutachtung (Offenlegung von Algorithmen und Parametern), wenn KI-gestützte Automaten in unserer Öffentlichkeit entscheiden?
Müssten wir neben des Verbotes auch eine Möglichkeit, die „inneren Werte“ von KI-Gadgets auswerten zu können, um deren „Gemein-un-gefährlichkeit“ einschätzen zu können? Bürokratische Organisationen sind damit doch vorhersehbar überfordert, so dass wir Korruption und Machtmissbrauch vorhersehbar den Weg bereiten: Wer einer Macht-habenden Partei und deren Mitgliedern genug Geld spendet, wird bei der Prüfung übersehen - nach Staaten gestaffelt vielleicht auch etwas unterschiedlich gehandhabt …
Kurz: Betreten wir hier nicht gerade digital-rechtliches Neuland, weil „das Verbotene“ in den Parametern neuronaler Netze steckt - was man eben schon als (digitale) Gedanken bezeichnen kann?!
1 „Gefällt mir“
Automatisierte Gesichtserkennung ermöglicht es aus Videos und Bildern Namen zu ermitteln. Diese Namen lassen sich anschließend sehr bequem in Datenbanken z. B. mit Zeit und Ort des Bildes speichern. Damit können also Bewegungsprofile erzeugt werden. Und zwar von allen Menschen! Heißt, dass es dann Orte gibt, an denen gespeichert ist, wer wo in seinem Leben gewesen ist.
Auch ist es mit automatisierter Gesichtserkennung möglich ein Foto von einem Unbekannten zu machen, z. B. mit seiner Handykamera. Im Anschluss erhält man alles was über diese Person im Internet zu finden ist, also Name, Adresse, Arbeitgeber, Alter, Freunde, Vermögensverhältnisse.
Heißt zusammenfassend, dass aktuell nicht absehbar ist, was für Folgen automatisierte Gesichtserkennung auf unsere Gesellschaft hat. Sicher ist aber, wenn es das einmal gibt, dann kann das nicht einfach wieder zurück gedreht werden.
2 „Gefällt mir“
Das Interesse von Politik, und gerade auch Polizei an diesen Mechaniken, fand ich schon immer erschreckend…
Hallo @PeerPeter,
ich verfolge die zivilgesellscahftliche Debatte zum Thema Regulierung von algorithmischen Entscheidungssystemen vom Rande aus, und habe eigentlich das Gefühl, von dem was man bislang liest sieht das was die EUKomission da so schreibt relativ gut aus.(Disclaimer: Ich habe jetzt auf die schnelle nur den NetzpolitikArtikel und nicht das verlinkte Gesetzesentwurf gelesen).
→ Regulierung von Entscheidungssystemen geschieht abgestuft, je nach Schadenspotential: Für gewisse Anwendungen: Verbot, Für gewisse Anwendungen: Strenge Regulierung, für andere Anwendungen: leichte Regulierung, für andere Anwendungen: Keine Regulierung. Das ist völlig klar dass so eine Abstufung erstmal sinnvoll ist und auch Regulierung erst Praktikabel ist
→ Transparenzpflichten, schon für nicht streng regulierte Anwendung
(Netztpolitik.org sagt: Ein schlankere Set an Vorschriften soll es für Anwendungen geben, die als niedriges Risiko eingestuft werden. Für diese sollen Transparenzvorschriften gelten. Nutzer:innen müssten etwa darüber informiert werden, wenn sie es mit einem Chatbot zu tun haben. Die große Mehrheit der bislang in der EU genutzten KI-Systeme fielen in diese Kategorie, sagt die Kommission.).
Da würde ich vermutlich noch deutlich mehr fordern als nur Transparenz, dass das passiert, sondern auch was passiert.
→ Strenge Regulierung incl. Verboten. Hier erwähnt ja Netzpolitik.org neben den genehmigungen auch Rikoeinschätzung und Schutzmaßnahmen sowie eine detaillierte Dokumentation des Systems. „Auch ist für hochriskante Anwendungen die Verwendung eines „qualitativ hochwertigen Datensatzes“ vorgeschrieben, um Risiken und Diskriminierungseffekte durch die Anwendung zu vermeiden. Zudem sollen Aktivitäten der Systeme geloggt werden, um Entscheidungen nachvollziehbar für menschliche Kontrollinstanzen zu machen. Nutzer:innen müssten über die Wirkungsweise informiert werden.“
HIer kann man sich natürlich drüber streiten, ob man die Dokumentation einer Aufsichtsbehörde oder der Öffentlichkeit vorlegen muss; klar das man da verschiedene Meinungen haben kann, und das große Teile der Legislative „Aufsichtsbehörde“ besser finden werden.
Mein Verständnis ist auch nicht dass die Algorithmen, also das was „jemand“ bei Github hochlädt, illegal werden, sondern deren unregulierte Anwendung.
Aber verstehe ich richtig, dass der Kern der Diskussion für Dich ist, dass Du Transparenzpflichten gegenüber einer Aufsichtsbehörde kritisch siehst und lieber Veröffentlichungspflichten hättest?
Oder hab ich noch andere Kernpunkte nicht richtig verstanden?