Damit verschließt du dich letztlich dem wirklich relevanten Teil der Diskussion und einer der zentralen ethischen Fragen, die definitiv in näherer Zukunft aufkommen werden.
Nein, heutige politische Maßnahmen - gerade wenn es um ein Moratorium geht - zielen doch gerade darauf ab, zukünftige, als negativ erwartete Entwicklungen zu verhindern. Deshalb fordert das Moratorium ja explizit, dass keine noch stärkeren KIs entwickelt werden sollen. Es geht hier daher durchaus um die Frage, welche Erwartungen wir an die Zukunft der KI haben und ob die Angst vor dieser Zukunft es rechtfertigt, ein weltweites Entwicklungs-Moratorium zu beschließen.
Das ist keine schlüssige Argumentation - außer eben, man glaubt tatsächlich, dass der Mensch so etwas wie einen „göttlichen Funken“ hätte, der seinen Verstand und seinen Charakter etwas verleiht, was über die bloßen evolutionsbiologischen Entwicklungen hinaus geht. Das glaube ich aber nicht.
Unser Verstand hat sich über einen Zeitraum von 3,5 Milliarden Jahren langsam vom Einzeller bis zu den heute komplexen Gegebenheiten unseres Organismus entwickelt. Es gibt keinen Grund, warum eine KI das, was unser Gehirn tut, nicht auch in einer geringfügig anderen (da Körperlos) Art bewirken kann.
Man kann aber einem Kind die nötige Erziehung, Bildung und Interessen vermitteln, damit es von sich aus eine Sprache lernt, die man selbst nicht beherrscht. Das passiert heute schon in dem Sinne, dass KI für komplexe Problemlösungen genutzt wird (Beispiel Schachcomputer - erst hat man sie mit echten Spielerdaten gefüttert, sodass sie nur reproduzieren konnten. Das reichte nicht. Dann hat man eine KI gebaut, der nur die Schachregeln beigebracht wurden und die gegen sich selbst millionenfach gespielt hat, bis sie genug Daten hatte, auch die besten menschlichen Spieler besiegen zu können. Die Schach-Grundregeln kennt jedes Kind, dass die KI alleine auf Basis dieser Regeln zum Großmeister-Niveau aufsteigen kann hat ihr niemand „beigebracht“…)
Dieses Verhalten der modernen Schach-KI muss man jetzt nur mal „ungezügelt“ verstehen, daher ohne jede Einschränkung mit vollem Zugriff auf alles Wissen dieses Planeten. Das, was dabei raus kommen könnte, kann man durchaus als „Persönlichkeit“ verstehen, denn diese KI würde sich auch Meinungen bilden.