Das kannst du durchaus so sehen. Aber über so eine „zügellose KI“, wie du sie nennst, zu spekulieren, macht für mich einfach keinen Sinn, da es sie mMn, auf Jahrzehnte nicht geben wird. Alles was ich tun kann, ist zu argumentieren warum das, meiner Ansicht nach, so ist, aber mehr auch nicht.
Ja, ähh, das ist ein überspezifische Aussage, also quasi eine Lüge. 
Microsoft hat 11 Mrd. als größter Investor in OpenAI LLC gebuttert und hostet deren Chat-Bots. Die wissen sehr genau, wie ChatGPT funktioniert und was er kann und nicht kann. Getreu dem Motto von Warren Buffet:
„Investiere niemals in ein Geschäft, das Du nicht verstehst.“
Die Frage ist also, wie können die „Microsoft-Forscher“ dann so etwas in ihrem Paper schreiben? Und die Antwort darauf, steht im ersten Satz in dem, von dir genannten, Abschnitt 10.3:
Our study of GPT-4 is entirely phenomenological: We have focused on the surprising things that GPT-4 can do, but we do not address the fundamental questions of why and how it achieves such remarkable intelligence.
Das ist die wissenschaftliche Bankrott-Erklärung des gesamten Papers. Alle 155 Seiten sind mit diesem Statement nur noch Marketing. Dort steht nämlich sinngemäß:
Es interessiert uns [die Verfasser des Papers] überhaupt nicht, wie Chat-Bots funktionieren, sondern wir lassen uns nur davon blenden, was das Programm vorgaukelt zu können.
Das wäre ungefähr so, als ginge man in eine Zaubervorstellung, sähe dort diverse Zaubertricks und würde hinterher an Magie glauben.
Und mit so einer Herangehensweise können die „Forscher“ dann natürlich auch schreiben, dass sie keine Ahnung haben, warum ChatGPT irgendwas kann, denn sie haben sich das ja auch nie angesehen. Und diese gewollte Ahnungslosigkeit verkauft Microsoft dann als „mysteriöse AGI-Funken“.
Danke für den Hinweis, das hätte ich hier fast noch übersehen @Jens2 