Es ist glaube ich müßig, über Code zu diskutieren den wir nicht sehen können (und es macht auch sicherlich keinen Sinn, hier Code zu posten). Wenn man Chat-GPT ein Code-Schnipsel mit unvollständigen informatioen gibt, dann wird es natürlich irgendwann auch versuchen, anhand der Variablennamen Sinn in den Code hinein zu interpretieren - genau wie ein Mensch dies bei fehlenden Informationen auch tun würde.
Ich empfinde GPT-4 bei der Software-Entwicklung (wie viele Kollegen auch) als ausgesprochen hilfreiche Unterstützung - auch wenn man natürlich nicht immer alles ungeprüft übernehmen/akzeptieren kann.
Der Vergleich mit statischen Code-Analyse-Werkzeugen, die es tatsächlich schon lange gibt, ist eher irreführend. Denn KI-Systeme verstehen Code ja auf komplett andere Weise.
Bei den klassischen Werkzeugen muss das Wissen über jede einzelne Programmiersprache mühevoll hinein programmiert werden. Das heißt: hier muss zunächst der/die Programmierer:in „verstehen“ wie die zu analysierende Programmiersprache funktioniert. Der Programmcode für ein System wie Chat-GPT ist dagegen vergleichsweise einfach und allgemein. Es wird nur das neuronale Netz programmiert, welches initial praktisch „leer“ ist. Das ganze Wissen ergibt sich erst durch das monatelange Training. Das Modell lernt aus der gigantischen Menge an Trainingsdaten (z.B. Tutorials oder dem Code in GitHub) was Programmiersprachen sind und wie die einzelnen Sprachen (sicherlich auch MatLab) funktionieren. Es muss dabei ein ziemlich tiefes Verständnis für die Funktionsweisen und Konzepte der einzelner Sprachen und für Programmierung ganz allgemein entwickeln. Denn ohne dieses tiefe Verständnis könnte es nicht die Problemstellungen in der Generalität lösen, wie es sie anschließend lösen kann.
Beeindruckend finde ich auch, dass die Modelle Kenntnisse aus den verschiedensten Bereichen praktisch mühelos kombinieren können. Und das mit einer gewissen „Elastizität“. Z.B. ist es für Chat-GPT (genau wie für Menschen) überhaupt kein Problem wenn im Programm-Code mal Typos sind (ganz anders bei den starren Code-Analyse-Tools).