Künstliche Intelligenz gilt als Schlüsseltechnologie für viele Branchen – doch auch die neuesten Modelle zeigen Schwächen, die weit über einfache Fehler hinausgehen. Eine Analyse der ARC Prize Foundation enthüllt drei systematische Denkfehler, die erklären, warum selbst fortschrittliche KI-Modelle bei komplexen Aufgaben oft scheitern.

Die Untersuchung basiert auf 160 Spiel-Durchläufen mit OpenAI's GPT-5.5 und Anthropic's Opus 4.7 in der ARC-AGI-3-Testumgebung. Diese simuliert interaktive Umgebungen, in denen die KI-Agenten ohne vorgegebene Anweisungen eigenständig Hypothesen bilden und Handlungspläne entwickeln müssen. Trotz hoher Rechenkosten schafften es beide Modelle nicht einmal auf 1 Prozent Erfolgsrate – während Menschen die gleichen Aufgaben ohne Vorkenntnisse lösen konnten.

Lokale Details erkennen, aber das Gesamtbild nicht erfassen

Der häufigste Fehler besteht darin, dass die KI zwar einzelne Effekte richtig erkennt, es ihr aber nicht gelingt, daraus ein funktionierendes Gesamtmodell der Situation zu bilden. So versteht etwa das Modell Opus 4.7, dass eine bestimmte Aktion einen Behälter dreht und eine andere Farbe eingießt. Es erkennt aber nicht, dass der Behälter zuerst richtig ausgerichtet werden muss, um das Zielbild zu erzeugen.

Ein anschauliches Beispiel: In einem Spiel musste ein Eimer gedreht und dann in Farbe getaucht werden, um ein Zielmuster zu erreichen. Opus 4.7 wusste zwar um die einzelnen Aktionen, verband diese aber nicht zu einem sinnvollen Ablauf, wodurch es die Aufgabe nicht lösen konnte.

Falsche Analogien durch Trainingsdaten

Ein weiterer Fehler entsteht durch die Übertragung bekannter Spiele aus dem Trainingsmaterial auf unbekannte Umgebungen. Die KI interpretiert neue Szenarien oft als bekannte Klassiker wie Tetris oder Breakout – obwohl die tatsächlichen Spielmechaniken völlig anders sind.

GPT-5.5 etwa deutete eine Aufgabe fälschlich als Breakout-Spiel, bei dem ein Ball mit einem Schläger gesteuert wird. Diese unbegründete Annahme blockierte jede weitere sinnvolle Lösung und führte zu vergeblichen Aktionen. Für Menschen mit Kenntnis des Originals wäre eine solche Fehleinschätzung kaum vorstellbar.

Erfolg ohne echtes Verständnis

Das vielleicht gravierendste Problem ist, dass selbst gelöste Aufgaben selten zu einem tieferen Verständnis führen. Die KI überprüft nicht, warum eine Strategie funktioniert hat und übernimmt falsche Annahmen in nachfolgende Level.

In einem Fall löste Opus 4.7 ein Level, indem es annahm, ein Klick teleportiere eine Spielfigur. Obwohl die tatsächlichen Spielregeln auf Formenabgleich und Schieben basierten, bestätigte der Erfolg die falsche Theorie und führte zu einem festgefahrenen Denkfehler in späteren Levels.

Unterschiedliche Strategien – gleiches Scheitern

Die Analyse zeigt auch Unterschiede zwischen den Modellen: Opus 4.7 neigt dazu, sich früh auf eine falsche Regel festzulegen und diese nicht mehr loszulassen. GPT-5.5 hingegen generiert viele Hypothesen, schafft es aber nicht, eine davon konsequent umzusetzen.

Dieses Verhalten verdeutlicht, dass die Modelle zwar Muster erkennen, aber Schwierigkeiten haben, daraus belastbare und anwendbare Weltmodelle zu formen.

Was bedeutet das für die Praxis?

Für Entscheider:innen in KMU zeigt diese Analyse, dass KI-Systeme trotz beeindruckender Fortschritte weiterhin an grundlegenden Verständnisproblemen leiden. Anwendungen, die auf komplexe, unbekannte Situationen reagieren müssen – etwa bei der Automatisierung von Arbeitsprozessen oder der Integration neuer Softwaretools – können daher unerwartet scheitern.

Es lohnt sich, KI-Lösungen kritisch zu hinterfragen und deren Einsatzbereiche gezielt zu wählen. Automatisierung funktioniert am besten, wenn die Aufgaben klar strukturiert sind und wenig Raum für Fehlinterpretationen bieten.

Gleichzeitig zeigt die Analyse, wie wichtig es ist, KI-Modelle kontinuierlich zu testen und zu verbessern – etwa durch gezielte Audits und Benchmarks, die über reine Erfolgsquoten hinausgehen. Nur so lässt sich sicherstellen, dass KI-Systeme nicht nur Muster erkennen, sondern tatsächlich lernen, komplexe Zusammenhänge zu verstehen.