Roboter, die ihre eigenen Handlungen vorab im Kopf durchspielen können, sind ein großer Schritt in Richtung smarter Automation. Statt nur auf aktuelle Bilder zu reagieren, simulieren sie, wie sich ihre Umgebung durch eine Bewegung verändern wird. Diese Fähigkeit steckt hinter sogenannten World Action Models (WAMs).

WAMs ermöglichen es Robotern, die Folgen ihrer Aktionen visuell vorauszuberechnen, bevor sie tatsächlich ausgeführt werden. Das verbessert nicht nur die Genauigkeit, sondern auch die Anpassungsfähigkeit an neue Situationen – ein entscheidender Vorteil für den Einsatz in Unternehmen.

Vom Bild zur Handlung – mit Zukunftssimulation

Bisherige KI-Modelle für Roboter übersetzen Kamerabilder meistens direkt in Bewegungsbefehle. Sie kennen die Welt nur statisch, ohne zu verstehen, wie sich ein Griff oder eine Bewegung auf die Umgebung auswirkt. WAMs erweitern das Konzept: Sie erstellen eine interne Vorhersage des nächsten Bildes oder Videos, das nach der Aktion entstehen würde. Daraus leiten sie dann die passenden Steuerbefehle ab.

Ein praktisches Beispiel: Ein Lagerroboter muss einen Karton greifen und auf ein Förderband legen. Statt einfach blind zuzugreifen, simuliert das WAM, wie sich der Karton bewegen wird, ob er fällt oder richtig platziert ist. So kann der Roboter seine Bewegung anpassen, bevor er handelt.

Zwei Wege zur Zukunft: Kaskadierte und gemeinsame Modelle

Die Forschung unterscheidet zwei Hauptarchitekturen bei WAMs. Kaskadierte Modelle erzeugen zuerst ein zukünftiges Bild oder Video und leiten daraus die Steuerbefehle ab. So trennt sich die Vorhersage der Welt von der eigentlichen Bewegungsplanung. Beispiele sind Modelle, die komplette Videos simulieren und dann Bewegungen über Umkehrfunktionen berechnen.

Gemeinsame Modelle hingegen integrieren Vorhersage und Steuerung in einem Schritt. Sie verarbeiten Bild und Aktion zusammen und erzeugen parallel das nächste Bild und die Bewegung. Nvidia verfolgt mit seinem "Cosmos Policy"-System diesen Ansatz, der flexibel als Controller, Simulator oder Bewertungsmodell eingesetzt werden kann.

Daten sind der Engpass: Lernen aus Videos ohne Labels

Ein großer Vorteil von WAMs ist die Möglichkeit, aus unbeschrifteten Alltagsvideos zu lernen. Klassische Robotik-Modelle brauchen genaue Daten, welche Aktion wann ausgeführt wurde – das ist teuer und aufwendig. WAMs können hingegen aus reinen Beobachtungen lernen, wie sich die Welt bei bestimmten Bewegungen verändert.

Das eröffnet neue Datenquellen, etwa Videos von Menschen, die alltägliche Aufgaben erledigen, ohne dass Aktionen explizit markiert sind. So kann ein Modell auch ohne teure Roboterdaten trainieren und später auf reale Roboter übertragen werden.

Herausforderungen bei der Bewertung und Sicherheit

Trotz beeindruckender Fortschritte gibt es noch Probleme. Viele Modelle erzeugen zwar optisch überzeugende Zukunftsszenarien, die aber physikalisch nicht plausibel sind oder für die Steuerung untauglich bleiben. Es fehlt eine standardisierte Bewertung, die prüft, ob die simulierte Zukunft und die geplante Bewegung wirklich zusammenpassen.

Außerdem besteht die Gefahr, dass ein Roboter auf eine falsch prognostizierte Zukunft reagiert und dadurch unerwünschte Handlungen ausführt. Hier könnten WAMs aber auch helfen, indem sie Bewegungen vor der Ausführung auf physikalische Regeln prüfen und so die Sicherheit erhöhen.

Zukunftsausblick: Simulation als Schlüssel zur flexiblen Automatisierung

World Action Models bringen Robotern ein tieferes Verständnis ihrer Umwelt bei. Für KMU könnte das bedeuten, dass Roboter flexibler und sicherer in wechselnden Umgebungen eingesetzt werden können, ohne aufwändige Neuprogrammierung.

Die Möglichkeit, aus normalen Videos zu lernen, senkt die Einstiegshürde für KI-gestützte Automatisierung. Wer heute überlegt, wie er Robotik in sein Unternehmen integrieren möchte, sollte die Entwicklung dieser Modelle im Blick behalten.