Wie werden Bagger, Krane und Gabelstapler zu echten Robotern im Feld – also robust, effizient und vor allem sicher? Entscheidend ist eine integrierte Robotik-Architektur, die den gesamten Prozess abdeckt: von Wahrnehmung über Bewegungsplanung (Navigation und Pfadplanung) und Bewegungssteuerung bis hin zu verifizierbarer Sicherheit und Entscheidungslogik. Nur wenn diese Kette auch unter wechselnden Umfeldbedingungen zuverlässig zusammenspielt, wird Automatisierung im realen Einsatz praxistauglich.
Genau hier setzen unsere aktuellen Forschungsarbeiten am AIT Austrian Institute of Technology an - teilweise in Kooperation mit der TU Wien und der Tufts University: von 3D-Objekterkennung aus LiDAR über kollisionsfreie, schwingungsdämpfende MPC-basierte Bewegungsregelung bis hin zu lern-gestützter Planung mit verbindlich eingehaltenen Sicherheitsgrenzen.
Copyright: AIT/tm-photography
Präsentation in der Wissenschaftlichen Community
Diese Themen bündeln wir in sechs wissenschaftlichen Beiträgen, die wir gemeinsam auf der ICRA 2026 (1.–5. Juni) in Wien präsentieren. Die ICRA (IEEE International Conference on Robotics and Automation) zählt zu den weltweit führenden Konferenzen für Robotik und Automatisierung und bringt internationale Forschung, Industrie und Innovationen in einem zentralen Forum zusammen.
Öffentliche Präsentation
Wie diese Forschung umgesetzt aussieht, zeigen wir beim Festival der Roboter am Karlsplatz: Am 30.–31. Mai demonstrieren wir einem breiten Publikum live unsere autonomen Maschinen und geben Einblicke in weitere Entwicklungen rund um den Einsatz autonomer Arbeitsmaschinen. Mehr dazu demnächst hier AIT Large-Scale Robotics Lab: https://www.ait.ac.at/labs/large-scale-robotics-lab und auf der Seite der Veranstalter: https://www.roboterinwien.com/
Als AIT positionieren wir uns damit erneut in der Automatisierung von Arbeitsmaschinen – mit Fokus auf praxistaugliche Lösungen für Baustelle, Logistik und Forst- und Landwirtschaft.
6 Papers – 6 Bausteine für autonome Arbeitsmaschinen
1) Wahrnehmung in 3D direkt aus LiDAR-Punktwolken
Paper: PIRATR: Parametric Object Inference for Robotic Applications with Transformers in 3D Point Clouds by M. Schwingshackl, F.F. Oberweger, M. Niedermeyer, J. Huemer, M. Murschitz. https://arxiv.org/abs/2602.05557
Video: https://youtu.be/vR_BrmPzVeo
Mit PIRATR stellen wir ein durchgängig trainiertes KI-System zur 3D-Objekterkennung auf Basis von Laserscandaten vor. Das System erkennt Objekte direkt in den Punktwolken und bestimmt gleichzeitig ihre präzise 6D-Lage im Raum sowie objektspezifische Parameter. Damit geht PIRATR über klassische Objekterkennung hinaus und ermöglicht auch die parametrische Beschreibung veränderlicher Objekte – etwa die Schätzung des Öffnungswinkels eines Krangreifers. Diese Fähigkeiten wurden u.a. an Paletten, Ladeplattformen und Krangreifern demonstriert. PIRATR wird ausschließlich mit synthetischen Daten trainiert und überträgt seine Leistung zuverlässig auf reale Outdoor-LiDAR-Scans.
Warum relevant? Zuverlässige Erkennung von Objektlage und -orientierung im Raum (6D) – ergänzt um objektspezifische Zustandsparameter wie Greiferöffnung sind die Grundlage für robuste Automatisierung von Arbeitsprozessen und sichere Interaktion von autonomen Arbeitsmaschinen.
2) Kran-Automatisierung: Präzises Platzieren von Bauteilen trotz Pendeldynamik
Paper: Autonomous Block Assembly for Boom Cranes with Passive Joint Dynamics: Integrated Vision MPC Control by G. Ebmer, M.N. Vu, T. Glück, W. Kemmetmüller. https://arxiv.org/abs/2603.00103
Video: https://www.acin.tuwien.ac.at/42d7/
Mit unserem Beitrag zu autonomen Montageprozessen adressieren wir eine zentrale Herausforderung auf der Baustelle: das präzise Führen und Absetzen von Lasten und Bauteilen. Insbesondere bei Auslegerkranen mit passiven Gelenken wird durch ihr pendelartiges Schwingen das automatisierte Setzen vorgefertigter Elemente zur Hürde.
In unserem Ansatz verbinden wir Kamerasicht zur Positionsbestimmung der Bauteile, eine kollisionssichere Bewegungsplanung und eine vorausschauende, nichtlineare Regelung (NMPC - Nonlinear Model Predictive Control) zu einem integrierten Gesamtsystem. Als geschlossener Regelkreis ermöglicht dieser Ansatz autonomes Aufnehmen und präzises Absetzen sowie Hindernisvermeidung– bei gleichzeitig hoher Präzision und stabiler Bewegungsausführung.
Warum relevant? Autonome Auslegerkrane werden erst praxistauglich, wenn Bauteile auch bei pendelartigem Schwingen zuverlässig präzise platziert werden können – und das in dynamischen, unübersichtlichen Baustellenumgebungen. Hier unterstützt unser Ansatz.
3) Sicherheit im Feld: Kollisionsfreie Schwingungsdämpfung für Forstkrane
Paper: A Collision-Free Sway Damping Model Predictive Controller for Safe and Reactive Forestry Crane Navigation by M.-P. Ecker, C. Fröhlich, J. Huemer, D. Gruber, B. Bischof, T. Glück, W. Kemmetmüller. https://arxiv.org/abs/2602.10035
Video: https://youtu.be/tEXDoeLLTxA
In unstrukturierten Einsatzumgebungen wie Wäldern müssen Holzverladekrane zwei Anforderungen gleichzeitig erfüllen: Kollisionen vermeiden und Lastschwingen aktiv dämpfen. Dafür stellen wir den ersten kollisionsfreien, schwingungsdämpfenden Modellprädiktiven Regler (Model Predictive Control - MPC) für einen Holzverladekran vor, der beide Ziele in einem einzigen Regelungsproblem vereint.
Kern des Ansatzes ist die direkte Integration einer LiDAR-basierten Umgebungskartierung in den MPC – umgesetzt über Online-Euklidische Distanzfelder (EDF), die direkt in die Optimierung einfließen. Tests an einem Holzverladekran zeigen eine wirksame Schwingungsdämpfung und zuverlässige Hindernisvermeidung.
Warum relevant? Das System kann in Echtzeit auf die Umgebung reagieren: Es kann reaktiv ausweichen, bei Änderungen neu planen, unter Störungen kollisionsfrei weiterarbeiten – und im Grenzfall kontrolliert, sicher stoppen, wenn kein Ausweichmanöver möglich ist.
4) Lernen & Optimierung: Flexible Bewegung mit verbindlich eingehaltenen Sicherheitsgrenzen (SafeFlowMPC)
Paper: SafeFlowMPC: Predictive and Safe Trajectory Planning for Robot Manipulators with Learning-based Policies by T. Oelerich, G. Ebmer, C. Hartl-Nesic, A. Kugi. https://arxiv.org/abs/2602.12794
Video: https://www.acin.tuwien.ac.at/en/42d6
Code: https://github.com/TU-Wien-ACIN-CDS/SafeFlowMPC
Außerhalb klassischer Industrieumgebungen brauchen autonome Maschinen Flexibilität und Echtzeit-Reaktivität. Lernbasierte Verfahren können aus Demonstrationen leistungsfähige Bewegungsstrategien ableiten und auf ähnliche Situationen generalisieren – ihnen fehlen jedoch oft Interpretierbarkeit und harte Sicherheitsgarantien. Reine Optimierungs-verfahren bieten genau diese Garantien, sind aber häufig weniger flexibel. SafeFlowMPC kombiniert deshalb Flow Matching (Lernen aus Demonstrationen) mit Online-Optimierung in Form einer MPC (Model Predictive Control), die für Echtzeit ausgelegt ist: Das Lernmodell liefert in Echtzeit Bewegungsvorschläge, die MPC fortlaufend prüft und bei Bedarf so anpasst, dass Sicherheitsgrenzen jederzeit eingehalten werden – auch in dynamischen Situationen.
Warum relevant? Arbeitsmaschinen müssen sich an wechselnde Bedingungen und Störungen anpassen können, ohne dabei Sicherheitsabstände oder Bewegungs-, Kraft- und Arbeitsraumgrenzen zu überschreiten. SafeFlowMPC verbindet dafür die Flexibilität mit prüfbarer Absicherung.
5) Autonomes Racing als Testfeld: Auf dem Weg zur optimalen Fahrlinie
Paper: Spatially-Aware Adaptive Trajectory Optimization with Controller-Guided Feedback for Autonomous Racing by A. Wachter, A. Willert, M.-P. Ecker, C. Hartl-Nesic. https://arxiv.org/abs/2602.15642
Video: https://www.acin.tuwien.ac.at/7rac
Im autonomen Rennsport geht es darum, Runde für Runde die Ideallinie schneller, präziser und gleichzeitig stabil fahrbar zu machen. Hier stellen wir einen Closed-Loop-Ansatz vor, der genau davon profitiert: Die Trajektorie wird zunächst geplant und dann über wiederholte Durchläufe mithilfe von Rückmeldungen aus der Regelung systematisch verbessert. Abweichungen beim Nachfahren werden nicht als bloße Störung betrachtet, sondern als Hinweis darauf, wo die Strecke oder das Fahrzeugverhalten lokal herausfordernd ist. So entsteht eine adaptive Karte zulässiger Beschleunigungen, die die Raceline Schritt für Schritt schneller und robuster macht – auch wenn sich die Bedingungen entlang der Strecke ändern.
Ergebnisse: In Simulation reduziert der Ansatz die Rundenzeit um 17,38%. Auf realer Hardware verbessert er die Rundenzeit um 7,60% über verschiedene Reifenmischungen hinweg – ohne die Reibung explizit zu modellieren.
Warum relevant? Das Prinzip ist übertragbar auf autonome Arbeitsmaschinen mit wiederkehrenden Abläufen: Wenn ein System aus Ausführungsabweichungen lernt, werden Bewegungen über die Zeit robuster und effizienter, auch bei wechselnden Bedingungen.
6) Verlässliche Autonomie über lange Aufgabenketten
Paper: The Price Is Not Right: Neuro-Symbolic Methods Outperform VLAs on Structured Long-Horizon Manipulation Tasks with Significantly Lower Energy Consumption by T. Duggan, P. Lorang, H. Lu, M. Scheutz. https://arxiv.org/abs/2602.19260
Viele autonome Systeme können einzelne Bewegungen bereits gut ausführen. Anspruchsvoll wird es, wenn Aufgaben aus vielen aufeinanderfolgenden Schritten bestehen – etwa „Objekt finden → greifen → transportieren → ausrichten → ablegen“ – und jeder Schritt korrekt auf den vorherigen aufbauen muss. Dann werden Planung, Zwischenschritte und Konsistenz über längere Sequenzen entscheidend.
Genau hier setzt dieser Beitrag an und vergleicht zwei grundlegend unterschiedliche Ansätze der Autonomie:
• VLA (Vision-Language-Action): ein End-to-End KI-System, das aus Bild- und Sprachinformationen direkt die nächsten Aktionen ableitet.
• Neuro-symbolische Architektur: eine Kombination aus symbolischer Aufgabenplanung (Schrittfolge, Regeln, Prüfungen) und gelernten Low-Level-Skills, die die einzelnen Bewegungen zuverlässig ausführen.
Ergebnis: Bei strukturierten, langen Aufgabenketten ist der neuro-symbolische Ansatz zuverlässiger und zugleich enegieeffizienter.
Warum relevant? Aufgaben, die Arbeitsmaschinen ausführen bestehen häufig aus regelbasierten Prozessketten (z. B. aufnehmen, transportieren, positionieren, absetzen). Dafür braucht es eine nachvollziehbare Aufgabenlogik und robuste Skills, damit Autonomie im Alltag stabil funktioniert.
