Ein Forschungsteam unter Leitung des AIT Austrian Institute of Technology ist mit der Arbeit „Conformal Cross-Modal Active Learning“ bei den CVPR Findings 2026 vertreten. Die IEEE Conference on Computer Vision and Pattern Recognition (CVPR) gehört zu den international wichtigsten Konferenzen für Bildverarbeitung und bildbasierte KI. Gemeinsam mit Kolleg:innen von der TU Wien und der RWTH Aachen University haben die Forschenden einen neuen methodischen Ansatz entwickelt, der „Active Learning“ mit modernen „Vision-Language-Modellen“ (VLM) verbindet. Beim „Active Learning“ wählt ein KI-Modell gezielt jene Daten für die Annotation aus, die für den Lernprozess den größten Mehrwert bieten. „Vision-Language-Modelle“ verarbeiten Bild- und Sprachinformationen gemeinsam und ermöglichen so ein tieferes semantisches Verständnis visueller Inhalte.
Der neue Ansatz soll den Aufwand für die Annotation großer Bilddatensätze verringern, indem er besonders relevante Trainingsbeispiele gezielt auswählt. Damit lassen sich KI-Modelle für autonome und robotische Systeme robuster und effizienter trainieren.
„Vergangenen Sommer haben mein Kollege Cédric Jung und ich eine interessante Lücke erkannt: „Active Learning“ ist zwar bereits intensiv erforscht, seine Verbindung mit „Vision-Language-Modellen“ (VLMs) ist bislang jedoch kaum untersucht. Wir haben uns die Frage gestellt: Wie lässt sich „Active Learning“ in ein multimodales VLM-Setting übertragen? In den darauffolgenden Monaten haben wir viele Richtungen verfolgt, einige Sackgassen erlebt und sind öfter stecken geblieben, als wir zugeben möchten. Am Ende haben wir jedoch einen Weg gefunden, Bild- und Sprachinformation in einem konformalen, cross-modalen Rahmen zusammenzuführen“, erläutert Huy Hoang (Eric) Nguyen den Forschungsprozess. Er und Cédric Jung forschen in der Forschungsgruppe Complex Dynamical Systems am AIT und absolvieren ihr PhD-Studium an der TU Wien in enger Zusammenarbeit mit dem AIT.
Weniger Datenaufwand für das Training von KI
Mit “Conformal Cross-Modal Acquisition” (CCMA) hat das Forschungsteam einen neuen “Active-Learning”-Ansatz entwickelt, der vortrainierte “Vision-Language-Modelle” gezielt für die Auswahl besonders informativer Trainingsdaten nutzt. Gemeint sind damit jene Bilder oder Beispiele, aus denen ein KI-Modell besonders viel lernen kann – etwa weil es bei ihnen noch unsicher ist, weil sie für eine Klasse besonders typisch sind oder weil sie neue Varianten und Situationen abdecken. Anders als klassische Verfahren, die sich meist nur an visueller Unsicherheit orientieren, kombiniert CCMA multimodale Unsicherheitsschätzung mit einer gezielten Auswahl vielfältiger Daten. So werden nicht viele ähnliche Bilder ausgewählt, sondern Beispiele, die unterschiedliche Objekte, Perspektiven, Umgebungen oder Erscheinungsformen abbilden. Dafür arbeitet ein “Vision-Language-Modell” als „Lehrer“ mit einem visuellen Modell als „Schüler“ zusammen; ihre Einschätzungen werden mithilfe konformaler Kalibrierung so zusammengeführt, dass besonders relevante Datenpunkte präziser identifiziert werden können. Das macht KI-Trainingsprozesse effizienter und robuster.
Wann multimodale KI besonders wirksam ist
Ein wesentlicher Beitrag der Arbeit liegt auch im besseren Verständnis dafür, wann multimodale Unterstützung im Lernprozess den größten Mehrwert bietet. Die Ergebnisse zeigen, dass der Ansatz vor allem dann besonders wirksam ist, wenn sich Lehrer- und Schülermodell bei der Bewertung von Trainingsdaten über mehrere Lernrunden hinweg sinnvoll unterscheiden. Gerade diese unterschiedlichen Einschätzungen liefern zusätzliche Information, die eine gezieltere und effizientere Auswahl relevanter Daten ermöglicht.
Internationale Sichtbarkeit für AIT-Forschung in Robotik und Bildverarbeitung
Mit ihrer Aufnahme der Arbeit in die CVPR Findings 2026 gewinnt die AIT-Forschung in den Bereichen Bildverarbeitung, multimodales maschinelles Lernen und daten-effiziente KI für die Robotik weiter an internationaler Sichtbarkeit.
Mehr dazu:
Wissenschaftliches Paper: “Conformal Cross-Modal Active Learning”; Huy Hoang Nguyen, Cédric Jung, Shirin Salehi, Tobias Glück, Anke Schmeink, Andreas Kugi.
https://arxiv.org/pdf/2603.23159https://arxiv.org/pdf/2603.23159
Code: https://github.com/Eric-nguyen1402/CCMA