ATIS – bio-inspirierter, asynchroner Bildsensor

Die ExpertInnen entwickeln eine revolutionäre neue, biologisch inspirierte, optische CMOS Sensortechnologie deren Funktion auf einigen wesentlichen Merkmalen des menschlichen Sehens beruht.


ATIS – CMOS Bildsensor und Pixel-Layout

Die Technologie basiert auf Forschungen auf dem Gebiet "Neuromorphe Elektronik" am Caltech in den 80er und 90er Jahren und wurde gemeinsam von ETH Zürich und AIT weiterentwickelt.

Bei der jüngsten Generation – dem ATIS Sensor – werden Informationen über lokale Intensitätsänderungen sowie die Grauwert-Bilddaten einer betrachteten Szene pixel-autonom und asynchron mit zeitlicher Auflösung im Mikrosekundenbereich detektiert und gemessen. Besondere Vorzüge der entwickelten Technologie sind:

  • ein sehr hoher Dynamikbereich, der es ermöglicht, Szenen mit sehr unterschiedlicher Helligkeit wirklichkeitstreu abzubilden,
  • extrem kurze Reaktionszeiten und höchste Zeitauflösung zur Abbildung schneller Bewegungsvorgänge, und 
  • eine nahezu perfekte, zeitliche Redundanzunterdrückung mit daraus resultierender effizienter Videokompression und Datenreduktion.

Die optischen Sensoren eignen sich insbesondere auch zum Einsatz in Stereokonfiguration zur dreidimensional räumlichen Auflösung der Szene.

Aufgrund ihrer einzigartigen Eigenschaften sind die Sensoren speziell für Anwendungen im Bereich Bewegungsdetektion und Analyse, für Hochgeschwindigkeitsanwendungen wie Detektion und Klassifikation von schnell bewegten Objekten, für Robotik und sich autonom bewegende Systeme, Mikromanipulation und roboterunterstützte Chirurgie, oder für Messaufgaben in der industriellen Fertigung geeignet. Weitere Einsatzgebiete umfassen Videoübertragung mit niedrigsten Datenraten für mobile Systeme und HDR Bild- und Videoaufnahme für wissenschaftliche Anwendungen.

Anwendungsbereiche:

  • Detektion und Klassifikation schnell bewegter Objekte
  • Hochgeschwindigkeits-Messaufgaben in der industriellen Automation
  • Robotik and autonome Fahrzeuge
  • Mikromanipulation and roboter-unterstützte Chirurgie
  • Videoübertragung mit niedrigsten Datenraten für mobile und batteriebetriebene Systeme
  • HDR Bild- und Videoaufnahme für Forschungsanwendungen
Bild: Dynamikbereich - 143dB für statische Szene, 125dB für Zeitauflösung äquivalent 30 Bilder pro Sekunde

Demo Video - Event-based Scene Generation:

Die Verkehrsüberwachungs-Szene generiert einen zeitkontinuierlichen Video-Stream mit 2500 bis 50000 Events pro Sekunde die mit 18bit / Event kodiert sind. Die Event-Rate ist abhängig von der momentanen Szenenaktivität. Vergleicht man die resultierenden Bitraten - 45 bis 900 Kilobit pro Sekunde mit den Rohdaten von 18 Megabit pro Sekunde eines QVGA-Sensors mit 8-Bit Graustufen bei 30 Bildern pro Sekunde ergibt sich annähernd verlustfreie Video-Kompression mit Kompressionsfaktoren zwischen 20 und 400 für dieses Beispiel-Szene.

Das obere linke Fenster zeigt den zeitkontinuierlichen Video-Stream ausgehend von einem Vollbild, oben rechts werden die Pixel-autonom detektierten Veränderungsereignisse angezeigt – schwarz für negative, weiß für positive zeitliche Kontraste – die eine Belichtungsmessung in den jeweiligen Pixeln auslösen.

Das untere linke Fenster zeigt die gleichen ereignisbasierten Grauwertdaten wie oben, dargestellt auf einem anfangs leeren Bild. Die Wirkung von bewegten Objekten, die eine Belichtungsmessung in den Pixeln auslösen die sie überstreichen, wird sichtbar.

Die beiden Balken im unteren rechten Fenster stellen die Datenraten wie sie von einem herkömmlichen Sensor (APS) und von ATIS für diese Szene generiert werden dar. Der Informationsgehalt ist in beiden Fällen annähernd gleich.

Demo Video - ATIS sensor compared to a conventional Camera

Dieses Video demonstriert die hohe zeitliche Auflösung und den weiten Dynamikumfang des ATIS Sensors im Vergleich zu einer hochqualitativen Laborkamera herkömmlicher Bauart.

Im ersten Teil des Videos läuft die Kamera mit Standard Videogeschwindigkeit von 30 Bildern pro Sekunde. Die schnellen, chaotischen Bewegungen eines Rott`schen Pendels bei ca. 100 Lux Beleuchtung können mit dem herkömmlichen Einzelbild-Aufnahmeverfahren unter diesen Bedingungen nicht abgebildet werden, eine automatische Verarbeitung der Bilddaten schlägt fehlt Die zeitkontinuierliche Aufnahme der Veränderungskontraste mit Hilfe des bio-inspirierten optischen Sensors liefert ausgezeichnete Daten für eine automatisierte Nachverarbeitung.

In der zweiten Hälfte des Videos wird ein Teil der Szene sehr hell beleuchtet. Der ATIS Sensor kann die hohe Szenendynamik problemlos abbilden während die herkömmliche Kamera, je nach Einstellung, nur entweder den dunklen oder den hellen Szenenteil sieht.

Referenzen:

Posch, C.; Matolin, D.; Wohlgenannt, R., "A QVGA 143dB Dynamic Range Frame-free PWM Image Sensor with Lossless Pixel-level Video Compression and Time-Domain CDS", IEEE Journal of Solid-State Circuits, vol. 46, no. 1, Jan. 2011.

Posch, C., "Next Generation Bio-inspired Vision", European Research Consortium for Informatics and Mathematics – ERCIM News, Special Theme: Intelligent and Cognitive Systems, no. 84, pp. 24-25, Jan. 2011, ercim-news.ercim.eu/en84/special/next-generation-bio-inspired-vision

Kontakt

uploads/pics/litzenberger2_weiss_150x200px.jpg
DI Dr. Martin Litzenberger
AIT Austrian Institute of Technology

T: +43 50550 4111
F: +43 50550 4150
Donau-City-Straße 1
1220 Wien


Links