Stell dir vor du hast jemand Wichtigen zu dir nach Hause zum Abendessen eingeladen - sagen wir zum ersten Date. Natürlich bist du aufgeregt. Es soll alles perfekt sein. Das Essen muss bereit sein. Der Tisch muss gedeckt sein. Es gibt nun zwei Möglichkeiten, wie du mit der Situation umgehen kannst: Entweder rennst du alle 10 Minuten vor lauter Aufregung zur Tür und siehst nach, ob schon jemand da ist. Oder du bereitest alles vor und öffnest die Tür erst, wenn tatsächlich geklingelt wird. Pixel in einer Kamera haben normalerweise kein Date, aber sie haben eine ähnliche Wahl, wie sie sich verhalten, wenn sie bei einer Aufnahme getriggert werden.
Was sind Event-Kameras?
Ereigniskameras sind eine relativ neue Unterkategorie innerhalb des Fachgebiets Computer Vision, das sich damit befasst, Maschinen in die Lage zu versetzen, visuelle Informationen, wie Bilder oder Videos, zu interpretieren. Computer Vision umfasst Techniken wie Bildverarbeitung, Mustererkennung und Machine Learning. Event-Kameras sollen das menschliche Gehirn technologisch nachahmen. Da das Interesse am menschlichen Gehirn und seiner Funktionsweise zunimmt, gewinnt die neuromorphe Technik immer mehr an Bedeutung. Ereigniskameras sind nur der erste Schritt in Richtung der Nachahmung der menschlichen Netzhaut auf einem Chip, auch bekannt als neuromorphe Kameras oder DVS-Kameras (Dynamic Vision System). Sie erfassen visuelle Informationen auf der Grundlage der Dynamik der aufgenommenen Umgebung.
So funktioniert es: Jedes Pixel in diesen Event-Kameras arbeitet als unabhängige Verarbeitungseinheit, die es ihnen ermöglicht, asynchron Intensitätsänderungen auszugeben. Eine Änderung in der Intensität eines Pixels wird als Ereignis bezeichnet. Ein Ereignis repräsentiert eine Bewegung innerhalb der aufgezeichneten Szene, eine Helligkeitsänderung und einen Zeitstempel. Ereignisse werden mit Mikrosekunden-Auflösung zeitgestempelt und mit einer Latenz von weniger als einer Millisekunde übertragen, was diese Sensoren schnell auf visuelle Reize reagieren lässt.
Jahrzehntelang waren herkömmliche Kameras der Standard - manchmal sogar die einzige Möglichkeit - visuelle Informationen zu erhalten. Das zwang Benutzer dazu, sich an bestimmte Einschränkungen anzupassen, zum Beispiel an niedrige Bildraten, hohe Latenzzeiten, schlechte Anpassung an extreme Lichtbedingungen oder hohen Stromverbrauch. Einige Hersteller haben Hardware entwickelt, die einige dieser Einschränkungen ausgleicht, ohne jedoch Änderungen an der Kerntechnologie vorzunehmen.
Eine Event-Kamera hat ein grundlegend anders aufgebautes Hardware-Setup als eine herkömmliche Kamera und ermöglicht extrem schnelle Bildraten von ~10.000 fps, sehr niedrigen Stromverbrauch von ~1mW und einen Dynamikbereich, der dem des menschlichen Auges ähnelt. Der Dynamikbereich macht die Event-Kamera unempfindlich gegenüber wechselnden Lichtbedingungen, wie im folgenden Bild zu sehen ist. Wir sehen darauf ein Auto, dass einen Tunnel verlässt. Das Bild, das mit einer herkömmlichen Handykamera aufgenommen wurde, ist durch die Helligkeitsänderung überbelichtet. Während das rekonstruierte Bild der Event-Kamera deutlich die Details außerhalb des Tunnels zeigt.
Warum also Event-Kameras?
Jahrzehntelang waren herkömmliche Kameras der Standard - manchmal sogar die einzige Möglichkeit - visuelle Informationen zu erhalten. Das zwang Benutzer dazu, sich an bestimmte Einschränkungen anzupassen, zum Beispiel an niedrige Bildraten, hohe Latenzzeiten, schlechte Anpassung an extreme Lichtbedingungen oder hohen Stromverbrauch. Einige Hersteller haben Hardware entwickelt, die einige dieser Einschränkungen ausgleicht, ohne jedoch Änderungen an der Kerntechnologie vorzunehmen.
Eine Event-Kamera hat ein grundlegend anders aufgebautes Hardware-Setup als eine herkömmliche Kamera und ermöglicht extrem schnelle Bildraten von ~10.000 fps, sehr niedrigen Stromverbrauch von ~1mW und einen Dynamikbereich, der dem des menschlichen Auges ähnelt. Der Dynamikbereich macht die Event-Kamera unempfindlich gegenüber wechselnden Lichtbedingungen, wie im folgenden Bild zu sehen ist. Wir sehen darauf ein Auto, dass einen Tunnel verlässt. Das Bild, das mit einer herkömmlichen Handykamera aufgenommen wurde, ist durch die Helligkeitsänderung überbelichtet. Während das rekonstruierte Bild der Event-Kamera deutlich die Details außerhalb des Tunnels zeigt.
Eine Event-Kamera gibt nur dann ein Ausgangssignal aus, wenn eine Veränderung der Intensität stattfindet. Die Bilder, wie wir sie von konventionellen Kameras kennen, können dann mithilfe von verschiedenen Deep-Learning-Algorithmen rekonstruiert werden. Für viele Anwendungen ist die Information über statische Objekte in der Szene irrelevant und führt zu Rauschen im Bild, was letztendlich nur unnötige Überlastung im Verarbeitungspfad erzeugt.
Checkliste: Habe ich einen Anwendungsfall für Event-Kameras?
Es gibt eine Vielzahl von Gründen, die für die Verwendung von Event-Kameras sprechen. Folgende Fragen solltest du dir stellen, um zu eruieren, ob eine Event-Kamera in deinem Fall Sinn macht:
- Herrschen unkontrollierte Lichtverhältnisse?
- Sind die Lichtverhältnisse schlecht - sehr dunkel oder sehr hell?
- Nehme ich etwas auf, das sich bewegt?
- Muss ich etwas mit einer sehr hohen Framerate aufnehmen?
- Benutze ich für die Aufnahme bewegliche Geräte (z. B. ein Auto)?
- Gibt es Einschränkungen bei der Stromversorgung z.B. weil du Drohnen verwendest?
- Wird der Sensor auf einer Drohne oder einem ähnlichen Gerät mit Stromversorgungsbeschränkungen verwendet?
Wenn du einige der obigen Fragen mit "Ja" beantworten kannst, solltest du auf jeden Fall die Verwendung von Event-Kameras in Betracht ziehen.
Anwendungsfälle für Event-Kameras
Es gibt eigentlich unendlich viele Anwendungsfälle für Event-Kameras. Wir wundern uns eher, warum sie noch nicht flächendeckend eingesetzt werden. Aus unserer Sicht sind folgende Use Cases besonders vielversprechend:
Robotik und Fertigung:
- Gleichzeitige Lokalisierung und Kartierung (SLAM)
- Hochgeschwindigkeits-Hindernisvermeidung (auch bei Drohnenanwendungen)
- Drohnen-Anwendungen
- Hochgeschwindigkeitsinteraktion zwischen Maschine und Umgebung
- Überwachung der Produktionslinien
- Visuelle Erkennungen mit unkontrollierbaren Lichtquellen
Automotive
- Schnelle Erkennung von Fußgängern und Radfahrern
- Erkennung von Umgebungen mit wechselndem Licht
- Gestenerkennung
- Nachtsicht
- Abschätzung der Tiefe
- Hochgeschwindigkeitserkennung ohne Latenzzeit
Wie Motius Event-Kameras nutzt
n den letzten Jahren konnten wir bei Motius viel Erfahrung mit Event-Kameras und deren Datenverarbeitung sammeln. Das ermöglicht es uns einzuschätzen, ob und wie sie sich in Projekten wertschöpfend einsetzen lassen. Während unserem vierteljährlichen Discovery Conference, einem internen Hackathon, haben wir uns mehrmals mit Event-Kameras befasst. Dabei haben wir eine Simulationsumgebung ESIM (Event Camera Simulator) verwendet, die uns von der ETH Zürich bereitgestellt wurde. ESIM liefert simulierte Ausgänge von Event-Kameras sowie von herkömmlichen Kameras in verschiedenen Darstellungen. Dadurch werden schnell die Vorteile der Event-Kamera deutlich.
Wo werden Event-Kameras als nächstes eingesetzt?
In einigen unserer Projekte würde eine Event-Kamera wertschöpfenden Mehrwert bieten. Für uns bei Motius ist der nächste Schritt daher in bestehenden und neuen Projekte zu prüfen, ob Event-Kameras einen solchen Zusatznutzen bieten. Wir glauben, dass wir mit Event-Kameras komplexere Aufgaben lösen können, die zuvor nicht umsetzbar waren. Event-Kameras werden uns ermöglichen ungeahnte Sphären in der Computer Vision zu erreichen.
