Eventkameras: Die Revolution der Fotografie?

Was haben selbstfahrende Autos, die Pharmaindustrie und die Augenheilkunde gemeinsam? Sie alle könnten von einer Technologie profitieren, an der die Wissenschaft seit einigen Jahren tüftelt und die nicht nur die Fotografie revolutionieren könnte: Eventkameras. Der Name könnte darauf schliessen lassen, dass es sich um Kameras handelt, die sich besonders für Events wie Sportereignisse oder Konzerte eignen. Dies ist nicht der Fall - auch wenn die Kameras bei solchen Anlässen auch von nutzen sein könnten. Vielmehr handelt es sich bei Eventkameras um Geräte, die keine ganzen Bilder aufnehmen - wie es herkömmliche Kameras tun - sondern für jedes Pixel die Veränderungen in der Helligkeit registrieren. Diese Veränderungen heissen eben "Events", daher der Name.

Der Mensch als Vorbild

Die Inspiration dafür kommt vom menschlichen Auge. Dort sind bekanntlich die Stäbchen und Zäpfchen in der Retina (Netzhaut) für die Helligkeitswahrnehmung respektive das Farbsehen verantwortlich. Sie senden nach jedem Lichteinfall elektrische Nervenimpulse, die in der Netzhaut zusammengefügt, vorverarbeitet und an das Gehirn weitergeleitet werden. "Ähnlich funktionieren auch Eventkameras. Jedes einzelne, lichtempfindliche Pixel trägt zeitlich unabhängig zum Gesamtbild bei. Es gibt keine Belichtungszeit, nach der alle Pixel auf einmal ausgelesen werden, wie bei normalen Kameras", erklärt Guillermo Gallego von der Fakultät IV "Elektrotechnik und Informatik" der TU Berlin und leitender Wissenschaftler im Exzellenzcluster Science of Intelligence. Das Exzellenscluster forscht an neuen Methoden, die Aufnahmen solcher Kameras auszuwerten.

Der Unterschied zum menschlichen Auge liege darin, dass die Pixel nicht bei jedem Lichteinfall ein Signal auslösen, sondern nur, wenn sich die Helligkeit verändert. "Das hat den Vorteil, dass die zu verarbeitenden Datenmengen vom Prinzip her wesentlich kleiner sind", erklärt Gallego.

Bessere Aufnahmen bei Gegenlicht

Der grosse Vorteil gegenüber aktuellen Videokameras besteht darin, dass es keine Belichtungszeit gibt. Eine Videokamera nimmt beispielsweise 30-mal pro Sekunde ein Bild mit der Belichtungszeit von einer sechzigstel Sekunde auf. Die Belichtungszeit wird dabei automatisch so eingestellt, dass der Grossteil des Bildes richtig dargestellt werden kann. Bei extremen Abweichungen in der Helligkeit stösst eine herkömmliche Kamera jedoch an ihre Grenzen - die TU Berlin nennt als Beispiel etwa die Aufnahme eines Schreibtisches vor einem Fenster. Ist der Schreibtisch richtig belichtet, ist das Fenster völlig überstrahlt und der Rest des Raumes völlig dunkel. 

"Die Eventkamera muss sich aber gar nicht für eine Belichtungszeit entscheiden, die sozusagen alle Bildelemente über einen Kamm schert", erklärt Gallago. "Jedes Pixel meldet dagegen nach Einschalten der Kamera jeweils, ob und wie stark sich die einfallende Lichtmenge geändert hat." Im Praxisbeispiel habe die Eventkamera etwa den Tisch, die Dinge darunter und den Blick aus dem Fenster inklusive den Gebäuden gegenüber gezeigt.

200'000 Bilder pro Sekunde

Mit dem Wegfall der Belichtungszeit sowie der schnellen Reaktionszeit der Pixel seien mit Eventkameras Hochgeschwindigkeitsaufnahmen möglich, schreibt die TU Berlin - etwa für Zeitlupenfilme mit extremer Auflösung. Eine typische Highspeed-Kamera nimmt demnach etwa 10'000 Bilder pro Sekunde auf. Eventkameras belichten wie erwähnt keine ganzen Bilder, weshalb man für den Vergleich eine "virtuelle" Bildwiederholrate berechnen müsse. Diese läge bei etwa 200'000 Bildern pro Sekunde.

"Eventkameras wurden ursprünglich von Neurowissenschaftlerinnen und Neurowissenschaftlern entwickelt, um ein Modell des menschlichen Sehens zu etablieren", zitiert die TU Berlin Friedhelm Hamann, Doktorand am Exzellenzcluster Science of Intelligence. Erst später sei man auf die Idee gekommen, die Entwicklung auch in der Fotografie einzusetzen. Sowohl die Hardware als auch die Algorithmen zur Bildanalyse würden daher im Vergleich zur Digitalfotografie noch in den Kinderschuhen stecken. Die Algorithmen seien vor allem dann wichtig, wenn aus den Kameradaten Informationen gewonnen werden müssen - eben daran forscht das Cluster der TU Berlin. 

Selbstfahrende Autos, Maiskörner und neues Augenlicht

Die Universität nennt als Anwendungsfelder etwa die Orientierung von Robotern oder aber autonome Fahrzeuge. Das französische Unternehmen Prophesee zeigte bereits 2021, wie die Technologie funktioniert und sich in der Praxis anwenden lässt, wie das nachfolgende Video illustriert. Wie erwähnt, sind Veränderungen in der Helligkeit der ausschlaggebende Faktor. Damit könnten autonome Fahrzeuge besser erkennen, wenn Fussgänger die Fahrbahn kreuzen. In der Industrie könne man mithilfe von Event-basierten Kameras Tabletten oder Lebensmittel zählen. Zusammen mit dem Unternehmen Pixium Vision arbeite Prophesee ausserdem an einem Implantat, das Personen mit Netzhauterkrankungen einen Teil ihres Augenlichts wiedergeben soll.

Auch die Universität Zürich forscht seit einigen Jahren an Eventkameras, unter anderem für den Einsatz in autonomen Fahrzeugen, wie das folgende Video zeigt. 

Das beste aus beiden Welten

"Einige kommerziell erhältliche Eventkameras gibt es bereits", erklärt Guillermo Gallego von der TU Berlin. Erst Anfang 2023 hatte der Technologiekonzern Qualcomm eine Kooperation mit Prophesee, dem Start-up aus dem ersten Video, bekannt gegeben, um noch intensiver an Eventkameras zu arbeiten. Die Zukunft werde wohl eine Kombination aus Digital- und Eventkameras sein, um das beste aus beiden Welten zu vereinen, sagt Gallego.  "Es ist sehr spannend, zu dieser Revolution der Fotografie unseren Anteil beitragen zu können."

Das könnte Sie auch interessieren: Dank einer neuen Laserscanning-​Technik können Forschende nun auch spezielle Kunststoffe mit hervorragender Elastizität 3D-​drucken. So können sie auch menschenähnliche Strukturen herstellen – und eröffnen damit der Soft-​Robotik gänzlich neue Möglichkeiten.