Blog

Jun 17, 2023

Deep Learning ermöglicht echtes Lernen

Mithilfe künstlicher Intelligenz können Wissenschaftler jetzt sogar auf einem Smartphone schnell fotorealistische farbige 3D-Hologramme erstellen. Und laut einer neuen Studie könnte diese neue Technologie auch im virtuellen Raum Anwendung finden

Mithilfe künstlicher Intelligenz können Wissenschaftler jetzt sogar auf einem Smartphone schnell fotorealistische farbige 3D-Hologramme erstellen. Und laut einer neuen Studie könnte diese neue Technologie in Virtual-Reality- (VR) und Augmented-Reality-Headsets (AR) und anderen Anwendungen Anwendung finden.

Ein Hologramm ist ein Bild, das im Wesentlichen einem 2D-Fenster ähnelt, das auf eine 3D-Szene blickt. Die Pixel jedes Hologramms streuen auf sie fallende Lichtwellen, wodurch diese Wellen auf eine Weise miteinander interagieren, die eine Illusion von Tiefe erzeugt.

Holografische Videodisplays erzeugen 3D-Bilder, die Menschen ohne Überanstrengung der Augen betrachten können, im Gegensatz zu herkömmlichen 3D-Displays, die mithilfe von 2D-Bildern die Illusion von Tiefe erzeugen. Doch obwohl Unternehmen wie Samsung in letzter Zeit Fortschritte bei der Entwicklung von Hardware gemacht haben, die holografische Videos anzeigen kann, bleibt es eine große Herausforderung, die holografischen Daten tatsächlich zu generieren, damit solche Geräte sie anzeigen können.

Jedes Hologramm kodiert eine außergewöhnliche Datenmenge, um im gesamten Bild die Illusion von Tiefe zu erzeugen. Daher erforderte die Erzeugung holografischer Videos oft die Rechenleistung eines Supercomputers.

Um holografisches Video der breiten Masse zugänglich zu machen, haben Wissenschaftler verschiedene Strategien ausprobiert, um den Rechenaufwand zu reduzieren – zum Beispiel das Ersetzen komplexer physikalischer Simulationen durch einfache Nachschlagetabellen. Allerdings gehen diese oft auf Kosten der Bildqualität.

Jetzt haben Forscher am MIT eine neue Methode entwickelt, um Hologramme nahezu augenblicklich zu erzeugen – eine Deep-Learning-basierte Methode, die so effizient ist, dass sie Hologramme im Handumdrehen auf einem Laptop erzeugen kann. Sie haben diese Woche ihre Ergebnisse, die teilweise von Sony finanziert wurden, online in der Zeitschrift Nature detailliert beschrieben.

„Alles hat wie von Zauberhand geklappt, was wirklich alle unsere Erwartungen übertroffen hat“, sagt der Hauptautor der Studie, Liang Shi, ein Informatiker am MIT.

Bei der Verwendung physikalischer Simulationen für computergenerierte Holographie muss das Aussehen vieler Teile eines Hologramms berechnet und dann kombiniert werden, um das endgültige Hologramm zu erhalten, bemerkt Shi. Die Verwendung von Nachschlagetabellen sei wie das Auswendiglernen einer Reihe häufig verwendeter Hologrammstücke, aber das gehe zu Lasten der Genauigkeit und erfordere immer noch den Kombinationsschritt, sagt er.

In gewisser Weise sei die computergenerierte Holographie ein bisschen so, als würde man herausfinden, wie man einen Kuchen schneidet, sagt Shi. Die Verwendung physikalischer Simulationen zur Berechnung des Aussehens jedes Punkts im Raum ist ein zeitaufwändiger Prozess, der der Herstellung von acht Kuchenstücken durch acht präzise Schnitte ähnelt. Die Verwendung von Nachschlagetabellen für computergenerierte Holographie ist so, als würde man die Grenzen jedes Schnitts vor dem Schneiden markieren. Dies spart zwar etwas Zeit, da die Berechnung der Schnittposition entfällt, die Durchführung aller acht Schnitte nimmt jedoch immer noch viel Zeit in Anspruch.

Im Gegensatz dazu nutzt die neue Technik Deep Learning, um im Wesentlichen herauszufinden, wie man einen Kuchen mit nur drei Schnitten in acht Scheiben schneidet, sagt Shi. Das Faltungs-Neuronale Netzwerk – ein System, das grob nachahmt, wie das menschliche Gehirn visuelle Daten verarbeitet – lernt Verknüpfungen, um ein vollständiges Hologramm zu erzeugen, ohne dass jedes einzelne Teil davon separat berechnet werden muss, „was die Gesamtoperationen um Größenordnungen reduzieren wird“, sagte er sagt.

Eine Visualisierung der 3D-Hologrammberechnung. (Links) Ein 3D-Modell. (Mitte) Ein Farbbild, das Tiefendaten enthält. (Rechts) Eine Simulation der Streulichtmuster, die ein 3D-Hologramm erzeugen.Bild: MIT

Die Forscher erstellten zunächst eine benutzerdefinierte Datenbank mit 4.000 computergenerierten Bildern, die jeweils Farb- und Tiefeninformationen für jedes Pixel enthielten. Diese Datenbank enthielt auch ein 3D-Hologramm zu jedem Bild.

Anhand dieser Daten lernte das Faltungs-Neuronale Netzwerk, zu berechnen, wie aus den Bildern am besten Hologramme erzeugt werden können. Es könnte dann aus Bildern mit Tiefeninformationen neue Hologramme erzeugen, die mit typischen computergenerierten Bildern versehen sind und aus einem Multikamera-Setup oder aus Lidar-Sensoren berechnet werden können, die beide bei einigen neuen iPhones Standard sind.

Das neue System benötigt weniger als 620 Kilobyte Speicher und kann 60 farbige 3D-Hologramme pro Sekunde mit einer Auflösung von 1.920 x 1.080 Pixeln auf einer einzigen Consumer-GPU erzeugen. Die Forscher könnten es auf einem iPhone 11 Pro mit einer Rate von 1,1 Hologrammen pro Sekunde und auf einem Google Edge TPU mit einer Rate von 2 Hologrammen pro Sekunde betreiben, was darauf hindeutet, dass es eines Tages Hologramme in Echtzeit in der zukünftigen virtuellen Realität (VR) erzeugen könnte ) und mobile Augmented-Reality-Headsets (AR).

Echtzeit-3D-Holographie könnte auch dazu beitragen, sogenannte volumetrische 3D-Drucktechniken zu verbessern, die 3D-Objekte durch die Projektion von Bildern auf Flüssigkeitsbehälter erzeugen und komplexe Hohlstrukturen erzeugen können. Die Wissenschaftler weisen darauf hin, dass ihre Technik auch in optischen und akustischen Pinzetten zum Einsatz kommen könnte, die für die Manipulation von Materie auf mikroskopischer Ebene nützlich sind, sowie in holographischen Mikroskopen, die Zellen und herkömmliche statische Hologramme für den Einsatz in Kunst, Sicherheit, Datenspeicherung und anderen Anwendungen analysieren können.

Zukünftige Forschungen könnten Eye-Tracking-Technologie hinzufügen, um das System zu beschleunigen, indem Hologramme erstellt werden, die nur dort hochauflösend sind, wo die Augen hinschauen, sagt Shi. Eine andere Richtung besteht darin, Hologramme unter Berücksichtigung der Sehschärfe einer Person zu erstellen, sodass Benutzer mit Brillen keine speziellen VR-Headsets benötigen, die zu ihrer Sehstärke passen, fügt er hinzu.