Nachricht

May 24, 2023

Modell verwenden

Bild von Compuscript Ltd: Erzeugungs- und Rekonstruktionsprozesse von 4K-Hologrammen durch das 4K-DMDNet. Mehr anzeigen Credit: OEA Eine neue Veröffentlichung von Opto-Electronic Advances, 10.29026/oea.2023.220135

Compuscript Ltd

Bild: Erzeugungs- und Rekonstruktionsprozesse von 4K-Hologrammen durch das 4K-DMDNet.mehr sehen

Bildnachweis: OAS

In einer neuen Veröffentlichung von Opto-Electronic Advances, 10.29026/oea.2023.220135, wird der Einsatz von modellgesteuertem Deep Learning zur Erzielung einer hochauflösenden holografischen 4K-Farbanzeige erörtert.

Im Jahr 2009 eroberte der dreidimensionale (3D) IMAX-Film „Avatar“ den globalen Filmmarkt. Einige Jahre später erregte das Hatsune Miku 3D-Konzert die Aufmerksamkeit aller Anime-Fans. Und in letzter Zeit führten AR/VR-3D-Kopfbedeckungsgeräte zu einer boomenden Entwicklung des Metaversums. Jeder Fortschritt in der3D-AnzeigeBereich bringt wesentliche soziale Belange und wirtschaftliche Vorteile mit sich.

Um realistischere visuelle Erlebnisse zu erzielen, basieren die meisten gängigen kommerziellen Lösungen für die 3D-Anzeige auf den Prinzipien vonbinokulares Sehen.

Anders als bei der Beobachtung realer 3D-Objekte bleibt die Tiefe des visuellen Fokus jedoch unverändert, während der Betrachter das Gerät trägt, um 3D-Informationen zu erhalten. Diese Art vonVergenzakkommodationskonfliktmacht den Betrachter anfällig für visuelle Ermüdung und Schwindel, was das Benutzererlebnis einschränkt.

Dercomputergenerierte Holographie (CGH) kann die Entstehung eines Vergenzakkommodationskonflikts vom Ursprung her verhindern. Die Versuchsaufbauten sind einfach und kompakt. Das CGH hat große Aufmerksamkeit von Wissenschaft und Industrie erhalten. Es gilt als die zukünftige Form der 3D-Darstellung.

Im Prinzip kodiert CGH das 3D-Objekt in ein digitaleszweidimensionales (2D) Hologrammbezogen aufBeugungsberechnungen. Anschließend wird das 2D-Hologramm auf einen räumlichen Lichtmodulator (SLM) hochgeladen, der von ebenen Wellen beleuchtet wird. Die optische Rekonstruktion des 3D-Objekts erfolgt in einer bestimmten Entfernung. Das CGH bietet potenzielle Anwendungen in einer breiten Palette von 3D-Displays wie Head-Mounted-Displays, Head-up-Displays und Projektionsdisplays.

So generieren Siehohe Geschwindigkeit und hohe Qualität2D-Hologramme sind derzeit ein zentrales Thema und eine wesentliche Forschungsrichtung auf diesem Gebiet.

Kürzlich hat Hololab an der Tsinghua-Universität eine vorgeschlagenModellgesteuertes Deep Learningneuronales Netzwerk, genannt4K-DMDNet . Es realisiert die hochwertige Hochgeschwindigkeits-Hologrammerzeugung und erreichthochauflösende 4K-Farbeholografische Displays.

Aufgrund der Einschränkungen von SLM müssen die berechneten komplexen Amplitudenverteilungen auf der holographischen Ebene in Nur-Amplituden-Hologramme oder Nur-Phasen-Hologramme (POHs) umgewandelt werden. Unter diesen ist der POH-Erzeugungsprozess typischerweise ein schlecht gestellter Prozessinverses Problem . Es besteht die Herausforderung, dass die Lösung möglicherweise nicht einzigartig, stabil oder vorhanden ist.

Deriterativ Algorithmen können den POH-Generierungsprozess in das Optimierungsproblem umwandeln. Es können numerische Lösungen mit guter Konvergenz erhalten werden. Die Algorithmen stehen jedoch vor einemAbtauschzwischen Rechengeschwindigkeit und Rekonstruktionsqualität.

Die MächtigenParallelverarbeitungFähigkeiten vontiefes Lernen haben zu revolutionären Verbesserungen bei der Lösung von Optimierungsproblemen geführt. Die tiefgreifenden Auswirkungen des Deep Learning auf CGH wurden ebenfalls festgestellt.

Der Trainingsdatensatz von 3D-Objekten und der entsprechende Hologrammdatensatz werden im Voraus abgerufen und dienen als Ein- und Ausgänge desneurales Netzwerk . Das neuronale Netzwerk ist darauf trainiert, die Zuordnungsbeziehung zwischen ihnen zu lernen. Das trainierte Netzwerk kann eine schnelle Vorhersage von Anzeigezieleingaben außerhalb des Trainingsdatensatzes erreichen. Es wird erwartetgleichzeitigRealisieren Sie eine schnelle und qualitativ hochwertige Hologrammerzeugung.

Die Idee, neuronale Netze zur Hologrammerzeugung zu nutzen, wurde bereits 1998 von japanischen Forschern vorgeschlagenHardware- und SoftwareleistungDamals gab es nur vorläufige Ergebnisse zu den Computern.

Mit den breiten Anwendungen vonGPUsUndFaltungs-Neuronale Netze (CNNs) Die aktuelle Hardware- und Softwareleistung passt besser zu den mathematischen Eigenschaften von CGH. Das lernbasierte CGH hat eine rasante Entwicklung erlebt.

Im Jahr 2021 schlugen Forscher am MIT ein Tensor-Holographie-Netzwerk vor, das dies ermöglichtEchtzeitErzeugung von 2K-Hologrammen auf Smartphones.

Um genaue Netzwerkvorhersagen zu erhalten, benötigen der Trainingsdatensatz und der entsprechende Hologrammdatensatz azeitaufwendig Generierungsprozess. Da das Netzwerk außerdem einfach die Zuordnung zwischen Ein- und Ausgängen lernt, verbessert sich die Qualität des Hologrammdatensatzesbegrenzt die Deckeder Trainingsergebnisse.

Um die oben genannten Einschränkungen zu durchbrechendatengesteuertDeep Learning, Hologramm-Generierungsschemata basierend aufmodellgetriebenDeep Learning werden vorgeschlagen.

Anstatt den Hologrammdatensatz im Voraus zu generieren, wird das Netzwerk mithilfe von trainiertphysikalisches Vorwärtsmodell des inversen Problems als Einschränkung in der modellgetriebenen Methode. Das Netzwerk kann so lernen, Hologramme autonom zu kodieren und dabei die Beschränkungen der Größe und Qualität des Hologramm-Datensatzes zu überwinden.

Herkömmliche modellgesteuerte Deep-Learning-Netzwerke erfordern jedochTransferlernen auf den Anzeigezielen, um bessere Leistungen zu erzielen. Der zusätzliche Zeitaufwand schränkt die praktischen Anwendungen des modellgesteuerten Deep Learning ein.

Das in dieser Arbeit vorgeschlagene 4K-DMDNet verwendet ein ResiduumU-Net neuronales Netzwerk-Framework. DerFresnel-Beugungsmodell fungiert als Einschränkung für den Trainingsprozess. Es ist in der Lage, 4K-Hologramme mit hoher Wiedergabetreue zu erzeugenohne Transferlernen.

Im Allgemeinen werden die Vorhersageleistungen des Netzwerks von beiden beeinflusstbegrenzte Lernkapazität des Netzwerksund dasunzureichende Einschränkungen im Trainingsprozess.

Um den Herausforderungen der begrenzten Lernfähigkeit zu begegnen, führt 4K-DMDNet das einSubpixel-Faltung Methode. Im Upsampling-Pfad wird die Anzahl der Kanäle durch Faltungen um das Vierfache erweitert, und die räumliche Erweiterung wird durch Pixel-Shuffle erreicht. Die Subpixel-Faltungsmethode löst die Herausforderungen des Hinzufügens einer großen Anzahl von Nullparametern für die räumliche Expansion bei der traditionellen transponierten Faltung. Es erhöht die lernbaren Parameter im Upsampling-Pfad auf das Vierfache der ursprünglichen Größe, ohne das Gesamtdatenvolumen zu verändern. Dadurch wird die Lernfähigkeit des Netzwerks effektiv verbessert, was zu einer deutlichen Verbesserung der Schärfe und Wiedergabetreue der Rekonstruktionen führt.

Um den Herausforderungen unzureichender Einschränkungen im Trainingsprozess zu begegnen, führt 4K-DMDNet das einÜberabtastung Operation im Fresnel-Beugungsmodell. Der Einschränkungsbereich im Frequenzbereich wird mit Nullen aufgefüllt, um die Größe im Berechnungsprozess zu verdoppeln. Gemäß der Zuordnung zwischen räumlichem Abtastintervall und Frequenzbereich erfüllen die Rekonstruktionen das Nyquist-Shannon-Abtasttheorem. Durch die Verschärfung der Frequenzbereichsbeschränkungen wird die Genauigkeit des Beugungsmodells verbessert.

Die Forscher haben 4K-DMDNet mit optischen Experimenten von Binärbildern und Farbbildern validiert. Die optischen Rekonstruktionen zeigen, dass 4K-DMDNet dies erreichen kannHigh-Fidelity-4K-Display, überragend

Schlüsselwörter: CComputergenerierte Holographie / Deep Learning / modellgesteuertes neuronales Netzwerk / Subpixel-Faltung / Oversampling

# # # # # #

Liangcai Cao erhielt seinen BS/MS und Ph.D. Abschlüsse vom Harbin Institute of Technology und der Tsinghua University in den Jahren 1999/2001 bzw. 2005. Anschließend wurde er Assistenzprofessor an der Abteilung für Präzisionsinstrumente der Tsinghua-Universität. Heute ist er ordentlicher Professor und Direktor des Instituts für Optoelektronische Technik an der Tsinghua-Universität. Er war 2009 und 2014 Gastwissenschaftler an der UC Santa Cruz und am MIT. Seine Forschungsinteressen sind holographische Bildgebung und holographische Darstellung. Er ist SPIE-Stipendiat und OPTICA-Stipendiat.Startseite:http://www.holoddd.com.Quellcode:https://github.com/THUHoloLab/4K-DMDNet

# # # # # #

Opto-Electronic Advances (OEA) ist eine hochwirksame, frei zugängliche, von Experten begutachtete monatliche SCI-Zeitschrift mit einem Impact-Faktor von 8,933 (Journal Citation Reports für IF2021). Seit seiner Einführung im März 2018 wurde die OEA im Laufe der Zeit in den Datenbanken SCI, EI, DOAJ, Scopus, CA und ICI indexiert und ihr Redaktionsgremium auf 36 Mitglieder aus 17 Ländern und Regionen erweitert (durchschnittlicher h-Index 49).

Die Zeitschrift wird vom Institut für Optik und Elektronik der Chinesischen Akademie der Wissenschaften herausgegeben und zielt darauf ab, Forschern, Akademikern, Fachleuten, Praktikern und Studenten eine Plattform für die Vermittlung und den Austausch von Wissen in Form hochwertiger empirischer und theoretischer Forschungsarbeiten zu bieten den Themen Optik, Photonik und Optoelektronik.

# # # # # #

Mehr Informationen:http://www.oejournal.org/oea

Redaktion:http://www.oejournal.org/oea/editorialboard/list

Alle Ausgaben im Online-Archiv verfügbar (http://www.oejournal.org/oea/archive).

Einsendungen anOASkann mit ScholarOne (https://mc03.manuscriptcentral.com/oea) erstellt werden.

ISSN:2096-4579

CN:51-1781/TN

Kontaktiere uns:[email protected]

Twitter:@OptoElectronAdv (https://twitter.com/OptoElectronAdv?lang=en)

WeChat:OE_Journal

# # # # # #

Artikelreferenz Liu KX, Wu JC, He ZH, Cao LC. 4K-DMDNet: Beugungsmodellgesteuertes Netzwerk für computergenerierte 4K-Holographie. Opto-Elektronen-Adv6 , 220135 (2023). doi: 10.29026/oea.2023.220135

# # # # # #

10.29026/oea.2023.220135

Haftungsausschluss: AAAS und EurekAlert! sind nicht verantwortlich für die Richtigkeit der auf EurekAlert veröffentlichten Pressemitteilungen! durch beitragende Institutionen oder für die Nutzung jeglicher Informationen über das EurekAlert-System.