Nachricht

Jun 01, 2023

Wahrnehmungsmotivierte Verlustfunktionen für computergenerierte holografische Displays

Scientific Reports Band 12, Artikelnummer: 7709 (2022) Diesen Artikel zitieren 3056 Zugriffe auf 2 Details zu altmetrischen Metriken Das Verständnis und die Verbesserung der wahrgenommenen Qualität rekonstruierter Bilder ist von entscheidender Bedeutung

Wissenschaftliche Berichte Band 12, Artikelnummer: 7709 (2022) Diesen Artikel zitieren

3056 Zugriffe

2 Altmetrisch

Details zu den Metriken

Das Verstehen und Verbessern der wahrgenommenen Qualität rekonstruierter Bilder ist der Schlüssel zur Entwicklung computergenerierter Holografie-Algorithmen für hochauflösende holografische Displays. Aktuelle Algorithmen werden jedoch typischerweise mithilfe des mittleren quadratischen Fehlers optimiert, dessen schlechte Korrelation mit der Wahrnehmungsqualität weithin kritisiert wird. In unserer Arbeit präsentieren wir eine umfassende Analyse der Verwendung moderner Bildqualitätsmetriken (IQM) als Verlustfunktionen im Hologrammoptimierungsprozess. Eine umfassende objektive und subjektive Bewertung experimentell rekonstruierter Bilder zeigt die relative Leistung von IQM-Verlusten für die Hologrammoptimierung. Unsere Ergebnisse zeigen, dass sich die wahrgenommene Bildqualität erheblich verbessert, wenn die entsprechende IQM-Verlustfunktion verwendet wird, was den Wert der Entwicklung wahrnehmungsmotivierter Verlustfunktionen für die Hologrammoptimierung unterstreicht.

Holographie bietet eine einzigartige Möglichkeit, Licht zu steuern, was tiefgreifende Auswirkungen auf verschiedene Anwendungen hat, von der optischen Telekommunikation1, Datenspeicherung2, Mikroskopie3 bis hin zu zwei- und dreidimensionalen Anzeigen4,5. Fortschritte bei Algorithmen und Rechenkapazität haben es ermöglicht, computergenerierte Hologramme (CGHs) numerisch durch Simulation von Lichtbeugung und Interferenz zu berechnen. Das erhaltene CGH wird auf einem räumlichen Lichtmodulator (SLM) angezeigt, der kohärente Beleuchtung moduliert, um die gewünschten Szenen zu reproduzieren. Das Ziel von CGH-Algorithmen besteht darin, ein Hologramm zu berechnen, das auf einem SLM angezeigt werden kann und eine Intensitätsverteilung erzeugt, die dem gewünschten Bild am besten entspricht.

CGHs werden üblicherweise auf nematischen Flüssigkristall-SLMs angezeigt, die eine überlegene Lichteffizienz steigern, sich jedoch darauf beschränken, nur die Phase des einfallenden Strahls zu modulieren. Um die durch diese SLMs auferlegte Nur-Phasen-Beschränkung zu lösen, kodieren Doppelphasen-4,6 und Fehlerdiffusionsmethoden7,8,9 Beugungsfelder mit komplexer Amplitude direkt in Nur-Phase-Hologramme. Ein anderer Ansatz, bekannt als One-Step-Phase-Retrieval-Algorithmus (OSPR)10,11, zeigt innerhalb eines kurzen Zeitintervalls mehrere Nur-Phasen-Hologramme an, um Fehler im Wiedergabefeld statistisch zu mitteln. Trainierte, auf Deep Learning basierende CGH-Algorithmen werden auch als nicht-iterative Lösungen eingesetzt12,13,14. Iterative CGH-Algorithmen wie Direct Search (DS)15 und Simulated Annealing (SA)16 verändern einzelne Pixel im Hologramm, um das optimale Hologramm zu finden. Phasenabrufmethoden wie der Gerchberg-Saxton-Algorithmus (GS)17 und die Hybrid-Input-Output-Methode (HIO)18,19 wurden ebenfalls untersucht.

Kürzlich wurde die Gradientenabstiegsmethode auf die Nur-Phasen-CGH-Optimierung angewendet12,13,14,20,21,22,23,24. Der Gradient einer vordefinierten Zielfunktion wird berechnet und zur Aktualisierung der Hologrammphase bei jeder Iteration verwendet. Diese Methode kann weiter mit einer Kamera als Feedback-Optimierungsstrategie kombiniert werden, um optische Artefakte in Versuchsaufbauten zu eliminieren13,22. Die ausgewählte spezifische Verlustfunktion ist bei diesen iterativen Optimierungsansätzen von entscheidender Bedeutung, um die Hologrammphase in ihren optimalen Zustand zu bringen. Aufgrund seiner einfachen Verwendung und klaren physikalischen Bedeutung ist der mittlere quadratische Fehler (MSE) eine Standardauswahl der Verlustfunktion. Obwohl MSE den Fehler pro Pixel im rekonstruierten Bild quantifiziert, wird es häufig wegen seiner schlechten Korrelation mit der Wahrnehmungsqualität kritisiert25,26,27,28.

Ein vielversprechender, aber relativ wenig genutzter Ansatz ist die Verwendung von Bildqualitätsmetriken (IQMs) im Nur-Phasen-CGH-Optimierungsprozess. Die traditionelle Rolle von IQMs in der digitalen Holographie besteht darin, den Optimierungsprozess dynamisch zu überwachen und die Wahrnehmungsqualität der erhaltenen Bilder zu bewerten29,30,31,32. Moderne IQM-Modelle bewerten die visuelle Qualität auf der Grundlage von A-priori-Wissen über das menschliche visuelle System oder verwenden erlernte Modelle, die mit großen Datensätzen trainiert wurden. Sie nutzen Bildmerkmale in geeigneten Wahrnehmungsräumen28,33 zur Bildqualitätsbewertung, wurden jedoch im CGH-Optimierungsprozess noch nicht vollständig genutzt. Hier konzentrieren wir uns auf die Verwendung von IQMs als Alternative zum allgegenwärtigen MSE für den Trainingsverlust, mit der Absicht, den Gradienten dieser Wahrnehmungsmetriken zu nutzen, um einen besseren CGH-Optimierungsalgorithmus anzustreben. Der Einsatz wahrnehmungsbedingt motivierter Verlustfunktionen hat in letzter Zeit bei foveiertem CGH an Aufmerksamkeit gewonnen34,35, wobei der Schwerpunkt speziell auf der Speckle-Unterdrückung in der Fovealregion und der peripheren Wahrnehmung liegt. Andere nicht-holografische Bildwiederherstellungsanwendungen haben ebenfalls Wahrnehmungsverluste untersucht, obwohl beobachtet wurde, dass es keine einzige Verlustfunktion gibt, die alle anderen in verschiedenen Anwendungen übertrifft36,37,38.

In diesem Artikel präsentieren wir einen umfassenden Vergleich verschiedener IQMs als Verluste für die CGH-Optimierung mithilfe des Gradientenabstiegs. Konkret wählen wir zunächst zehn optimierungsgeeignete IQMs zusammen mit dem mittleren absoluten Fehler (MAE) und MSE aus, um CGHs zu generieren. Diese IQMs wurden nicht auf das Hologrammdesign angewendet und werden aufgrund ihrer guten Etablierung sowie ihrer Differenzierbarkeit aus der Fülle vorhandener Metriken ausgewählt, eine Voraussetzung für die Verwendung in der Gradientenabstiegsmethode. Wir bauen einen holographischen Display-Prototyp, um einen optischen Rekonstruktionsdatensatz von Hologrammen der IQM-Optimierungsphase zu erfassen. Wir verwenden diesen Datensatz, um eine eingehende Analyse der relativen Leistung von IQM-Verlusten durchzuführen, die auf umfangreichen objektiven Qualitätsbewertungen sowie subjektiven Vergleichen basiert, die auf menschlichen Wahrnehmungsurteilen basieren. Abschließend stellen wir ein strenges Verfahren zur Bewertung der Wahrnehmungsqualität holografischer Bilder vor und heben den Wert der Entwicklung wahrnehmungsmotivierter Verlustfunktionen für die Hologrammoptimierung hervor.

Die auf der Gradientenabstiegsmethode basierende CGH-Generierung kann als Optimierungsmodell verallgemeinert werden. Im Vorwärtsdurchlauf überträgt das Modell ein Phasenhologramm auf die Wiedergabeebene, um ein rekonstruiertes Bild zu erzeugen, das zur Berechnung des Verlusts durch Vergleich mit dem Zielbild verwendet wird. Beim Rückwärtsdurchlauf durchläuft das Modell die Ausgabe rückwärts, sammelt die Ableitungen der Verlustfunktion in Bezug auf das Phasenhologramm und aktualisiert das Hologramm, um den Verlust zu minimieren. Das Modell durchläuft iterativ den Vorwärtsdurchlauf und den Rückwärtsdurchlauf, um das optimierte Phasenhologramm zu erhalten. Dieser Vorgang ist in Abb. 1 dargestellt.

CGH-Optimierungsmodell basierend auf der Gradientenabstiegsmethode.

Im Vorwärtsdurchlauf betrachten wir die Winkelspektrummethode39,40 mit planarer Beleuchtungswelle zur Modellierung der Beugungsausbreitungsfunktion:

Hier ist \(\phi \left(x,y\right)\) das Phasenhologramm, das quantisiert wurde, sodass es auf einem binären oder 8-Bit-SLM angezeigt werden kann, \(\lambda\) ist die Wellenlänge, \({f}_{x}, {f}_{y}\) sind Ortsfrequenzen und \(z\) ist der Ausbreitungsabstand zwischen der Hologrammebene und der Wiedergabefeldebene. \(\mathcal{F}\) und \({\mathcal{F}}^{-1}\) bezeichnen die Fourier-Transformation bzw. die inverse Fourier-Transformation. Das resultierende Feld \(f\left(\phi \right)\) ist ein komplexes Wiedergabefeld, dessen Amplitude mit der rekonstruierten Bildintensität durch \(I\left(\mu ,\nu \right)= {\left |f\left(\phi \right)\right|}^{2}\). Um die wahrgenommene Bildqualität zu bewerten, wird die Amplitude des Wiedergabefeldes \({A}_{rpf}\) mit der Zielamplitude \({A}_{target}\) unter Verwendung einer Verlustfunktion \(\mathcal{ L}\). Obwohl intensitätsbasierte Zielfunktionen auch zur Bildqualitätsbewertung verwendet werden können, hat sich herausgestellt, dass amplitudenbasierte Zielfunktionen eine bessere algorithmische Leistung liefern und bei der Hologrammoptimierung vorzuziehen sind41,42. Daher zielt der CGH-Optimierungsalgorithmus darauf ab, das optimale quantisierte Phasenhologramm \(\widehat{\phi }\) zu finden, das die Verlustfunktion \(\mathcal{L}\) minimiert, die die visuelle Qualität beschreibt und aus der rekonstruierten Bildamplitude \ berechnet wird. (\left|f\left(\phi \right)\right|\) und die beabsichtigte Zielbildamplitude \({A}_{target}\):

wobei \(s\) ein Skalierungsfaktor für die Normalisierung ist. Der mittlere quadratische Fehler (MSE) für \(m\) mal \(n\) Abtastpunkte wird üblicherweise als Verlustfunktion verwendet und durch Mittelung der quadrierten Amplitudendifferenzen von rekonstruierten und Zielbildpixeln berechnet:

Im Rückwärtsdurchlauf berechnet das Modell den Gradienten \(\partial \mathcal{L}/\partial {\phi }^{k-1}\) der Verlustfunktion in Bezug auf die aktuelle Schätzung des Phasenhologramms \( {\phi }^{k-1}\), um die nächste Schätzphase \({\phi }^{k}\) zu aktualisieren. Der Gradient kann mit der Kettenregel berechnet werden, die die Berechnung komplexer Ableitungen beinhaltet:

In der komplexen Analysis ist die holomorphe Anforderung, dass Funktionen komplex differenzierbar sein müssen, sehr streng. Die Wirtinger-Kalküle lockert diese Anforderung und ermöglicht die einfachere Berechnung approximativer komplexer Ableitungen nichtholomorpher Funktionen unter Verwendung eines konjugierten Koordinatensystems21,43,44. Kürzlich wurde die Wirtinger-Kalküle in automatischen Differenzierungspaketen in Bibliotheken für maschinelles Lernen wie TensorFlow und PyTorch implementiert. Diese automatischen Differenzierungspakete zeichnen alle Daten und Operationen auf, die im Vorwärtsdurchlauf ausgeführt wurden, in einem direkten azyklischen Diagramm und berechnen automatisch Gradienten mithilfe der Kettenregel. Für eine Lernrate \(\eta\) ist das nächste geschätzte Phasenhologramm \({\phi }^{\left(k\right)}\) gegeben durch:

Mehrere Aktualisierungsstrategien wie Adagrad45 und Adam46 schlagen Aktualisierungsregeln für die Lernrate vor, um die Genauigkeit und Konvergenzgeschwindigkeit zu verbessern.

IQMs spielen eine entscheidende Rolle bei der Entwicklung und Optimierung von Bildverarbeitungs- und -wiederherstellungsalgorithmen. Im Allgemeinen können IQMs entsprechend der Verfügbarkeit des ursprünglichen Referenzbilds in Methoden mit vollständiger Referenz, Methoden mit reduzierter Referenz und Methoden ohne Referenz klassifiziert werden. Da das Zielbild im CGH-Optimierungsmodell verfügbar ist, betrachten wir nur Vollreferenzmethoden als Verlustfunktionen. IQMs sind eine Funktion einer Reihe von Parametern, und unterschiedliche IQM-Implementierungen können zu erheblich unterschiedlichen Ergebnissen führen, was sich auf die Leistung der CGH-Optimierung auswirkt. Wir betrachten daher zehn differenzierbare Vollreferenz-IQMs aus den vorhandenen Bibliotheken IQA37 und PIQ47, verglichen mit gemeinsamen Datenbanken, die unserer Meinung nach eine breite Palette hochmoderner Vollreferenz-IQMs umfassen. Als Vergleichsstandards beziehen wir auch MAE und MSE mit ein. Daher umfasst diese IQM-Sammlung drei Fehlersichtbarkeitsmethoden: MSE, MAE und NLPD33, sechs Strukturähnlichkeitsmethoden: SSIM26, MS-SSIM48, FSIM49, MS-GMSD50, VSI51, HaarPSI52, eine informationstheoretische Methode: VIF53 und zwei lerntheoretische Methoden: basierende Methoden: LPIPS25 und DISTS54. Fehlersichtbarkeitsmethoden berechnen den Bildfehler pixelweise. Strukturelle Ähnlichkeitsmethoden berücksichtigen die wahrgenommene Variation, einschließlich Luminanz, Kontrast und Struktur, um Bildverzerrungen zu beurteilen. Informationstheoretische Methoden quantifizieren das Ausmaß des Informationsverlusts in den verzerrten Bildern im Vergleich zu den Zielbildern. Lernbasierte Methoden schlagen vor, mit zahlreichen Bildern trainierte neuronale Netze zur Beurteilung der Bildqualität zu verwenden. Tabelle 1 fasst die Bibliothek der betrachteten IQMs sowie das zugrunde liegende Prinzip zusammen. Das IQM wird bei Bedarf umformuliert, sodass ein niedrigerer Wert auf eine höhere vorhergesagte Qualität hinweist. Wenn beispielsweise das ausgewählte IQM \(SSIM\) ist, dann wird \(\mathcal{L}\) umgeschrieben als \({\mathcal{L}}_{SSIM}= 1 - SSIM\).

Wir generieren CGHs für 100 hochauflösende Bilder im DIV2K-Datensatz55,56, der vorverarbeitet wurde, um eine in Abb. 2 gezeigte monochrome Zielamplitude zu erhalten. Dies erfolgt für jedes IQM und wir generieren daher einen Datensatz mit insgesamt 1200 Hologrammen. In jedem Fall breiten wir uns vorwärts aus, vergleichen mit dem Ziel und breiten uns dann rückwärts aus, um den Gradienten für den IQM-Verlust zu erhalten, der vom Adam-Optimierer verwendet wird, um iterativ das optimale Phasenhologramm zu finden. In allen Fällen verwenden wir den Adam-Optimierer mit einer Schrittweite von 0,05 und standardmäßigen exponentiellen Abfallraten von β1 = 0,9 und β2 = 0,999. Die Gesamtzahl der Iterationen wird empirisch auf 1000 festgelegt, wobei die ersten 15 Iterationen MSE als Verlustfunktion verwenden. Wir wenden diesen grundlegenden Vorverarbeitungsschritt an, da erste Vorhersagen einen erheblichen Einfluss auf die Leistung einiger IQMs haben können. Dieser Schritt ist notwendig, um akzeptable Optimierungsergebnisse zu erzielen und die Trainingszeit für lernbasierte IQMs zu verkürzen. Während jeder Iteration normalisieren wir die Amplitude des Wiedergabefelds, da mehrere IQMs Eingabedaten im Bereich [0, 1] erfordern.

Monochrome Zielbildamplituden aus dem DIV2K-Datensatz.

Die CGH-Generierung erfolgt auf einer Maschine mit einer Intel i7-8700-CPU mit 3,20 GHz und einer GeForce GTX 1080-GPU. PyTorch 1.9.0 und CUDA 10.2 werden verwendet, um die Optimierung des Gradientenabstiegs mit komplexer Amplitude auf der GPU zu implementieren. Die Berechnung dauert etwa 190 GPU-Stunden, um die 1200 Hologramme zur Bewertung aller 12 IQMs zu generieren. Trainingsdetails und Rechenzeit für jeden IQM-Verlust sind im Zusatzmaterial enthalten.

Um unsere Bildqualität durch Simulation zu überprüfen, entwickeln wir ein physikalisches optisches Anzeigesystem. Wir stellen die Hologramme auf einem SLM dar und rekonstruieren die mit einer Kamera erfassten Wiedergabefelder optisch. Das vorgeschlagene holographische Projektionssystem ist in Abb. 3 dargestellt. Unser System verwendet einen 8-Bit-Phasen-SLM (FSLM-2K55-P) mit einem Pixelabstand von 6,4 µm und einer Auflösung von 1920 × 1080. Der SLM wird hergestellt von Das Gerät wurde vom Unternehmen Xi'an Institute of Optics and Precision Mechanics entwickelt und ist werkseitig im Reflexionsmodus vorkalibriert. Der erste Arm besteht aus einer 532-nm-Laserquelle (Thorlabs CPS532), einer Halbwellenplatte, einem 4F-Linsensystem und einem Polarisator. Das 4F-Linsensystem besteht aus zwei Linsen (Linse 1 und Linse 2) mit Brennweiten von 13 mm bzw. 75 mm, die zur Aufweitung des Strahls dienen. Der aufgeweitete Strahl ist dann linear polarisiert und beleuchtet den SLM. Der zweite Arm besteht aus einem Strahlteiler und einem 4F-Linsensystem mit einem räumlichen Filter, um die Gleichstromkomponente des Wiedergabefelds und andere unerwünschte höhere Beugungsordnungen zu reduzieren. Die Brennweiten dieser beiden Objektive (Objektiv 3 und Objektiv 4) betragen 30 mm und 50 mm. Der zweite Arm wird so eingestellt, dass er die rekonstruierten Bilder auf den Kamerasensor projiziert. Zur Reduzierung der Wiedergabefeldintensität kann im zweiten Arm ein Neutraldichtefilter eingesetzt werden.

Einrichtung eines holografischen Anzeigesystems. (a) Unser Hardware-Display-Prototyp mit einer Canon-Kamera zur Bildaufnahme. (b) Schematische Darstellung des optischen Systems.

Rekonstruierte Bilder werden mit einer Canon EOS 6D-Kamera ohne angebrachtes Kameraobjektiv aufgenommen. Die Ausgangsauflösung der Kamera beträgt 5472 x 3648 mit einer Verstärkungseinstellung von ISO 125, um Verstärkerrauschen zu minimieren. Für einen fairen Vergleich führen wir eine Kamerakalibrierung mithilfe eines rekonstruierten Kreisgittermuster-Hologramms durch und passen den Mittelwert der erfassten Bildamplitudenwerte an die Zielbildamplitudenwerte an. Die Zielbilder werden auf 1680 × 960 Pixel zugeschnitten, um mit den experimentell aufgenommenen Bildern übereinzustimmen. Alle rekonstruierten Bilder werden über drei aufgenommene Bilder gemittelt, die in sRGB, dem nativen Farbraum der Kamera, aufgenommen wurden. Wir haben außerdem den Bildlinearisierungsprozess angewendet, der das aufgenommene Bild von der sRGB-Intensität in eine monochromatische lineare Raumamplitude umwandelt13,57.

Um Qualitätsschwankungen getesteter Modelle subjektiv zu differenzieren, sammeln wir menschliche Wahrnehmungsurteile mithilfe einer 2-Alternative-Forced-Choice-Methode (2AFC). Bei dem Experiment werden die Probanden aufgefordert, anzugeben, welches der beiden verzerrten Bilder wahrnehmungsmäßig näher am Referenzbild liegt. Abbildung 4 veranschaulicht die Schnittstelle für dieses Experiment: Ein Bildtriplett mit einem Paar experimentell aufgenommener Bilder und das entsprechende Referenzbild werden gleichzeitig angezeigt. Die Probanden werden gebeten, zwischen zwei verzerrten Bildern das bessere Bild auszuwählen. Nach der Auswahl erscheinen auf dem oberen Bildschirm zwei neue experimentell aufgenommene Bilder, optimiert entsprechend unterschiedlicher IQM-Verluste, in zufälliger Links-Rechts-Reihenfolge. Der Fortschritt wird angezeigt und es steht eine Pausenfunktion zur Verfügung, um visuelle Ermüdung zu reduzieren. Der Bildschirm hat eine Auflösung von 1920 × 1080 Pixel, wobei die angezeigte Bildauflösung bei \(875\times 500\) liegt. Die Benutzeroberfläche unterstützt eine Zoomfunktion zur genauen Betrachtung von Bilddetails.

Die Benutzeroberfläche zum Sammeln menschlicher Urteile zur IQM-basierten CGH-Optimierung. Das experimentell aufgenommene Bildpaar aus zwei IQM-Verlusten und das entsprechende Referenzbild sind im blauen bzw. grünen Kasten dargestellt.

Die Teilnehmer sind überwiegend Universitätsstudenten und erhalten entsprechende Anleitungen, darunter eine Erläuterung des Versuchsablaufs sowie eine Demonstrationssitzung. Um Ermüdungserscheinungen vorzubeugen, pausieren wir die Benutzeroberfläche alle 15 Minuten und ermöglichen den Probanden jederzeit eine Pause während des Experiments. Die Experimente werden bei normalem Innenlichtniveau und angemessen variierenden Umgebungsbedingungen gemäß den Empfehlungen von ITU-R BT 50058 durchgeführt. Dieses subjektive Experiment wurde von der Ethikkommission des Cambridge Engineering Research genehmigt und gemäß der Deklaration von Helsinki durchgeführt. Wir haben die Einwilligung nach Aufklärung eingeholt und Paarvergleiche von 20 Probanden durchgeführt. Jeder Proband reagierte auf alle möglichen Kombinationen generierter Bilder für ein Paar von Zielbildern, wobei er dies für zehn Paare von Zielbildern tat, was \(\left(\genfrac{}{}{0pt}{}{12}{2}\ rechts)\times 10=660\) Reize. Daten, einschließlich der für jede Beurteilung aufgewendeten Zeit, der Anzeigereihenfolge der Bildpaare und der Ergebnisse paarweiser Vergleiche, werden zur Analyse gespeichert. Das bevorzugte Bild des angezeigten Paares trägt einen Punkt zur Bewertung seines IQM-Verlusts bei. Daher könnte für die ausgewählten 10 Beispielbilder jeder paarweise Vergleich 0 bis 10 Punkte als subjektive Bewertung des Probanden erhalten. Um abnormale Ergebnisse auszuschließen, überprüfen wir in den einzelnen Beobachtungsdaten mehrere Sentinels, die aus Paaren mit offensichtlichem visuellen Qualitätskontrast bestehen. Insgesamt haben wir 13.200 Urteile über 12 IQM-Verluste erhalten, und jeder Verlust wird 1100-mal bewertet. Die durchschnittliche Zeit für ein Urteil beträgt etwa 3 s.

Wir verwenden das Bradley-Terry-Modell59,60, um paarweise Vergleiche zu aggregieren und ein globales Ranking der IQM-Verluste für die CGH-Optimierung basierend auf den subjektiven Daten zu erhalten. Aus den in den Daten bereitgestellten Teilreihenfolgen möchten wir nicht nur die Rangfolge der getesteten Verluste ableiten, sondern auch die subjektiven visuellen Qualitätsbewertungen, die mit den Verlusten selbst verbunden sind. Wenn wir \(s=[{s}_{1},{s}_{2},{s}_{3},\dots {s}_{m}]\) als subjektive Bewertungen der Bewerteten bezeichnen Bei IQM-Verlusten geht das Bradley-Terry-Modell davon aus, dass die Wahrscheinlichkeit, Verlust \(i\) gegenüber Verlust \(j\) zu wählen, ist:

Angesichts der beobachteten Häufigkeit, mit der der IQM-Verlust \(i\) gegenüber dem IQM-Verlust \(j\) als \({w}_{ij}\) bevorzugt wird, können wir dann die Wahrscheinlichkeit von \(i\) über ermitteln \(j\) als \({p}_{ij}^{{w}_{ij}}\). Unter der Annahme, dass die Ergebnisse jedes paarweisen Vergleichs statistisch unabhängig sind, ist die Wahrscheinlichkeitsfunktion aller \((i, j)\) Paare ist definiert durch:

Der subjektive Wert für den IQM-Verlust \({s}_{i}\) kann dann gemeinsam geschätzt werden, indem die Log-Likelihood aller paarweisen Vergleichsbeobachtungen maximiert wird:

Die simulierten Rekonstruktionsergebnisse basierend auf IQM-Optimierungsmodellen sind in Abb. 5 dargestellt. Entsprechende Phasenhologramme sowie die experimentell erfassten Ergebnisse im sRGB-Raum sind in der zweiten bzw. dritten Zeile dargestellt.

Simulierte und erfasste Ergebnisse für die CGH-Optimierung unter Verwendung von zwölf verschiedenen IQM-Verlusten. Wir zeigen oben das rekonstruierte Bild für jeden Verlust mit dem Phasenhologramm in der Mitte und den entsprechenden erfassten Ergebnissen unten.

Für experimentelle Ergebnisse führen wir zunächst einen qualitativen Vergleich aller IQM-optimierten Methoden durch. Wie in Abb. 6 dargestellt, konvergieren die meisten IQM-basierten Optimierungsmodelle hinsichtlich einer angemessenen visuellen Qualität. Wir beobachten, dass MAE, MSE, NLPD, SSIM und MS-SSIM eine gute Leistung erbringen, jedoch unerwünschtes lokales Rauschen aufweisen, das in den aus den rekonstruierten Bildern ausgewählten Bildfeldern beobachtet werden kann. FSIM und VIF verstärken hochfrequente Informationen, was zu einer strukturellen Überverstärkung führt. VSI, MS-GMSD und HaarPSI bewahren die Gesamtstrukturen mit einem glatten Erscheinungsbild, reduzieren jedoch künstlich den lokalen Kontrast mit auffälligen Artefakten. Modelle, die auf Deep-Learning-Methoden wie LPIPS und DISTS basieren, können die Zielbilddetails wiederherstellen, dem Bild jedoch Texturen überlagern.

Erfasste Rekonstruktionsergebnisse. Für Zielbilder zeigen wir durch IQM-Verluste optimierte Phasenhologramme an. Rekonstruktionsergebnisse von IQM-Verlusten werden mit unserem holografischen Display-Prototyp zum Vergleich der Bildqualität erfasst.

Die optisch rekonstruierten Bilder weisen Laser-Speckle-Rauschen auf und unterliegen optischen Aberrationen, was zu einigen auffälligen gemeinsamen Artefakten bei allen IQMs führt, einschließlich Geister- und Welleneffekten. Der Dynamikbereich der Kamera ist begrenzt und aufgenommene Bilder neigen zu fotometrischen Verzerrungen, einschließlich vermindertem Kontrast und Sättigung.

Wir verwenden die vorgeschlagenen IQMs als Qualitätsmaße, um die Leistung der auf dem Gradientenabstieg basierenden CGH-Optimierung unter Verwendung verschiedener IQM-Verluste zu bewerten. Alle IQMs dienen der objektiven Bewertung der erfassten Ergebnisse. Die Bewertungen werden über alle 100 Bilder für jede Metrik und für jeden in Tabelle 2 gezeigten IQM-basierten Verlust gemittelt. Jedes Element gibt die Bewertung eines IQM-Verlusts an, der unter Verwendung eines anderen IQM als Qualitätsprädiktor bewertet wurde.

Durch die Untersuchung jeder Zeile der Metriktabelle stellen wir fest, dass MAE, NLPD, SSIM und MS-SSIM die beste Leistung unter allen IQM-Verlusten aufweisen, wie zuvor durch den qualitativen Vergleich vorhergesagt. MS-SSIM-Verlust erzeugt eine überlegene Rekonstruktionsqualität und gilt objektiv als das IQM-basierte CGH-Optimierungsmodell mit der besten Leistung bei den meisten Bewertungsmetriken, während FSIM als die am wenigsten bevorzugte Methode gilt. Mehrere andere IQM-Verluste, darunter NLPD, MAE, SSIM, HaarPSI und MS-GMSD, übertreffen ebenfalls den MSE-Verlust, was die Verwendung von IQMs zur CGH-Optimierung objektiv bestätigt.

Da die PIQ-Bibliothek ihre eigenen SSIM- und MS-SSIM-Metriken für die Bildqualitätsbewertung implementiert, können wir unsere leistungsstärksten Modelle mithilfe dieser Metriken weiter bewerten, wie in Tabelle 3 gezeigt. Obwohl sowohl die IQA- als auch die PIQ-Bibliotheken auf einem Benchmarking durchgeführt wurden Obwohl sie aus einer Reihe gängiger Datenbanken stammen und nahezu konsistente Ranking-Ergebnisse bei der Modellbewertung aufweisen, gibt es Unstimmigkeiten mit den tatsächlichen Werten der Leistungsbewertung, wobei die IQM-Bibliothek im Allgemeinen niedrigere Werte erzielt. Ohne eine Standard-IQM-Implementierung wird es daher schwieriger, die Leistung verschiedener Algorithmen zu vergleichen.

Wir implementieren das Bradley-Terry-Modell in R, um die gegebene Gleichung Gl. iterativ zu lösen. (8) und erhalten Sie die optimale Schätzung \({s}_{i}\) für jedes Modell. Die Ergebnisse des Bradley-Terry-Modells werden durch Verschiebung auf Mittelwerte von Null normalisiert, was zu einer globalen Rangfolge der Wahrnehmungsoptimierungsleistung führt. Wir führen außerdem unabhängige zweiseitige T-Tests mit zwei Stichproben durch, um zu untersuchen, ob die Unterschiede zwischen der subjektiven Leistung von IQM-Verlusten statistisch signifikant sind. Insbesondere gehen wir davon aus, dass die erhaltenen Beobachtungen der Teilnehmer unter der Nullhypothese normalverteilt sind und vergleichen die Rangfolgewerte für jeden der beiden Verluste. Wenn der Vergleich die Nullhypothese, dass es keinen Unterschied auf dem Standardsignifikanzniveau \(\alpha =0,05,\) gibt, nicht ablehnen kann, ordnen wir die bewerteten Verluste derselben Gruppe zu, da sie statistisch nicht unterscheidbar sind. Abbildung 7 zeigt das Streudiagramm der kombinierten subjektiven und objektiven Leistung getesteter IQM-Verluste für die CGH-Optimierung. Streupunkte mit derselben Farbe liegen für subjektive Tests in derselben statistischen Signifikanzgruppe. Der objektive globale Ranking-Score für jeden IQM-Verlust kann erhalten werden, indem Ranking-Ränge aus allen aus Tabelle 2 abgeleiteten Qualitätsmetriken addiert und auf den Mittelwert Null normalisiert werden. Die Bewertungen wurden neu formuliert, um sicherzustellen, dass eine höhere Bewertung eine höhere vorhergesagte Qualität anzeigt.

Quantitativer Vergleich der IQM-basierten CGH-Optimierung. Streupunkte stellen die Verluste für die CGH-Optimierung dar. Punkte mit derselben Farbe sind für subjektive Ergebnisse statistisch nicht unterscheidbar. Die vertikale und die horizontale Achse geben die objektive Leistung bzw. die subjektive Leistung jedes Verlusts an.

Das Streudiagramm zeigt, dass MS-SSIM die Verlustfunktion mit dem höchsten Rang ist, wie sowohl bei subjektiven als auch bei objektiven Bewertungen vereinbart wurde. NLPD- und SSIM-Verluste sind statistisch gesehen nicht vom MSE-Verlust für die subjektive Leistung zu unterscheiden. Der MSE-Verlust erzielt im subjektiven Test unerwartet eine höhere Leistung als HaarPSI- und MAE-Verluste, obwohl er bei der objektiven Leistung weitaus schlechter abschneidet. Ein ähnlicher Trend tritt auch bei VSI- und VIF-Verlusten im Vergleich zu FSIM-Verlusten auf. Diese Meinungsverschiedenheit ist auf unterschiedliche objektive und subjektive Gewichtungsstrategien hinsichtlich der Ähnlichkeit der Bildstruktur, der Bildglätte, der Luminanz und des Kontrasts zurückzuführen.

Wir berechnen außerdem Spearmans Rangordnungskorrelationskoeffizient (SRCC) zwischen objektiven und subjektiven Bewertungen, wie in Tabelle 4 dargestellt. Höhere SRCC-Werte weisen auf eine bessere Korrelation einer Metrik mit subjektiven Bewertungen hin. Obwohl die meisten modernen Bildqualitätsmetriken in vorhandenen Bilddatenbanken eine überlegene Leistung zeigen, stellen wir fest, dass sie für CGH eine geringere Korrelation mit menschlichen Urteilen aufweisen als auf Pixelfehlern basierende Metriken. Dies kann daran liegen, dass die gängigsten Bilddatenbanken für Benchmarking wie LIVE61, TID200862 und TID201363 Quellbilder mit synthetisch verzerrten Bildern umfassen. Die synthetischen Verzerrungsarten, darunter weißes Gaußsches Rauschen, JPEG2000-Komprimierung und Gaußsche Unschärfe mit unterschiedlichen Verzerrungsstufen, versuchen, verschiedene Bildbeeinträchtigungen widerzuspiegeln, die bei der Bildverarbeitung auftreten. Experimentell mit CGH rekonstruierte Bilder, wie sie hier zu sehen sind, können etwas komplexer sein und bei der optischen Rekonstruktion und Bildaufnahme mehr Arten von Verzerrungen hervorrufen. Darüber hinaus sind CGHs überwiegend durch Rauschen beeinträchtigt, wohingegen einige IQMs für die Erkennung verschwommener Objekte, das Ableiten von Details in unscharfen Objekten oder für hochauflösende Bildgebungsaufgaben entwickelt wurden. Aktuelle IQMs sind nicht gut speziell für diese realen und CGH-Verzerrungen geeignet. Für eine teilweise kohärente Lichtbeleuchtung im holographischen optischen System, die zu einem stärkeren Unschärfeeffekt und einer Kontrastreduzierung im Wiedergabefeld führen könnte57,64, können moderne IQMs den Vorteil nutzen, auf unscharfe und kontrastreduzierte Informationen zu schließen. Daher kann der Einsatz von IQMs möglicherweise eine bessere Leistung bei teilweise kohärenten holographischen Displays erzielen.

In dieser Arbeit haben wir eine umfassende Studie zur realen Leistung der Verwendung von IQM als Verlustfunktionen im CGH-Optimierungsprozess durchgeführt. Durch Benchmarking mit einem standardmäßigen optischen Rekonstruktionsdatensatz haben wir die Ergebnisse der Anwendung von 12 verschiedenen IQMs als Verlustfunktionen sowohl bei objektiven als auch bei subjektiven Bewertungen zusammengestellt. Die Ergebnisse der Vergleichsstudie zeigen, dass IQM-Verluste bei der Generierung von Hologrammen eine bessere Bildqualität als der MSE-Verlust erzielen können, wobei der MS-SSIM-Verlust alle anderen Verluste übertrifft. Dieser ausführliche Vergleich bietet Hinweise zum Finden einer spezifischen wahrnehmungsmotivierten Verlustfunktion für die CGH-Erzeugung.

Über diese Studie hinaus können einzelne IQM-Verluste basierend auf ihrer Komplementarität weiter kombiniert werden, um die spezifischen CGH-Verzerrungen zu berücksichtigen. Wir sind uns bewusst, dass unsere Analyse auf die Rekonstruktion von 2D-Hologrammen beschränkt ist. Für holografische 3D-Anwendungen sind die Autoren der Ansicht, dass es mehrere Erweiterungen der in dieser Studie durchgeführten Arbeit gibt, beispielsweise die Verwendung von Unschärfeverzerrung, die ein wesentlicher Wahrnehmungsfaktor sein könnte, der bei der Hologrammoptimierung berücksichtigt werden muss.

Die während der aktuellen Studie generierten und/oder analysierten Datensätze sind im GitHub-Repository verfügbar, https://github.com/fy255/perceptual_cgh.

Der Code für die Hologrammgenerierung und -auswertung ist im GitHub-Repository öffentlich verfügbar, https://github.com/fy255/perceptual_cgh. Zusätzliche Codes sind auf begründete Anfrage bei den entsprechenden Autoren erhältlich.

Huang, C. et al. Holografische MIMO-Oberflächen für drahtlose 6G-Netzwerke: Chancen, Herausforderungen und Trends. IEEE Wirel. Komm. 27, 118 (2020).

Artikel Google Scholar

Li, L. et al. Elektromagnetische umprogrammierbare Codierungs-Metaoberflächen-Hologramme. Nat. Komm. 8, 1–7 (2017).

ADS Google Scholar

Marquet, P. et al. Digitale holographische Mikroskopie: Eine nichtinvasive Kontrastbildgebungstechnik, die eine quantitative Visualisierung lebender Zellen mit axialer Genauigkeit unterhalb der Wellenlänge ermöglicht. Opt. Lette. 30(5), 468–470 (2005).

Artikel ADS PubMed Google Scholar

Maimone, A., Georgiou, A. & Kollin, JS Holografische Near-Eye-Displays für virtuelle und erweiterte Realität. ACM Trans. Graph. (TOG) 36, 1–16 (2017).

Artikel Google Scholar

Yaraş, F., Kang, H. & Onural, L. Stand der Technik bei holografischen Displays: Eine Umfrage. IEEE/OSA J. Display Technol. 6, 443 (2010).

Artikel ADS Google Scholar

Hsueh, CK & Sawchuk, AA Computergenerierte Doppelphasenhologramme. Appl. Opt. 17, 3874 (1978).

Artikel ADS CAS PubMed Google Scholar

Tsang, PWM, Cheung, WK, Poon, T.-C. & Zhou, C. Neuartige Methode zur Umwandlung eines digitalen Fresnel-Hologramms in ein Nur-Phasen-Hologramm basierend auf bidirektionaler Fehlerdiffusion. Opt. Exp. 21(20), 23680–23686 (2013).

Artikel CAS Google Scholar

Eschbach, R. Vergleich von Fehlerdiffusionsmethoden für computergenerierte Hologramme. Appl. Opt. 30, 3702–3710 (1991).

Artikel ADS CAS PubMed Google Scholar

Pang, H. et al. Nicht iterative reine Phasen-Fourier-Hologramm-Erzeugung mit hoher Bildqualität. Opt. Exp. 25, 14323–14333 (2017).

Artikel Google Scholar

Buckley, E. Eingeladener Vortrag: Holographische Laserprojektionstechnologie. SID-Sympos. Verdauen. Technik. Brei. 39, 1074–1079 (2008).

Artikel Google Scholar

Cable, AJ et al. Binäre Hologrammgenerierung in Echtzeit für hochwertige Videoprojektionsanwendungen. SID-Sympos. Digest Tech. Brei. 35, 1431–1433 (2004).

Artikel Google Scholar

Shi, L., Li, B., Kim, C., Kellnhofer, P. & Matusik, W. Auf dem Weg zur fotorealistischen 3D-Holographie in Echtzeit mit tiefen neuronalen Netzen. Natur 591, 234–239 (2021).

Artikel ADS CAS PubMed Google Scholar

Peng, Y., Choi, S., Padmanaban, N. & Wetzstein, G. Neuronale Holographie mit Camera-in-the-Loop-Training. ACM Trans. Graph. 39, 1–14 (2020).

Artikel Google Scholar

Eybposh, MH, Caira, NW, Atisa, M., Chakravarthula, P. & Pégard, NC DeepCGH: 3D computergenerierte Holographie mit Deep Learning. Opt. Exp. 28, 26636–26650 (2020).

Artikel CAS Google Scholar

Seldowitz, MA, Allebach, JP & Sweeney, DW Synthese digitaler Hologramme durch direkte binäre Suche. Appl. Opt. 26, 2788–2798 (1987).

Artikel ADS CAS PubMed Google Scholar

Kirk, AG & Hall, TJ Design binärer computergenerierter Hologramme durch simuliertes Tempern: Codierungsdichte und Rekonstruktionsfehler. Opt. Komm. 94, 491–496 (1992).

Artikel ADS Google Scholar

Gerchberg, RW & Saxton, WO Ein praktischer Algorithmus zur Bestimmung der Phase aus Bild- und Beugungsebenenbildern. Optik (Stuttg) 35, 237–246 (1971).

Google Scholar

Fienup, JR Phasenabrufalgorithmen: Ein Vergleich. Appl. Opt. 21, 2758–2769 (1982).

Artikel ADS CAS PubMed Google Scholar

Bauschke, HH, Combettes, PL & Luke, DR Hybride Projektions-Reflexionsmethode zur Phasenwiederherstellung. JOSEPH A 20, 1025–1110 (2003).

Artikel ADS PubMed Google Scholar

Liu, S. & Takaki, Y. Optimierung von computergenerierten Nur-Phasen-Hologrammen basierend auf der Gradientenabstiegsmethode. Appl. Wissenschaft. 10, 4283 (2020).

Artikel CAS Google Scholar

Chakravarthula, P., Peng, Y., Kollin, J., Fuchs, H. & Heide, F. Wirtinger-Holographie für augennahe Displays. ACM Trans. Graph. (TOG) 38, 1–13 (2019).

Artikel Google Scholar

Chakravarthula, P., Tseng, E., Srivastava, T., Fuchs, H. & Heide, F. Erlernte Hardware-in-the-Loop-Phasenabfrage für holografische Near-Eye-Displays. ACM Trans. Graph. (TOG) 39, 1–18 (2020).

Artikel Google Scholar

Chen, C. et al. Generierung von Hologrammen mit mehreren Tiefen unter Verwendung eines stochastischen Gradientenabstiegsalgorithmus mit komplexer Verlustfunktion. Opt. Exp. 29, 15089–15103 (2021).

Artikel CAS Google Scholar

Zhang, J., Pégard, N., Zhong, J., Adesnik, H. & Waller, L. 3D computergenerierte Holographie durch nicht-konvexe Optimierung. Optica 4, 1306–1313 (2017).

Artikel ADS Google Scholar

Zhang, R., Isola, P., Efros, AA, Shechtman, E. & Wang, O. Die unangemessene Wirksamkeit tiefer Merkmale als Wahrnehmungsmetrik. im Jahr 2018 IEEE/CVF-Konferenz zu Computer Vision und Mustererkennung (CVPR). 586–595. https://doi.org/10.1109/CVPR.2018.00068 (2018).

Wang, Z., Bovik, AC, Sheikh, HR & Simoncelli, EP Bildqualitätsbewertung: von der Fehlersichtbarkeit bis zur strukturellen Ähnlichkeit. IEEE Trans. Bildprozess. 13, 600–612 (2004).

Artikel ADS PubMed Google Scholar

Wang, Z. & Bovik, AC Mittlerer quadratischer Fehler: Loslassen oder weglassen? Ein neuer Blick auf Signaltreuemessungen. IEEE-Signalprozess. Mag. 26, 98–117 (2009).

Artikel ADS Google Scholar

Johnson, J., Alahi, A. & Fei-Fei, L. Wahrnehmungsverluste für Echtzeit-Stilübertragung und Superauflösung. in Vorlesungsunterlagen in Informatik (einschließlich Unterreihen-Vorlesungsunterlagen in Künstlicher Intelligenz und Vorlesungsunterlagen in Bioinformatik). Bd. 9906. LNCS. 694–711. (2016).

Rivenson, Y., Zhang, Y., Günaydın, H., Teng, D. & Ozcan, A. Phasenwiederherstellung und holographische Bildrekonstruktion mithilfe von Deep Learning in neuronalen Netzen. Lichtwissenschaft. Appl. 7, 17141–17141 (2017).

Artikel ADS Google Scholar

Ahar, A. et al. Umfassende Leistungsanalyse objektiver Qualitätsmetriken für die digitale Holographie. Signalprozess. Bildkommun. 97, 116361 (2021).

Artikel Google Scholar

Ahar, A. et al. Subjektive Qualitätsbeurteilung numerisch rekonstruierter komprimierter Hologramme. in Proceedings of the SPIE 9599, Applications of Digital Image Processing XXXVIII, 95990K (22. September 2015). Bd. 9599. 188–202. (2015).

Blinder, D. et al. Herausforderungen bei der Signalverarbeitung für digitale holographische Videoanzeigesysteme. Signalprozess. Bildkommun. 70, 114–130 (2019).

Artikel Google Scholar

Laparra, V. et al. Wahrnehmungsbezogene Bildqualitätsbewertung mithilfe einer normalisierten Laplace-Pyramide. in Proceedings of the IS&T International Symposium on Electronic Imaging: Human Vision and Electronic Imaging, 2016. Bd. 28. 1–6. (2016).

Chakravarthula, P. et al. Blickabhängige Netzhaut-Speckle-Unterdrückung für wahrnehmungsmäßig angepasste foveierte holografische Darstellungen. IEEE Trans. Vis. Berechnen. Graph. 27, 4194–4203 (2021).

Artikel PubMed Google Scholar

Walton, DR et al. Metamere Varifokale Holographie. Vorabdruck unter https://arxiv.org/abs/2110.01981 (2021).

Jo, Y., Yang, S. & Kim, SJ Untersuchung von Verlustfunktionen für extreme Superauflösung. im Jahr 2020 IEEE/CVF-Konferenz zu Computer Vision und Mustererkennungs-Workshops (CVPRW). 1705–1712. (2020). https://doi.org/10.1109/CVPRW50498.2020.00220.

Ding, K., Ma, K., Wang, S. & Simoncelli, EP Vergleich vollständiger Referenz-Bildqualitätsmodelle zur Optimierung von Bildverarbeitungssystemen. Int. J. Comput. Vis. 129, 1258–1281 (2021).

Artikel PubMed PubMed Central Google Scholar

Mustafa, A., Mikhailiuk, A., Iliescu, DA, Babbar, V. & Mantiuk, RK Training eines aufgabenspezifischen Bildrekonstruktionsverlusts. im Jahr 2022 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). 21–30. (2022). https://doi.org/10.1109/WACV51458.2022.00010.

Goodman, JW Einführung in die Fourier-Optik, 3. Aufl. (Roberts and Company Publishers, 2005).

Google Scholar

Matsushima, K. & Shimobaba, T. Bandbegrenzte Winkelspektrummethode zur numerischen Simulation der Freiraumausbreitung in Fern- und Nahfeldern. Opt. Exp. 17, 19662–19673 (2009).

Artikel CAS Google Scholar

Ja, L.-H. et al. Experimentelle Robustheit von Fourier-Ptychographie-Phasenabrufalgorithmen. Opt. Exp. 23, 33214–33240 (2015).

Artikel Google Scholar

Cao, L. & Gao, Y. Verallgemeinertes Optimierungsframework für Pixel-Super-Resolution-Bildgebung in der digitalen Holographie. Opt. Exp. 29, 28805–28823 (2021).

Artikel Google Scholar

Paszke, A. et al. PyTorch: Eine leistungsstarke Deep-Learning-Bibliothek im Imperativ-Stil. in Advances in Neural Information Processing Systems (Hrsg. Wallach, H. et al.). Bd. 32. 8024–8035. (Curran Associates, Inc., 2019).

Candès, EJ, Li, X. & Soltanolkotabi, M. Phasenrückgewinnung über Wirtinger-Fluss: Theorie und Algorithmen. IEEE Trans. Inf. Theorie 61, 1985–2007 (2015).

Artikel MathSciNet MATH Google Scholar

Duchi, J. & Singer, Y. Adaptive Subgradientenmethoden für Online-Lernen und stochastische Optimierung * Elad Hazan. J. Mach. Lernen. Res. 12, 2121–2159 (2011).

MathSciNet MATH Google Scholar

Kingma, DP & Ba, JL Adam: Eine Methode zur stochastischen Optimierung. in 3rd International Conference on Learning Representations, ICLR 2015-Conference Track Proceedings (2015).

Kastryulin, S., Zakirov, D. & Prokopenko, D. PyTorch-Bildqualität: Metriken und Maß für die Bildqualitätsbewertung. (2019).

Wang, Z., Simoncelli, EP & Bovik, AC Multiskalige strukturelle Ähnlichkeit zur Bildqualitätsbewertung. Siebenunddreißigste Asilomar-Konferenz. Signalsystem. Berechnen. 2, 1398–1402 (2003).

Google Scholar

Zhang, L., Zhang, L., Mou, X. & Zhang, D. FSIM: Ein Merkmalsähnlichkeitsindex für die Bildqualitätsbewertung. IEEE Trans. Bildprozess. 20, 2378–2386 (2011).

Artikel ADS MathSciNet PubMed MATH Google Scholar

Zhang, B., Sander, P. v. & Bermak, A. Ähnlichkeitsabweichung der Gradientengröße auf mehreren Skalen zur Beurteilung der Farbbildqualität. im Jahr 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). 1253–1257. (2017). https://doi.org/10.1109/ICASSP.2017.7952357.

Zhang, L., Shen, Y. & Li, H. VSI: Ein durch visuelle Ausprägung induzierter Index zur Wahrnehmungsbewertung der Bildqualität. IEEE Trans. Bildprozess. 23, 4270–4281 (2014).

Artikel ADS MathSciNet PubMed MATH Google Scholar

Reisenhofer, R., Bosse, S., Kutyniok, G. & Wiegand, T. Ein Haar-Wavelet-basierter Wahrnehmungsähnlichkeitsindex zur Beurteilung der Bildqualität. Signalprozess. Bildkommun. 61, 33–43 (2018).

Artikel Google Scholar

Sheikh, HR & Bovik, AC Bildinformationen und visuelle Qualität. IEEE Trans. Bildprozess. 15, 430–444 (2006).

Artikel ADS PubMed Google Scholar

Ding, K., Ma, K., Wang, S. & Simoncelli, EP Bildqualitätsbewertung: Vereinheitlichung von Struktur und Texturähnlichkeit. in IEEE-Transaktionen zu Musteranalyse und maschineller Intelligenz. 1–1. (2020). https://doi.org/10.1109/TPAMI.2020.3045810.

Timofte, R., Gu, S., van Gool, L., Zhang, L. & Yang, MH NTIRE 2018 Challenge zur Einzelbild-Superauflösung: Methoden und Ergebnisse. in Workshops der IEEE Computer Society zu Computer Vision und Mustererkennung 2018-Juni. 965–976. (2018).

Agustsson, E. & Timofte, R. NTIRE 2017 Challenge zur Einzelbild-Superauflösung: Datensatz und Studie. in Workshops der IEEE Computer Society zu Computer Vision und Mustererkennung 2017-Juli. S. 1122–1131 (2017).

Lee, B., Kim, D., Lee, S., Chen, C. & Lee, B. Kontrastreiche, specklefreie, echte 3D-Holographie durch binäre CGH-Optimierung. Wissenschaft. Rep. 12, 1–12 (2022).

ADS Google Scholar

ITU-R. Methoden zur subjektiven Beurteilung der Qualität von Fernsehbildern. https://www.itu.int/rec/R-REC-BT.500 (2002).

Bradley, RA & Terry, ME Ranganalyse unvollständiger Blockdesigns: I. Die Methode der paarweisen Vergleiche. Biometrie 39, 324 (1952).

MathSciNet MATH Google Scholar

Turner, H. & Firth, D. Bradley-Terry-Modelle in R: Das BradleyTerry2-Paket. J. Stat. Softw. 48, 1–21 (2012).

Artikel Google Scholar

Sheikh, HR, Sabir, MF & Bovik, AC Eine statistische Auswertung aktueller vollständiger Referenzalgorithmen zur Bildqualitätsbewertung. IEEE Trans. Bildprozess. 15, 3440–3451 (2006).

Artikel ADS PubMed Google Scholar

Ponomarenko, N. et al. TID2008-A-Datenbank zur Bewertung vollständiger Referenzmetriken zur visuellen Qualitätsbewertung. Adv. Mod. Radioelektron. 10, 30–45 (2009).

Google Scholar

Ponomarenko, N. et al. Bilddatenbank TID2013: Besonderheiten, Ergebnisse und Perspektiven. Signalprozess. Bildkommun. 30, 57–77 (2015).

Artikel Google Scholar

Peng, Y., Choi, S., Kim, J. & Wetzstein, G. Speckle-freie Holographie mit teilweise kohärenten Lichtquellen und Camera-in-the-Loop-Kalibrierung. Wissenschaft. Adv. 7, 5040 (2021).

Artikel ADS Google Scholar

Referenzen herunterladen

FY möchte VividQ für die Unterstützung während des Zeitraums dieser Forschung danken.

FY möchte sich für die Finanzierung durch den Cambridge Trust und den China Scholarship Council bedanken. A. Kad. möchte mich für die Finanzierung durch den Engineering and Physical Sciences Research Council bedanken. RM möchte dem Engineering and Physical Sciences Research Council (EP/P030181/1) für die finanzielle Unterstützung während der Dauer dieser Forschung danken. Darüber hinaus möchte BW die Finanzierung durch das Department of Engineering der University of Cambridge (Richard-Norman-Stipendium) sowie den Cambridge Trust würdigen.

Zentrum für molekulare Materialien, Photonik und Elektronik, Universität Cambridge, Cambridge, Großbritannien

Fan Yang, Andrew Kadis, Ralf Mouthaan, Benjamin Wetherfield und Timothy D. Wilkinson

Forschungsabteilung, VividQ Ltd., Cambridge, Großbritannien

Fan Yang & Andrzej Kaczorowski

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

FY konzipierte die ursprüngliche Idee, leitete das mathematische Modell ab, führte Experimente durch und schrieb das Manuskript. A. Kad. und RF trugen zum optischen Aufbau bei und gaben Feedback zum Manuskript. BW trug zum subjektiven Versuchsdesign und zur statistischen Analyse bei. Die Arbeit wurde von A.Kac und TDW initiiert und betreut. Alle Autoren haben der endgültigen Fassung des Manuskripts zugestimmt.

Korrespondenz mit Timothy D. Wilkinson.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht durch gesetzliche Vorschriften zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Yang, F., Kadis, A., Mouthaan, R. et al. Wahrnehmungsmotivierte Verlustfunktionen für computergenerierte holografische Displays. Sci Rep 12, 7709 (2022). https://doi.org/10.1038/s41598-022-11373-8

Zitat herunterladen

Eingegangen: 27. Januar 2022

Angenommen: 14. April 2022

Veröffentlicht: 11. Mai 2022

DOI: https://doi.org/10.1038/s41598-022-11373-8

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein gemeinsam nutzbarer Link verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.