Blog

Nov 26, 2023

Ein integrierter Bildsensor für Aberration

Nature Band 612, Seiten 62–71 (2022) Diesen Artikel zitieren 32.000 Zugriffe 21 Zitate 54 Details zu altmetrischen Metriken Planare digitale Bildsensoren ermöglichen breite Anwendungen in einem breiten Spektrum von

Nature Band 612, Seiten 62–71 (2022)Diesen Artikel zitieren

32.000 Zugriffe

21 Zitate

54 Altmetrisch

Details zu den Metriken

Planare digitale Bildsensoren ermöglichen breite Anwendungen in einer Vielzahl von Bereichen1,2,3,4,5, und die Anzahl der Pixel ist in den letzten Jahren rasant gestiegen2,6. Die praktische Leistung von Bildgebungssystemen wird jedoch grundsätzlich durch räumlich ungleichmäßige optische Aberrationen eingeschränkt, die auf fehlerhafte Linsen oder Umgebungsstörungen zurückzuführen sind7,8. Hier schlagen wir einen integrierten Scan-Lichtfeld-Bildsensor vor, der als Meta-Bildsensor bezeichnet wird, um eine aberrationskorrigierte Hochgeschwindigkeits-dreidimensionale Fotografie für universelle Anwendungen ohne zusätzliche Hardware-Modifikationen zu erreichen. Anstatt direkt eine zweidimensionale Intensitätsprojektion zu erfassen, erfasst der Meta-Imaging-Sensor extrafeine vierdimensionale Lichtfeldverteilungen durch ein vibrierendes codiertes Mikrolinsen-Array und ermöglicht so eine flexible und präzise Synthese komplexer feldmodulierter Bilder in der Nachbearbeitung . Mit dem Sensor erreichen wir Hochleistungsfotografie bis zu einem Gigapixel mit einem einzigen sphärischen Objektiv ohne vorherige Datenverarbeitung, was zu einer Reduzierung der Systemkapazität und der Kosten für die optische Bildgebung um Größenordnungen führt. Selbst bei dynamischen Turbulenzen in der Atmosphäre ermöglicht der Meta-Bildgebungssensor eine Aberrationskorrektur an mehreren Standorten über 1.000 Bogensekunden an einem bodengestützten 80-Zentimeter-Teleskop, ohne die Aufnahmegeschwindigkeit zu verringern, und ebnet so den Weg für hochauflösende synoptische Himmelsdurchmusterungen. Darüber hinaus können gleichzeitig präzise Tiefenkarten mit hoher Dichte abgerufen werden, was vielfältige Anwendungen vom autonomen Fahren bis hin zu industriellen Inspektionen ermöglicht.

Zweidimensionale (2D) Bildsensoren haben viele Bereiche revolutioniert, darunter industrielle Inspektion, mobile Geräte, autonomes Fahren1, Überwachung2, medizinische Diagnose3, Biologie4 und Astronomie5. Aufgrund der rasanten Entwicklung der Halbleiterindustrie ist die Anzahl der Pixel in digitalen Sensoren im letzten Jahrzehnt schnell gestiegen2,6. Die praktische Leistung der meisten Bildgebungssysteme hat jedoch einen Engpass erreicht, der durch die Optik statt durch die Elektronik verursacht wird. Beispielsweise ist bei einem Gigapixel-Sensor die effektive Pixelzahl eines Bildgebungssystems aufgrund optischer Aberrationen aufgrund fehlerhafter Linsen oder Umgebungsstörungen, die dazu führen, dass sich das von einem Punkt emittierte Licht über einen großen Bereich ausbreitet, normalerweise auf die Megapixel-Ebene begrenzt auf einem 2D-Sensor7,8. Unterdessen führt die Projektion dreidimensionaler (3D) Szenen auf eine 2D-Ebene zum Verlust verschiedener Freiheiten des Lichtfeldes, wie z. B. Tiefe und lokale Kohärenz. Daher war es lange Zeit eine Herausforderung, mit einem integrierten Sensor hochdichte Tiefenkarten zu erhalten9.

Experten der optischen Technik haben Hunderte von Jahren damit verbracht, perfekte Bildgebungssysteme zur Aberrationskorrektur mit mehreren präzisionsgefertigten Linsen in einem sequentiellen Modus zu entwickeln10. Allerdings steigt die Schwierigkeit des optischen Designs und der Herstellung exponentiell mit dem Raum-Bandbreiten-Produkt, das die Gesamtzahl der Freiheitsgrade für ein optisches System beschreibt und aufgrund von Beugungsgrenzen eine Obergrenze für die effektive Pixelzahl festlegt11. In diesem Fall sind inkohärente Hochleistungsbildgebungssysteme mit großen effektiven Raum-Bandbreiten-Produkten normalerweise sehr teuer und sperrig, wie beispielsweise Teleskope mit großer Apertur12 und Mesoskope13,14. Metalllinsen und Freiformoptiken können dieses Problem potenziell lindern, indem sie bei ausreichender Bearbeitungspräzision im großen Maßstab optimierte Linsenoberflächen herstellen15,16. Algorithmen zur Bildunschärfe können den Bildkontrast durch genaue Schätzungen der Punktspreizfunktion (PSF) verbessern17,18,19. Die PSF-Technik mit einer codierten Apertur bewahrt mehr Informationen durch die Reduzierung der Nullstellen im Frequenzbereich20,21. Es ist jedoch sehr schwierig, die Hochfrequenzinformationen abzurufen, die durch eine niedrige Modulationsübertragungsfunktion (MTF) verloren gehen, und diese Ansätze erfordern normalerweise spezifische Datenpriors und präzise PSF-Schätzungen, insbesondere für räumlich ungleichmäßige Aberrationen22. Darüber hinaus sind alle diese Methoden bei geringen Schärfentiefen immer noch empfindlich gegenüber dynamischen Umgebungsfehlern.

Adaptive Optik erreicht aktive Aberrationskorrekturen mit einer verformbaren Spiegelanordnung oder einem räumlichen Lichtmodulator, um die von einem Punkt emittierten Strahlen in verschiedenen Winkeln auf die gleiche Position auf dem Sensor zu lenken5,23. Aberrierte Wellenfronten können mit einem Leitstern und einem Wellenfrontsensor oder durch iterative Aktualisierungen gemäß spezifischen Bewertungsmetriken gemessen werden24. Adaptive Optik hat sowohl in der Astronomie als auch in der Mikroskopie große Erfolge erzielt und zu wichtigen wissenschaftlichen Entdeckungen beigetragen23. Allerdings ist das effektive Sichtfeld (FOV) des aktuellen adaptiven Optikansatzes aufgrund räumlich ungleichmäßiger Aberrationen sehr klein23. Insbesondere bei bodengestützten Teleskopen begrenzt die durch atmosphärische Turbulenzen verursachte Aberration das Sichtfeld der adaptiven Optik auf einen Durchmesser von etwa 40 Bogensekunden, was für ein großes synoptisches Durchmusterungsteleskop25,26 zu klein ist. Noch wichtiger ist, dass aktuelle Systeme der adaptiven Optik in der Regel kompliziert, sperrig und teuer sind, was die Entwicklung leichter Systeme oder tragbarer Geräte erschwert.

Hier schlagen wir ein integriertes Scan-Lichtfeld-Bildgebungs-Framework vor, das sowohl Hardware als auch Software umfasst und als Meta-Bildgebungssensor bezeichnet wird, um eine aberrationskorrigierte 3D-Bildgebung mit einem großen Raum-Bandbreiten-Produkt zu geringen Kosten zu erreichen. Ähnlich wie Metaoberflächen für beispiellose Manipulationen von Lichtfeldern mit Nanostrukturen16 ermöglicht der Meta-Bildsensor Messungen und Synthesen des Lichtfelds im Raum-Winkel-Bereich mit hoher Geschwindigkeit mit einem vibrierenden codierten Mikrolinsen-Array, die viel präziser sind als herkömmliche Lichtfelder. Feldtechniken, die den optischen Modulationsprozess von der Datenerfassung entkoppeln. Anschließend erreichen wir eine leistungsstarke 3D-Bildgebung mit Multisite-Aberrationskorrektur über wellenoptikbasierte digitale adaptive Optik (DAO) auf einem einzigen integrierten Sensor. Unter Ausnutzung der raumzeitlichen Kontinuität entwickeln wir einen auf dem optischen Fluss basierenden Bewegungskorrekturalgorithmus, um Bewegungsartefakte zu verhindern und die Bildgeschwindigkeit (bis zur Bildrate der Kamera) aufrechtzuerhalten.

Um die Leistungsfähigkeit des Meta-Imaging-Sensors zu ermitteln, führen wir quantitative Analysen mit verschiedenen Anwendungen in den Bereichen Fotografie, autonomes Fahren, industrielle Inspektion, Videoüberwachung und Astronomie durch. Insbesondere erhalten wir mit einem einzigen Objektiv hochleistungsfähige All-in-Focus-Bilder bis zu Gigapixel, was eine Reduzierung der Systemkosten und -kapazität um drei Größenordnungen bedeutet. Insbesondere unter Bedingungen mit starken ungleichmäßigen Aberrationen erreicht der Meta-Imaging-Sensor eine über zehnfache Verbesserung der Auflösung. Darüber hinaus ermöglicht der Meta-Bildgebungssensor Aberrationskorrekturen an mehreren Standorten über 1.000 Bogensekunden im Durchmesser an einem 80-cm-Apertur-Teleskop und ebnet so den Weg für hochauflösende bodengestützte synoptische Untersuchungen. Megapixel-Tiefenkarten können gleichzeitig im Millisekundenbereich mit höherer Genauigkeit und Auflösung als herkömmliche Lichtfeldkameras für verschiedene industrielle Anwendungen erstellt werden.

Herkömmliche 2D-Sensoren stellen eine große Herausforderung für die Optik dar, da die seit langem etablierte Designphilosophie für die menschliche Netzhaut lautet: „Was man sieht, ist das, was man bekommt“. Lichtfeld-Bildgebung oder plenoptische Bildgebung bietet eine weitere Lösung der maschinellen Bildverarbeitung, indem sie vierdimensionale (4D) räumliche Winkelinformationen als Bausteine ​​erkennt und Bilder mit willkürlichen Modulationen während der Nachbearbeitung synthetisiert;27,28 dieser Ansatz hat großes Potenzial in 3D gezeigt Sehen29, Aberrationskorrektur30 und Mikroskopie31. Allerdings leiden bestehende Lichtfeldkameras aufgrund des Versagens der inkohärenten synthetischen Apertur (ISA) unter einer stark verschlechterten räumlichen Auflösung, was ihre praktische Anwendung in verschiedenen Bereichen einschränkt32. Durch Ausnutzung des Beugungseffekts, der durch die kleine Apertur jeder Mikrolinse verursacht wird, umgeht die Rasterlichtfeldmikroskopie den Kompromiss zwischen räumlicher und Winkelauflösung mit einem 2D-Galvosystem, das die Bildebene periodisch verschiebt33, diese Art der Mikroskopie erfordert jedoch zusätzliche optische Systeme und kann nicht für die universelle Bildgebung verwendet werden.

Um diese Probleme anzugehen, schlagen wir einen Rahmen für den Meta-Bildsensor vor, indem wir ein codiertes Mikrolinsenarray in einen Hochgeschwindigkeits-Piezotisch integrieren, der dann mit einem herkömmlichen Bildsensor verbunden wird, wobei sich der lichtempfindliche Bereich in der hinteren Brennebene des Sensors befindet Mikrolinsenarray (Abb. 1a). Jede Mikrolinse fokussiert das Licht aus verschiedenen Winkeln auf verschiedene Sensorpixel zur Winkelabtastung (Abb. 1b, entsprechend 15 × 15 Winkelpixeln). Die Aperturgröße jeder Mikrolinse beträgt nur etwa das Zehnfache der Beugungsgrenze der Bildebene, was einen Beugungseffekt in das inkohärente Lichtfeld einführt und die Hochfrequenzinformationen während der Winkeltrennung durch Frequenzaliasing bewahrt (Extended Data Abb. 1a, B). Durch die Vergrößerung der Mikrolinsenapertur nimmt der Beugungseffekt allmählich ab, was zu einer Verringerung der räumlichen Auflösung führt (Erweiterte Daten, Abb. 1c). Anders als bei einer früheren Scanning-Lichtfeldtechnik33 beschichten wir außerdem jede Mikrolinse mit einem Chromfilm mit einem kreisförmigen Muster, um das Licht zu blockieren, das durch die umgebenden Ecken der quadratischen Grundfläche jeder Mikrolinse gelangt (siehe Methoden und Abb. 1a). Eine solche kreisförmige Apertur reduziert die Nullstellen in den optischen Übertragungsfunktionen für eine artefaktfreie Rekonstruktion, was für universelle Bildgebungsszenarien ohne die spärliche vorherige Anwendung bei der Fluoreszenzbildgebung unerlässlich ist (Extended Data Abb. 1d – g). Anschließend nutzen wir periodisches Hochgeschwindigkeitsdriften des Mikrolinsen-Arrays, um die durch die physikalische Größe der Mikrolinse begrenzte räumliche Abtastdichte zu erhöhen, wodurch das Frequenz-Aliasing von ISA entmischt werden kann (Extended Data Abb. 2a – f). Nachdem wir die Pixel mit dem gleichen Winkel entsprechend den Mikrolinsenpositionen im Phasenraum zusammengesetzt haben (Abb. 1b), wenden wir einen auf Entfaltung basierenden ISA-Algorithmus an, um einen Brennstapel mit voller Auflösung oder vollständig fokussierte Bilder mit der erweiterten Tiefe zu erhalten Feld- und beugungsbegrenzte Auflösung des Abbildungsobjektivs (siehe Methoden und erweiterte Daten Abb. 3a – f). Eine Tiefenkarte mit hoher Dichte kann gleichzeitig basierend auf Multiview-Stereo abgerufen werden (siehe Methoden). Der Meta-Bildsensor kann herkömmliche Bildsensoren ohne zusätzliche Hardwaremodifikationen direkt ersetzen (Abb. 1c).

a) Der Meta-Bildsensor (Meta-Sensor) integriert vier Hauptelemente: ein periodisches kreisförmiges Muster mit einer kreisförmigen Intensitätsmaske auf jeder Mikrolinse, ein Mikrolinsen-Array zur Erfassung der Winkellichtverteilungen in jedem lokalen Bereich und einen Piezotisch zum Vibrieren der Mikrolinse Array periodisch und erhöhen die räumliche Abtastdichte zur Zustandsentmischung sowie einen herkömmlichen CMOS-Sensor (Complementary Metal-Oxide-Semiconductor), der in der hinteren Brennebene des Mikrolinsenarrays platziert ist, um Photonenerkennung mit hohem Durchsatz zu ermöglichen. b, Das Abbildungsprinzip des Meta-Bildsensors. Licht aus verschiedenen Winkeln (mit unterschiedlichen Farben markiert) wird nach jeder Mikrolinse auf verschiedene Pixel fokussiert. Hochauflösende 4D-Raumwinkelmessungen werden durch die Kombination von Pixeln mit demselben Winkel basierend auf den Mikrolinsenpositionen erhalten, die zur Erzeugung komplexer feldmodulierter Bilder bis zur Beugungsgrenze der Abbildungslinse mit ISA verwendet werden können. c, Der Kameraprototyp mit dem Meta-Bildsensor im Inneren, wie er in allen Experimenten verwendet wurde. d, Optische Aberration stört das vom selben Punkt emittierte Licht, was zu unscharfen 2D-Bildern oder seitlichen Verschiebungen verschiedener Winkelkomponenten führt. Obwohl alle Winkelkomponenten in einem 2D-Sensor kohärent gemischt werden, werden sie im Meta-Bildsensor getrennt und können während der Nachbearbeitung neu ausgerichtet werden, um das aberrationskorrigierte hochauflösende Bild wiederherzustellen; Diese Technik wird als digitale adaptive Optik (DAO) bezeichnet. e: Bei räumlich ungleichmäßigen Aberrationen kann ein adaptives Hardware-Optiksystem mit einem verformbaren Spiegelarray nur ein kleines FOV korrigieren, während DAO Aberrationskorrekturen an mehreren Standorten gleichzeitig erreichen kann, ohne die Datenerfassungsgeschwindigkeit zu beeinflussen. f, Vergleich der Ergebnisse einer einzelnen Kunststofflinse mit einem 2D-Sensor, einem herkömmlichen Lichtfeldsensor und dem Meta-Imaging-Sensor mit und ohne DAO. In jedem Test wurde der gleiche Typ CMOS-Chip verwendet.

Noch wichtiger ist, dass wir mit hochauflösenden plenoptischen Lichtverteilungen komplexfeldmodulierte Bilder präzise in der Nachbearbeitung ohne zusätzliche optische Geräte erzeugen können, was den entscheidenden Vorteil des Meta-Imaging-Sensors gegenüber herkömmlichen 2D-Sensoren darstellt. Ein typisches Beispiel ist die Aberrationskorrektur, ein grundlegendes Problem in der Optik. Unvollkommene Linsen oder Turbulenzen stören die vom selben Punkt emittierten Strahlen, was zu starken Unschärfen in 2D-Sensoren führt. Diese Unschärfen sind ohne ein aktives Gerät oder genaue Aberrationsmessungen schwer zu korrigieren (Abb. 1d). Im Gegensatz dazu ist der Meta-Imaging-Sensor robuster gegenüber Aberrationen und verringert das Übersprechen zwischen Winkelkomponenten, die bei der Nachbearbeitung wieder zu einem perfekten Fokus kombiniert werden können. Dies ist das DAO-Framework33. Hier erweitern wir das Konzept der DAO von der geometrischen Optik auf die Wellenoptik und liefern so eine genauere Beschreibung des Bildgebungsmodells (siehe Methoden). Die aberrierte Phase kann aus den relativen seitlichen Verschiebungen derselben Struktur in verschiedenen Ansichten geschätzt werden34, die zur Erzeugung genauer 4D-PSFs für ISA mit Aberrationskorrekturen verwendet werden können. Um die Leistung quantitativ zu bewerten, führen wir numerische Simulationen mit unterschiedlichen Aberrationsniveaus durch (Extended Data Abb. 4a,b). Das auf Wellenoptik basierende DAO erreicht gegenüber dem auf geometrischer Optik basierenden DAO eine Verbesserung des Spitzensignal-Rausch-Verhältnisses um etwa 10 dB und ermöglicht genauere Schätzungen aberrierter Wellenfronten. Im Vergleich zu einem Hardware-Ansatz mit adaptiver Optik, der auf einem verformbaren Spiegelarray mit 15 × 15 Spitzen-Neige-Aktuatoren basiert, erzielt DAO eine ähnliche Leistung (Extended Data Abb. 4c – e). Experimentelle Ergebnisse auf einem Auflösungstestdiagramm bestätigen die Überlegenheit des Wellenoptikmodells (Extended Data Abb. 4f). Darüber hinaus weist das DAO-Framework eine starke Rauschrobustheit bei konsistenter Aberrationsschätzungsleistung auf, da der Korrelationsprozess alle in einem kleinen Bereich enthaltenen Signale nutzt (Extended Data Abb. 5a – g).

Durch die Integration der Fähigkeit zur adaptiven Optik in den Sensor kann der Meta-Bildgebungssensor Aberrationskorrekturen an mehreren Standorten erzielen, ohne die Datenerfassungsgeschwindigkeit zu verringern (Abb. 1e und Ergänzungstabelle 1). Aufgrund der hohen Ungleichmäßigkeit der Aberrationsverteilungen sind die effektiven Sichtfelder herkömmlicher adaptiver Hardware-Optiksysteme normalerweise sehr klein, was zu einer erheblichen Verschwendung von Sensorpixeln führt. Im Gegensatz dazu kann der Meta-Bildsensor für jeden lokalen Bereich über ein weites Sichtfeld unterschiedliche Aberrationskorrekturen anwenden, was mit herkömmlichen Lichtkameras ebenfalls schwer zu erreichen ist (Abb. 1f).

Die Kosten und die Größe von Kameraobjektiven steigen mit der Vergrößerung des effektiven Raum-Bandbreite-Produkts rapide an, da sie in der Regel mehrere gut konzipierte Linsen mit großen Aperturen erfordern, um räumlich ungleichmäßige optische Aberrationen zu korrigieren, was für leichte Systeme oder tragbare Geräte große Herausforderungen darstellt6. Mittlerweile ist die Oberflächenprüfung von optischen Systemen mit großer Apertur eine weitere Herausforderung, mit der viele Teleskope im Hinblick auf die Charakterisierung von Aberrationen konfrontiert sind. Der Meta-Imaging-Sensor bietet sensorseitig eine skalierbare verteilte Lösung für diese Probleme.

Um die Überlegenheit des Meta-Bildsensors gegenüber 2D-Sensoren zu demonstrieren, führten wir einen experimentellen Vergleich durch, indem wir ein Auflösungsdiagramm (Standard ISO 12233 der Internationalen Organisation für Normung) mit einer einzelnen 3D-gedruckten Kunststofflinse abbildeten, die weniger als 1 US-Dollar kostete (Abb . 2a). Die Systemaberrationen wurden durch eine globale Aberrationsschätzung korrigiert (siehe Methoden). Basierend auf der Annahme, dass sich die Systemaberrationen über das gesamte Sichtfeld hinweg gleichmäßig ändern, haben wir einen nicht starren Registrierungsalgorithmus entwickelt, um die Unterschiede zwischen verschiedenen Ansichten und der zentralen Ansicht zu berechnen, die den Gradientenkarten der aberrierten Wellenfronten entsprechen (Abb. 2b und). Erweiterte Daten Abb. 3e). Anschließend wurden die Aberrationen in verschiedenen lokalen Regionen durch die Integration verschiedener Subaperturgradienten ermittelt (Abb. 2c). Mit dem Multisite-DAO-Ansatz könnte der Meta-Imaging-Sensor eine effektive 48-Megapixel-Bildgebung (begrenzt durch die Sensorpixelanzahl) mit konstanter Leistung über das gesamte FOV erzielen. Im Gegensatz dazu nahm die Abbildungsleistung eines herkömmlichen 2D-Sensors mit dem gleichen Typ eines komplementären Metalloxid-Halbleiter-Transistorchips (CMOS) mit zunehmenden außeraxialen Abständen schnell ab (Abb. 2d, e). Selbst mit fortschrittlichen Entunschärfealgorithmen war es schwierig, die vom Bildgebungssystem verlorenen Hochfrequenzinformationen wiederherzustellen (Extended Data Abb. 6a,b)35,36,37,38,39. Bezüglich der MTF erreichte der Meta-Imaging-Sensor eine etwa fünffache Verbesserung am Rand (Abb. 2f). Darüber hinaus zeigten die Rohdaten des Meta-Bildgebungssensors unter den gleichen Bildgebungsbedingungen und Belichtungszeiten ein viel besseres Signal-Rausch-Verhältnis als der 2D-Sensor, was die intrinsische Aberrationsrobustheit des Sensorrahmens verdeutlicht (Erweiterte Daten Abb. 6c– e). Obwohl ein herkömmlicher 2D-Sensor mit einem hochwertigen Kameraobjektiv (Canon EF70-200mm 1:2,8L) eine ähnliche Leistung erzielen könnte, war das Kameraobjektiv größer und 1.000-mal teurer als das 3D-gedruckte Kunststoffobjektiv (Extended Data). Abb. 6f–i). Da die Entwicklung von Gigapixel-CMOS in naher Zukunft erwartet wird, ebnet der Meta-Bildsensor den Weg für die Gigapixel-Bildgebung in tragbaren Geräten mit kompakten, kostengünstigen optischen Systemen. Wir führten außerdem eine Gigapixel-Bildgebung mit einer einzelnen plankonvexen Linse durch, indem wir die Sensoren seitlich verschoben, um das Sichtfeld über 1 Gigapixel abzudecken (Erweiterte Daten, Abb. 7a – f). Der Meta-Imaging-Sensor zeigt eine bessere Auflösung und einen besseren Kontrast als der 2D-Sensor bei gleichmäßiger Leistung über den gesamten Bereich.

a, Schematische Darstellung des Bildgebungsaufbaus. Das Kunststoffobjektiv mit einer Brennweite von 135 mm und einer effektiven Blendenzahl von 10 kostet weniger als 1 US-Dollar. b, Messungen der räumlich ungleichmäßigen Systemaberrationen mit dem Meta-Bildsensor durch Abbildung einer statischen Probe unter Verwendung der vier in d gezeigten Auflösungsdiagramme. Die Disparitätskarten für verschiedene Ansichten (unter Verwendung der mittleren Ansicht als Referenz) entsprechen den Phasengradienten in jedem lokalen Bereich für verschiedene Subaperturen. c: Aberrierte Wellenfronten über das gesamte FOV, erhalten durch das Integral der Gradienten. Defokussierungsbegriffe wurden zur besseren Visualisierung entfernt. d, Bildergebnisse der vier Auflösungsdiagramme (ISO 12233). e, Vergrößerte Bereiche von d zeigen Vergleiche zwischen dem 2D-Sensor und dem Meta-Bildsensor, wobei in den Einschüben geschätzte Aberrationen angezeigt werden. Für faire Vergleiche wurde der gleiche CMOS-Chiptyp verwendet. f, Gemessene MTFs des 2D-Sensors (links) und des Meta-Imaging-Sensors (rechts) bei unterschiedlichen Ortsfrequenzen und unterschiedlichen Abständen vom FOV-Zentrum. lp mm−1, Linienpaare pro mm. Maßstabsbalken: 7.000 Pixel (b), 40 mm (d), 5 mm (e).

Quelldaten

Darüber hinaus leiden herkömmliche 2D-Sensoren, selbst wenn sie mit teuren Kameraobjektiven ausgestattet sind, unter begrenzten Schärfentiefen und Umgebungsfehlern wie Wassertropfen und unregelmäßigen Gläsern, während der Meta-Imaging-Sensor mit einer größeren Schärfentiefe robuster ist. Wir führten einen experimentellen Vergleich durch, indem wir drei Stücke Plastikfolie vor das Objektiv (Canon EF 300mm 1:2,8L) legten, um Umweltaberrationen hervorzurufen (Abb. 3a und Zusatzvideo 1). Ein Spielzeug, das vor dem Auflösungsdiagramm platziert wurde, war verschwommen, als der 2D-Sensor ohne die Plastikfolie auf das Auflösungsdiagramm fokussiert wurde (Abb. 3b). Nach dem Anbringen der Plastikfolie beobachteten wir eine starke Verschlechterung des 2D-Sensors (Abb. 3c), aber der Meta-Imaging-Sensor konnte die Auflösung immer noch bei einer leichten Verringerung des Kontrasts beibehalten (Abb. 3b–e). Obwohl Stitching-Artefakte im gesamten FOV aufgrund der Partitionierungsentfaltung und der großen Aberrationsvarianzen verblieben, war die Leistung aufgrund der Multisite-DAO-Fähigkeit immer noch konsistent. Die MTF-Kurven zeigen eine mindestens zehnfache Verbesserung der Auflösung (Abb. 3f). Darüber hinaus befanden sich alle Proben innerhalb der erweiterten Schärfentiefe des Meta-Bildsensors, was für den 2D-Sensor ein Dilemma darstellte (Abb. 3e).

a, Schematische Darstellung des Experiments, bei dem drei Stücke Plastikfolie vor ein hochwertiges Kameraobjektiv (Canon EF 300mm 1:2,8L) gelegt wurden, um feste, ungleichmäßige, starke Aberrationen hervorzurufen. Für dieses Szenario haben wir die Auflösungsdiagramme verwendet, um die MTF zu messen, und ein Spielzeug vor das Diagramm gestellt, um die erweiterte Schärfentiefe anzuzeigen (Zusatzvideo 1). b–e, Die in b mit I–IV markierten Bereiche sind in den rechten Spalten vergrößert. b: Vom 2D-Sensor aufgenommenes Bild bei Fokussierung auf das Auflösungsdiagramm ohne Umhüllung. c, Bild, das vom 2D-Sensor beim Fokussieren auf das Auflösungsdiagramm mit der Umhüllung aufgenommen wurde. d, Bild, das vom Meta-Bildsensor beim Fokussieren auf das Auflösungsdiagramm mit der Umhüllung aufgenommen wurde. Die geschätzten Aberrationen werden in Einschüben angezeigt und die Farbskala reicht von 6λ (rot) bis –6λ (blau). e, Bild, das vom 2D-Sensor beim Fokussieren auf das Spielzeug ohne Verpackung aufgenommen wird. f, MTF-Kurven, berechnet auf der Grundlage des in b markierten Bereichs für den 2D-Sensor mit und ohne Umhüllung und den Meta-Imaging-Sensor mit Umhüllung. Maßstabsbalken: 20 mm (b–e), 5 mm (I–IV).

Quelldaten

Ähnlich wie die Bewegungsunschärfe, die während der Belichtung mit dem 2D-Sensor auftritt, führt Bewegung während des Scannens zu Bewegungsartefakten im Meta-Bildsensor (Abb. 4a–c). Glücklicherweise verändern sich die meisten Szenen in der realen Welt kontinuierlich im Zeitbereich; Mit dieser Eigenschaft können Bewegungsartefakte bis zur Bildrate der Kamera eliminiert werden. Bewegungen wie menschliches Verhalten sind jedoch sehr uneinheitlich und für einfache starre Registrierungsalgorithmen schwer zu bewältigen (Abb. 4d).

a, Zentrale Ansicht der vom Meta-Imaging-Sensor erfassten Daten ohne Bewegungskorrektur. Die Autokennzeichen anderer Personen wurden aus Datenschutzgründen verdeckt. b, Vergrößerter Bereich, markiert in a für statische Strukturen. c, Vergrößerter Bereich, der in a für dynamische Strukturen markiert ist und die durch Bewegungen während des Scannens verursachten Artefakte veranschaulicht. d, Ergebnis nach starrer Bewegungskorrektur mit verbleibenden Artefakten aufgrund ungleichmäßiger Bewegungen. e, Pipeline des Bewegungskorrekturalgorithmus basierend auf Schätzungen des optischen Flusses für jede Ansicht (Ergänzungsvideo 2). Ein gleitendes Fenster der Scanperiode wurde verwendet, um mehrere Bilder mit niedriger Auflösung zum zentralen Zeitpunkt mit derselben zeitlichen Abtastrate in ein Bild mit hoher Auflösung umzuwandeln. Die Karten des optischen Flusses von anderen Frames mit niedriger Auflösung zum zentralen Frame mit niedriger Auflösung wurden geschätzt, um genaue Koordinaten für alle Abtastpunkte mit niedriger Auflösung im hochauflösenden Netzgitter zum zentralen Zeitpunkt zu berechnen (markiert durch Punkte mit unterschiedlichen Farben). ). Dann könnte das hochauflösende Bild durch Streuinterpolation mit dichter Abtastung und genauen äquivalenten Scanpositionen für jede Mikrolinse erhalten werden. Der farbige Kreis im Einschub der optischen Flusskarte stellt den Maßstabsbalken der normalisierten Disparitätsvektoren für die optischen Flusskarten dar, wobei unterschiedliche Farben unterschiedlichen Disparitätsvektoren in den normalisierten Polarkoordinaten entsprechen. f, ISA-Ergebnisse der dynamischen Strukturen mit und ohne Bewegungskorrektur. g, ISA-Ergebnisse der statischen Strukturen mit und ohne Bewegungskorrektur.

Daher haben wir einen auf dem optischen Fluss basierenden Algorithmus für Zeitraffervideos entwickelt, um ungleichmäßige Bewegungsartefakte zu korrigieren, ohne die räumliche Auflösung zu verringern. Die gesamte Pipeline wurde für jede Ansicht separat durchgeführt (Abb. 4e und Zusatzvideo 2). Da das Mikrolinsenarray periodisch verschoben wurde (hier 5 × 5 Bilder), verwendeten wir ein Schiebefenster (25), um über den Scanzeitraum ein hochauflösendes Bild aus Bildern mit niedriger Auflösung zu synthetisieren, ohne die zeitliche Abtastdichte zu verringern. Insbesondere haben wir den optischen Fluss von Bildern mit niedriger Auflösung zu verschiedenen Zeitpunkten bis zum Bild mit niedriger Auflösung zum zentralen Zeitpunkt berechnet und diese Flusskarten verwendet, um genaue Koordinaten dieser Messungen mit niedriger Auflösung im hochauflösenden Netz zu generieren Gitter mit dichter Probenahme. Anschließend wurde das hochauflösende Bild ohne Bewegungsartefakte durch die Streuinterpolation von 25 Bildern mit niedriger Auflösung und genauen Koordinaten mit hoher Auflösung erhalten. Schließlich wurden für die ISA hochauflösende Bilder aus verschiedenen Ansichten ohne Bewegungsartefakte oder Geschwindigkeitsreduzierung verwendet (Abb. 4f). Der vorgeschlagene Algorithmus kann auch die räumliche Auflösung für statische Szenen effektiv bewahren (Abb. 4g).

Groß angelegte optische astronomische Untersuchungen haben zu verschiedenen wichtigen Entdeckungen in der Astronomie geführt40. Allerdings führen atmosphärische Turbulenzen unweigerlich zu hochdynamischen Aberrationen, die die räumliche Auflösung bodengestützter Teleskope grundlegend begrenzen41. Hardware-adaptive Optiktechniken können dieses Problem lindern und breite Anwendungen ermöglichen, obwohl sie mit hohen Kosten verbunden sind und aufgrund ungleichmäßiger Aberrationsverteilungen an einem kleinen effektiven Sichtfeld (normalerweise weniger als 40 Bogensekunden im Durchmesser) leiden5. Der Meta-Bildsensor bietet eine großartige Möglichkeit für Durchmusterungsteleskope mit großer Apertur und Multisite-DAO-Fähigkeit, indem einfach der Bildsensor ausgetauscht wird.

Um seine Wirksamkeit zu überprüfen, haben wir unseren Meta-Bildsensor mit einem herkömmlichen 2D-Sensor verglichen, der denselben CMOS-Chip am Tsinghua-NAOC 80-cm-Teleskop am Xinglong-Observatorium der National Astronomical Observatories of China (NAOC) enthält (Extended Data Abb. 8a). Als Ziel haben wir den Mond gewählt. Ähnlich wie bei Probenbewegungen änderten sich die Bilder mit niedriger Auflösung während des Scannens aufgrund dynamischer Aberrationen, die durch Turbulenzen verursacht wurden, schnell, und die Aberrationsverteilung blieb über das gesamte Sichtfeld gleichmäßig. Daher haben wir hier den nicht starren Registrierungsalgorithmus verwendet, um die Karte des glatten optischen Flusses abzuschätzen und die Bewegungsartefakte zu kompensieren (Extended Data Abb. 8b – g). Anschließend wurde das aberrationskorrigierte All-in-Focus-Bild durch ISA mit Multisite-DAO erhalten (Abb. 5a – d). Der Meta-Imaging-Sensor erreichte im gesamten FOV (mit einem Durchmesser von über 1.000 Bogensekunden) eine viel bessere Auflösung und einen viel besseren Kontrast als der herkömmliche 2D-Sensor, ohne dass weitere Hardwaremodifikationen erforderlich waren. Mit einem größeren Sensor könnte direkt ein größeres Sichtfeld erzielt werden. Obwohl der Meta-Bildsensor selbst robust gegenüber Aberrationen war, war DAO auf Wellenoptikbasis erforderlich, um winzige Strukturen aufzulösen, die mit 2D-Sensoren nicht unterschieden werden konnten (Abb. 5e, f). Darüber hinaus stellten wir fest, dass der Meta-Imaging-Sensor über einen langen Zeitraum hinweg eine gleichbleibend robuste Leistung erzielte, die Ergebnisse des 2D-Sensors jedoch durch Turbulenzen schnell verzerrt wurden (Abb. 5g, h). Die durch den Meta-Bildsensor erzielte verbesserte Auflösung lässt sich nur schwer erreichen, indem man das klarste Bild aus einem Zeitraffervideo auswählt, das mit einem 2D-Sensor aufgenommen wurde (Zusatzvideo 3). Darüber hinaus kann bei Teleskopen mit größerer Apertur über den Meta-Bildsensor eine bessere Auflösung erreicht werden, während die Auflösung von 2D-Sensoren die durch Turbulenzen vorgegebene Grenze erreicht hat.

a, Bilder, die vom 2D-Sensor und Meta-Imaging-Sensor mit dem Tsinghua-NAOC 80-cm-Teleskop um 21:12 (GMT+8) am 25. März 2021 aufgenommen wurden (Zusatzvideo 3). b–d, vergrößerte Bereiche, markiert in a, mit geschätzten Aberrationen in den Einschüben. Die Pupillenfunktionen sind ringförmig. e, Vergleiche der in einem vom 2D-Sensor und dem Meta-Imaging-Sensor mit und ohne DAO markierten Regionen, die die Wirksamkeit von DAO veranschaulichen. f, Querschnittsprofile der in e markierten gestrichelten Linien. g: Vergrößerte Regionen des Morey-Kraters, markiert in einer Aufnahme des 2D-Sensors und des Meta-Bildsensors. h, Kymographen von gestrichelten Linien, markiert in g für etwa 10 s. Maßstabsbalken: 100 Bogensekunden (a), 10 Bogensekunden (b–g), 10 Bogensekunden vertikal, 1 s horizontal (h).

Quelldaten

Es ist erwähnenswert, dass neben der hochauflösenden Bildgebung mit großem FOV in einer komplexen Umgebung auch gleichzeitig Tiefeninformationen über Meta-Bildsensoren abgerufen werden können, und zwar mit höherer Präzision sowohl im lateralen als auch im axialen Bereich als bei herkömmlichen Lichtfeldkameras eine kostengünstige Lösung für autonomes Fahren (Abb. 6a,b). Wie in Abb. 6c und den erweiterten Daten in Abb. 9a gezeigt, weisen die in unterschiedlichen Tiefen befindlichen Proben unterschiedliche Steigungen im Raum-Winkel-Bereich auf; Diese Steigungen können verwendet werden, um mit vorhandenen Schätzalgorithmen42 auf Tiefen zu schließen. Die höhere räumliche Abtastdichte erhöht nicht nur die laterale Auflösung, sondern auch die Tiefengenauigkeit (Abb. 6d und Zusatzvideo 4). Andernfalls ist es schwierig, unterschiedliche Tiefen zu unterscheiden, wenn die maximalen seitlichen Verschiebungen des entsprechenden Pixels bei unterschiedlichen Ansichten kleiner als das Abtastintervall sind.

a, Bild des Kunstmuseums der Tsinghua-Universität, aufgenommen mit dem Meta-Bildsensor. b, Rekonstruierte Tiefenkarten des herkömmlichen Lichtfeldsensors (ohne Scannen) und des Meta-Bildsensors zum Vergleich mit den vergrößerten Regionen, die in den Einschüben gezeigt werden. c, Vergrößerte Bereiche der Rohdaten, die von der herkömmlichen Lichtfeldkamera (ohne Scannen) und dem Meta-Bildsensor erhalten wurden. Es werden sowohl die Mittelansicht als auch die epipolaren Ebenenbilder der markierten Linien angezeigt. d, Vergrößerte Tiefenkarten der gleichen Region wie in c, zum Vergleich mit den Tiefenprofilen der markierten Linien. e, Bild einer Leiterplatte, aufgenommen mit dem Meta-Bildsensor mit einem 0,15 NA-Objektiv (numerische Apertur). f, Grundwahrheit der Tiefenkarte, die eine halbe Stunde lang mit kommerzieller Fokusvariationsmikroskopie aufgenommen wurde. g, Tiefenkarte, die von der herkömmlichen Lichtfeldkamera nach Systemaberrationskorrektur erhalten wurde. h, Tiefenkarte, die vom Meta-Bildsensor nach Systemaberrationskorrektur erhalten wurde. i, Tiefenprofile der in f–h markierten weißen Linien. j, Durchschnittliche Dicken der vier Komponenten desselben Typs, die mit unterschiedlichen Methoden ermittelt wurden. Die mittleren Werte stellen den Durchschnitt dar. Fehlerbalken stellen 1 Standardabweichung dar (n = 14.400 Pixel für jede Komponente). Maßstabsbalken: 1 mm (e–h).

Quelldaten

Darüber hinaus haben wir die Anwendung des Meta-Bildsensors bei industriellen Inspektionen demonstriert, die sowohl Bildgebung mit hohem Durchsatz als auch 3D-Sensorik erfordern (Ergänzungsvideo 5). Eine Leiterplatte wurde vom Meta-Bildsensor mit und ohne Scan (entsprechend der herkömmlichen Lichtfeldkamera) unter einem 0,15-NA-Objektiv (numerische Apertur) innerhalb von 1 s abgebildet (Abb. 6e). Mithilfe kommerzieller Fokusvariationsmikroskopie43 wurden Bodenwahrheitsmessungen durchgeführt, die etwa eine halbe Stunde dauerten, um den gesamten Tiefenbereich abzudecken (Abb. 6f und erweiterte Daten Abb. 9b). Vor der Tiefenschätzung haben wir die globale Aberrationskorrektur in der geometrischen Optik angewendet, um Systemaberrationen zu korrigieren (Extended Data Abb. 9c – f). Durch die Anwendung desselben Algorithmus zur Tiefenschätzung des Lichtfelds mit optimierten Parametern erreichte der Meta-Bildsensor eine höhere Auflösung und eine präzisere Tiefenkarte als herkömmliche Lichtfeldkameras (Abb. 6g, h). Der Meta-Imaging-Sensor konnte sogar winzige Strukturen erkennen, die mit herkömmlichen Lichtfeldbildern schwer zu unterscheiden waren (Abb. 6i und Extended Data Abb. 9g). Durch die Analyse der Höhen von vier Komponenten desselben Typs stellten wir fest, dass der Meta-Imaging-Sensor den Tiefenfehler über das große FOV reduzierte (Abb. 6j und Extended Data Abb. 9h).

Es gibt zwei entscheidende Merkmale für ISA mit DAO im Meta-Bildsensor. Einer davon ist die Notwendigkeit des Wellenoptikmodells für eine hochauflösende Rekonstruktion mit Aberrationskorrektur. Die optischen Aberrationen verschieben nicht nur die Winkel-PSFs, sondern verändern auch geringfügig deren Intensitätsverteilungen, was in früheren DAO-Rahmenwerken nicht berücksichtigt wurde33. Daher verwendeten wir während der Iterationen im Wellenoptik-DAO phasengenerierte PSFs, was zu einer besseren Bildsynthese und genaueren Aberrationsschätzungen führte (Extended Data Abb. 4c – e). Der andere Punkt betrifft den integrierten Scanprozess des Mikrolinsen-Arrays, der eine virtuelle räumliche Überlappung zwischen benachbarten Mikrolinsen ermöglicht, die die Hochfrequenzinformationen für ISA bis zur Beugungsgrenze der Abbildungslinse entmischt44,45. Ein solcher Scanvorgang befasst sich mit dem intrinsischen Kompromiss zwischen räumlicher und Winkelauflösung, wohingegen eine hohe räumliche Auflösung im herkömmlichen Lichtfeld, entweder mit fokussierten oder nicht fokussierten Schemata, auf Kosten einer verringerten Winkelauflösung und Schärfentiefe geht46.

Ähnlich wie bei einem herkömmlichen Bildsensor können lernbasierte Methoden mit vorab trainierten Modellen angewendet werden, um die Ausgabe des Meta-Bildsensors mithilfe von Datenprioris weiter zu verbessern (Extended Data Abb. 10a–c)47,48. Darüber hinaus können für bestimmte Anwendungen fortschrittlichere Algorithmen mit parallelen Rechengeräten entwickelt werden, um entweder eine bessere Leistung oder geringere Rechenkosten zu erzielen. Bei der Hochleistungsfotografie beispielsweise mit einem Einzelobjektiv können die Systemaberrationen einmalig vorab kalibriert werden, ohne dass im Einsatz zusätzliche Aberrationsschätzungen erforderlich sind. Mithilfe tiefer neuronaler Netze kann jeder Schritt des Rekonstruktionsprozesses für Echtzeitanwendungen beschleunigt werden. Wie in den erweiterten Daten in Abb. 10d – g gezeigt, verwendeten wir ein vorab trainiertes wiederkehrendes Rückprojektionsnetzwerk, um während des Scannens eine Bewegungskorrektur für dynamische Objekte durchzuführen. Obwohl wir bei lernbasierten Ergebnissen eine leichte Verringerung der Auflösung beobachten können, kann die Verarbeitungszeit auf einem Desktop-Computer um das 29-fache reduziert werden. Während der aktuelle Meta-Bildsensor für Graustufenbilder ausgelegt ist, kann außerdem ein mehrfarbiger Meta-Bildsensor entwickelt werden, indem Winkelredundanz für die Spektralkodierung genutzt wird, ohne die räumliche Auflösung zu verringern50. Chromatische Aberrationen können während der ISA modelliert werden. Der Meta-Imaging-Sensor ist auch für Anwendungen bei schlechten Lichtverhältnissen wie der Fluoreszenzmikroskopie geeignet33. Beachten Sie, dass Hardware-adaptive Optik und DAO nicht in Konflikt stehen. Stattdessen können sie für eine robustere Aberrationskorrektur kombiniert werden. Durch die digitale Integration der Flexibilität präziser optischer Modulationen für inkohärentes Licht sind wir davon überzeugt, dass der vorgeschlagene Meta-Bildgebungssensor neue Horizonte für die computergestützte Bildgebung in praktischen, universellen Anwendungen mit einer um Größenordnungen überlegenen Überlegenheit eröffnet, die für herkömmliche 2D-Sensoren nicht zugänglich ist.

Der Meta-Bildsensor wurde auf einem vorhandenen CMOS-Sensor mit einem vibrierenden codierten Mikrolinsenarray (MLA) aufgebaut, das vor dem lichtempfindlichen Bereich angebracht ist, wie in Abb. 1a dargestellt. Für das Proof-of-Concept-System haben wir uns für einen 48-Megapixel-CMOS-Sensor (CMOSIS CMV50000, 7.920 × 6.004 Pixel) mit der Flare 48M30-CX-Kamera (IO Industry) für die Hochdurchsatzerkennung entschieden. Der Sensor hat eine Pixelgröße von 4,6 μm mit einer maximalen Bildrate von 30 Hz für das gesamte Sichtfeld. Die Pitchgröße des MLA beträgt 69 μm, um der Größe von 15 × 15 Sensorpixeln zu entsprechen, was 225 Winkelmessungen entspricht. Da die meisten für Experimente verwendeten Objektive eine Blendenzahl um 10 haben, haben wir die Brennweite des MLA auf 690 μm gewählt, was zu einer Beugungsgrenze von 5 μm für die Wellenlänge von 500 nm in der hinteren Brennebene des MLA führt. Für das Kameraobjektiv mit großer numerischer Apertur (NA) kann auf Kosten der Schärfentiefe auch eine kleinere Brennweite des MLA gewählt werden.

Verglichen mit der Beugungsgrenze des Abbildungsobjektivs sollte die Aperturgröße jeder Mikrolinse klein genug sein, um die Beugungseffekte auf der Bildebene für Frequenzaliasing einzuführen, wodurch die Auflösungsverschlechterung aufgrund der Pupillensegmentierung bei Winkelabtastungen vermieden werden kann (Extended Data Abb . 1). Anders als bei der vorherigen Scan-Lichtfeldmethode mit einer rechteckigen Apertur für jede Mikrolinse33 haben wir auf jede quadratische Mikrolinse einen Chromfilm mit einem kreisförmigen Muster aufgetragen, um sicherzustellen, dass das Licht nur über eine kreisförmige Apertur durch jede Mikrolinse und nicht über die umgebenden Ecken der Mikrolinse gelangt quadratische Grundfläche der Mikrolinse. Der Durchmesser der kreisförmigen Apertur beträgt ebenfalls 69 μm. Die kreisförmige Apertur auf jeder Mikrolinse kann dann die Nullstellen in den optischen Übertragungsfunktionen für verschiedene Ansichten reduzieren, was für die artefaktfreie Rekonstruktion universeller Bildgebungsanwendungen ohne die spärliche vorherige Anwendung bei der Fluoreszenzbildgebung unerlässlich ist (erweiterte Daten, Abb. 1d). Anschließend verglichen wir die Ergebnisse mit und ohne kreisförmige Muster in numerischen Simulationen und demonstrierten die Wirksamkeit des codierten Beugungsmusters zur Eliminierung der Rekonstruktionsartefakte für dichte Strukturen (Extended Data Abb. 1e–g).

Der codierte MLA wird dann auf einem Piezotisch (P16XY100, CoreMorrow) fixiert, was ein genaues periodisches Scannen ermöglicht, um die räumliche Abtastdichte der Raumwinkelmessungen mit hoher Geschwindigkeit zu erhöhen. Der Scanprozess kann alle räumlichen Informationen abdecken und virtuelle Überlappungen zwischen benachbarten Mikrolinsen erzeugen, um das Frequenz-Aliasing-Problem für ISA zu lösen, ähnlich dem ptychografischen Prozess44,45. Da der lichtempfindliche Bereich des CMOS-Chips in der hinteren Brennebene des MLA platziert werden sollte, um die Schärfentiefe zu maximieren46, haben wir alle Gläser über dem Chip entfernt. Um den MLA etwa 690 μm vor dem lichtempfindlichen Bereich genau zu fixieren, verwendeten wir einen linearen Translationstisch (DHC, GCM-V25M), um den Piezotisch im axialen Bereich fein abzustimmen und die optimale Position zu bestimmen, wenn die Bilder nach benachbarten Mikrolinsen aufgenommen wurden waren tangential unter Verwendung eines Kameraobjektivs mit einer Blendenzahl von 10. Ein kompakter fünfachsiger Tisch (PY005, Thorlabs) wurde verwendet, um die Neigung und Gierung des MLA während der Ausrichtung leicht anzupassen, sodass der MLA parallel zum CMOS sein konnte Chip für gleichmäßige Leistung über ein großes Sichtfeld. Schließlich wurden alle diese Geräte eng verpackt und mit guter Wärmeableitung ausgestattet, um als einzelner Meta-Bildsensor verwendet zu werden.

Es gibt vier verschiedene Scanmodi unseres Meta-Imaging-Sensors, die durch die Verschiebung des MLA mit unterschiedlichen Perioden entstehen: 1 × 1, 3 × 3, 5 × 5 und 15 × 15. Längere Perioden entsprechen kleineren Verschiebungsintervallen mit einer höheren räumlichen Abtastung Dichte. Die maximale Verschiebung des MLA ist kleiner als die Pitchgröße einer Mikrolinse. Wir haben 1×1-Scanning verwendet, um die Messungen herkömmlicher Lichtfeldkameras zu Vergleichszwecken zu erfassen. Numerische Simulationen an dichten Strukturen wurden durchgeführt, um den Einfluss verschiedener Scanperioden zu zeigen (Extended Data Abb. 2). Wir stellen fest, dass die Rekonstruktionsleistung hinsichtlich des Strukturähnlichkeitsindexmaßes (Structural Similarity Index Measure, SSIM) mit einer Periode von 5 × 5 eine Konvergenz erreicht. Daher haben wir in den meisten unserer Experimente 5 × 5 verwendet, um Bewegungsartefakte während des Scannens zu reduzieren.

Die Hardware-Synchronisation des Meta-Imaging-Sensors wurde in drei Stufen unterteilt und mit einem Multifunktions-I/O-Gerät (USB-6363, National Instruments) erreicht. Zuerst haben wir die Piezostufe ausgelöst, um den MLA in die nächste Position zu verschieben. Dann stellen wir vor dem Auslösen der Kamerabelichtung eine Verzögerungszeit ein, die normalerweise 5 ms dauert, um auf die Bewegung des Piezos zu warten. Schließlich wurde der CMOS-Chip zur Belichtung ausgelöst. Die Auslesezeit des CMOS-Chips kann mit der Verzögerungszeit überlappt werden.

Bei allen Experimenten wurde der Meta-Bildsensor direkt auf der Bildebene vorhandener optischer Systeme platziert. Für faire Vergleiche zwischen dem Meta-Imaging-Sensor und herkömmlichen 2D-Sensoren an derselben Position haben wir denselben Typ von CMOS-Chips verwendet. Bei ISA mit Multisite-DAO durchliefen die vom Meta-Imaging-Sensor erhaltenen Rohbilder dieselbe Datenverarbeitungspipeline, einschließlich Vorverarbeitung (Pixelneuausrichtung, Bewegungskorrektur und anfängliche globale Aberrationsschätzungen), Wellenfrontschätzungen für verschiedene lokale Regionen und inkohärenter Synthese Blende (Erweiterte Daten Abb. 3). Es ist zu beachten, dass die anfängliche Schätzung der globalen Aberration nur einmal für ein bestimmtes Bildgebungssystem durchgeführt werden kann. Detaillierte Bildgebungsbedingungen für alle Experimente, einschließlich Objektivtyp, Objektivspezifikationen, Belichtungszeit, Bildrate, Scanzeitraum und Blockgrößen für Multisite-DAO, sind in der Ergänzungstabelle 1 dargestellt.

Die Neuausrichtung der Pixel ist der wichtigste Vorverarbeitungsschritt, um die Rohmessungen des Meta-Bildsensors L(x, y, t) in hochauflösende räumliche Winkelmessungen Vh(x, y, u, v, t) umzuwandeln. Wie in Abb. 1b gezeigt, entsprechen unterschiedliche Sensorpixel nach jeder Mikrolinse unterschiedlichen Lichtwinkeln oder unterschiedlichen Ansichten mit den Koordinaten (u, v), wobei sich die zentrale Ansicht bei (0, 0) befindet. Jede Mikrolinse tastet einen lokalen Raumbereich mit einer Koordinate von (x, y) ab, die der Mittelposition der Mikrolinse entspricht. Aufgrund der physikalischen Größenbeschränkung entspricht das minimale Abtastintervall eines einzelnen Lichtfeldbildes dem Mikrolinsendurchmesser. Das Scannen der Mikrolinse kann die Abtastdichte erhöhen und eine virtuelle Überlappung zwischen benachbarten Mikrolinsen erzeugen. Dann fügen wir die Sensorpixel derselben Ansicht (u, v) innerhalb einer Scanperiode basierend auf der Mittelposition der entsprechenden Mikrolinse (x, y) zusammen, um hochauflösende räumliche Winkelmessungen Vh(x, y, u) zu erhalten , v, t) mit einem Abtastintervall, das fünfmal kleiner als der Mikrolinsendurchmesser für die Abtastperiode von 5 × 5 ist, was als Pixel-Neuausrichtung bezeichnet wird. Das Schiebefenster im Zeitbereich mit einer Fenstergröße der Scanperiode kann die zeitliche Abtastdichte des Meta-Bildsensors bewahren. Vor der Neuausrichtung wurde auch die Größe des Rohlichtfeldbilds geändert und gedreht, um sicherzustellen, dass jede Mikrolinse etwa 15 × 15 Sensorpixel abdeckt. Ein solcher Korrekturprozess ist notwendig, um den durch die Ausrichtung und die Herstellung der Mikrolinsen verursachten Systemfehler zu kalibrieren, was die Robustheit des Rahmens erhöht. Die Entzerrung und Neuausrichtung der Pixel auf einem Desktop-Computer mit grafischer Verarbeitungseinheit (CPU, Intel i9-10940X; RAM, 128 GB) dauert etwa 0,95 s. GPU, NVIDIA GeForce RTX Titan).

Bei hochdynamischen Proben, die sich während des Scanvorgangs des Meta-Imaging-Sensors bewegen, treten nach der Neuausrichtung der Pixel Bewegungsartefakte auf. Bei früheren Scan-Lichtfeldtechniken wurde ein zeitgewichteter Algorithmus entwickelt, um die Bewegungsartefakte auf Kosten einer Verschlechterung der räumlichen Auflösung zu eliminieren33. Hier schlagen wir einen auf dem optischen Fluss basierenden Algorithmus zur Bewegungskorrektur vor, ohne die räumlich-zeitliche Auflösung zu verringern, indem wir die räumlich-zeitliche Kontinuität in der Natur ausnutzen. Die gesamte Pipeline und der Pseudocode sind in Abb. 4e und Extended Data in Abb. 3d dargestellt. Wir stellen fest, dass Bewegungsartefakte durch eine falsche Pixelneuausrichtung der Pixel aus verschiedenen Lichtfeldbildern entstehen, die zu unterschiedlichen Zeitpunkten aufgenommen wurden, da die tatsächlichen räumlichen Abtastpositionen dieser Mikrolinsen mit den Probenbewegungen verschoben werden. Glücklicherweise fallen die meisten dieser Verschiebungen immer noch in das weite Sichtfeld des Meta-Bildsensors, da sich Objekte normalerweise kontinuierlich in der Szene bewegen. Ansonsten ist es aufgrund der Bewegungsunschärfe auch für herkömmliche Bildsensoren schwierig, die Dynamik zu erfassen. Solange wir die Probenbewegungen genau schätzen können, können wir immer noch dichte Messungen aus benachbarten Bildern mit genauen räumlichen Abtastkoordinaten abrufen. Daher führen wir den Bewegungskorrekturalgorithmus für jede Ansicht separat während der Pixelneuausrichtung basierend auf den optischen Flusskarten durch. Für die durch Proben induzierten Bewegungen verwenden wir für alle Ansichten dieselbe Karte des optischen Flusses, die aus der zentralen Ansicht (oder der Ansicht mit der höchsten Schärfe für die Bedingungen ohne zentrale Ansicht) geschätzt wurde. Für durch dynamische Aberrationen induzierte Bewegungen sollten die optischen Flusskarten verschiedener Ansichten separat geschätzt werden. Am Beispiel des Scanmodus 5 × 5 wenden wir ein Schiebefenster an, um das hochauflösende Bild Vh(x, y, u, v, t) zum Zeitpunkt t aus benachbarten Bildern mit niedriger Auflösung Vl(x) zu synthetisieren , y, u, v, t + k − (T + 1)/2) (k = 1, 2, 3, …, T) (mit einer geringen räumlichen Abtastdichte im Intervall des Mikrolinsendurchmessers) über den gesamten Scanvorgang Periode T = 25 ohne Reduzierung der zeitlichen Abtastdichte. Um die genauen Koordinaten aller Messungen zum Zeitpunkt t zu erhalten, wenden wir einen hochmodernen optischen Flussalgorithmus51 an, um die Flusskarten (∆x, ∆y) aus allen niedrigaufgelösten Bildern Vl(x, y, u, v, t + k − (T + 1)/2) zum niedrigaufgelösten Bild Vl(x, y, u, v, t) zum Zeitpunkt t. Dann können die entsprechenden Abtastkoordinaten der niedrig aufgelösten Messungen im hochauflösenden Maschengitter wie folgt dargestellt werden:

Schließlich kann das hochauflösende Bild Vh(x′, y′, u, v, t) ohne Bewegungsartefakte durch eine Streuinterpolationsmethode52,53 dieser 25 Bilder mit niedriger Auflösung basierend auf den genauen dichten Abtastkoordinaten erhalten werden.

Für durch Turbulenzen verursachte Bewegungen verwenden wir einen nicht starren Registrierungsalgorithmus zur Schätzung der optischen Flüsse aufgrund seiner glatten Verteilungen, der mit der Methode zur Schätzung von Systemaberrationen identisch ist. Bei 5 × 5 scannenden Lichtfeldbildern mit einer Pixelanzahl von 1.000 × 1.000 dauert es ungefähr 45 s, um eine Bewegungskorrektur mit Pixelneuausrichtung für alle Ansichten auf einem Desktop-Computer mit einer grafischen Verarbeitungseinheit (CP, Intel i9-10940X; RAM, 128 GB; GPU, NVIDIA GeForce RTX Titan). Die Ergebnisse der dynamischen Stichproben bestätigen die Wirksamkeit des Algorithmus (Abb. 4f und Extended Data Abb. 8). Die Ergebnisse der statischen Proben zeigen, dass die räumliche Auflösung sehr gut erhalten bleiben kann (Abb. 4g).

Da die räumlich ungleichmäßigen Systemaberrationen der vorhandenen optischen Systeme festgelegt sind, führen wir in der Regel zunächst eine anfängliche globale Aberrationsschätzung für ein bestimmtes Abbildungssystem durch (Extended Data Abb. 3e). Für den Meta-Imaging-Sensor ist es nicht unbedingt erforderlich. Es kann jedoch die Rechenkosten für praktische Anwendungen erheblich reduzieren, ohne dass dynamische Umgebungsfehler korrigiert werden müssen, da die Systemfehler nur einmal im Voraus kalibriert werden können, indem beliebige Szenen mit ausreichend Texturen abgebildet werden. Für Einzellinsen-Bildgebungsexperimente und industrielle Inspektionsexperimente verwendeten wir ein Schachbrett mit einer Blockgröße von etwa 200 × 200 Sensorpixeln, um die globalen ungleichmäßigen Systemaberrationen abzuschätzen. Die Systemaberration A(u, v, x, y)exp[jφ(u, v, x, y)] mit Koordinaten (u, v) auf der Pupillenebene kann in zwei Teile geteilt werden, einschließlich der Pupillenphasenverteilungen φ( u, v, x, y) und Pupillenintensitätsverteilungen A(u, v, x, y), aufgrund der Nichttelezentrizität gängiger Bildgebungssysteme. Dabei ist j die imaginäre Einheit. Für die Aberrationswellenfronten φ(u, v, x, y) in verschiedenen lokalen Regionen (x, y) der Bildebene sind die lokalen Phasengradienten in verschiedenen Subaperturregionen (dφ/du, dφ/dv) = c(Δsx, Δsy) kann durch die Disparitäten (Δsx(u, v, x, y), Δsy(u, v, x, y)) aus verschiedenen Ansichten Vh(x, y, u, v) zur zentralen Ansicht Vh( x, y, 0, 0) mit einer Konstanten c, die sich auf die Systemvergrößerung und die Sensorpixelgröße bezieht (Abb. 2b). Basierend auf der Annahme, dass sich die Systemaberrationen über das gesamte FOV gleichmäßig ändern, werden die Disparitäten mit einem nicht starren Registrierungsalgorithmus geschätzt. Dann können die Aberrationswellenfronten durch ein Integral wie folgt erhalten werden:

Der nicht starre Registrierungsalgorithmus wird implementiert, indem das folgende Optimierungsproblem in Pytorch1.9.0 mit dem Adam-Optimierer gelöst wird:

Wobei ||•||2 der L2-Norm entspricht. Für jede Ansicht während der Optimierung legen wir manuell 20 × 15 × 2 Kontrollpunkte über das gesamte Sichtfeld fest, um die Schichtkarten mit einer gleichmäßigen Verteilung anzupassen.

Für die Aberrationsintensität A(u, v, x, y) in verschiedenen lokalen Regionen (x, y) können wir aus den Winkelintensitätsverteilungen auf die Pupillenform schließen. In der Praxis mitteln wir die Intensitäten verschiedener Ansichten innerhalb eines festen Blocks für Multisite-DAO (siehe Ergänzungstabelle 1). Anschließend werden die Formen der Aberrationspupille in verschiedenen lokalen Bereichen durch Binarisierung der Winkelintensitätsverteilungen mit dem normalisierten Schwellenwert erhalten (eine ähnliche Leistung kann für den Schwellenwert im Bereich von 0,5 bis 0,8 erzielt werden). Ein solcher Prozess ist für die ISA des Meta-Bildsensors in universellen Bildgebungsanwendungen von entscheidender Bedeutung, da die meisten Bereiche der meisten Bildgebungssysteme nicht telezentrisch sind und die Hauptstrahlen nicht senkrecht zur Bildebene verlaufen. Ein weiteres Beispiel ist das Cassegrain-Teleskop mit einer Ringstruktur für Pupillenintensitätsmodulationen. Alle diese Informationen können direkt aus den präzisen hochdimensionalen Messungen des Lichtfelds durch den Meta-Bildsensor geschätzt werden.

Sobald wir die globalen ungleichmäßigen Aberrationsverteilungen erhalten haben, können sie als anfängliche lokale Aberrationen für weitere Wellenfrontschätzungen verwendet werden, die durch Umgebungsdynamiken wie Turbulenzen verursacht werden, oder direkt für ISA mit Aberrationskorrektur unter Bedingungen, bei denen keine Korrektur von Umgebungsaberrationen erforderlich ist. Es dauert ungefähr 450 s, bis 5 × 5-Scan-Lichtfeldbilder mit einer Pixelanzahl von 8.000 × 6.000 eine globale Systemaberrationsschätzung auf einem Desktop-Computer (CPU, Intel i9-10940X; RAM, 128 GB; GPU, NVIDIA GeForce RTX) durchführen Titan).

Für inkohärentes Licht können wir nur die Intensitätsverteilungen erkennen, wobei die Phaseninformation aufgrund des zeitlichen Mittels verloren geht. Wenn wir daher die Pupillenebene direkt in verschiedene Subaperturen segmentieren, um die Winkelintensitätsverteilungen abzutasten, wird die räumliche Auflösung aufgrund des Verlusts von Hochfrequenzinformationen intrinsisch verringert (Extended Data, Abb. 1a). Glücklicherweise stellen wir fest, dass MLA auf der Bildebene mit einer kleinen Größe jeder Mikrolinse diesen intrinsischen Kompromiss zwischen räumlicher und Winkelauflösung bewältigen kann. Die kreisförmige Apertur auf jeder Mikrolinse mit einer Größe von etwa dem Zehnfachen der Beugungsgrenze in der Bildebene verleiht dem inkohärenten Lichtfeld zusätzliche Kohärenz und bewahrt die Hochfrequenzinformationen im Niederfrequenzbereich der optischen Übertragungsfunktionen für verschiedene Ansichten. ähnlich der strukturierten Beleuchtungsmikroskopie54 (Extended Data Abb. 1). Der Scanvorgang erhöht die räumliche Abtastdichte weiter, um das Frequenz-Aliasing-Problem zu lösen und die codierten Hochfrequenzinformationen zu entmischen. Dann kann eine solche zusätzliche Kohärenz durch die Varianzen verschiedener Winkel-PSFs mit unterschiedlicher Betonung im Ortsfrequenzbereich widergespiegelt werden, die mit Phasenraum-Entfaltung für ISA55 verwendet werden können (Extended Data Abb. 3c). Darüber hinaus stellen wir fest, dass die periodischen kreisförmigen Beugungsmuster die Rekonstruktionsartefakte für universelle Bildgebungsanwendungen mit dichten Strukturen beseitigen können, indem sie die Nullstellen in den optischen Übertragungsfunktionen reduzieren (Extended Data Abb. 1d – g).

Wie in Abb. 1d dargestellt, verzerren optische Aberrationen das vom selben Punkt emittierte Licht an verschiedenen Positionen auf der Bildebene, was zu einer Verschlechterung der räumlichen Auflösung und des Kontrasts bei herkömmlichen 2D-Sensoren führt. Durch die Erfassung der hochauflösenden räumlichen Winkelinformationen reduziert der Meta-Bildsensor das kohärente Übersprechen zwischen verschiedenen Ansichten und hält die Photonen innerhalb der erweiterten Schärfentiefe fokussiert, was eine bessere Aberrationsrobustheit als herkömmliche 2D-Sensoren ermöglicht, was für die Aberrationsschätzung wichtig ist und Korrektur in der Nachbearbeitung während der ISA (Extended Data Abb. 6c–e). Da die optischen Aberrationen normalerweise über ein großes Sichtfeld ungleichmäßig sind, können wir das gesamte Sichtfeld gleichmäßig in kleine Blöcke mit einer Überlappung von 20 Pixeln segmentieren (detaillierte Blockgrößen sind in der Ergänzungstabelle 1 aufgeführt). Wir gehen davon aus, dass die Aberration in jedem Block gleichmäßig ist. Dann können wir in der Nachbearbeitung eine Multisite-Aberrationsschätzung und -korrektur durchführen, ohne die Datenerfassungsgeschwindigkeit zu beeinflussen. Abschließend werden hochauflösende Bilder nach ISA mit Multisite-DAO zusammengefügt (Extended Data Abb. 3c).

Für jede lokale Region ist der DAO-Prozess in zwei Teile unterteilt: Wellenfrontschätzung und ISA. Wenn wir die Umweltaberrationen oder andere zusätzliche Aberrationen nicht korrigieren müssen, kann die Wellenfrontschätzung übersprungen werden, indem die lokale Systemaberration, die durch die anfängliche globale Aberrationsschätzung erhalten wurde, direkt verwendet wird, um den Rechenaufwand zu reduzieren. Zur weiteren Abschätzung der Umweltaberration wenden wir eine Methode der alternierenden Richtungsmultiplikatoren (ADMM)56 an, um die aberrierten Wellenfronten φ(u, v) wie folgt iterativ zu aktualisieren:

Dabei ist Ii(x, y) das Zwischenrekonstruktionsbild der i-ten Iteration, Nangle die Gesamtzahl der durch die Pupillenform bestimmten effektiven Winkel und Hi(x, y, u, v) die PSF für die Ansicht ( u, v) erzeugt mit der geschätzten Aberration A(u, v)exp(jφi(u, v)) addiert in der Pupillenebene. Die PSF-Generierungsfunktion PSFGen() wird wie zuvor auf der Grundlage der Rayleigh-Sommerfeld-Übertragungsfunktion57 beschrieben. Deconv(A, B) ist die Entfaltung von Bild A durch den Kernel von B mit der hochmodernen schnellen Entfaltungsmethode basierend auf dem Hyper-Laplace-Prior58. Corr() stellt die Berechnung der Kreuzkorrelationsmatrix im räumlichen Bereich dar, um die seitlichen Verschiebungen mit der Funktion von Findmax() abzuschätzen, um die Koordinaten des Spitzenwerts zu ermitteln. Für den Anfangswert der aberrierten Wellenfront φ1(u, v) können wir ihn entweder auf Null oder auf die zuvor kalibrierte lokale Systemaberration φsystem(u, v) setzen. Im vorherigen DAO in der geometrischen Optik33 vereinfachen wir den Einfluss der Aberration als seitliche Verschiebungen der idealen Winkel-PSFs Hi(x, y, u, v). Wir stellen jedoch fest, dass die Aberration auch die durch die codierte MLA eingeführte zusätzliche Kohärenz zwischen verschiedenen Ansichten beeinflusst, was zu Änderungen der PSF-Verteilungen führt. Daher erweitern wir das DAO im Wellenoptikmodell, indem wir die aberrierten PSFs mit geschätzten Aberrationen basierend auf dem Wellenoptikmodell für alle drei Iterationen während der ADMM-Methode aktualisieren (Extended Data Abb. 3b). Wir verwenden das Zernike-Polynom bis zur Ordnung 45, um die aberrierte Phase während der Iterationen anzupassen. Für die Konvergenz der Iteration legen wir den Schwellenwert auf 0,1 Wellenlänge in Bezug auf den quadratischen Mittelwert (rms) der Restphase fest. Normalerweise sind etwa zwei Iterationen erforderlich, um die zusätzliche Wellenfront mit einem Effektivwert von 1 Wellenlänge zu konvergieren, und zehn Iterationen für die zusätzliche Wellenfront mit einem Effektivwert von 5 Wellenlängen. Der Wellenfront-Schätzprozess dauert etwa 32 s für 1 Iteration auf 5 × 5 scannenden Lichtfeldbildern mit einer Pixelzahl von 2.000 × 2.000 auf einem Desktop-Computer (CPU, Intel i9-10940X; RAM, 128 GB; GPU, NVIDIA GeForce RTX). Titan).

Schließlich wird die ISA mit DAO für jede lokale Region durch Phasenraumentfaltung mit den geschätzten aberrierten PSFs erhalten. Auf einem Desktop-Computer mit einer grafischen Verarbeitungseinheit und den oben aufgeführten Spezifikationen dauert es normalerweise etwa 9 s, bis 5 × 5-Lichtfeldbilder mit einer Pixelanzahl von 2.000 × 2.000 gescannt werden.

Eine Reihe numerischer Simulationen wurde durchgeführt, um die Leistung von ISA und DAO quantitativ zu überprüfen. Die simulierten Messungen wurden durch Faltung der Ground-Truth-Bilder mit den simulierten PSFs generiert. Die in den Extended Data Abb. verwendeten Ground-Truth-Bilder. 1, 2, 4, 5 wurden von einem herkömmlichen Sensor mit einem hochwertigen Kameraobjektiv aufgenommen. Die Parameter des simulierten Bildgebungsprozesses waren die gleichen wie beim experimentellen Bildgebungssystem mit einer Zentralwellenlänge von 525 nm, einem Vergrößerungsfaktor von 10 und einer Abbildungs-Blendenzahl auf der Objektivebene von 1 (entsprechend einer Blendenzahl von 10). auf der Bildebene). Für die Simulation der PSF und der optischen Übertragungsfunktion haben wir zur Vereinfachung die Zentralwellenlänge von 1.000 nm gewählt (Extended Data Abb. 1). Gaußsches Rauschen wurde hinzugefügt, um das Ausleserauschen des CMOS-Sensors zu simulieren. Zur Auswertung der Rekonstruktionsergebnisse verwendeten wir sowohl das maximale Signal-Rausch-Verhältnis (SNR) als auch SSIM. Um die Leistung von DAO zu charakterisieren (Extended Data Abb. 4, 5), haben wir verschiedene Aberrationsniveaus in der Pupillenebene in Form von Effektivwerten mit einer maximalen Zernike-Ordnung von 45 hinzugefügt. Das Verhältnis σ zwischen dem Effektivwert des verbleibenden Wellenfrontfehlers und Der Peak-Tal-Wert der grundwahrheitsbedingten aberrierten Wellenfront wurde verwendet, um die Leistung der Wellenfrontkorrektur zu zeigen. Wir gingen davon aus, dass die adaptive Hardware-Optik die aberrierten Wellenfronten perfekt messen und die Aberration mit einem hochmodernen verformbaren Spiegelarray auf Spitze-Neige-Basis aus 15 × 15 Segmenten korrigieren könnte, was der gleichen Ansichtszahl der Meta- Bildsensor. Die simulierten Ergebnisse der adaptiven Hardware-Optik wurden durch Faltung des Ground-Truth-Bildes mit dem von der restlichen Pupillenwellenfront erzeugten Weitfeld-PSF erhalten, und die simulierten Ergebnisse eines herkömmlichen 2D-Sensors wurden durch Faltung des Ground-Truth-Bildes mit erhalten die Weitfeld-PSF, die durch die aberrierte Pupillenwellenfront erzeugt wird.

Tiefe neuronale Netze können eingesetzt werden, um die Bildgebungsleistung des Meta-Bildsensors weiter zu verbessern oder den Rekonstruktionsprozess durch vorherige Nutzung der Daten zu beschleunigen. Obwohl wir für alle Experimente die physikbasierten Optimierungsalgorithmen verwendet haben, um die Leistung des Meta-Bildsensors zu charakterisieren, haben wir mehrere bestehende neuronale Netze mit vorab trainierten Modellen getestet, um ihr großes Potenzial für zukünftige Entwicklungen zu zeigen. Für die in Extended Data Abb. 10a – c gezeigte Bild-Superauflösung haben wir zwei Einzelbild-Superauflösungsnetzwerke mit ihren jeweiligen vorab trainierten Open-Source-Modellen angewendet. Wir haben die rekonstruierten Ergebnisse des Meta-Imaging-Sensors direkt als Eingabe für diese Netzwerke verwendet, um zu zeigen, dass der Meta-Imaging-Sensor auch mit vorhandenen Bildverarbeitungsalgorithmen kompatibel ist, um die Leistung mithilfe eines Datenvorlaufs weiter zu verbessern. Zur Beschleunigung des Bewegungskorrekturprozesses, der in den erweiterten Daten in Abb. 10d – g dargestellt ist, verwendeten wir das wiederkehrende Rückprojektionsnetzwerk49 mit seinem vorab trainierten Open-Source-Modell. Wir haben die 3 × 3 niedrig aufgelösten Bilder der mittleren Ansicht als Eingabe des Netzwerks verwendet, um das hochaufgelöste Bild ohne Bewegungsartefakte zu erhalten. Obwohl die Ausgabe des Netzwerks im Vergleich zu den Ergebnissen unseres auf dem optischen Fluss basierenden Bewegungskorrekturalgorithmus eine leicht verringerte räumliche Auflösung aufweist, ist die Inferenz des Netzwerks etwa 29-mal schneller als die des Optimierungsalgorithmus, was das Potenzial der Anwendung tiefer neuronaler Netzwerke zeigt um alle Rekonstruktionsprozesse des Meta-Imaging-Sensors zu beschleunigen.

Die Unterschiede zwischen verschiedenen Ansichten liefern Hinweise für die Tiefenerkennung basierend auf Multiview-Stereo59. Der Meta-Bildsensor erfasst die räumlichen Winkelmessungen mit einer besseren Auflösung als die einer herkömmlichen Lichtfeldkamera und ermöglicht so eine Tiefenerfassung mit hoher Dichte und höherer Genauigkeit. Um die Verbesserung zu zeigen, haben wir dieselbe Tiefenschätzungsmethode getrennt auf die Daten des herkömmlichen Lichtfelds und des Meta-Bildsensors angewendet. Wir haben uns für einen hochmodernen Tiefenschätzungsalgorithmus entschieden, der für Lichtfelder mit Superpixel-basierter Regularisierung über teilweise verdeckte Regionen entwickelt wurde42. Die mit dieser Methode erhaltene Disparitätskarte wurde auf Basis der geometrischen Parameter des Bildgebungssystems in tatsächliche Abstände bzw. Dicken umgerechnet. Um die Genauigkeit der Tiefenschätzung zu bewerten, haben wir ein kommerzielles Fokusvariationsmikroskop (InfiniteFocus G5plus, Bruker Alicona)43 verwendet, um die Grundwahrheit der Tiefenkarte für die Leiterplatte in Abb. 6 zu messen. Es dauert etwa eine halbe Stunde Erfassen Sie das gesamte Sichtfeld durch Scannen eines großen Volumens für das kommerzielle System. Schließlich wurden die Dickenfehler nach einem genauen Abgleich zwischen den Rekonstruktionsergebnissen verschiedener Methoden und der Grundwahrheit berechnet. Noch wichtiger ist, dass wir feststellen, dass die optischen Aberrationen die Genauigkeit der Tiefenkarte auch bei der visuellen Tiefenerfassung beeinflussen, die in herkömmlichen Bildgebungssystemen schwer zu korrigieren sind. Hier haben wir die durch die anfängliche globale Aberrationsschätzung erhaltenen Aberrationskarten verwendet, um verschiedene Ansichten zur geometrischen Korrektur vor der Tiefenschätzung zu verzerren. Ergebnisse mit Aberrationskorrektur zeigen eine bessere Leistung als solche ohne Korrektur (Extended Data Abb. 9c–f).

Alle während dieser Studie generierten oder analysierten Daten sind in diesem veröffentlichten Artikel und im Zenodo-Repository unter den folgenden Links enthalten: https://doi.org/10.5281/zenodo.6641847, https://doi.org/10.5281/zenodo.6643915 und https://doi.org/10.5281/zenodo.6644095. Quelldaten werden mit diesem Dokument bereitgestellt.

Die Codes für die gesamte Pipeline des Meta-Imaging-Sensors sind unter https://github.com/freemercury/Aberration_correction_metasensor verfügbar.

Yurtsever, E., Lambert, J., Carballo, A. & Takeda, K. Eine Umfrage zum autonomen Fahren: gängige Praktiken und neue Technologien. IEEE Access 8, 58443–58469 (2020).

Artikel Google Scholar

Brady, DJ et al. Multiskalige Gigapixel-Fotografie. Natur 486, 386–389 (2012).

Artikel CAS PubMed Google Scholar

Yun, SH & Kwok, SJJ Licht in Diagnose, Therapie und Chirurgie. Nat. Biomed. Ing. 1, 0008 (2017).

Artikel CAS PubMed PubMed Central Google Scholar

Lichtman, JW & Conchello, J.-A. Fluoreszenzmikroskopie. Nat. Methoden. 2, 910–919 (2005).

Artikel CAS PubMed Google Scholar

Hardy, JW Adaptive Optics for Astronomical Telescopes (Oxford Univ. Press, 1998).

Cossairt, OS, Miau, D. & Nayar, SK Skalierungsgesetz für rechnergestützte Bildgebung mit sphärischer Optik. J. Opt. Soc. Bin. A 28, 2540–2553 (2011).

Artikel Google Scholar

Sasián, J. Einführung in Aberrationen in optischen Bildgebungssystemen (Cambridge Univ. Press, 2013).

Roggemann, MC & Welsh, BM Bildgebung durch Turbulenzen (CRC, 2018).

Rogers, C. et al. Ein universeller 3D-Bildsensor auf einer Silizium-Photonik-Plattform. Natur 590, 256–261 (2021).

Artikel CAS PubMed Google Scholar

Conrady, AE Applied Optics and Optical Design, Teil Eins (Courier, 2013).

Lohmann, AW, Dorsch, RG, Mendlovic, D., Zalevsky, Z. & Ferreira, C. Raum-Bandbreiten-Produkt optischer Signale und Systeme. J. Opt. Soc. Bin. A 13, 470–473 (1996).

Artikel Google Scholar

Sutherland, W. et al. Das Visible and Infrarot Survey Telescope for Astronomy (VISTA): Design, technischer Überblick und Leistung. Astron. Astronomien. 575, A25 (2015).

Artikel Google Scholar

Fan, J. et al. Videobildende Darstellung der biologischen Dynamik im Zentimetermaßstab und Mikrometerauflösung. Nat. Photonics 13, 809–816 (2019).

Artikel CAS Google Scholar

McConnell, G. et al. Ein neuartiges optisches Mikroskop zur Abbildung großer Embryonen und Gewebevolumina mit durchgehender subzellulärer Auflösung. eLife 5, e18659 (2016).

Artikel PubMed PubMed Central Google Scholar

Wu, R. et al. Design von Freiform-Beleuchtungsoptiken. Laser Photonics Rev. 12, 7 (2018).

Artikel Google Scholar

Khorasaninejad, M. et al. Metalenses bei sichtbaren Wellenlängen: beugungsbegrenzte Fokussierung und Bildgebung mit Subwellenlängenauflösung. Science 352, 1190–1194 (2016).

Artikel CAS PubMed Google Scholar

Xu, L. & Jia, J. Zweiphasige Kernelschätzung für robuste Bewegungsunschärfe. In Proc. Europäische Konf. Computer Vision (ECCV) (Hrsg. Daniilidis, K. et al.) 157–170 (2010).

Heide, F. et al. Hochwertige computergestützte Bildgebung durch einfache Linsen. ACM Trans. Graph. 32, 1–14 (2013).

Google Scholar

Schuler, CJ, Hirsch, M., Harmeling, S. & Schölkopf, B. Blindkorrektur optischer Aberrationen. In Proc. Europäische Konf. Computer Vision (ECCV) (Hrsg. Fitzgibbon, A. et al.) 187–200 (2012).

Chung, J., Martinez, GW, Lencioni, KC, Sadda, SR & Yang, C. Computergestützte Aberrationskompensation durch codierte Apertur-basierte Korrektur der Aberration, die durch optische Fourier-Codierung und Unschärfeschätzung erhalten wird. Optica 6, 647–661 (2019).

Artikel PubMed PubMed Central Google Scholar

Peng, Y. et al. Erlernte Bildgebung mit großem Sichtfeld und Dünnplattenoptik. ACM Trans. Graph. 38, 219 (2019).

Artikel Google Scholar

Koh, J., Lee, J. & Yoon, S. Einzelbild-Unschärfe mit neuronalen Netzen: eine vergleichende Umfrage. Berechnen. Vis. Bildverstand. 203, 103134 (2021).

Artikel Google Scholar

Booth, MJ Adaptive Optik in der Mikroskopie. Philos. Trans. R. Soc., A 365, 2829–2843 (2007).

Artikel Google Scholar

Booth, MJ Adaptive optische Mikroskopie: die ständige Suche nach einem perfekten Bild. Licht: Wissenschaft. Appl. 3, e165 (2014).

Artikel Google Scholar

Wizinowich, P. et al. Erste lichtadaptive Optikbilder vom Keck-II-Teleskop: eine neue Ära hochauflösender Bilder. Publ. Astron. Soc. Pac. 112, 315 (2000).

Artikel Google Scholar

Ivezić, Ž. et al. LSST: von wissenschaftlichen Treibern über Referenzdesign bis hin zu erwarteten Datenprodukten. Astronomien. J. 873, 111 (2019).

Artikel Google Scholar

Adelson, EH & Wang, JYA Einobjektiv-Stereoanlage mit einer plenoptischen Kamera. IEEE Trans. Muster Anal. Mach. Intel. 14, 99–106 (1992).

Artikel Google Scholar

Levoy, M. & Hanrahan, P. Lichtfeld-Rendering. In Proc. 23. Jahreskonferenz. Computer Graphics and Interactive Techniques (Hrsg. Fujii, J.) 31–42 (ACM, 1996).

Ng, R. et al. Lichtfeldfotografie mit einer handgehaltenen plenoptischen Kamera. Stanford University Computer Science Tech Report CSTR 2005-02 (Stanford Univ., 2005).

Ng, R. & Hanrahan, PM Digitale Korrektur von Linsenfehlern in der Lichtfeldfotografie. In Proc. Internationale Konferenz für optisches Design. WB2 (OSA, 2006).

Levoy, M., Ng, R., Adams, A., Footer, M. & Horowitz, M. Lichtfeldmikroskopie. ACM Trans. Graph. 25, 924–934 (2006).

Ihrke, I., Restrepo, J. & Mignard-Debise, L. Prinzipien der Lichtfeldbildgebung: ein kurzer Rückblick auf 25 Jahre Forschung. IEEE-Signalprozess. Mag. 33, 59–69 (2016).

Artikel Google Scholar

Wu, J. et al. Die iterative Tomographie mit digitaler adaptiver Optik ermöglicht die stundenlange intravitale Beobachtung der dreidimensionalen subzellulären Dynamik im Millisekundenbereich. Zelle 184, 3318-3332.e17 (2021).

Milkie, DE, Betzig, E. & Ji, N. Pupillensegmentierungsbasierte adaptive optische Mikroskopie mit Vollpupillenbeleuchtung. Opt. Lette. 36, 4206–4208 (2011).

Artikel PubMed Google Scholar

Dong, J., Pan, J., Su, Z. & Yang, M.-H. Blinde Bildunschärfe mit Ausreißerbehandlung. In Proc. IEEE International Conf. Computer Vision (ICCV) (Hrsg. Ikeuchi, K. et al.) 2497–2505 (IEEE, 2017).

Jin, M., Roth, S. & Favaro, P. Normalisierte blinde Entfaltung. In Proc. Europäische Konf. Computer Vision (ECCV) (Hrsg. Ferrari, V. et al.) 694–711 (2018).

Liu, Y., Dong, W., Gong, D., Zhang, L. & Shi, Q. Entschärfen natürlicher Bilder mithilfe von Super-Gaußschen Feldern. In Proc. Europäische Konf. Computer Vision (ECCV) (Hrsg. Ferrari, V. et al.) 467–484 (2018).

Bai, Y., Cheung, G., Liu, X. & Gao, W. Diagrammbasierte Blindbild-Unschärfe aus einem einzelnen Foto. IEEE Trans. Bildprozess. 28, 1404–1418 (2018).

Artikel MathSciNet Google Scholar

Yue, T., Suo, J., Wang, J., Cao, X. & Dai, Q. Blinde optische Aberrationskorrektur durch Erforschung geometrischer und visueller Prioritäten. In Proc. IEEE Conf. Computer Vision und Mustererkennung (CVPR) 1684–1692 (IEEE, 2015).

Robertson, BE et al. Galaxienentstehungs- und Evolutionswissenschaft im Zeitalter des Large Synoptic Survey Telescope. Nat. Rev. Phys. 1, 450–462 (2019).

Artikel Google Scholar

Deng, L. et al. Lenghu auf dem tibetischen Plateau als astronomischer Beobachtungsort. Natur 596, 353–356 (2021).

Artikel CAS PubMed PubMed Central Google Scholar

Chen, J., Hou, J., Ni, Y. & Chau, LP Genaue Lichtfeldtiefenschätzung mit Superpixel-Regularisierung über teilweise verdeckte Regionen. IEEE Trans. Bildprozess. 27, 4889–4900 (2018).

Artikel MathSciNet PubMed Google Scholar

Zangl, K., Danzl, R., Helmli, F. & Prantl, M. Hochpräzises optisches μCMM zur Messung von Mikrolöchern. Procedia CIRP 75, 397–402 (2018).

Artikel Google Scholar

Chen, Z. et al. Die Elektronenptychographie erreicht durch Gitterschwingungen festgelegte atomare Auflösungsgrenzen. Wissenschaft 372, 826–831 (2021).

Artikel CAS PubMed Google Scholar

Zheng, G., Horstmeyer, R. & Yang, C. Weitfeld, hochauflösende Fourier-Ptychographiemikroskopie. Nat. Photonik. 7, 739–745 (2013).

Artikel CAS PubMed PubMed Central Google Scholar

Zhu, S., Lai, A., Eaton, K., Jin, P. & Gao, L. Zum grundlegenden Vergleich zwischen unfokussierten und fokussierten Lichtfeldkameras. Appl. Opt. 57, A1–A11 (2018).

Artikel PubMed Google Scholar

Lim, B., Son, S., Kim, H., Nah, S. & Lee, KM Verbesserte tiefe Restnetzwerke für Einzelbild-Superauflösung. In Proc. IEEE Conf. Computer Vision und Mustererkennung (CVPR-Workshops) 1132–1140 (IEEE, 2017).

Wang, X. et al. ESRGAN: Verbesserte generative gegnerische Netzwerke mit Superauflösung. In Proc. Europäische Konf. Computer Vision (ECCV Workshops) (Hrsg. Leal-Taixé, L. & Roth, S.) 63–79 (2018).

Haris, M., Shakhnarovich, G. und Ukita, N. Rekurrentes Rückprojektionsnetzwerk für Video-Superauflösung. In Proc. IEEE Conf. Computer Vision und Mustererkennung (CVPR) 3892–3901 (IEEE, 2019).

Wu, J. et al. Schnappschuss der hyperspektralen volumetrischen Mikroskopie. Wissenschaft. Rep. 6, 24624 (2016).

Artikel CAS PubMed PubMed Central Google Scholar

Liu, C. Beyond Pixels: Erforschung neuer Darstellungen und Anwendungen für die Bewegungsanalyse. Doktorarbeit, Massachusetts Institute of Technology (2009).

Gallagher, RH Finite-Elemente-Strukturanalyse. Int. J. Numer. Methoden Eng. 23, 731–732 (1986).

Artikel Google Scholar

Watson, DF Contouring: Ein Leitfaden zur Analyse und Anzeige räumlicher Daten (Elsevier, 2013).

Gustafsson, MG Nichtlineare Strukturbeleuchtungsmikroskopie: Weitfeld-Fluoreszenzbildgebung mit theoretisch unbegrenzter Auflösung. Proz. Natl. Acad. Wissenschaft. 102, 13081–13086 (2005).

Artikel CAS PubMed PubMed Central Google Scholar

Lu, Z. et al. Phasenraumentfaltung für die Lichtfeldmikroskopie. Opt. Express 27, 18131–18145 (2019).

Artikel PubMed Google Scholar

Boyd, S., Parikh, N., Chu, E., Peleato, B. & Eckstein, J. Verteilte Optimierung und statistisches Lernen über die Wechselrichtungsmethode von Multiplikatoren. Gefunden. Trends Mach. Lernen. 3, 1–122 (2011).

Artikel MATH Google Scholar

Zhang, Y. et al. Computergestützter optischer Schnitt mit einem inkohärenten Multiskalen-Streuungsmodell für die Lichtfeldmikroskopie. Nat. Komm. 12, 6391 (2021).

Artikel CAS PubMed PubMed Central Google Scholar

Krishnan, D. & Fergus, R. Schnelle Bildentfaltung mit Hyper-Laplace-Prioritäten. Adv. Neuronale Inf. Verfahren. Syst. 22, 1033–1041 (2009).

Google Scholar

Zhang, Y. et al. Schätzung der Lichtfeldtiefe mittels epipolarer Ebenenbildanalyse und lokal linearer Einbettung. IEEE Trans. Schaltungen Syst. Videotechnik. 27, 739–747 (2017).

Artikel Google Scholar

Referenzen herunterladen

Wir danken Z. Zhou für seine Unterstützung bei der Nutzung des Tsinghua-NAOC 80-cm-Teleskops am NAOC Xinglong-Observatorium. Wir danken T. Yan, T. Zhu, Y. Zhang, X. Yuan und X. Wang für hilfreiche Diskussionen. Diese Arbeit wurde von der National Natural Science Foundation of China (62088102, 61860206003, 62071272, 62125106) und dem National Key Research and Development Program of China (2020AAA0130000, 2021ZD0109901) unterstützt.

Diese Autoren haben gleichermaßen beigetragen: Jiamin Wu, Yuduo Guo, Chao Deng

Abteilung für Automatisierung, Tsinghua-Universität, Peking, China

Jiamin Wu, Chao Deng, Hui Qiao, Zhi Lu, Jiachen Xie und Qionghai Dai

Beijing National Research Center for Information Science and Technology, Tsinghua-Universität, Peking, China

Jiamin Wu, Lu Fang und Qionghai Dai

Institut für Gehirn- und Kognitionswissenschaften, Tsinghua-Universität, Peking, China

Jiamin Wu, Chao Deng, Anke Zhang, Hui Qiao, Zhi Lu, Jiachen Xie, Lu Fang und Qionghai Dai

Abteilung für Elektrotechnik, Tsinghua-Universität, Peking, China

Yuduo Guo & Lu Fang

Tsinghua Shenzhen International Graduate School, Tsinghua-Universität, Shenzhen, China

Yuduo Guo & Anke Zhang

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

QD und JW konzipierten und gestalteten das Projekt. JW, YG und AZ haben das mechanische System entworfen. JW, YG und CD haben das optische System entworfen und gebaut. YG, JW und ZL entwickelten die gesamte Pipeline der Rekonstruktionsalgorithmen und führten die numerischen Simulationen durch. YG und HQ führten die Hardware-Synchronisierung durch. HQ und LF führten eine Leistungsoptimierung der Algorithmen durch. YG hat den Bewegungskorrekturalgorithmus entworfen und implementiert. YG, AZ, JX und CD führten die Teleskopexperimente durch. CD führte die Tiefenerfassungsexperimente durch. YG, JW und CD führten die anderen Bildgebungsexperimente durch. QD und LF überwachten die Arbeiten. JW, YG, LF, CD und QD erstellten Abbildungen und verfassten das Manuskript unter Einbeziehung aller Autoren.

Korrespondenz mit Lu Fang oder Qionghai Dai.

QD, JW, YG, CD, AZ, HQ und LF halten Patente auf Technologien im Zusammenhang mit den in dieser Arbeit entwickelten Geräten (China-Patentnummern ZL202110792338.5 und ZL202111014061.X) und haben entsprechende Patentanmeldungen eingereicht. QD und JW sind Gründer und Anteilseigner von Beijing Yuantong Technology LLC.

Nature dankt Chao Zuo und den anderen, anonymen Gutachtern für ihren Beitrag zum Peer-Review dieser Arbeit.

Anmerkung des Herausgebers Springer Nature bleibt hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten neutral.

a, Die optischen Übertragungsfunktionen (OTFs) verschiedener Ansichten, die durch direkte Pupillensegmentierung erhalten wurden, veranschaulichen den Verlust der räumlichen Auflösung. In der oberen Reihe ist das Schema dargestellt, in dem das Mikrolinsenarray (MLA) mit einer großen Mikrolinsenapertur auf der Pupillenebene platziert ist. b, Die OTFs verschiedener Ansichten, die vom Meta-Bildsensor ohne das codierte Muster erhalten wurden. Alle Simulationsbildgebungsparameter sind die gleichen wie im Bildgebungssystem, das in den Methoden beschrieben ist, mit dem Vergrößerungsfaktor 10 und der Bildf-Zahl von 1. Zur Vereinfachung der Simulation haben wir die Mittenwellenlänge auf 1.000 nm eingestellt. c, Die OTFs verschiedener Ansichten, die vom Meta-Bildsensor ohne das codierte Muster mit einer größeren Mikrolinsenapertur und der gleichen Blendenzahl erhalten wurden: 142,6 μm Teilungsgröße für 31×31 Winkel. Die Nullstellen in den OTFs nehmen mit einer großen Mikrolinsenapertur aufgrund der Verringerung des Beugungseffekts zu. d, Die OTFs verschiedener Ansichten, die vom Meta-Bildsensor mit dem kreisförmig codierten Muster und der Mikrolinsengröße von 69 μm erhalten wurden, was reduzierte Nullen im OTF veranschaulicht. Die vertikale Streifenbildung im OTF bei niedrigen Querfrequenzen ist das Artefakt, das aus der FFTN-Funktion in Matlab aufgrund der großen Schärfentiefe der Punktspreizfunktion (PSF) stammt. e, Ground-Truth-Bild, das für die numerische Simulation verwendet wird. f, Rekonstruiertes Ergebnis des Meta-Bildsensors ohne das kreisförmige Muster auf jeder Mikrolinse, das Rekonstruktionsartefakte für dichte Strukturen aufweist. g: Rekonstruiertes Ergebnis des Meta-Bildsensors mit dem kreisförmigen Muster auf jeder Mikrolinse ohne Artefakte. Maßstabsbalken: 1 μm−1. PSNR, Spitzen-Signal-Rausch-Verhältnis.

a, Ground-Truth-Bild, das für numerische Simulationen verwendet wird. Alle Bildgebungsparameter sind die gleichen wie bei dem in Methoden beschriebenen Bildgebungssystem mit einem Vergrößerungsfaktor von 10 und einer Blendenzahl von 1. b–e, Rekonstruierte Bilder des Meta-Bildgebungssensors mit unterschiedlichen Scanperioden: 1×1 (b) , 3×3 (c), 5×5 (d) und 15×15 (e). Die Scanperiode 1×1 entspricht der herkömmlichen Lichtfeldkamera ohne Scanvorgang. f, Die Kurve des strukturellen Ähnlichkeitsindexmaßes (SSIM) zwischen der Rekonstruktion und der Grundwahrheit im Vergleich zu verschiedenen Scanperioden. Es ist zu erkennen, dass sich die Rekonstruktionsleistung mit zunehmender Scanzahl allmählich annähert. Daher wählen wir für die meisten Experimente in unserem Manuskript die Scanperiode von 5 × 5 (siehe Ergänzungstabelle 1).

a, Vorverarbeitungsmodul. Die Rohdaten wurden zunächst durch Pixel-Neuausrichtung in verschiedene Ansichten umgewandelt. Bei dynamischen Proben wird eine Bewegungskorrektur verwendet, um Bewegungsartefakte zu beseitigen. Anschließend werden die globalen Ansichten gleichmäßig in kleine Blöcke segmentiert, um die räumlich ungleichmäßigen Aberrationen abzuschätzen und zu korrigieren. b, Wellenfront-Schätzmodul für jeden lokalen Block. Es kann übersprungen werden, indem die lokale Systemaberration direkt verwendet wird, um den Rechenaufwand zu reduzieren. Für jeden lokalen Block können wir die Umweltabweichungen mit einer Wechselrichtungsmethode von Multiplikatoren (ADMM) weiter abschätzen. Wir erweitern das DAO auf die Wellenoptik, indem wir die aberrierten PSFs mit geschätzten Aberrationen basierend auf dem Wellenoptikmodell für alle drei Iterationen während der ADMM-Methode aktualisieren. c, Inkohärente synthetische Apertur (ISA). Das aberrationskorrigierte Bild für jeden lokalen Block kann durch Phasenraumentfaltung mit den geschätzten aberrierten PSFs erhalten werden. Für die anschließende globale Rekonstruktion werden verschiedene Blöcke zusammengefügt und im überlappenden Bereich gemittelt. d, Bewegungskorrekturmodul wird auf jede Ansicht separat angewendet. e, anfängliche globale Aberrationsschätzung zur Schätzung der räumlich ungleichmäßigen Systemaberrationen. f, schnelles Dekonvolutionsmodul. Das geschätzte Bild während des Wellenfrontschätzungsschritts wird durch den Durchschnitt der entfalteten Ergebnisse mit unterschiedlichen Winkel-PSFs basierend auf dem Hyper-Laplace-Priori erhalten.

a, Grundwahrheit des simulierten Bildes. b, Ergebnisse, die mit einem herkömmlichen 2D-Sensor, einem 2D-Sensor mit Hardware-adaptiver Optik (AO) durch ein verformbares Spiegelarray (15×15 Segmente) auf der Basis von Spitze und Neigung und dem Meta-Imaging-Sensor mit DAO in geometrischer Optik und Welle erzielt wurden Optik, in verschiedenen Reihen dargestellt. Ergebnisse mit unterschiedlichen Effektivwerten der Aberrationen (0,5λ, 1λ und 3λ) werden in verschiedenen Spalten angezeigt. Die Aberrationen werden zufällig mit einer maximalen Zernike-Ordnung von 45 erzeugt. Die simulierten Bildeinstellungen sind die gleichen wie oben. Die Ground-Truth-Aberrationen werden in den Einschüben der 2D-Sensorergebnisse angezeigt, während die korrigierten Aberrationen verschiedener Methoden in den entsprechenden Einschüben angezeigt werden. Die Farbbalken für jede Spalte werden unten angezeigt. c, Die Kurven des Spitzen-SNR (PSNR) im Vergleich zu verschiedenen Effektivwerten der Aberrationen, die für verschiedene Methoden hinzugefügt wurden. d, Die Kurven von SSIM im Vergleich zu verschiedenen Effektivwerten der Aberrationen, die für verschiedene Methoden hinzugefügt wurden. e, Die Kurven der relativen Restwellenfrontfehler σ gegenüber verschiedenen Effektivwerten der für verschiedene Methoden hinzugefügten Aberrationen, wobei σ durch das Verhältnis des Restphaseneffektivwerts zum Spitze-zu-Tal-Wert der hinzugefügten Aberration berechnet wird. f, Ergebnisse experimenteller Daten, die mit einem 2D-Sensor und einem Meta-Imaging-Sensor mit DAO in der geometrischen Optik und Wellenoptik gewonnen wurden. Maßstabsleiste: 20 mm (f).

Quelldaten

a, Die Kurven des SSIM und des Spitzen-SNR gegenüber verschiedenen Rauschpegeln, die durch den SNR bei verschiedenen Aberrationsniveaus (0λ, 1λ, 2λ und 3λ) angezeigt werden. Zur Simulation des Ausleserauschens werden unterschiedliche Niveaus von Gauß-Rauschen hinzugefügt. Die simulierten Einstellungen sind die gleichen wie oben. b, Ergebnisse, die mit einem herkömmlichen 2D-Sensor mit einem SNR von 20 dB (rechts) und 40 dB (links) ohne Aberrationen erzielt wurden. c–e, vom Meta-Bildsensor erhaltene Ergebnisse mit unterschiedlichen SNRs: 40 dB (c), 20 dB (d) und 3 dB (e) und Aberrationsniveaus. f, Die Kurven der relativen Restwellenfrontfehler σ gegenüber verschiedenen SNRs bei unterschiedlichen Aberrationsgraden (1λ, 2λ und 3λ), die eine starke Rauschrobustheit des Meta-Bildsensors für Aberrationsschätzungen zeigen. g, Ground-Truth-Aberrationen und entsprechende geschätzte Aberrationen mit unterschiedlichen SNRs.

Quelldaten

a: Das Bild aus der Mitte, das mit einem Metabildsensor mit einer einzelnen Kunststofflinse aufgenommen wurde. Das Beispiel besteht aus vier Auflösungsdiagrammen (ISO 12233), die mit Abb. 2d identisch sind. b, Teil des Bildes, das von einem herkömmlichen 2D-Sensor mit einer einzelnen Kunststofflinse aufgenommen wurde, und entsprechende Ergebnisse nach Anwendung verschiedener blinder Entfaltungsalgorithmen, die oben markiert sind17, 35,36,37,38,39. Zum Vergleich mit der geschätzten Aberration im Einschub wird auch das vom Meta-Bildsensor unter denselben Bedingungen erzielte Ergebnis angezeigt. c–e: Die vergrößerten Bereiche der Rohdaten, die vom 2D-Sensor und dem Meta-Bildsensor unter denselben Bildgebungsbedingungen und derselben Belichtungszeit erfasst wurden, um die SNR-Verbesserung des Meta-Bildsensors bei Vorhandensein starker Aberrationen zu zeigen. f–i, Vergrößerte Bereiche, die in a markiert sind und mit verschiedenen Methoden erhalten wurden, einschließlich des 2D-Sensors mit einem hochwertigen Spiegelreflexkameraobjektiv (Canon EF70-200 mm 1:2,8L), des 2D-Sensors mit einer einzelnen Kunststofflinse, und der Meta-Bildsensor mit derselben einzelnen Kunststofflinse. Die geschätzten Aberrationen der lokalen Regionen sind in den Einschüben dargestellt. Maßstabsbalken: 40 mm (a), 5 mm (b–i).

Quelldaten

a: Das Bild, das von einem herkömmlichen 2D-Sensor mit einer einzelnen plankonvexen Linse aufgenommen wurde. Wir haben die Szenen selbst im Labor aufgebaut. Zur Sperrung des Logos aus urheberrechtlichen Gründen dient eine Blackbox. Als eines der abzubildenden Beispiele wurde ein Foto des Gemäldes „Entlang des Flusses während des Qingming-Festes“ von Qiu Ying abgedruckt. b, Das vom Meta-Bildsensor mit einer einzelnen plankonvexen Linse erhaltene Bild. Um mit unserem aktuellen CMOS-Chip eine Gigapixel-Bildgebung zu erreichen, haben wir das Objektiv fixiert und den 2D-Sensor und den Meta-Bildsensor manuell im lateralen Bereich verschoben, um ein großes Sichtfeld (FOV) abzudecken. Anschließend wurden die Gigapixel-Bilder durch Zusammenfügen der Bilder mit winzigen Überlappungen erhalten. Die Pixelanzahl beider Bilder betrug nach dem Zusammenfügen 26.207 × 39.194 (~1,03 Gigapixel). Zur Sperrung des Logos aus urheberrechtlichen Gründen dient eine Blackbox. c–f, Vergrößerung der in a markierten Regionen, erhalten durch den 2D-Sensor (oben) und den Meta-Bildsensor (unten). Die geschätzten Aberrationen des Meta-Bildsensors sind im Einschub dargestellt. Die gestrichelten Kreise stellen den telezentrischen Bereich mit einer Blendenzahl von 10 dar.

a: Wir haben unseren Meta-Bildsensor oder den herkömmlichen 2D-Sensor mit demselben CMOS-Chip direkt auf der Bildebene des Tsinghua-NAOC 80-cm-Teleskops platziert. Das Teleskop ist ein 80-cm-Cassegrain-Teleskop. Das Foto zeigt unsere am Teleskop befestigte Proof-of-Concept-Kamera während der Experimente. b, Die Ansicht (−4, −3) nach direkter Pixelneuausrichtung des vom Meta-Bildsensor abgebildeten Mondes ohne Bewegungskorrektur. c, Die optische Flusskarte vom benachbarten Zeitpunkt zum zentralen Zeitpunkt, die durch den nicht starren Registrierungsalgorithmus erhalten wurde. d–g, Vergrößerung der in b markierten Bereiche zur besseren Visualisierung der Ansichtsdaten ohne (oben) und mit (unten) Bewegungskorrekturen, was die Wirksamkeit des Algorithmus veranschaulicht. Maßstabsbalken: 100 Bogensekunden (b,c), 10 Bogensekunden (d–g).

a, Zentralansicht einer Leiterplatte, aufgenommen mit unserem Meta-Imaging-Sensor. Unten ist die Raumwinkelebene der blauen durchgezogenen Linie dargestellt. Aus den Steigungen der entsprechenden Punkte lassen sich unterschiedliche Tiefen abschätzen. b, Die Ground-Truth-Tiefenkarte, die durch eine kommerzielle Fokusvariationsmikroskopie erhalten wurde. c,d, Die Tiefenkarten, die mit einer herkömmlichen Lichtfeldkamera (entsprechend dem Meta-Bildsensor ohne Scannen) ohne (c) und mit (d) Aberrationskorrektur erhalten wurden. e, f: Die vom Meta-Bildsensor erhaltenen Tiefenkarten ohne (e) und mit (f) Aberrationskorrektur. g, Vergrößerung des in a markierten Bereichs, um den Unterschied winziger Strukturen zu zeigen. h, die durchschnittliche Dicke von vier in a markierten Komponenten für sowohl herkömmliche Lichtfeld- als auch Meta-Bildsensoren mit und ohne Aberrationskorrekturen. Die mittleren Werte stellen den Durchschnitt dar. Fehlerbalken stellen 1 Standardabweichung dar (n = 14.400 Pixel für jede Komponente). Maßstabsbalken: 1 mm.

a, Die vom Meta-Bildsensor erzielten Bildergebnisse mit Vergrößerungen zur besseren Visualisierung. b,c, Die entsprechenden Ergebnisse nach Superauflösung durch zwei verschiedene Deep-Learning-basierte Methoden47,48 mit vorab trainierten Modellen, um die Auflösung mit den vorherigen Daten weiter zu verbessern, was darauf hinweist, dass der Meta-Imaging-Sensor mit der vorhandenen Signalverarbeitung kompatibel ist Algorithmen. d, Die zentralen Ansichten der dynamischen Szenen, die vom Meta-Bildsensor ohne Bewegungskorrektur erhalten wurden. e, Die entsprechenden Ergebnisse nach unserer auf dem optischen Fluss basierenden Bewegungskorrektur. f, Die entsprechenden Ergebnisse nach lernbasierter Bewegungskorrektur mit einem vortrainierten tiefen neutralen Netzwerk, einem rekurrenten Rückprojektionsnetzwerk (RBPN)49. g, Vergleiche der Verarbeitungszeit, die für die Bewegungskorrektur einer einzelnen Ansicht mit 400 × 400 Pixeln erforderlich ist, was die etwa 29-fache Beschleunigung veranschaulicht, die durch die lernbasierte Methode erreicht wird.

Die Datei enthält die Ergänzungstabelle 1, die die experimentellen Parameter angibt, die für die Datenerfassung und Rekonstruktion des Meta-Bildsensors verwendet werden.

Bildgebung durch starke ungleichmäßige Aberrationen, die durch mehrere Lagen Plastikfolie verursacht werden.

Die Pipeline und Demonstration des Bewegungskorrekturalgorithmus für dynamische Szenen.

Multisite Digital Adaptive Optics (DAO) für das bodengestützte 80-cm-Teleskop.

Tiefenerkennung für die Anwendung des autonomen Fahrens.

Tiefenmessung für den Einsatz in der industriellen Inspektion.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht gesetzlich zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Wu, J., Guo, Y., Deng, C. et al. Ein integrierter Bildsensor für aberrationskorrigierte 3D-Fotografie. Natur 612, 62–71 (2022). https://doi.org/10.1038/s41586-022-05306-8

Zitat herunterladen

Eingegangen: 09. November 2021

Angenommen: 01. September 2022

Veröffentlicht: 19. Oktober 2022

Ausgabedatum: 01. Dezember 2022

DOI: https://doi.org/10.1038/s41586-022-05306-8

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein Link zum Teilen verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

PhotoniX (2023)

Naturmethoden (2023)

Naturkommunikation (2023)

Natur (2023)

Licht: Wissenschaft und Anwendungen (2023)

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.