Blog

Feb 15, 2024

Validierung und Verbesserung eines 3D-Rekonstruktionsansatzes für die mediale Stimmlippenoberfläche bei in

Scientific Reports Band 13, Artikelnummer: 10705 (2023) Diesen Artikel zitieren 292 Zugriffe 1 Details zu altmetrischen Metriken In der Kehlkopfforschung wird die vertikale Stimmlippenschwingungskomponente untersucht

Scientific Reports Band 13, Artikelnummer: 10705 (2023) Diesen Artikel zitieren

292 Zugriffe

1 Altmetrisch

Details zu den Metriken

In der Kehlkopfforschung wird die Untersuchung der vertikalen Stimmlippenschwingungskomponente oft vernachlässigt. Allerdings handelt es sich bei der Stimmlippenschwingung naturgemäß um einen dreidimensionalen Vorgang. In der Vergangenheit haben wir ein In-vivo-Versuchsprotokoll entwickelt, um die vollständige, dreidimensionale Stimmlippenschwingung zu rekonstruieren. Das Ziel dieser Studie ist die Validierung dieser 3D-Rekonstruktionsmethode. Wir präsentieren einen In-vivo-Hemilarynx-Aufbau eines Hundes mit Hochgeschwindigkeitsvideoaufzeichnung und einem rechtwinkligen Prisma für die 3D-Rekonstruktion der Vibrationen der medialen Stimmlippenoberfläche. Die 3D-Oberfläche wird aus dem geteilten Bild des Prismas rekonstruiert. Zur Validierung wurde der Rekonstruktionsfehler für Objekte berechnet, die sich in einer Entfernung von bis zu 15 mm vom Prisma befanden. Der Einfluss von Kamerawinkel, sich änderndem kalibriertem Volumen und Kalibrierungsfehlern wurde ermittelt. Der durchschnittliche 3D-Rekonstruktionsfehler ist insgesamt gering und überschreitet 0,12 mm bei 5 mm Abstand vom Prisma nicht. Der Einfluss einer mäßigen (5°) und großen (10°) Abweichung des Kamerawinkels führte zu einem leichten Anstieg des Fehlers auf 0,16 mm bzw. 0,17 mm. Dieses Verfahren ist robust gegenüber Änderungen des Kalibriervolumens und kleinen Kalibrierfehlern. Dies macht diesen 3D-Rekonstruktionsansatz zu einem nützlichen Werkzeug für die Rekonstruktion zugänglicher und bewegter Gewebeoberflächen.

Die hörbare menschliche Stimme entsteht im Kehlkopf, indem der aus der Lunge aufsteigende Luftstrom die Stimmlippe in Schwingungen versetzt, die den Luftstrom wiederum in Schallwellen modulieren und so die Grundfrequenz der Stimme erzeugen1. Auch wenn sich dieser Prozess der Stimmerzeugung recht einfach in groben Umrissen beschreiben lässt, weist er viele Komplexitäten auf, da er auf verschiedene Arten moduliert werden kann und durch verschiedene Faktoren wie das Ausmaß der neuromuskulären Stimulation, die Gewebeelastizität, den subglottalen Druck usw. beeinflusst werden kann.2, 3. Um die Steuerung der Stimmproduktion besser zu verstehen, sind viele Ein- und Ausgangssignale von Interesse, wie beispielsweise die Aktivierung des Kehlkopfnervs, Fluss- und Druckänderungen oder das erzeugte akustische Signal. Um diesen komplexen Prozess besser zu verstehen, ist im Idealfall ein Versuchsaufbau erforderlich, der alle relevanten Faktoren gleichzeitig kontrollieren oder zumindest erfassen kann und robuste Algorithmen verwendet, die keine weiteren Störfaktoren einführen.

Die Stimmlippen sind zwei gegenüberliegende Strukturen im Kehlkopf, die eine Verengung der Atemwege bilden. Sie erstrecken sich über den Kehlkopf in einer anterior-posterioren Richtung und ihre genaue Haltung kann durch die Bewegung verschiedener Knorpel im Kehlkopf angepasst werden, wodurch sie für die Phonation in unmittelbare Nähe gebracht werden4. Da sie durch den aus der Lunge aufsteigenden Luftstrom in Bewegung gesetzt werden, schwingen sie während der anhaltenden Vokalphonation, der Schallquelle der Stimme, mit durchschnittlich 235 Hz bei Frauen und 134 Hz ​​bei Männern5. Diese Schallquelle wird dann durch die akustischen Resonanzen des Stimmtrakts weiter moduliert und erzeugt so Sprache4.

Eine gesunde Stimme ist normalerweise durch periodische und links-rechts-symmetrische Schwingungen der Stimmlippen gekennzeichnet, die sich in jedem Zyklus vollständig oder fast vollständig schließen6,7,8. Im Gegensatz dazu ist eine Phonationserkrankung häufig durch aperiodische oder asymmetrische Schwingungen der Stimmlippen und einen unvollständigen Stimmritzenschluss während der Phonation gekennzeichnet9,10,11. Es werden entsprechend viele verschiedene Maßnahmen verwendet, die versuchen, die Eigenschaften von Stimmlippenschwingungen zu erfassen, wie z. B. Dauer und Verhältnisse der Öffnungs-, Schließ- und Schließphasen der Wellenform des Glottisöffnungsbereichs1,12.

Die mediale Oberfläche der Stimmlippen (d. h. die Oberfläche, an der sich die Stimmlippen während der Schwingung treffen) ist ein kritischer Schwingungsbereich, der die Akustik beeinflusst13 und daher von besonderem Interesse ist. Die Stimmlippen schließen sich nicht einfach überall auf dieser Fläche gleichzeitig, sondern zeigen vielmehr ein Muster des Schließens von unten nach oben und des Öffnens auf die gleiche Weise. Veränderungen in diesem Muster, die durch Aktivierungen der Kehlkopfmuskulatur gesteuert werden, können einen großen Einfluss auf das resultierende akustische Signal haben13,14.

In der Stimmforschung zeichnen In-vivo-Experimente jedoch typischerweise die oszillierenden Stimmlippen von oben auf und erfassen Vibrationen aus einer oberen Sicht in 2D15 oder 3D16, sind jedoch nicht in der Lage, die gesamte mediale Oberfläche aufzuzeichnen und auch keine Daten zur Muskelaktivierung oder medialen Oberflächendynamik zu sammeln17 ,18,19. Der Ex-vivo-Hemilarynx ermöglicht die Visualisierung der medialen Oberfläche, oft kann jedoch keine Nervenaktivierung erreicht werden20,21 ohne die Anwendung besonderer Maßnahmen wie der Verwendung perfundierter Modelle22.

Für die In-vivo-3D-Rekonstruktion von biologischem Gewebe gibt es mehrere Methoden. Eine der am wenigsten invasiven Methoden ist die hochauflösende Computertomographie, die zur 3D-Rekonstruktion von Stimmlippen eingesetzt wurde23. Allerdings ist die räumliche Auflösung dieser Technik begrenzt, da selbst moderne ultrahochauflösende Ansätze nur eine Schichtdicke von 0,25 mm24 erreichen. Eine höhere Genauigkeit kann theoretisch durch direkte Hochgeschwindigkeits-Videoaufnahme der Stimmlippen von oben in Kombination mit Laserprojektion oder ähnlichen Techniken erreicht werden. Die Genauigkeit dieser Ansätze wird jedoch durch die räumlichen Beschränkungen des Rachenraums eingeschränkt, wodurch die vertikale Auflösung derzeit auf einen Wert von etwa 0,36 mm begrenzt ist16. Darüber hinaus sind diese Techniken auf eine obere Ansicht der Stimmlippen beschränkt und können die gesamte mediale Oberfläche nicht vollständig sichtbar machen25. Daher ist die Verwendung eines In-vivo-Hemilarynx zur direkten Visualisierung die einzige Möglichkeit, Auflösungen im Sub-0,1-mm-Bereich der medialen Oberfläche zu erreichen.

Der Hemilarynx verhält sich während der Phonation in Bezug auf viele wichtige Variablen wie der Phonationsschwellendruck, die Grundfrequenz oder die Schwingungsamplitude26 ähnlich wie ein vollständiger Kehlkopf, was dazu führt, dass er in der Stimmforschung gut eingesetzt wird27,28,29. Der in dieser Arbeit vorgestellte Hemilarynx-Aufbau ermöglicht auch eine direkte Stimulation der Kehlkopfnerven, die die verbleibende Stimmlippe des Hemilarynx anpasst und seine Vibrationseigenschaften verändert, was in einem Ex-vivo-Modell nicht möglich wäre20. Für diese Studie sind hauptsächlich zwei Arten von Kehlkopfnerven von Interesse: Der N. laryngeus recurrens (RLN) innerviert alle intrinsischen Adduktorenmuskeln des Kehlkopfes (d. h. er schließt den Glottisspalt und versteift die Körperschicht) und der N. laryngeus superior (SLN) innerviert die Cricothyroideus-Muskeln (CT) (d. h. die Stimmlippen verlängern und anspannen)4. Da Experimente an einem Hemilarynx durchgeführt werden, bleibt nur eine (hier die linke) Stimmlippe bzw. die linken Äste dieser Nerven übrig.

Es gibt kommerzielle Tools für die 3D-Oberflächenrekonstruktion30, die jedoch verschiedene Einschränkungen aufweisen. Sie sind Closed-Source-Lösungen (was sie undurchsichtig macht), werden extern verwaltet (was eine schnelle und effiziente Behebung softwarebasierter Fehler verhindert) und sind teuer. Darüber hinaus kann die Anwendung solcher Werkzeuge, die mit der Absicht entwickelt wurden, auf ein möglichst breites Spektrum von Problemen anwendbar zu sein, bei einem sehr spezifischen Problem, wie z. B. der Rekonstruktion der vibrierenden Stimmlippen-Medialoberfläche in vivo, zu einer schlechten Leistung führen.

Um diese Probleme zu umgehen, baut diese Arbeit auf einem früheren Ansatz zur 3D-Rekonstruktion der oszillierenden Hemilarynx-Medialoberfläche von Döllinger et al.31,32 auf. In dieser früheren Arbeit wurde die oszillierende mediale Oberfläche mit Hochgeschwindigkeitsvideo aufgezeichnet. Zur Kalibrierung wurde ein über der medialen Oberfläche befestigter Messingwürfel mit bekannten Abmessungen verwendet. Sowohl die mediale Oberfläche als auch der Messingwürfel wurden durch ein rechtwinkliges transparentes Glasprisma aufgenommen, das gleichzeitig eine geteilte Ansicht der Oberfläche und des Würfels erzeugte. Anhand der bekannten Abmessungen des Messingwürfels konnte die Oberfläche rekonstruiert werden. Dieser Ansatz hatte jedoch drei Nachteile: (1) Da der Messingwürfel notwendigerweise einen anderen Bereich einnahm als die mediale Oberfläche, basierte die 3D-Rekonstruktion auf einer erheblichen Extrapolation des rekonstruierten Raums. (2) Der Messingwürfel bot nur einen kleinen Satz bekannter 2 × 2D/3D-Positionspaare zur Kalibrierung (ein Satz von sieben sichtbaren Würfelecken) (3) Der Messingwürfel und die mediale Oberfläche mussten gleichzeitig sichtbar sein, Daher konnte nur ein kleinerer Kamerabildausschnitt für die mediale Oberfläche reserviert werden.

In dieser Arbeit präsentieren wir eine aktualisierte Version dieses 3D-Rekonstruktionsansatzes31,32, die die Nachteile des vorherigen Prozesses behebt und den 3D-Rekonstruktionsalgorithmus selbst verbessert. Zu diesem Zweck bauen wir auch auf einer bereits etablierten Technik zur In-vivo-Stimulation des Kehlkopfnervs auf, wie sie von Chhetri et al.2,3 beschrieben wurde. Beide Ansätze werden in ihren relevanten Details im Abschnitt „Methoden“ beschrieben, zusammen mit den Änderungen, die wir eingeführt haben, um sie zu kombinieren und für die 3D-In-vivo-Hemilarynx-Oberflächenrekonstruktion anzupassen.

Die Ziele dieser Validierungsstudie sind wie folgt: (1) Vorschlag eines angepassten Aufbaus und eines verbesserten Algorithmus für die 3D-Rekonstruktion zugänglicher, sich bewegender Gewebeoberflächen, die robust gegenüber Änderungen der Kameraeinstellungen sind. (2) Validieren Sie diesen Aufbau hinsichtlich verschiedener Einflussfaktoren wie Entfernung des rekonstruierten Objekts, Kamerawinkel und Unterschiede zwischen Kalibrierungs- und Rekonstruktionskameraparametern. (3) Geben Sie ein Anwendungsbeispiel für den Aufbau basierend auf der 3D-Rekonstruktion einer In-vivo-Hemilarynx-Aufzeichnung der vibrierenden medialen Oberfläche der Stimmlippe mit gleichzeitiger Stimulation des Nervus laryngeus. (4) Durch die Bereitstellung des Quellcodes geben wir Kollegen die Möglichkeit, unseren Code ganz oder teilweise für eigene spezifische 3D-Rekonstruktionsaufgaben zu nutzen.

In dieser Studie wurden zu Demonstrationszwecken Daten von einem gesunden männlichen Mischlingshund verwendet. Die Daten wurden ursprünglich für eine frühere Studie14 erhoben. Der durchgeführte chirurgische Eingriff zur Freilegung und Vorbereitung des Hemilarynx wurde bereits zuvor ausführlich in2,3 beschrieben und wird daher hier nur kurz zusammengefasst, wobei der Schwerpunkt auf Details liegt, die für den 3D-Rekonstruktionsalgorithmus relevant sind:

Der Hund wurde unter Verwendung einer Isofluran-Vollnarkose anästhesiert und in Rückenlage auf einen Operationstisch gebracht, und die Beatmung erfolgte über eine niedrige Tracheotomie. Um einen kontrollierten, befeuchteten Luftstrom bereitzustellen, wurde ein subglottischer Tubus an den Trachealringen zwei und drei sowie ein Luftstromregler (MCS Series Mass Flow Controller; Alicat Scientific, Tucson, AZ) angebracht. Der Kehlkopf wurde freigelegt und eine rechte Hemilaryngektomie durchgeführt, was zu einem in vivo Hemilarynx führte, bei dem nur noch die linke Stimmlippe übrig blieb. Abbildung 1a Mit Tusche wurde ein Raster aus 35 Orientierungspunkten auf die mediale Oberfläche der Stimmlippe tätowiert. Abbildung 1b Ein rechtwinkliges transparentes Glasprisma (48 mm Basis, 35 mm Länge, 24 mm Höhe) wurde an der Stimmlippe platziert, wobei die Basis auf der Hypotenusenseite zur medialen Oberfläche zeigte. Abbildung 1c Das Prisma wurde durch eine Anordnung von Metallstangen fest am Tisch befestigt, um eine stationäre Position des Prismas während des Aufnahmevorgangs sicherzustellen. Die beiden Prismenbasen an den Beinseiten ermöglichen dann eine geteilte Ansicht der medialen Oberfläche aus zwei verschiedenen Perspektiven. Abbildung 1d Eine Phantom v210-Hochgeschwindigkeitskamera (Vision Research Inc., Wayne, NJ) wurde senkrecht zum Prisma platziert und erfasste beide Ansichten.

Chirurgischer Eingriff zur Vorbereitung des Hemilarynx für die Aufnahme: (a) Raster aus Tuschemarkierungen, tätowiert auf der medialen Oberfläche der verbleibenden Stimmlippe am Hemilarynx, (b) vor der Stimmlippe platziertes Prisma, das eine geteilte Ansicht der medialen Oberfläche ermöglicht , (c) Metallstabaufbau, der das Prisma an Ort und Stelle hält, (d) Hochgeschwindigkeitsvideokamera zur Aufzeichnung der Stimmlippenschwingungen durch das Glasprisma.

Zur Kalibrierung des Aufbaus wurde eine schmale Kalibrierplatte zwischen Stimmlippe und Glasprisma eingelegt (Abmessungen 25 × 25 × 6 mm mit 0,5 mm tiefen Rillen). Die Platte wurde fest gegen das Prisma gelegt und ein Bild der Platte wurde mit der Kamera aufgenommen. In Abb. 2a ist ein Schema des Aufnahmeaufbaus dargestellt. Die Kalibrierplatte weist mehrere Orientierungspunkte mit bekannten Abständen voneinander in drei Dimensionen auf, wie in Abb. 2b dargestellt. Diese Abstände können dann zur Kartierung und Extrapolation des rekonstruierten 3D-Raums verwendet werden.

Visualisierung von (a) dem 3D-Rekonstruktionsaufbau für die Kalibrierung, (b) den Merkmalen der Kalibrierungsplatte und (c) dem Aufbau für die 3D-Rekonstruktion der medialen Stimmlippenoberfläche mit denselben Kameraparametern wie für die Kalibrierung.

Anschließend wurde die Platte entfernt und die mediale Oberfläche der Stimmlippe aufgenommen. Durch die Bereitstellung eines befeuchteten Luftstroms durch den subglottischen Tubus (mit 1200 ml/s) und die gleichzeitige Stimulation der Kehlkopfnerven (siehe Abschnitt „Phonatorische neuromuskuläre Stimulation“) wurde eine Phonation erreicht, wobei die Stimmlippe gegen das Glasprisma oszillierte. Schwingungen der Stimmlippe wurden 1,5 s lang mit 3000 Bildern pro Sekunde und einer räumlichen Auflösung von 512 × 512 Pixeln aufgezeichnet. Ebenso wie das Prisma blieb die Kamera während der Kalibrierung und des gesamten Aufnahmevorgangs fixiert (siehe Abb. 2c). Um zu überprüfen, ob die Kameraparameter konstant bleiben (z. B. Kamera- und Prismenposition), wird die genaue Prismenposition in den aufgezeichneten Bildern im Auge behalten und bei Bedarf eine neue Kalibrierungsaufnahme durchgeführt.

Um während der Schwingung eine Nervenstimulation anzuwenden, wurden die oberen und wiederkehrenden Kehlkopfnerven (SLN und RLN) der linken Stimmlippe freigelegt und Manschettenelektroden (Ardiem Medical, Indiana, PA) an allen Nerven befestigt. Auf diese Weise könnten der durch SLN innervierte Cricothyroid-Muskel (CT) und die durch den RLN-Zweig innervierten Kehlkopfadduktorenmuskeln getrennt stimuliert werden. Durch die Teilung des Nervenzweigs, der den Musculus cricoarytenoideus posterior innerviert, wurde eine Kreuzstimulation vermieden.

Zur Stimulation wurden für jeden Nerv 30 ms lange, ladungsausgeglichene, zweiphasige kathodische Impulse bei 100 Hz über 1,5 s hinweg verwendet. Für jeden Nerv wurden elf Stufen der SLN- und RLN-Aktivierung getestet, von keiner Stimulation (0) bis zu maximaler Stimulation (10). Die Auswirkungen dieser Stimulation wurden von Reddy et al.14 ausführlicher diskutiert. Diese Arbeit konzentriert sich jedoch nicht auf die Auswirkungen von Aktivierungskombinationen, daher wurden nur drei Aktivierungsbedingungen berücksichtigt, die durchschnittliche Stimulationsniveaus abdecken ((1) RLN 4 SLN 5, (2) RLN 5 SLN 5, (3) RLN 6 SLN 5). Zu Demonstrationszwecken wurden grundlegende Parameter berechnet (siehe Oberflächeninterpolation und Zykluserkennung).

Der Prozess der 3D-Rekonstruktion unter Verwendung zweier Ansichten basiert auf33 und kann vereinfacht mit Gl. ausgedrückt werden. (1). Im ersten Schritt (der Kalibrierung) werden bekannte Kombinationen von 2D-Punkten aus beiden Ansichten im Bildraum und deren resultierende 3D-Positionen im realen Raum verwendet, um eine möglichst gute Näherung der Transformationsfunktion T zu erhalten. In einem zweiten Schritt (der Rekonstruktion) Diese Funktion T kann dann auf neue Punktpaare im Bildraum angewendet werden, um ihre entsprechenden unbekannten 3D-Positionen zu erhalten. Daher müssen die Kameraparameter (z. B. Positionierung und Winkel von Kamera und Prisma) in beiden Schritten gleich bleiben.

Zur Kalibrierung wurde zunächst mit einem benutzerdefinierten Softwaretool (GLabel, Friedrich-Alexander-Universität Erlangen-Nürnberg) ein Raster von 17 × 9 Punkten auf den Kalibrierplattenaufzeichnungen markiert und so ein Array von Bildraum-2 × 2D-Punktpositionspaaren bereitgestellt. Aufgrund der bekannten Abmessungen und Abstände zwischen Punkten auf der Platte wurde eine entsprechende Reihe idealer 3D-Positionen im realen Raum für alle Punkte definiert.

Eine erste geschätzte T* wurde durch Anwendung des 2 × 2D-zu-3D-Mapping-Ansatzes basierend auf der von Döllinger et al. beschriebenen linearen Näherungsmethode erhalten.31. Dieser Ansatz nutzt ein Kalibrierungsobjekt, das als orthogonale Basis im realen Raum fungiert. Im Experiment von Döllinger et al. wurde ein Kalibrierwürfel verwendet, der über der Stimmlippe montiert und an der Oberseite des Prismas befestigt wurde. Daher waren das Kalibrierungsobjekt und die Stimmlippenoberfläche immer gleichzeitig sichtbar, aber auch nicht im selben Raum, und die Rekonstruktion war ausschließlich auf die Extrapolation des kalibrierten Bereichs angewiesen. Mit unserem Aufbau wurde die orthogonale Basis aus Punkten auf der Kalibrierplatte abgeleitet. Dies bietet drei Vorteile gegenüber dem vorherigen Ansatz: (1) Da das Gitter im gleichen Raum wie die Stimmlippe platziert wird (siehe Abb. 2), müssen die x- und y-Abmessungen nicht mehr extrapoliert werden. (2) Für die Kalibrierung aller Bemaßt nicht nur die Kanten eines einzelnen Würfels, sondern das gesamte Gitter, das mehrere „virtuelle“ Quader darstellt, kann verwendet werden, was mehr Punkte für die Kalibrierung und Mittelung ergibt. (3) Für die mediale Oberfläche kann ein größerer Kamerabildausschnitt reserviert werden, da Oberfläche und Kalibrierobjekt nicht gleichzeitig sichtbar sein müssen.

Im Bildraum sind virtuelle Basisvektoren (\(\vec{v}_{1} ,\vec{v}_{2} ,\vec{v}_{3} \,{\text{and}}\, \vec{v}_{1}^{^{\prime}} ,\vec{v}_{2}^{^{\prime}} ,\vec{v}_{3}^{^{\ prime}} \in R^{2}\)) wurden aus den markierten Punkten für jede Ansicht rekonstruiert, wie in Abb. 3 gezeigt. Vektoren in x- und y-Richtung wurden durch Subtraktion benachbarter Punkte auf dem Gitter konstruiert. Da jedoch keine Punkte auf dem Gitter in z-Richtung „exakt über“einander lagen (siehe Abb. 2b), sind die \(\vec{v}_{3}\)-Vektoren (als 2D-Darstellungen von Vektoren, die würde in z-Richtung im 3D-Raum zeigen) musste indirekt konstruiert werden. Wie in Abb. 3 dargestellt, wurden vier Punkte, die einem Punkt in einem Messgerät benachbart waren, verwendet, um einen virtuellen Punkt p' zu konstruieren, der genau „über“ dem markierten Punkt im Messgerät lag. Durch die Verbindung dieser Punkte könnten Vektoren in \(\vec{v}_{3}\)-Richtung konstruiert werden. Die Vektoren wurden dann für jede Ansicht und Richtung gemittelt, was zu drei 2D-Vektoren für jede Ansicht führte (\(\vec{v}_{1} = \left( {x_{1} ,y_{1} } \right), \vec{v}_{2} = \left( {x_{2} ,y_{2} } \right),\vec{v}_{3} = \left( {x_{3} ,y_{3 } } \right)\) und \(\vec{v}_{1} ^{\prime} = \left( {x_{1} ^{\prime},y_{1} ^{\prime}} \ rechts), \vec{v}_{2} ^{\prime} = \left( {x_{2} ^{\prime},y_{2} ^{\prime}} \right),\vec{v }_{3} ^{\prime} = \left( {x_{3} ^{\prime},y_{3} ^{\prime}} \right)\)).

Rekonstruktion eines Arrays virtueller Würfel aus Kalibrierplattenpunkten.

Anschließend Matrix \(F\), die die lineare Abbildung vom 3D + 1 realen Raum auf den 2 × 2D-Bildraum beschreibt (\(F: R^{4} \to R^{2} \times R^{2}\ )), wurde aus den Basisvektoren \(\vec{v}_{1} ,\vec{v}_{2} ,\vec{v}_{3} und \vec{v}_{1} konstruiert ^{^{\prime}} ,\vec{v}_{2}^{^{\prime}} ,\vec{v}_{3}^{^{\prime}} \in R^{2 }\) mit einem hinzugefügten vierten Basisvektor als „Hilfsdimension“, um eine Matrixinversion zu ermöglichen, wie in Gl. (2). Mithilfe der Nelder-Mead-Optimierung wurde das erste optimierte \(F^{*}\) berechnet und die Umkehrung von \(F^{*}\) kann zur Abbildung des 2 × 2D-Bildraums auf den 3D + 1 realen Raum verwendet werden. Daher ist der von Döllinger et al. vorgeschlagene 3D-Rekonstruktionsalgorithmus. wurde an dieser Stelle reproduziert31.

Um die rekonstruierten 3D-Punkte \(p^{\# }\) an einem ausgewählten nützlichen realen Raumkoordinatensystem auszurichten, muss eine bestimmte Drehung und Verschiebung auf die rekonstruierten Punkte angewendet werden. Eine Rotationsmatrix R und ein Verschiebungsvektor S wurden ermittelt, um die rekonstruierten 3D-Gitterpunkte \(p^{\# }\) an ihren realen 3D-Raumpositionen auszurichten, die durch die Abmessungen der Kalibrierungsplatte definiert sind. Wenn die anfängliche Schätzung \(F^{*}\) keinen quadratischen Mittelwertfehler zwischen den rekonstruierten 3D-Positionen \(p^{\# }\) und den idealen 3D-Positionen im realen Raum von weniger als 0,08 mm ergibt, weiter Es findet eine iterative Nelder-Mead-Optimierung statt, bei der die quadratische Fehlersumme minimiert und dabei F, R und S optimiert werden, bis der Algorithmus innerhalb von 100 Iterationen keine weitere Verbesserung mehr liefert. Dies ermöglicht eine erfolgreiche 3D-Rekonstruktion auch in Fällen, in denen der ursprüngliche Algorithmus zu einem verzerrten Bild geführt hätte (z. B. wenn der Winkel zwischen Kamera und Prisma zu groß ist). Daher ist die endgültige Transformationsfunktion T in Gleichung dargestellt. (3). Der gesamte Algorithmus wurde in Matlab (R2021b) Update 1) implementiert.

Durch den Vergleich der rekonstruierten 3D-Koordinaten mit den optimalen theoretischen Positionen können nur genaue Informationen über den Fehler in Bezug auf den von der Kalibrierungsplatte abgedeckten 3D-Raum erhalten werden, dh ein Volumen, das später die gesamte Stimmlippe in x- und y-Dimension abdeckt, jedoch nur deckt 0,5 mm in z-Richtung ab (von und zur Glasprismaoberfläche). Es wird erwartet, dass der Fehler mit zunehmendem Abstand vom Glasprisma aufgrund der zugrunde liegenden linearen Näherungsmethode, die 3D-Positionen extrapoliert, langsam zunimmt und die Genauigkeit der markierten Punkte mit zunehmendem Abstand zum Glas abnimmt. Aus diesem Grund wurde das folgende Experiment konzipiert, um zu analysieren, wie sich der Fehler bis zu 15 mm von der Glasoberfläche entfernt verhält:

Ein manuelles Positionierungssystem (A40 Series UniSlide, Velmex Inc., Bloomfield, NJ) wurde eingerichtet und das rechtwinklige transparente Glasprisma über dem vorderen Ende des Systems fixiert. Aus Gründen der Praktikabilität wurde das Prisma für eine vertikale Aufteilung der Ansichten fixiert. Die Kalibrierplatte wurde am vorderen Ende des Systems in aufrechter Position platziert und hatte Kontakt mit der Basis auf der Hypotenusenseite des Prismas. Mit der stationären Hochgeschwindigkeitskamera Phantom v210 wurden mehrere Bilder aufgenommen, in denen die Platte in 15 1-mm-Schritten von 0 mm von der Prismenoberfläche bis zu einem Abstand von 15 mm vom Prisma wegbewegt wurde. Die Abstandseinstellung erfolgte manuell mit einer Genauigkeit von 0,01 mm. Der Abstand zwischen der Kamera und der Prismenoberfläche betrug 1 m, was dem oberen Grenzabstand entspricht, der in In-vivo-Experimenten verwendet wird, bei denen die Kamera häufig näher platziert wird. Der gesamte Aufbau ist in Abb. 4 schematisch dargestellt.

Darstellung des zur Validierung des 3D-Rekonstruktionsalgorithmus verwendeten Aufbaus.

Um auch den Einfluss unterschiedlicher Kamerawinkel zu erfassen, wurde die Kamera anschließend um 5° und 10° um die Quer- und Längsachse des Prismas gedreht und das Experiment wiederholt. Alle transversalen Aufnahmesitzungen sind in Abb. 5 (a) 0°, (b) 5° und (c) 10° dargestellt. Für die entsprechende Längsdrehung wurde das Prisma um 90° gedreht und der Vorgang wiederholt.

Darstellung der Querachsendrehungen um (a) 0°, (b) 5° und (c) 10°.

Der Rekonstruktionsraum wurde nur anhand der Aufnahme der dem Prisma nächstgelegenen Kalibrierplatte kalibriert. In dieser Kalibrierungsaufzeichnung wurde ein Gitter aus 152 Punkten markiert (ein 17 × 9-Array von Orientierungspunkten, wobei ein Punkt als Markierung für die Gitterorientierung weggelassen wurde). Alle Aufnahmen der weiter vom Prisma entfernten Kalibrierplatte wurden für die 3D-Rekonstruktion basierend auf dieser Erstkalibrierung verwendet. Dh diese Aufnahmen wurden als Aufnahmen von „Rekonstruktionsobjekten“ behandelt. In diesen Aufnahmen wurde nur eine 9 × 9-Matrix von Orientierungspunkten markiert, um die Klickgenauigkeit in größerer Entfernung vom Prisma zu erhöhen und überlappende Markierungen zu vermeiden. Auf der Grundlage dieses 9 × 9-Gitters wurden jeweils Fehler zwischen 3D-rekonstruierten Landmarkenpositionen und den bekannten realen Landmarkenpositionen (ideale Positionen) in einem Abstand von 1 bis 15 mm vom Prisma berechnet.

Es wurde die Wirkung von sechs möglichen Einflussfaktoren untersucht: (1) der Einfluss des Abstandes zwischen Prismenoberfläche und rekonstruierten Punkten (2) der Einfluss von Rotationen auf die Prismenquerachse (3) der Einfluss von Rotationen auf die Prismenlängsachse (4 ) der Einfluss unterschiedlicher Anzahlen von zur Kalibrierung verwendeten Punkten in der Kalibrierungsaufnahme (5) der Einfluss der Extrapolation des kalibrierten Raums in x- und y-Richtung (6) der Einfluss sich ändernder Kameraparameter zwischen Kalibrierung und Rekonstruktion. Letzteres wurde dadurch erreicht, dass die 0°-Kalibrierungsaufnahmen (Abstand zwischen Platte und Prismenoberfläche 0 mm) zur Kalibrierung der jeweiligen 5°-Transversal- und Längsrotationsaufnahmen für die Rekonstruktion (Abstand zwischen Platte und Prismenoberfläche 1 bis 15 mm) verwendet wurden.

Zur Validierung des 3D-Rekonstruktionsprozesses wurden zwei Fehlermaße berechnet. Der Positionsfehler spiegelt die exakte absolute Abweichung zwischen jeder rekonstruierten 3D-Gitterpunktposition und der erwarteten idealen Position dieses 3D-Gitterpunkts im realen Raum in x-, y- und z-Richtung wider. Der Verzerrungsfehler setzt die gemessenen Abstände zwischen rekonstruierten Punkten auf der Kalibrierplatte mit ihren erwarteten idealen Abständen in Beziehung, dh er misst Änderungen in den Abmessungen des rekonstruierten Gitters auf der Kalibrierplatte im Vergleich zu bekannten tatsächlichen Abmessungen. Eine Verzerrung der rekonstruierten Oberfläche ist kritischer als eine systematische Positionsfehlausrichtung. Aufgrund der geringen Dicke der Kalibrierplatte kann die Verzerrung jedoch irreführend hoch sein. Aus diesem Grund werden in den meisten Auswertungen beide Fehlerarten einbezogen.

Eine bildliche Zusammenfassung des Prozesses von der In-vivo-Messung bis zur 3D-Datenextraktion ist in Abb. 6 dargestellt. Im ersten Schritt (a) wird ein Kalibrierungsbild aufgenommen. Ohne Veränderung der Kamera- oder Prismenposition wird nach dem Entfernen der Kalibrierplatte (b) die mediale Oberfläche mit einer Reihe tätowierter Orientierungspunkte aufgezeichnet. (c) Diese Orientierungspunkte werden hervorgehoben und verfolgt. (d) Die entsprechenden 2D-Positionen aller Marker werden in Matlab importiert (wenn auf der Stimmlippe im 2D-Raum tätowierte Orientierungspunkte für bis zu 3 Bilder in einer Ansicht verdeckt waren oder beide Positionen linear interpoliert wurden). (e) Unter Verwendung des zuvor beschriebenen Algorithmus wird die 3D-Position jedes Punkts rekonstruiert und (f) die durch die 3D-Punktpositionen gebildete 3D-Oberflächenform wurde durch Spline-Interpolation berechnet (unter Verwendung der Matlab-Funktion Griddata mit der Interpolationsmethode „kubisch“34). (g) Für die Zykluserkennung wurde ein schmaler Unter-Oberseiten-Schnitt der Oberfläche ausgewählt, der 20 % des gesamten Anterior-Posterior-Bereichs und 60 % des gesamten Superior-Inferior-Bereichs abdeckte. (h) Das Volumen wurde auf der Grundlage eines breiten Oberflächenschnitts berechnet, der 80 % des gesamten anterior-posterioren Bereichs und 20 % des gesamten superior-inferioren Bereichs abdeckt. (i) Basierend auf diesen Auswahlen wurden zu Demonstrationszwecken das Volumen über die Zeit und die grundlegenden Phasenlängen (Öffnen, Schließen und Schließen) für die drei zuvor genannten Stimulationsniveaus ((1) RLN 4 SLN 5, (2) RLN 5 SLN) berechnet 5, (3) RLN 6 SLN 5). Die Messungen wurden einzeln für drei aufeinanderfolgende Zyklen berechnet und dann gemittelt.

Zusammenfassung des 3D-Rekonstruktionsprozesses, der (a) Kalibrierung, (b) mediale Oberflächenaufzeichnung, (c) Verfolgung von Orientierungspunkten, (d) Importieren von 2D-Markerpositionen, (e) 3D-Rekonstruktion, (f) Oberflächeninterpolation, (g) Zykluserkennung umfasst , (h) Volumenberechnung und (i) Datengenerierung.

Zyklen wurden wie folgt bestimmt: Lokale Volumenmaxima zwischen der schmalen Oberflächenscheibe (Abb. 6g) und der Prismenglasoberfläche bestimmen den Zyklusstart. Die geschlossene Phase jedes Zyklus wird dann durch den Mindestabstand zwischen der rekonstruierten Oberfläche und der Glasplatte für jede rekonstruierte „Linie“ (dh koronalen Schnitt) der Oberfläche bestimmt, die in jedem Bild von unten nach oben reicht. Wenn mehr als 50 % der Linien, aus denen ein Oberflächenschnitt besteht, näher als 0,02 mm an der Prismenoberfläche liegen, wird der entsprechende Rahmen als vollständig „geschlossen“ markiert. Anschließend werden einzelne unmarkierte Frames, die zwischen mehreren als „geschlossen“ markierten Frames verbleiben, ebenfalls als geschlossen markiert und umgekehrt. Die Schließphase wurde dann als vom Zyklusanfang bis zum ersten geschlossenen Rahmen reichend bestimmt, die Schließphase als vom vorletzten bis zum vorletzten geschlossenen Rahmen reichend und die Öffnungsphase als vom letzten geschlossenen Rahmen bis zum Zyklusende reichend. Alle rekonstruierten Videos sind in der ergänzenden Videosammlung (Ergänzende Videos S1) enthalten.

Alle Experimente in dieser Studie wurden in Übereinstimmung mit den Empfehlungen im Leitfaden für die Pflege und Verwendung von Labortieren der National Institutes of Health durchgeführt. Die Studie wurde vom Animal Research Committee (ARC) der University of California, Los Angeles (Protokollnummer: ARC-2010-021) genehmigt. Diese Studie entspricht den ARRIVE-Richtlinien.

In Abb. 7 sind der Positionsfehler und der Verzerrungsfehler für die x-, y- und z-Dimension für einen sich ändernden Abstand zum Prisma von 1 bis 15 mm dargestellt. (a) Eine schematische Visualisierung des Positionsfehlers und der Richtung der x-, y- und z-Achse im realen Raum wird dargestellt. Dabei ist x als Querachse des Prismas, y als Längsachse und z als Frontachse definiert. (b) Der Positionsfehler in x-Richtung und y-Richtung nimmt mit zunehmendem Abstand der Platte vom Prisma langsam zu. Der absolute Fehler in Z-Richtung zeigt mit zunehmender Entfernung keinen merklichen Anstieg. Wie in (c) dargestellt, kann der gemessene Verzerrungsfehler als Streckung oder Stauchung des rekonstruierten Gitters verstanden werden. Dieser Fehler wurde als relativer Wert in Prozent berechnet. Für (d) x- und y-Dimension nimmt dieser Fehler mit zunehmendem Abstand zum Prisma geringfügig zu. Der Fehler in z-Richtung zeigt deutlich mehr Rauschen, aber keinen eindeutigen Zusammenhang mit der Entfernung zum Prisma.

(a) Darstellung der Positionsfehlerberechnung. (b) Positionsfehler in x-, y- und z-Dimension für Plattenabstände von 1 bis 15 mm zum Prisma. (c) Darstellung der Verzerrungsfehlerberechnung. (c) Verzerrungsfehler in x-, y- und z-Dimension für Plattenabstände von 1 bis 15 mm zum Prisma.

In Abb. 8 sind Lage- und Verzerrungsfehler für 5° und 10° Drehungen um die Querachse des Prismas dargestellt. Die linke Spalte der Abbildung zeigt Positions- und Verzerrungsfehler für eine Drehung um 5° und die rechte Spalte für eine Drehung um 10°. Wie in (a) und (b) gezeigt, bleibt der Positionsfehler für 5° und 10° für die x- und y-Dimension sehr gering und nimmt mit zunehmendem Abstand vom Prisma in z-Richtung zu. Der Verzerrungsfehler für (c) 5° und (d) 10° erhöht sich nur in z-Richtung.

Positionsfehler von (a) 5° und (b) 10° quer gedrehten Aufnahmen und Verzerrungsfehler von (c) 5° und (d) 10° längs gedrehten Aufnahmen mit zwei Standardabweichungen.

Analog sind in Abb. 9 Positions- und Verzerrungsfehler für 5° und 10° Drehungen um die Längsachse des Prismas dargestellt. Auch hier bleibt der Positionsfehler in x- und y-Richtung gering und nimmt in z-Richtung mit zunehmendem Abstand vom Prisma zu. Der Verzerrungsfehler nimmt auch in Z-Richtung zu.

Positionsfehler von (a) 5° und (b) 10° längsgedrehten Aufnahmen und Verzerrungsfehler von (c) 5° und (d) 10° längsgedrehten Aufnahmen mit zwei Standardabweichungen.

Um den Einfluss einer geringeren Anzahl von für die Kalibrierung verwendeten Punkten und kleinerer Kalibriervolumina (die eine Extrapolation des kalibrierten Raums in x- und y-Richtung erforderlich machen) zu bewerten, wurde die erste Bewertung (Einfluss des Abstands) mit kleineren Kalibriergittern wiederholt. In Abb. 10a sind die für die Kalibrierung verwendeten Gitter aus dem ursprünglichen 152-Punkte-Gitter und reduzierten 90-Punkte- und 44-Punkte-Gitter dargestellt. Eine weitere Reduzierung auf 14 Punkte führte dazu, dass der Algorithmus nicht konvergierte und wird daher hier nicht berücksichtigt, da kein Fehler berechnet werden konnte. Abbildung 10b ist eine schematische Darstellung der kalibrierten Volumina und eines Objekts zur Rekonstruktion relativ zum kalibrierten Raum. Abbildung 10c zeigt den gesamten Positionsfehler für alle drei Kalibrierungsgitter, berechnet als durchschnittlicher euklidischer Abstand zwischen rekonstruierten Punkten und ihren idealen Positionen. Bei den Kalibrierungsaufnahmen mit einer geringeren Anzahl von Punkten nimmt der Fehler mit zunehmender Entfernung schneller zu. Das Raster aus 90 Punkten wies den höchsten Fehler auf, da bei dieser Aufzeichnung der anfängliche Kalibrierungsfehler unter dem Schwellenwert von 0,08 mm lag und daher eine weitere Optimierung übersprungen wurde, was zu einem etwas höheren Endfehler führte. Der Verformungsfehler (nicht dargestellt) änderte sich zwischen den Gittergrößen nicht merklich.

Fehleränderung basierend auf der Fläche und der Anzahl der für die Kalibrierung verwendeten Punkte. (a) Bilder der drei verschiedenen Kalibrierungsgitter, die für diese Bewertung verwendet wurden. (b) Schema der verschiedenen kalibrierten Bereiche und wo das Objekt für die Rekonstruktion platziert würde. (c) Gesamtpositionsfehler, berechnet als durchschnittlicher euklidischer Abstand zwischen rekonstruierten Punkten und ihren idealen Positionen.

In Abb. 11 sind Positions- und Verzerrungsfehler für die Experimente dargestellt, die den Einfluss sich ändernder Kameraparameter zwischen Kalibrierung und Rekonstruktion untersuchen. Die linke Spalte der Abbildung zeigt Fehler, wenn die 5°-Querrotationsaufnahmen mit den 0°-Kalibrierungsaufnahmen kalibriert wurden, und die rechte Spalte zeigt analog Fehler, wenn die 5°-Längsrotationsaufnahmen mit den 0°-Kalibrierungsaufnahmen kalibriert wurden. Wie in Abb. 11 (a) zu sehen ist, ist der Positionsfehler in der x- und y-Dimension sehr hoch und in der z-Dimension moderat. Der Fehler bleibt in x-Richtung weitgehend konstant, ändert sich jedoch in y-Richtung bei Querrotation und (b) umgekehrt bei Längsrotation. Die Nichtlinearität des x-dimensionalen Fehlers ist darauf zurückzuführen, dass die rekonstruierte Oberfläche mit zunehmendem Abstand vom Prisma in x-Richtung „driftet“, ihre ideale Position erreicht und sich dann weiter in die gleiche Richtung bewegt, wobei sie sich wieder von der idealen Position entfernt. Außerdem wird die Standardabweichung in der Z-Dimension erhöht. Im Vergleich dazu bleiben die Verzerrungsfehler, wie in (c) und (d) zu sehen, gering.

(a) Positionsfehler von 5°-Querrotationsaufzeichnungen, kalibriert mit 0°-Kalibrierung, (b) Positionsfehler von 5°-Längsrotationsaufzeichnungen, kalibriert mit 0°-Kalibrierung, (c) Verzerrungsfehler von 5°-Querrotationsaufzeichnungen, kalibriert mit 0°-Kalibrierung und (d) Verzerrungsfehler von 5°-Längsrotationsaufzeichnungen, kalibriert mit 0°-Kalibrierung. Alle Fehler werden mit zwei Standardabweichungen angegeben.

Zur Validierung der vorherigen Version dieses Aufbaus wurde ein Kalibrierungsfehler (cE) basierend auf der Verzerrung der Längen des verwendeten Kalibrierungswürfels (5 mm3) berechnet. Dieser Fehler wurde als absolute Abweichung von der idealen Würfellänge von 5 mm für jede Seite und für die Würfeldiagonale33 angegeben. Zum Vergleich haben wir den absoluten und relativen Verzerrungsfehler auf die gleiche Weise berechnet, basierend auf 2 × 2 × 0,5 Gittersegmenten, die Quader bilden. In Tabelle 1 sind absolute und relative Verzerrungsfehler (dh Abweichungen der Würfel-/Quaderlängen von ihren Ideallängen) für die vorherige Version dieses Aufbaus und den aktuellen, erweiterten Aufbau angegeben. Der absolute Fehler des erweiterten Setups ist zwischen vier und 20 Mal geringer.

In Tabelle 2 sind Durchschnittswerte und Standardabweichungen für die vier berechneten dynamischen Kehlkopfmaße und die drei Stimulationskombinationen angegeben. Zusätzlich wird ein Gesamtdurchschnitt über die Bedingungen und die entsprechende Standardabweichung angegeben, was die Gesamtvariation angibt.

In dieser Studie haben wir den ursprünglich von Döllinger et al.31 vorgeschlagenen 3D-Rekonstruktionsaufbau und -algorithmus des Kehlkopfes auf verschiedene Weise angepasst, um die Anwendung bei In-vivo-Aufzeichnungen zu erleichtern und Rekonstruktionsfehler zu verbessern. Wir haben die Durchführbarkeit verbessert, indem wir die Prismenposition fixiert und so eine andernfalls erforderliche kontinuierliche Neukalibrierung aufgrund der Atmung des Tieres in vivo und damit die Einführung einer leichten Prismenbewegung umgangen haben. Wir haben den Rekonstruktionsfehler verringert, indem wir den Kalibrierungswürfel durch eine Kalibrierungsplatte ersetzt haben, was eine größere Anzahl „bekannter Punkte“ für die Kalibrierung ermöglicht und gleichzeitig den größten Teil der sonst erforderlichen Extrapolation des kalibrierten Raums umgangen hat. Wir haben dem 3D-Rekonstruktionsalgorithmus einen Optimierungsschritt hinzugefügt, falls die erste F-Matrix-Schätzung keine überzeugenden Ergebnisse liefert, wodurch er robuster gegenüber Kamerawinkelfehlern wird. Wir haben mehrere Experimente durchgeführt, um Rekonstruktionsfehler auf der Grundlage verschiedener potenzieller Fehler zu quantifizieren, die in realen Experimenten auftreten können, und schließlich ergänzen wir diese Arbeit durch eine Matlab-Implementierung des besprochenen Algorithmus, einschließlich einer Beispielkalibrierung und Oberfläche für die Rekonstruktion (Ergänzungscode S2).

Wie erwartet nimmt der Gesamtfehler im Allgemeinen mit zunehmendem Abstand zwischen der Prismenoberfläche und den rekonstruierten Punkten zu. Eine Ausnahme von diesem Trend ist der Positionsfehler in Z-Richtung (Abstand von der Prismenglasplatte), der eine stärkere Abhängigkeit vom Aufnahmewinkel aufweist und bei einem perfekt senkrechten Winkel keinen merklichen Anstieg mit dem Abstand zeigt. In In-vivo-Umgebungen kann ein perfekt senkrechter Winkel nicht immer garantiert werden, doch selbst für den Extremfall einer Kamerawinkelabweichung von 10° in Quer- und Längsrotationsexperimenten überschreitet der Positions-Z-Fehler 0,6 mm bei einem maximalen Abstand von 15 mm nicht vom Prisma. Frühere Hemilarynx-Phonationsstudien zeigten, dass die mediale Oberfläche der Stimmlippe in diesen Anordnungen nie weiter als 5 mm von der Prismenoberfläche entfernt ist, z. B.35.

Der Verzerrungsfehler, der die Plattenverformung aufgrund der Rekonstruktion beschreibt, bleibt für die x- und y-Richtung gering. Der Verzerrungsfehler in Z-Richtung weist ein hohes Rauschen auf, der Positionsfehler ist jedoch gering. Dieser Unterschied ist zu erwarten, da die Platte nur 0,5 mm tief ist, im Gegensatz zu der viel größeren Ausdehnung in x- und y-Richtung (9 mm und 17 mm, abgedeckt durch markierte Punkte). Dh ein Verzerrungsfehler von 10–20 % entspricht lediglich einer absoluten Abweichung von 0,05–0,1 mm.

Durch die Verringerung der Anzahl der zur Kalibrierung verwendeten Punkte, die eine Extrapolation des kalibrierten Raums in x- und y-Richtung erforderlich machen, erhöht sich der Gesamtfehler nur geringfügig. Dies ist zu erwarten, da bereits gezeigt wurde, dass die zur Schätzung der F-Matrix verwendete lineare Näherungsmethode gut für die Extrapolation des kalibrierten Raums geeignet ist33. Um optimale Ergebnisse zu erzielen, kann es jedoch dennoch ratsam sein, eine große Anzahl von Punkten für die Kalibrierung zu verwenden. Der etwas höhere Fehler im 90-Punkte-Raster dürfte auf den Wegfall der Kalibrierungsoptimierung zurückzuführen sein, da die Fehlerschwelle von 0,08 mm bereits nach dem ersten Kalibrierungsschritt erreicht wurde. Der Fehlerschwellenwert wurde festgelegt, da wir festgestellt haben, dass in diesem Fehlerbereich eine zusätzliche Optimierung zu einem geringeren Fehler in x- und y-Richtung auf Kosten eines höheren Fehlers in z-Richtung führen könnte.

Durch die Kalibrierung von 5°-Quer- und Längsrotationsaufzeichnungen mit der 0°-Kalibrierungsaufzeichnung wurde eine versehentliche kleine Änderung der Kameraposition zwischen Kalibrierung und Rekonstruktion simuliert. Dies führte zu hohen Positionsfehlern in x- und y-Richtung, aber immer noch akzeptablen Fehlern in z-Richtung und geringen Verzerrungsfehlern. Abhängig von der Drehung ändert sich der Positionsfehler in x- oder y-Richtung um ca. 0,5 mm pro 5 mm Abstand vom Prisma. Dies impliziert, dass diese Art der Änderung zwischen Kalibrierung und Rekonstruktion hauptsächlich zu Änderungen in der Gesamtposition der rekonstruierten Oberfläche führt. Abhängig vom Abstand vom Prisma treten jedoch geringfügige lineare Verzerrungen auf, die den Anschein einer leichten Diagonalbewegung während der Stimmlippenschwingung bzw. einer leichten Verzerrung der Oberfläche erwecken. Die höhere Standardabweichung des Positionsfehlers in z-Richtung für die 5°-Längsrotationsrekonstruktionen impliziert auch eine sehr geringfügige zusätzliche Drehung der Rekonstruktion. Im Versuchsaufbau kann eine solche Änderung der Kameraparameter selten auftreten, da sie im Voraus sichtbar ist und normalerweise vermieden wird.

Der translatorische Wert dieser Arbeit liegt in Anwendungen, bei denen sich schnell bewegende Objekte mit hoher Präzision in einem kleinen, zugänglichen 3D-Bereich rekonstruiert werden müssen. Ein Beispiel hierfür sind Anwendungen in der Particle Image Velocimetry (PIV). Bei der tomografischen PIV passieren Partikel auf ihrem Weg durch einen Lufttunnel ein laserbeleuchtetes Volumen, das Partikel sichtbar macht, um die 3D-Rekonstruktion ihrer Positionen in Hochgeschwindigkeitsaufnahmen mit vier Kameras zu ermöglichen36. In Aufbauten, in denen die Partikelüberlappung nicht kritisch ist (da Partikel in der Vorderseite andere hinter ihnen verdecken), konnten mit dem in dieser Studie validierten Aufbau 3D-Partikelpositionen mit nur einer Kamera rekonstruiert werden37. In ähnlicher Weise könnten sich bewegende oder vibrierende 3D-Oberflächen kleiner und mittlerer Größe rekonstruiert werden, wenn das Kalibrierungsgitter und das Prisma entsprechend vergrößert oder verkleinert werden38. Darüber hinaus ist es für die translatorische Anwendung von entscheidender Bedeutung, dass Sätze gepaarter 2D-Punkte in den Split-View-Aufzeichnungen identifiziert werden können. Dies kann in manchen Fällen die Übertragbarkeit behindern. Im Allgemeinen hängen die genauen Änderungen, die an der beschriebenen Einrichtung und dem bereitgestellten Quellcode (Zusatzcode S2) vorgenommen werden müssten, weitgehend von der spezifischen Aufgabe ab, die ausgeführt werden muss, und können daher hier nicht im Detail beschrieben werden.

Wie die Experimente zeigen, ist der gesamte Rekonstruktionsfehler des vorgeschlagenen Verfahrens gering. Der Gesamtpositionsfehler in allen Richtungen überschreitet durchschnittlich 0,12 mm für die senkrechte Kamerawinkelaufnahme in einem Abstand von 5 mm vom Prisma; der maximale Abstand, den die Stimmlippenoberfläche vom Prisma in den meisten Phonationsexperimenten erreicht. Selbst wenn erhebliche Abweichungen des Kamerawinkels vom senkrechten Aufnahmewinkel auftreten, bleibt der Rekonstruktionsfehler gering (ca. 0,16 bis 0,17 mm bei einem Abstand von 5 mm vom Prisma). Eine Reduzierung der Punkte für die Kalibrierung, die eine Extrapolation in x- und y-Richtung erfordert, erhöht den Fehler nur geringfügig, solange eine ausreichende Anzahl von Punkten übrig bleibt. Solange die Stimmlippe nicht wesentlich (mehrere cm) vom kalibrierten Volumen abweicht, haben Bewegungsänderungen, Dehnungen oder Stauchung oder Änderungen der Abstände zwischen Orientierungspunkten auf der Stimmlippe keinen Einfluss auf den Fehler. Versehentliche Änderungen der Kameraposition zwischen Kalibrierung und Rekonstruktion sollten vermieden werden, die Auswirkungen sind jedoch tolerierbar, solange die Änderungen gering sind. Der Vergleich dieses Setups mit der Vorgängerversion zeigt eine deutliche Verbesserung des Rekonstruktionsfehlers.

Für die Demonstration wurde nur ein Eckzahn verwendet und die Tiefe der Rillen auf der Kalibrierplatte beträgt derzeit nur 0,5 mm. Obwohl der Fehler in Z-Richtung gering ist, könnte er durch tiefere Rillen wahrscheinlich weiter reduziert werden, was eine genauere Kalibrierung in Z-Richtung ermöglicht.

Der aktuelle 3D-Rekonstruktionsansatz basiert auf der manuellen Markierung und Verfolgung der Orientierungspunkte auf der Stimmlippe. Aufgrund häufiger Reflexionen und Schatten sowie Einschränkungen der verwendeten Kamera ist bisher kein zuverlässiger vollautomatischer Tracking-Algorithmus gegeben. Daher ist die Zeit zum Markieren von Orientierungspunkten derzeit der größte Engpass dieser 3D-Rekonstruktionstechnik, der die Datengenerierung verlangsamt. Wir arbeiten aktiv an der Verbesserung der Prozess- und Bildqualität, um in Zukunft die erfolgreiche Einführung neuronaler Netzwerk-basierter automatisierter Tracking-Ansätze zu ermöglichen.

Da außerdem nur die markierten Punkte rekonstruiert werden und die verbleibende Oberfläche zwischen diesen Punkten interpoliert wird, hängt die Genauigkeit der 3D-Rekonstruktion auch von der Anzahl der Punkte und der Dichte des markierten Punktrasters auf der Stimmlippe ab. Da die Stimmlippe jedoch eine glatte Oberfläche hat, sollten keine wesentlichen Fehler auftreten, solange eine ausreichende Anzahl von Punkten tätowiert wurde.

In dieser Arbeit haben wir einen neuen Aufbau für die 3D-Rekonstruktion bewegter Gewebeoberflächen vorgeschlagen und validiert, der auf früheren Arbeiten von Chhetri et al.2,3 und Döllinger et al.31 aufbaut. Wir haben die 3D-Rekonstruktionsmethode von Döllinger et al.31 weiterentwickelt, indem wir die Anwendung für In-vivo-Aufnahmen durch die Einführung eines festen Prismas und einer plattenbasierten Kalibrierung vereinfacht haben. Wir haben den Rekonstruktionsalgorithmus erweitert, um ihn robuster gegenüber Abweichungen im Aufnahmewinkel und Änderungen der Kameraparameter zu machen. Mithilfe des etablierten Protokolls zur Stimulation des Kehlkopfnervs von Chhetri et al.2,3 in Kombination mit diesen Anpassungen wurde die In-vivo-3D-Rekonstruktion der oszillierenden Stimmlippenmedialoberfläche in Kombination mit gleichzeitiger Nervenstimulation verbessert. Die Präzision dieser Rekonstruktion wurde validiert und zeigte einen maximalen Gesamtpositionsdurchschnittsfehler von 0,12 mm in einem Abstand von bis zu 5 mm von der Prismenoberfläche für die senkrechte Aufzeichnung und übertraf damit die vorherige Version dieses Aufbaus33 und andere etablierte In-vivo-3D-Rekonstruktionsmethoden in Bezug auf die räumliche Auflösung23,24. Abschließend wurde die Nützlichkeit dieses Aufbaus demonstriert, indem drei Aufnahmen der medialen Stimmlippenoberfläche rekonstruiert und grundlegende Parameter berechnet wurden. Die Anwendung dieses Aufbaus ist nicht auf die Stimmforschung beschränkt, da die Algorithmen vollständig oder teilweise auf andere Probleme37,38 angewendet werden können, die eine genaue Rekonstruktion zugänglicher beweglicher Oberflächen oder Partikel erfordern.

Alle relevanten Daten für eine Nachbildung des beschriebenen 3D-Rekonstruktionsalgorithmus finden Sie im Zusatzmaterial. Für Datenanfragen zu dieser Studie wenden Sie sich bitte an [email protected].

Titze, IR Principles of Voice Production, 2. Auflage, National Center for Voice and Speech, IA: Iowa City, 2000

Chhetri, DK, Neubauer, J. & Berry, DA Abgestufte Aktivierung der intrinsischen Kehlkopfmuskulatur für die Stimmlippenhaltung. J. Acoust. Soc 127, EL127–EL133 (2010).

Artikel ADS Google Scholar

Vahabzadeh-Hagh, AM, Zhang, Z. & Chhetri, DK Quantitative Bewertung der medialen Oberflächenform der Stimmlippe in vivo. J. Voice 31, 513.e15-513.e23 (2017).

Artikel PubMed Google Scholar

Zhang, Z. Mechanik der menschlichen Stimmproduktion und -kontrolle. J. Acoust. Soc. Am 140, 2614–2635 (2016).

Artikel ADS PubMed PubMed Central Google Scholar

Saggio, G. & Costantini, G. Weltweite gesunde Basisparameter für die Stimme erwachsener Menschen: Eine umfassende Übersicht. J. Voice 36, 637–649 (2022).

Artikel PubMed Google Scholar

Inwald, EC, Döllinger, M., Schuster, M., Eysholdt, U. & Bohr, C. Multiparametrische Analyse von Stimmlippenschwingungen bei gesunden und gestörten Stimmen in der Hochgeschwindigkeitsbildgebung. J. Voice 25, 576–590 (2011).

Artikel PubMed Google Scholar

Unger, J., Schuster, M., Hecker, DJ, Schick, B. & Lohscheller, J. Ein verallgemeinertes Verfahren zur Analyse anhaltender und dynamischer Stimmlippenschwingungen aus Kehlkopf-Hochgeschwindigkeitsvideos mithilfe von Phonovibrogrammen. Artif. Intel. Med. 66, 15–28 (2016).

Artikel PubMed Google Scholar

Uloza, V., Vegienė, A., Pribuišienė, R. & Šaferis, V. Quantitative Bewertung der Videolaryngostroboskopie: Zuverlässigkeit der Grundparameter. J. Voice 27, 361–368 (2013).

Artikel PubMed Google Scholar

Roy, N. Funktionelle Dysphonie. Curr. Meinung. Otolaryngol. Kopf-Hals-Chirurgie. 11, 144–148 (2003).

Artikel PubMed Google Scholar

Bonilha, HS, Deliyski, DD, Whiteside, JP & Gerlach, TT Stimmlippenphasenasymmetrien bei Patienten mit Stimmstörungen: Eine Studie über Visualisierungstechniken. Bin. J. Speech Lang. Pathol. 21, 3–15 (2012).

Artikel PubMed Google Scholar

Eysholdt, U., Rosanowski, F. & Hoppe, U. Unregelmäßigkeiten der Stimmlippenschwingung, verursacht durch verschiedene Arten von Kehlkopfasymmetrie. EUR. Bogen. Oto-Rhino-L 260, 412–417 (2003).

Artikel CAS Google Scholar

Pedersen M, Jønsson A, Mahmood S, Agersted AA: Welche mathematischen und physiologischen Formeln beschreiben die Stimmpathologie: Ein Überblick. J Gen Pract 4, 2006

Zhang, Z. & Chhetri, DK Auswirkung von Veränderungen der medialen Oberflächenform auf die Stimmproduktion in herausgeschnittenen menschlichen Kehlköpfen. J. Acoust. Soc. Am 146, EL412–EL417 (2019).

Artikel ADS PubMed PubMed Central Google Scholar

Reddy, NK, Schlegel, P., Lee, PY & Chhetri, DK 3D-Rekonstruktion der Form und des Volumens der phonatorischen Stimmritze: Auswirkungen der neuromuskulären Aktivierung (Laryngoskop im Druck, 2022).

Google Scholar

Hoppe, U. et al. Glissando: Kehlkopfmotorik und Akustik. J. Voice 17, 370–376 (2003).

Artikel PubMed Google Scholar

Semmler, M. et al. 3D-Rekonstruktion der menschlichen Kehlkopfdynamik basierend auf endoskopischen Hochgeschwindigkeitsaufnahmen. IEEE Trans. Med. Bildgebung 35, 1615–1624 (2016).

Artikel PubMed Google Scholar

Kopczynski, B., Niebudek-Bogusz, E., Pietruszewska, W. & Strumillo, P. Segmentierung von Stimmritzenbildern aus der Hochgeschwindigkeits-Videoendoskopie, optimiert durch synchrone akustische Aufnahmen. Sensoren 22, 1751 (2022).

Artikel ADS PubMed PubMed Central Google Scholar

DeJonckere, PH & Lebacq, J. Kollisionsgeschwindigkeit der Stimmlippen in vivo: Die Wirkung der Lautstärke. J. Voice 36, 608–621 (2022).

Artikel PubMed Google Scholar

Díaz-Cádiz, ME et al. Abschätzung des Stimmlippenkontaktdrucks durch Hochgeschwindigkeits-Videoendoskopie des rohen Kehlkopfes unter Verwendung eines Hertz-Kontaktmodells. Angewandt 9, 2384 (2019).

Google Scholar

Döllinger, M. et al. Experimente zur Analyse der Stimmproduktion: Ausgeschnittene (Mensch, Tier) und In-vivo-Ansätze (Tier). Curr. Bioinform. 6, 286–304 (2011).

Artikel PubMed PubMed Central Google Scholar

Semmler, M., Berry, DA, Schützenberger, A. & Döllinger, M. Fluid-Struktur-Akustische Wechselwirkungen in einem ex vivo Schweine-Phonationsmodell. J. Acoust. Soc. Am 149, 1657–1673 (2021).

Artikel ADS PubMed PubMed Central Google Scholar

Berke, GS, Neubauer, J., Berry, DA, Ye, M. & Chhetri, DK Ex vivo perfundiertes Kehlkopfmodell der Phonation: Vorstudie. Ann. Otol. Rhinol. Laryngol. 116, 866–870 (2007).

Artikel PubMed Google Scholar

Yumoto, E., Oyamada, Y., Nakano, K., Nakayama, Y. & Yamashita, Y. Dreidimensionale Eigenschaften des Kehlkopfes bei unbeweglicher Stimmlippe. AOHNS 130, 967–974 (2004).

Google Scholar

Miyamoto, M. et al. Dreidimensionale Darstellung des vokalisierenden Kehlkopfes mittels ultrahochauflösender Computertomographie. EUR. Bogen. Oto-Rhino-L 276, 3159–3164 (2019).

Artikel Google Scholar

Luegmair, G., Mehta, DD, Kobler, JB & Döllinger, M. Dreidimensionale optische Rekonstruktion der Stimmlippenkinematik mittels Hochgeschwindigkeitsvideo mit einem Laserprojektionssystem. IEEE Trans. Med. Bildgebung 34, 2572–2582 (2015).

Artikel PubMed PubMed Central Google Scholar

Jiang, JJ & Titze, IR Eine methodische Untersuchung der hemilaryngealen Phonation. Laryngoskop 103, 872–882 (1993).

Artikel CAS PubMed Google Scholar

Alipour, F., Montequin, D. & Tayama, N. Aerodynamische Profile eines Hemilarynx mit einem Stimmapparat. Ann. Otol. Rhinol. Laryngol. 110, 550–555 (2001).

Artikel CAS PubMed Google Scholar

Andrews, RJ et al. Stimmfunktion nach vertikaler Hemilaryngektomie: Vergleich von vier Rekonstruktionstechniken beim Hund. Ann. Otol. Rhinol. Laryngol. 106, 261–270 (1997).

Artikel CAS PubMed Google Scholar

Herbst, C. T., Hampala, V., Garcia, M., Hofer, R., Svec, JG Hemi-Larynx-Aufbau zur Untersuchung der Stimmlippenvibration in drei Dimensionen. JoVE e55303, 2017

LaVision. Davis-Software. Verfügbar unter https://www.lavision.de/de/produkte/davis-software/. Abgerufen am 18. Mai 2023

Döllinger, M., Berry, DA & Berke, GS Mediale Oberflächendynamik einer In-vivo-Hundestimmlippe während der Phonation. J. Acoust. Soc. Am 117, 3174–3183 (2005).

Artikel ADS PubMed Google Scholar

Döllinger, M., Berry, DA & Berke, GS Eine quantitative Untersuchung der medialen Oberflächendynamik einer In-vivo-Hundestimmlippe während der Phonation. Laryngoskop 115, 1646–1654 (2005).

Artikel Google Scholar

Döllinger, M. & Berry, DA Berechnung der dreidimensionalen medialen Oberflächendynamik der Stimmlippen. J. Biomech. 39, 369–374 (2006).

Artikel PubMed Google Scholar

MathWorks. Griddata. Verfügbar unter https://www.mathworks.com/help/matlab/ref/griddata.html. Abgerufen am 22. Juni 2022

Bößenecker, A., Berry, DA, Lohscheller, J., Eysholdt, U. & Döllinger, M. Schleimhautwelleneigenschaften einer menschlichen Stimmlippe. Acta Acust. United Acust. 93, 815–823 (2007).

Google Scholar

Elsinga, GE, Scarano, F., Wieneke, B. & van Oudheusden, BW Tomographische Partikelbild-Geschwindigkeitsmessung. Exp. Flüssigkeiten 41, 933–947 (2006).

Artikel Google Scholar

Neubauer, J. & Zhang, Z. Kohärente Strukturen des Nahfeldflusses in einem selbstoszillierenden physikalischen Modell der Stimmlippen. J. Acoust. Soc. Am 121, 1102–1118 (2007).

Artikel ADS PubMed Google Scholar

Lacour, C., Daher, P., Lecordier, B. Mehrwinkelaufnahmetechnik auf einer einzigen Kamera für 3D-Messungen in der Strömungsmechanik. Im 13. Internationalen Symposium zur Particle Image Velocimetry, Juli 2019, München, Deutschland

Referenzen herunterladen

Diese Studie wurde vom National Institute of Health (NIH) und dem National Institute on Deafness and other communication (NIDCD) mit dem Zuschuss R01DC11300 unterstützt. Der Beitrag von M. Döllinger wurde von der Deutschen Forschungsgemeinschaft (DFG) unter der Fördernr. DO1247/16-1.

Abteilung für Kopf- und Halschirurgie, University of California, Los Angeles, UCLA Rehabilitation Services, 1000 Veteran Ave, Los Angeles, CA, 90095, USA

Patrick Schlegel, Neha K. Reddy, Zhaoyan Zhang und Dinesh K. Chhetri

Abteilung für Kopf- und Halschirurgie, Abteilung für Phoniatrie und Pädiatrische Audiologie, Friedrich-Alexander-Universität Erlangen-Nürnberg, Erlangen, Deutschland

Michael Döllinger

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Konzeptualisierung, PS und DKC; Datenkuration, PS, NR und ZZ; Formale Analyse, PS; Finanzierungsakquise, DKC und MD, Investigation PS; Projektverwaltung DKC; Ressourcen DKC; Software, PS; Aufsicht, DKC; Validierung, MD und ZZ; Originalentwurf schreiben, PS; Schreiben – Rezension und Bearbeitung, MD, DKC, ZZ und PS

Korrespondenz mit Patrick Schlegel.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative-Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht gesetzlich zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Schlegel, P., Döllinger, M., Reddy, NK et al. Validierung und Verbesserung eines 3D-Rekonstruktionsansatzes für die mediale Stimmlippenoberfläche für die In-vivo-Anwendung. Sci Rep 13, 10705 (2023). https://doi.org/10.1038/s41598-023-36022-6

Zitat herunterladen

Eingegangen: 18. Juli 2022

Angenommen: 27. Mai 2023

Veröffentlicht: 03. Juli 2023

DOI: https://doi.org/10.1038/s41598-023-36022-6

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein Link zum Teilen verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.