PatentDe  


Dokumentenidentifikation DE102004020356A1 10.11.2005
Titel Verfahren und Vorrichtung zur Erfassung von mehrdimensionalen Augenbewegungen mit einem optoelektronischen Sensor
Anmelder Chronos Vision GmbH, 12247 Berlin, DE
Erfinder Baartz, Friedrich J., 10781 Berlin, DE
Vertreter Willems, V., Dipl.-Geophys. Univ., Pat.-Anw., 82024 Taufkirchen
DE-Anmeldedatum 25.04.2004
DE-Aktenzeichen 102004020356
Offenlegungstag 10.11.2005
Veröffentlichungstag im Patentblatt 10.11.2005
IPC-Hauptklasse A61B 3/113
Zusammenfassung Bei einer Vorrichtung und einem Verfahren zur Erfassung von mehrdimensionalen Augenbewegungen werden mit einem optoelektronischen Sensor Bildfolgen mindestens eines Auges (21a, 21b) erfasst und als Bilddaten einer Recheneinheit (14) zur Verarbeitung zugeführt. Die Recheneinheit ermittelt aus den Bilddaten den Pupillenmittelpunkt des Auges (21a, 21b), um daraus Augenbewegungen zu bestimmen. Dabei ist oder wird ein Bereich des Kopfes (20) mit Markierungen (17) versehen, die vom Sensor in den Bildfolgen mit erfasst werden. Die Recheneinheit ermittelt unter Berücksichtigung der Lage des Pupillenmittelpunktes und der sich am Kopf (20) befindlichen Markierungen (17) eine Folge von Werten, die zur Bestimmung der Bewegung des Auges (21a, 21b) im Kopf (20) und des Kopfes (20) im Raum geeignet sind.

Beschreibung[de]

Die vorliegende Erfindung betrifft ein Verfahren zur Erfassung von mehrdimensionalen Augenbewegungen mit einem optoelektronischen Sensor gemäß dem Oberbegriff von Patentanspruch 1, sowie eine Vorrichtung zur Erfassung von mehrdimensionalen Augenbewegungen mit einem optoelektronischen Sensor gemäß dem Oberbegriff von Patentanspruch 15.

Die Messung von Augenbewegungen ist ein wesentliches Hilfsmittel für Wissenschaftler in den unterschiedlichsten Arbeitsgebieten, beispielsweise für Physiologen, Ergonomen, Ophtalmologen und Neurologen. Dabei dient oftmals die Messung der Augenbewegungen der Erzielung neuer Erkenntnisse im Bereich der Forschung. Durch die Messung von Augenbewegungen sind weiterhin vielfältige Anwendungsmöglichkeiten gegeben, beispielsweise die Steuerung von Geräten durch die Blickrichtung einer Person, die Steuerung oder Einstellung bestimmter Display-Anzeigen, usw. Dementsprechend steht die Entwicklung universell einsetzbarer Messtechniken stets im Mittelpunkt des allgemeinen Interesses.

Ein grundsätzliches Problem bei der Erfassung der Augenbewegungen ist die Erzielung einer ausreichend hohen Genauigkeit. Zumeist sind hochauflösende Messtechniken erforderlich, um die Blickrichtung einer Person exakt zu bestimmen.

Das menschliche Auge wird von drei mehr oder weniger rechtwinklig zueinander geordneten Muskelpaaren positioniert bzw. bewegt. Dies erlaubt die Rotation des Auges um drei orthogonale Achsen des Auges im Kopf. Die Komponenten der Rotationsbewegung werden allgemein als horizontale, vertikale und torsionale Rotationskomponente bezeichnet.

In der Vergangenheit wurden zunächst Methoden zur zweidimensionalen Messung der Augenbewegung, d.h. zur Messung der horizontalen und der vertikalen Komponente der Augenbewegung, entwickelt. Darunter sind fotografische und kinematografische Ansätze, vor allem aber videookulografische Ansätze, zu finden, die auf einem sogenannten Objekt-Tracking im Bild basieren (CLARKE A.H. et. al. „Videooculography – an alternative method for measurement of three-dimensional eye movements", 1991, S. 431-443, in Schmidt R. Zambarbierie D (Eds) Oculomotor Control and Cognitive Processes Elsevier, Amsterdam). Diese gestatten die Messung der horizontalen und vertikalen Augenposition, typischerweise mit Messgenauigkeiten von 0,1 Grad über einen Bereich von +/- 20 Grad.

Die Abtastraten reichen in der Regel von der Standard-Bildfrequenz für Videosysteme, d.h. von 25/30 Hz bis zu 200/240 Hz, wobei das letztere eine vierfache Dezimierung der örtlichen Auflösung mit sich bringt. Dabei wird vorausgesetzt, dass der Pupillenmittelpunkt einen festen Punkt auf dem Augenbulbus darstellt und somit als akkurater Indikator der horizontalen und vertikalen Position des Auges im Kopf dient. Diese Annahme wird jedoch in Frage gestellt (Wyatt H.J. (1995) „The Form of the Human Pupil", Vision Res. 35, 14, 2021-2036). In diesem bekannten Stand der Technik wird festgestellt, dass der Schwerpunkt der Pupille bei Konstriktion bzw. Dilatation variiert.

Zur dreidimensionalen Messung der Augenbewegung, d.h. der horizontalen, vertikalen und torsionalen Rotationskomponenten sind prinzipiell nur zwei Lösungsansätze bekannt.

So erlaubt die auf elektromagnetischer Induktion basierende sklerale „Search-Coil"-Technik die genaueste Messung der Rotation des Auges um alle drei Achsen. Bei diesem im Jahre 1963 eingeführten Verfahren wird eine in einem kontaktlinsenähnlichen Annulus eingebettete Spule mit etwa 10 Windungen auf das zu messende Auge aufgesetzt, während sich der Kopf des Probanden innerhalb eines homogenen Magnetfeldes befindet. Nach dem elektromagnetischen Induktionsgesetz wird eine Spannung proportional zum Winkel zwischen der Spule und dem magnetischen Feld induziert. Diese Spannung gibt die Winkelposition des Auges im Raum wieder. Somit wird die Position des Auges im Raum bestimmt. Da es bei vielen Fragestellungen notwendig ist, die Position des Auges relativ zum Kopf zu bestimmen, wird häufig eine zusätzliche Magnet-Suchspule auf dem Kopf fixiert.

Die Search-Coil-Technik hat jedoch den Nachteil, dass der Proband eine Haftschale mit einer eingebetteten Drahtspule auf dem Auge tragen muss. Dies bedeutet einen halb-invasiven Eingriff mit einigen gesundheitlichen Risiken für den Probanden. Außerdem verursachen die individuell verschiedenen Krümmungen des Auges bzw. der Kornea Probleme bei der Kalibrierung und es kommt immer wieder zum Wegrutschen der Haftschale, was zum Beispiel durch Blinzeln verursacht wird. Hinzu kommt, dass der elektromagnetische Aufbau durch diverse metallische Gegenstände gestört werden kann. Schließlich sind die Kosten der verwendeten Haftschalen hoch und ihre Lebensdauer ist mit ein bis sechs Messungen sehr gering. Darüber hinaus erlaubt diese Messtechnik mit einer elektromagnetischen Induktionsspule eine Messung der Rotation, nicht jedoch der Translation der Suchspule, wenn sie auf dem Auge oder auf dem Kopf platziert ist. Weiterhin ist die nachträgliche Berechnung, zum Beispiel Koordinatentransformationen, sehr aufwendig.

In EP 0 456 166 B1 und in Clarke et al, 1991, sowie CLARKE A. H. "Neuere Aspekte des vestibulookulären Reflexes", European Archives of Oto-Rhino-Laryngology, Suppl. 1995/I, S. 117-153, wird die Messung der dreidimensionalen Augenbewegung mit Hilfe der Bildverarbeitungstechnik, d.h. durch Videookulografie, beschrieben. Diese Verfahren basieren auf ausschließlich auf der Auswertung von Bildsequenzen des natürlichen Auges, die mit herkömmlichen Videokameras aufgezeichnet werden. Sie gestatten die Messung der horizontalen, vertikalen und torsionalen Augenposition, typischerweise mit einer Messgenauigkeit von 0,1 Grad. Bei den Systemen wird die Abtastrate durch die Standard-Bildfrequenz für Videosysteme, d.h. 25 bis 30 Hz, bestimmt.

In letzter Zeit sind mit Hilfe von CMOS Bildsensoren und dedizierten Digital-Signal-Prozessoren Abtastraten von bis zu 400 Hz erreicht worden (CLARKE A. H. et. al. „USING high frame rate CMOS sensors for three-dimensional eye tracking", Behaviour Research Methods, Instruments & Computers, 2002, 34 (4), 549-560). Dadurch kann bei der Messung aller drei Freiheitsgrade der Augenbewegung eine höhere Genauigkeit erzielt werden, wobei neben der horizontalen und der vertikalen Komponente auch die torsionale Komponente gemessen wird, d.h. die Drehung des Auges um die Blickachse.

Die auf Bildverarbeitungstechniken bzw. Videookulografie basierenden Systeme verwenden häufig ein kopfmontiertes Gestell oder eine Helmstruktur, um die Bildsensoren und die dazu gehörige Optik vor dem Auge zu positionieren. Somit wird die Position des Auges relativ zum Kopf erfasst. Dabei lässt sich ein Verrutschen der Messanordnung auf dem Kopf nicht vollständig vermeiden. Somit entsteht das Problem, dass die Bewegungen des Auges im Kopf von einem Verrutschen des Messgerätes diskriminiert bzw. getrennt werden müssen und die Messungen entsprechend korrigiert werden müssen.

Dieses Problem ist umso schwerwiegender, wenn die Bildkamera nicht kopfmontiert sondern raumfest vor dem Probanden aufgestellt ist. In solchen Fällen wird häufig ein zweites Messsystem zur Erfassung der Position des Kopfes im Raum eingesetzt.

Aufgabe der vorliegenden Erfindung ist es, die vorstehend genannten Nachteile bei der Messung von Augenbewegungen zu beseitigen und ein Verfahren und eine Vorrichtung anzugeben, mit denen die Rotation des Auges im Kopf mit erhöhter Genauigkeit und in Echtzeit gemessen werden kann.

Die Aufgabe wird gelöst durch das Verfahren zur Erfassung von mehrdimensionalen Augenbewegungen gemäß Patentanspruch 1 und durch die Vorrichtung zur Erfassung von mehrdimensionalen Augenbewegungen gemäß Patentanspruch 15. Weitere vorteilhafte Merkmale, Aspekte und Details der Erfindung sind in den abhängigen Patentansprüchen, der Beschreibung und den Zeichnungen gezeigt.

Bei dem erfindungsgemäßen Verfahren zur Erfassung von mehrdimensionalen Augenbewegungen werden mit einem optoelektronischen Sensor Bildfolgen mindestens eines Auges erfasst und als Bilddaten einer Recheneinheit zur Verarbeitung zugeführt, die aus den Bilddaten die Position des Auges im jeweiligen Bild ermittelt, wobei ein Bereich des Kopfes mit Markierungen versehen ist oder versehen wird, die vom Sensor in den Bildfolgen mit erfasst werden, und wobei die Recheneinheit unter Berücksichtigung der Lage des Auges im Bild und der sich am Kopf befindlichen Markierungen eine Folge von Werten ermittelt, die zur Bestimmung der Position des Auges und des Kopfes geeignet sind.

Dadurch kann sowohl die Rotation des Auges im Kopf als auch die Rotation und Translation des Kopfes ermittelt werden, weshalb sich eine größere Messgenauigkeit bei der Ermittlung der Augenbewegungen und der Augenposition ergibt. Bei einer am Kopf montierten Kamera lässt sich ein Verrutschen der Kamera, d.h. des Sensors und der Optik, leicht berechnen. Bei einer im Raum aufgestellten Kamera kann die Translation und Rotation des Kopfes von der Bewegung der Augen im Kopf präzis diskriminiert bzw. getrennt werden.

Es können die Positionen beider Augen oder auch nur die Position eines Auges bestimmt werden, um die jeweiligen Augenbewegungen im Kopf zu ermitteln.

Bei dem Verfahren kann die Position des Auges bzw. beider Augen zum Beispiel in jedem Bild durch Bestimmung des bzw. der Pupillenmittelpunkte ermittelt werden.

Auch kann die Position des mindestens einen Auges, das heißt eines Auges oder beider Augen, in jedem Bild durch Verrechnung der Lage von sonstigen Merkmalen im Auge ermittelt werden, wie zum Beispiel künstlich angebrachte Markierungen auf der Sklera.

Es können die Positionen beider Augen und des Kopfes aus ein und demselben Bild ermittelt werden. Insbesondere wird jedes Verrutschen der Kamera am Kopf oder eines sonstigen Messgerätes relativ zum Kopf erfasst und die Fehler, die durch ein Verrutschen entstehen, eliminiert. Somit wird die Messung der Augenposition im Kopf deutlich verbessert, ohne dass eine zusätzliche Messanordnung benötigt wird.

Es lassen sich die Bewegungen der Messanordnung relativ zum Kopf berechnen und unter Berücksichtigung des Ergebnisses die Augenposition im Kopf korrekt bestimmen. Die kopffeste Positionierung ist besonders vorteilhaft in Situationen, in denen der Kopf viel bewegt wird, beispielsweise bei Gleichgewichtsuntersuchungen in einem Drehstuhl oder einer Schlittenanlage sowie bei der Lokomotion oder anderen aktiven Bewegungen der betreffenden Person im Raum.

Durch die Erfassung des Auges bzw. beider Augen und der Markierungen bzw. Kopfmarkierungen kann jedes Verrutschen oder „Slippage" des Sensors in Bezug auf den Kopf ausgerechnet bzw. berücksichtigt werden.

Der Sensor kann aber auch mit einer Optik im Raum vor dem Kopf befestigt sein, so dass er unabhängig von den Bewegungen des Kopfes ist. Durch die Erfassung des Auges bzw. beider Augen und der Kopfmarkierung bzw. der Markierungen werden die Position des Kopfes im Raum und des Auges im Kopf berechnet. Dabei werden beispielsweise sowohl die Augenbewegungen als auch die Kopfbewegungen in Bezug auf Raumkoordinaten gemessen bzw. berechnet. Anschließend wird zum Beispiel die Bewegung der Augen relativ zum Kopf berechnet. Das heißt, es lassen sich die Positionen der Augen sowie des Kopfes im Raum berechnen, so dass wiederum die Position der Augen im Kopf mit Hilfe der Kopfposition genauer bzw. korrekter berechnet werden kann. Nach entsprechender Kalibrierung kann auch die Blickrichtung im Raum bestimmt werden. In dieser Ausgestaltung ist das Verfahren als kontaktfreies Messverfahren besonders geeignet. Bei besonderen Anwendungen, wie beispielsweise der Bildschirmbetrachtungsmessung zur Untersuchung von Werbung, der Informationswahrnehmung, der Ermittlung der Ergonomie und für psychologische Fragestellungen, aber auch im Bereich von Simulatoren und Virtual-Reality-Anwendungen, ist es von großem Vorteil, wenn der Kopf frei von Messeinrichtungen ist.

Beispielsweise kann als Kamera eine sogenannte Remote-Camera in etwa einem Meter Abstand zum Kopf angeordnet sein, um die Kopfposition im Raum zu messen. Dies wird durch die Verfolgung der kopffesten Markierung bei der Messung möglich. Dabei kann gegebenenfalls zwischen einer Rotation und einer Translation des Kopfes unterschieden werden. Dies kann unter Umständen aber davon abhängig sein, inwieweit eine Bewegung des Kopfes bei der Messung erlaubt sein soll.

Vorteilhaft liegt die Frequenz der Bildfolge im Bereich von mindestens 1000, bevorzugt im Bereich von ca. 1500 bis 2000 Bildern pro Sekunde. Dadurch wird eine besonders hohe Messgenauigkeit erzielt, vor allem bei schnellen Augen- und Kopfbewegungen, wobei Geschwindigkeiten von bis zu 500 0/S erreicht werden können.

Bevorzugt findet auf dem Sensor eine On-Chip-Verarbeitung der Bildinhalte statt. Dadurch erfolgt eine besonders schnelle Bildverarbeitung, wodurch sehr hohe Bildfolgefrequenzen erzielt werden können.

Vorteilhafterweise werden aus den mit dem Sensor aufgenommenen Bildern jeweils mindestens zwei, bevorzugt drei örtliche Interessengebiete ausgelesen und für die weitere Bildverarbeitung verwendet, wobei zum Beispiel mindestens ein Interessengebiet die Markierung bzw. die Kopfmarkierungen enthält. Das heißt, es werden zum Beispiel drei sogenannte Regions-of-Interest aus dem Kamerabild aufgenommen und verarbeitet, wobei zum Beispiel zwei Interessengebiete bzw. Regions-of-Interest im Bereich der Augen bzw. um die Augen liegen, und ein drittes Interessengebiet eine Markierung am Kopf ist, die zum Beispiel entweder künstlich dort angebracht ist oder unter Umständen auch natürlich sein kann.

Bevorzugt werden die Markierungen mit einer Tinktur auf der Stirn oberhalb des Auges angebracht. Dabei wird als Tinktur bevorzugt eine hautverträgliche Tinktur verwendet. Die Farbe der Markierungen wird bevorzugt so gewählt, dass ihre automatische Erfassung mittels digitaler Bildverarbeitung besonders begünstigt wird. Beispielsweise wird die Farbe derart gewählt, dass die Markierung bzw. die Markierungspunkte Infrarotlicht besonders gut reflektieren, sodass die Punkte bei infraroter Beleuchtung für die Kamera besonders gut sichtbar sind und einen hohen Kontrast zu den übrigen Bildbereichen aufweisen. Es sind aber auch andere Bereiche des Lichts zur Aufnahme möglich. Insbesondere sind Markierungen in schwarzer Farbe bzw. unter nah-infraroter Beleuchtung sichtbarer Farbe günstig.

Die Markierungen, die zum Beispiel aus mehreren Punkten bestehen, werden vorteilhafter weise in einer definierten geometrischen Anordnung angebracht, insbesondere bevorzugt in Form eines Dreiecks oder eines Quadrats. Dadurch werden die Berechnungen zur Bestimmung der Augenposition und/oder der Augenbewegung erleichtert. Die geometrische Anordnung der applizierten Markierungen wird insbesondere so gewählt, dass durch geometrische Verrechnung ihrer Bildkoordinaten eine Bestimmung der Rotation um alle drei orthogonalen Achsen sowie der Translation des Kopfes entlang aller drei Achsen ermöglicht wird. Die Verwendung eines Dreiecks als Markierung bietet den besonderen Vorteil, dass bei einer Rotation des Kopfes die Distanz zwischen den Punkten, in horizontaler oder in vertikaler Richtung, im aufgenommenen Bild variiert, während bei einer Translation diese Achsen konstant bleiben. Dies ist vor allem bei Verwendung einer nicht am Kopf befestigten Remote-Camera, wie sie oben bereits angesprochen ist, von Bedeutung.

Es können auch natürliche Strukturen des Kopfes als Markierungen bzw. Kopfmarkierungen verwendet werden. Dies hat den Vorteil, dass das Verfahren schneller durchführbar ist, wobei eine Vorbereitung der Person durch künstliches Anbringen von Markierungen entfällt. Der Begriff Markierung soll hierin also auch natürliche Strukturen des Kopfes umfassen und nicht auf künstlich angebrachte Markierungen beschränkt sein.

Bevorzugt wird eine Schwellwerttrennung des Luminanzsignals der schwarzen Pupille und der zum Beispiel künstlich angebrachten Markierungen bzw. Kopfmarkierungen durchgeführt. Vorteilhafterweise wird eine Binarisierung der in der Bildfolge enthaltenen Bilder durchgeführt.

Besonders vorteilhaft ist es, wenn eine Berechnung basierend auf dem nullten und ersten Moment der Form der segmentierten Pupille sowie der Markierungen erfolgt.

Gemäß einem Aspekt der Erfindung wird eine Vorrichtung zur Erfassung von mehrdimensionalen Augenbewegungen geschaffen, mit einem optoelektronischen Sensor zur Erfassung von Bildfolgen mindestens eines Auges und zur Erzeugung von Bilddaten; und mit einer Recheneinheit zur Verarbeitung der Bilddaten des Sensors, wobei die Recheneinheit aus den Bilddaten die Position des jeweiligen Auges zur Bestimmung von Augenbewegungen ermittelt, und wobei der Sensor zur gleichzeitigen Erfassung von Markierungen im Bereich des Kopfes ausgestaltet ist, und die Recheneinheit derart programmiert ist, dass sie aus der Lage des Auges im Bild und der sich am Kopf befindlichen Markierungen eine Folge von Werten ermittelt, die zur Bestimmung der Position des Auges im Kopf und des Kopfes im Raum dienen.

Die Vorteile, Merkmale und Details, die im Zusammenhang mit dem oben beschriebenen Verfahren genannt wurden und nachfolgend noch detaillierter erläutert werden, gelten analog auch für die erfindungsgemäße Vorrichtung, ebenso wie umgekehrt die Vorteile, Merkmale und Details, die im Zusammenhang mit der Vorrichtung beschrieben sind, auch für das Verfahren gelten.

Insbesondere ist es mit der erfindungsgemäßen Vorrichtung möglich, Augenbewegungen mit besonders hoher räumlicher und zeitlicher Auflösung zu messen, wobei eine Echtzeitverarbeitung möglich ist.

Vorteilhafterweise umfasst die Vorrichtung eine Halteeinrichtung zur Befestigung des Sensors am Kopf. Damit können Augenbewegungen relativ zum Kopf gemessen werden und Fehler, die zum Beispiel durch Verrutschen der Messanordnung verursacht sind, gemessen und abgezogen werden.

Der Sensor erfasst vorteilhafter weise Bildfolgen im Bereich von mindestens 1000 Bildern pro Sekunde, bevorzugt 2000 Bildern pro Sekunde. Dadurch ergibt sich eine besonders große Genauigkeit der Messung.

Bevorzugt umfasst der Sensor eine Parallelarchitektur mit einer Anordnung von On-Chip ADC's und Pixelprozessoren. Dadurch wird eine besonders hohe Bildfolge möglich, sodass sehr große Auswerteraten erreicht werden können.

Vorteilhaft weist der Sensor eine Pixelfläche mit einem Seitenverhältnis im Bereich von ca. 1:3, typischerweise in der Größenordnung von 500 mal 1500 Pixeln auf. Dadurch ist der Sensor für die Registrierung der Bewegungen von beiden Augen sowie des Kopfes besonders geeignet

Nachfolgend wird die Erfindung beispielhaft anhand der Figuren beschrieben, in denen:

1 schematisch eine Vorrichtung zur Messung der Augenbewegungen mit einem kopfmontierten Sensor gemäß einer besonders bevorzugten Ausführungsform der Erfindung zeigt;

2 schematisch eine Vorrichtung zur Messung der Augenbewegungen mit einem raumfest montierten Sensor gemäß einer weiteren besonders bevorzugten Ausführungsform der Erfindung zeigt;

3 ein Auge mit drei zugehörigen Muskelpaaren und den drei orthogonalen Drehachsen schematisch zeigt;

4 ein gemäß einer besonders bevorzugten Ausgestaltung durch den Sensor erfasstes Bild der Augen einer Person zeigt, wobei gleichzeitig Kopf-Markierungen im Bild enthalten sind; und

5 schematisch eine Auswerteeinrichtung als Teil der erfindungsgemäßen Vorrichtung zeigt, mit einer beispielhaften Display-Anzeige.

1 zeigt eine Vorrichtung 10 zur Erfassung der Augenbewegungen einer Person gemäß einer ersten bevorzugten Ausführungsform der Erfindung. Die Vorrichtung 10 umfasst einen Tragerahmen 11, der zum Zweck der Messung auf dem Kopf 20 der Person positioniert bzw. befestigt wird. An dem Tragerahmen 11 ist ein optoelektronischer Sensor 12 als Teil einer Kamera montiert, der dazu dient, Bilder der Augen 21a und der umgebenden Bereiche aufzunehmen. Im Betrieb erfasst der Sensor 12 Bildfolgen mindestens eines Auges 21a mit einem angrenzenden Bereich des Kopfes 20, um Bewegungen der Augen 21a zu ermitteln. Dabei ist der Sensor 12 zur gleichzeitigen Erfassung von Markierungen im Bereich des Kopfes 20 ausgestaltet. Der Sensor ist elektrisch durch ein Kabel 13 mit einer Recheneinheit 14 gekoppelt, die zur Auswertung aus den Bilddaten den Pupillenmittelpunkt des Auges 21a oder der beiden Augen ermittelt. Dabei ist die Recheneinheit 14 derart ausgestaltet bzw. programmiert, dass sie aus der Lage des Pupillenmittelpunktes und der am Kopf 20 angebrachten Markierungen eine Folge von Werten ermittelt, die zur Bestimmung der Bewegung des Auges 21a und des Kopfes 20 dienen.

Der Tragerahmen 11 umfasst im wesentlichen ein ringförmiges, verstellbares erstes Band 11a, das an die jeweilige Kopfgröße anpassbar ist und auf den Kopf 20 von oben aufsetzbar ist, sodass es fest auf dem Kopf 20 positioniert werden kann. Quer zum Verlauf des ersten Bandes 11a erstreckt sich ein zweites einstellbares Band 11b von einer Seite des Kopfes 20 zur anderen Seite, wobei die jeweiligen Enden des zweiten Bandes 11b am ersten Band befestigt sind.

Im vorderen Bereich des Tragerahmens 11 befindet sich ein Gestell 15, dass schwenkbar am Tragerahmen 11 befestigt ist. An dem Gestell 15 ist die Kamera mit dem optoelektronischen Sensor 12 befestigt, sowie ein Spiegel 16, der dazu dient, das Bild des Auges 21a bzw. der beiden Augen zum Sensor 12 hin zu lenken. Die Kamera befindet sich somit nicht im direkten Blickfeld bzw. in der Blickrichtung der Person. Der Spiegel 16 ist in diesem Beispiel als Infrarotspiegel ausgestaltet.

2 zeigt alternativ dazu eine Vorrichtung 30 zur Messung der Augenbewegungen mit einem raumfest montierten Sensor 12 gemäß einer weiteren besonders bevorzugten Ausführungsform der Erfindung. Gleiche oder ähnliche Merkmale wie bei der in 1 gezeigten Ausführungsform sind mit denselben Bezugszeichen versehen. Der Unterschied zu der in 1 gezeigten Ausführungsform besteht im wesentlichen in der raumfesten Positionierung des Sensors 12, sodass die Erfassung der Bewegung der Augen 21a und der Markierungen in Bezug auf raumfeste Koordinaten erfolgt.

3 zeigt zum besseren Verständnis der Augenbewegungen ein menschliches Auge 21a mit drei zugehörigen Muskelpaaren und den drei orthogonalen Drehachsen.

Die erste Drehachse X ist in Blickrichtung gerichtet, das heißt, dass das Auge 21a eine Torsion um die Blickrichtung durchführt, wenn es durch die Muskulatur zu einer Rotationsbewegung um die X-Achse gebracht wird. Dies ist die torsionale Komponente der Augenrotation.

Die zweite Drehachse Y ist im wesentlichen senkrecht zur X-Achse gerichtet. Bei einer Rotationsbewegung des Auges 21a um die Y-Achse ändert sich die Blickrichtung vertikal nach oben oder nach unten. Dies ist die vertikale Komponente der Augenrotation.

Die dritte Drehachse Z ist im wesentlichen senkrecht zur X- und Y-Achse gerichtet. Bei einer Rotationsbewegung um die Z-Achse bewegt sich die Blickrichtung horizontal nach rechts oder links. Dies ist die horizontale Komponente der Augenrotation.

4 zeigt ein durch den Sensor 12 erfasstes Bild 40 der Augen 21a, 21b der Person. In dem Bild 40 sind drei rechteckige Interessengebiete bzw. Regions-Of-Interest 41, 42, 43 enthalten. Die erste Region-Of-Interest 41 umschließt bzw. enthält das linke Auge 21a der Person, während die zweite Region-Of-Interest 42 das rechte Auge 21b der Person umschließt bzw. enthält. Dazwischen befindet sich die Nase 22 mit ihren Randbegrenzungen 22a. Die dritte Region-Of-Interest 43 umschließt eine Anordnung von punktförmigen Markierungen 17, die in diesem Beispiel Form eines Dreiecks angeordnet sind, dessen Ecken jeweils durch einen Punkt gebildet sind.

Bei dem Verfahren wird zunächst der Tragerahmen 11 (siehe 1 und 2) mit der Kamera bzw. dem Sensor 12 auf dem Kopf 20 des Probanden positioniert. Alternativ dazu kann die Kamera auch fest im Raum angeordnet werden, sodass sie unabhängig von den Bewegungen des Probanden ist. Die Kamera wird so ausgerichtet, dass der Bildsensor 12 das Bild der Augen 21a, 21b und zusätzlich mindestens einen weiteren Bereich des Kopfes 20 aufnimmt. In diesem weiteren Bereich werden die Markierungen 17 angebracht, bevorzugt mit einer schwarzen, hautfreundlichen, nichttoxischen Tinktur. Auch im Falle von Aufnahmen bei Infrarotbeleuchtung wird die Tinktur so gewählt, dass sich unter den jeweiligen Lichtverhältnissen bestmögliche Kontraste zur automatischen digitalen Bildverarbeitung ergeben.

Die geometrische Anordnung der applizierten Markierungen wird so gewählt. Dass durch geometrische Verrechnung ihrer Bildkoordinaten eine Bestimmung der Rotation um alle drei orthogonalen Achsen X, Y, Z sowie der Translation des Kopfes 20 entlang aller drei Achsen X, Y, Z ermöglicht wird.

Bei der Messung wird eine Bildsequenz mit Hilfe des elektronischen Bildsensors 12 erfasst, der zum Beispiel ein CCD oder CMOS Sensor ist, oder durch eine anderweitige optoelektronische Matrix gebildet wird. Anschließend erfolgt die Verarbeitung der Bilddaten mit digitalen Bildverarbeitungstechniken. Dabei umfassen die aufgezeichneten Bilder sowohl die Augen 21a, 21b als auch den markierten Bereich 43 des Kopfes 20, das heißt, den Bereich des Kopfes 20, auf dem sich die Markierungen 17 befinden.

In erster Linie wird die Augenposition durch Erkennung der Pupille und Berechnung ihres Mittelpunktes berechnet. In ähnlicher Weise sind die applizierten Markierzungen 17 so gestaltet, dass sie sich deutlich von den übrigen Teilen des Bildes absetzen, so dass eine Schwellwerttrennung des Luninanzsignals und ihre Segmentierung möglich wird. Auf diese Weise wird jedes Bild der Sequenz binarisiert und die Koordinaten der Pupillen sowie der erkannten Markierungspunkte werden mit bekannten Algorithmen berechnet, die dem Fachmann geläufig sind. Da die Form und Anordnung der applizierten Markierungen vorgegeben ist, eignen sich hierfür zum Beispiel die Berechnung des nullten und ersten Moments der Markierungsform, wie es in CLARKE A. H. „Neuere Aspekte des vestibuookulären Reflexes", European Archives of Oto-Rhino-Laryngology, Suppl. 1995/I, S. 117 – 153, beschrieben ist, bzw. die Anwendung des sogenannten „template-matching"-Verfahrens.

Bei dem hier beschriebenen Verfahren wird zum Beispiel auf komplexe Graustufenberechnungsverfahren verzichtet, so dass eine Echtzeiterfassung und darüber hinaus eine starke Erhöhung der zeitlichen Auflösung der Messung erreicht werden kann. Das heißt, die Messung erfolgt mit einer höheren Bildabtastfrequenz und mit entsprechend schnellen optoelektronischen Sensoren. Der verwendete Bildsensor 12 besitzt eine sehr hohe Auflösung für die Erfassung der beispielsweise zwei, drei oder mehr Regions-of-Interest. Insgesamt ergibt sich eine Kombination von hoher Auflösung und sehr schneller Verarbeitung.

Anstelle der künstlichen Markierungen oder zusätzlich zu diesen können auch natürliche Strukturen, wie zum Beispiel Hautfalten oder Hautstrukturen wie die Randbegrenzungen 22a der Nase 22, verwendet werden, je nach den Erfordernissen der jeweiligen Anwendung. Dadurch wird eine sehr hohe Flexibilität erreicht. Andererseits führen die künstlich angebrachten Markierungen 17 in der Regel zu noch genaueren Ergebnissen.

5 zeigt eine Auswerteeinrichtung 50 mit einer beispielhaften Display-Anzeige als Teil der erfindungsgemäßen Vorrichtung. Die Auswerteeinrichtung 50 umfasst neben einem Display 51 eine Schnittstelle 52 zur elektrischen Verbindung mit der Kamera bzw. dem optoelektronischen Sensor 12, sowie eine Prozessoreinheit 53. Die Auswerteeinrichtung 50 umfasst bzw. bildet zum Beispiel die Recheneinheit 14 in 1 und 2 zur Verarbeitung der Bilddaten, die vom Sensor 12 zugeführt werden.

Das Display 51 wird durch einen Video-Monitor mit einer grafischen Benutzeroberfläche gebildet. An seinem rechten Rand in 5 befinden sich Steuerelemente 54, die vom Benutzer bedient werden können, beispielsweise um Messparameter einzustellen. Im Display werden die beiden Regions-of-Interest 41, 42 dargestellt, die die Bilder der beiden Augen 21a, 21b enthalten.

Darunter ist der Verlauf der berechneten Augenbewegung über die Zeit abgebildet, in diesem Beispiel die horizontale und die vertikale Augenposition.

Das Verfahren ist sowohl bei kopffester Positionierung der Kamera als auch bei raumfester Positionierung der Kamera anwendbar. Bei der kopffesten Positionierung wird aus der Bewegung der Markierungen im Bild ein Verrutschen der Kameraposition berechnet. Mit diesem Wert, der die Relativbewegung der Kamera relativ zum Kopf repräsentiert, erfolgt eine Korrektur der gemessenen Werte der Augenbewegung.

Bei der raumfesten Positionierung werden sowohl die Augenbewegungen mittels der Regions-Of-Interest 41, 42 der Augen als auch die Kopfbewegungen mittels der Region-Of-Interest 43 der Markierungen in Bezug auf feste Raumkoordinaten gemessen. Anschließend kann die Bewegung der Augen 21a, 21b relativ zum Kopf 20 berechnet werden

Durch die Applikation von künstlichen Markierungen außerhalb der Augen bzw. in deren Nähe wird eine wesentliche Verbesserung der bisher bekannten Techniken erzielt, insbesondere was die Messgenauigkeit und die Schnelligkeit der Datenverarbeitung betrifft. Das Verfahren und die Vorrichtung sind nicht auf die Messung der Augenbewegung beim Menschen beschränkt, sondern es können auch Augenbewegungen von Tieren gemessen bzw. erfasst werden, was zum Beispiel für die Verhaltensforschung von Bedeutung ist.


Anspruch[de]
  1. Verfahren zur Erfassung von mehrdimensionalen Augenbewegungen, bei dem mit einem optoelektronischen Sensor (12) Bildfolgen mindestens eines Auges (21a, 21b) erfasst und als Bilddaten einer Recheneinheit (14) zur Verarbeitung zugeführt werden, die aus den Bilddaten die Position des mindestens einen Auges (21a, 21b) im jeweiligen Bild ermittelt, dadurch gekennzeichnet, dass ein Bereich des Kopfes (20) mit Markierungen (17) versehen ist oder versehen wird, die vom Sensor (12) in den Bildfolgen mit erfasst werden, wobei die Recheneinheit (14) unter Berücksichtigung der Lage des Auges im Bild und der sich am Kopf (20) befindlichen Markierungen (17) eine Folge von Werten ermittelt, die zur Bestimmung der Position des Auges (21a, 21b) im Kopf (20) und des Kopfes (20) im Raum geeignet sind.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Position des mindestens einen Auges (21a, 21b) in jedem Bild durch Bestimmung des Pupillenmittelpunktes ermittelt wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Position des mindestens einen Auges (21a, 21b) in jedem Bild durch Verrechnung der Lage von sonstigen Merkmalen im Auge (21a, 21b), wie insbesondere künstlich angebrachter Markierungen auf der Sklera, ermittelt wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der optoelektronische Sensor (12) mit einer Optik an dem Kopf (20) montiert wird.
  5. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der optoelektronische Sensor (12) mit einer Optik im Raum vor dem Kopf (20) befestigt ist, so dass er unabhängig von Bewegungen des Kopfes (20) ist.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Frequenz der Bildfolge im Bereich von mindestens 1000, bevorzugt 2000 Bildern pro Sekunde liegt.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf dem Sensor (12) eine On-Chip-Verarbeitung der Bildinhalte stattfindet.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus den mit dem Sensor (12) aufgenommenen Bildern jeweils mindestens zwei, bevorzugt drei örtliche Interessengebiete (41, 42, 43) ausgelesen und für die weitere Bildverarbeitung verwendet werden, wobei mindestens ein Interessengebiet (43) die Markierungen (17) enthält.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Markierungen (17) mit einer Tinktur auf der Stirn oberhalb des Auges (21a, 21b) angebracht werden.
  10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Markierungen (17) in einer definierten geometrischen Anordnung angebracht werden, bevorzugt in Form eines Dreiecks oder Quadrats.
  11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass natürliche Strukturen (22) des Kopfes (20) als Markierungen (17) verwendet werden.
  12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Schwellwerttrennung des Luminanzsignals der Pupille und/oder der Markierungen (17) durchgeführt wird.
  13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Binarisierung der in der Bildfolge enthaltenen Bilder durchgeführt wird.
  14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Berechnung basierend auf dem nullten und ersten Moment der Form der Pupille und/oder der Markierung (17) erfolgt.
  15. Vorrichtung zur Erfassung von mehrdimensionalen Augenbewegungen, mit

    einem optoelektronischen Sensor (12) zur Erfassung von Bildfolgen mindestens eines Auges (21a, 21b) und zur Erzeugung von Bilddaten; und

    einer Recheneinheit (14) zur Verarbeitung der Bilddaten des Sensors (12), wobei die Recheneinheit (14) aus den Bilddaten die Position des Auges (21a, 21b) zur Bestimmung von Augenbewegungen ermittelt,

    dadurch gekennzeichnet,

    dass der Sensor (12) zur gleichzeitigen Erfassung von Markierungen (17) im Bereich des Kopfes (20) ausgestaltet ist; wobei

    die Recheneinheit (14) derart programmiert ist, dass sie aus der Lage des Auges (21a, 21b) im Bild und der am Kopf (20) befindlichen Markierungen (17) eine Folge von Werten ermittelt, die zur Bestimmung der Position des Auges (21a, 21b) im Kopf (20) und des Kopfes (20) im Raum dienen.
  16. Vorrichtung nach Anspruch 15, gekennzeichnet durch eine Halteeinrichtung (11) zur Befestigung des Sensors (12) am Kopf (20).
  17. Vorrichtung nach Anspruch 15 oder 16, dadurch gekennzeichnet, dass der Sensor (12) Bildfolgen im Bereich von mindestens 1000 Bildern pro Sekunde, bevorzugt 2000 Bildern pro Sekunde erfasst.
  18. Vorrichtung nach einem der Ansprüche 15 bis 17, dadurch gekennzeichnet, dass der Sensor (12) eine Parallelarchitektur mit einer Anordnung von On-Chip ADC's und Pixelprozessoren umfasst.
  19. Vorrichtung nach einem der Ansprüche 15 bis 18, dadurch gekennzeichnet, dass der Sensor (12) eine Pixelfläche mit einem Seitenverhältnis von im wesentlichen 1:3, typischerweise in der Größenordnung von 500 mal 1500 Pixeln, aufweist.
  20. Vorrichtung nach einem der Ansprüche 16 bis 19, dadurch gekennzeichnet, dass die Recheneinheit (14) derart programmiert ist, dass sie aus der ermittelten Position der Markierungen (17) im Bild jede Änderung der Position der Halteeinrichtung (11) relativ zum Kopf (20) misst und für die Korrektur der Bestimmung der Position des Auges (21a, 21b) im Kopf (20) verwendet.
Es folgen 3 Blatt Zeichnungen






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com