PatentDe  


Dokumentenidentifikation DE102006002001A1 19.07.2007
Titel Verfahren zur Bestimmung der räumlichen Relation eines Auges einer Person bezüglich einer Kameravorrichtung
Anmelder SensoMotoric Instruments GmbH, 14513 Teltow, DE
Erfinder Gründig, Martin, Dr., 15834 Rangsdorf, DE
Vertreter Betten & Resch, 80333 München
DE-Anmeldedatum 16.01.2006
DE-Aktenzeichen 102006002001
Offenlegungstag 19.07.2007
Veröffentlichungstag im Patentblatt 19.07.2007
IPC-Hauptklasse A61B 3/113(2006.01)A, F, I, 20060404, B, H, DE
IPC-Nebenklasse A61B 3/14(2006.01)A, L, I, 20060404, B, H, DE   A61F 9/01(2006.01)A, L, I, 20060404, B, H, DE   
Zusammenfassung Ein Verfahren zur Bestimmung der räumlichen Relation eines Auges (10) einer Person bezüglich einer Kameravorrichtung (20), die Bilder des Auges (10) liefert, umfasst:
- eine Modellerstellungsphase, in der ein individuell angepasstes Modell des Auges (10) konstruiert und eine räumliche Referenzrelation des Augenmodells bezüglich der Kameravorrichtung (20) unter Verwendung eines Referenzbilds des Auges (10) bestimmt wird; und
- eine Verfolgungsphase, in der Positions- und/oder Rotationskoordinaten des Auges (10) durch Anpassen des Augenmodells an ein momentanes Bild des Auges (10) bestimmt werden.

Beschreibung[de]
Hintergrund der Erfindung

Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung der räumlichen Relation eines Auges einer Person bezüglich einer Kameravorrichtung, die Bilder des Auges liefert.

Insbesondere betrifft die Erfindung eine modellgestützte Technologie zur Augen-Verfolgung unter Verwendung einer einzigen Kamera, insbesondere einer einzigen Digitalkamera. Es gibt zahlreiche Augen-Verfolgungsanwendungen, sie reichen von Blickverfolgung, d. h. der Analyse, welchen Gegenstand eine Person betrachtet, für Marketingstudien, neurowissenschaftliche Forschung oder militärische Anwendungen, bis zur Augen-Verfolgung bei medizinischen Anwendungen.

Die vorliegende Erfindung weist Potential für zahlreiche Augen-Verfolgungsanwendungen auf, wobei die größte Relevanz auf dem Gebiet medizinischer Augen-Verfolgung während kornealer Ablationschirurgie liegt.

Der Begriff "Augen-Verfolgung" bezieht sich üblicherweise auf die wiederholte oder sogar kontinuierliche Abschätzung von Augenbewegungen einer Person. Im Kontext der vorliegenden Erfindung hingegen kann dieser Begriff auch für eine einzige Bestimmung der räumlichen Relation des Auges der Person bezüglich der Kameravorrichtung basierend auf dem momentanen Augenbild verwendet werden.

Wie bei herkömmlichen Verfahren zur Bestimmung der räumlichen Relation des Auges einer Person bezüglich einer Kameravorrichtung basiert die vorliegende Erfindung auf der Annahme, dass das Auge sechs Freiheitsgrade zur Bewegung im dreidimensionalen Raum besitzt, nämlich drei Translationen, die die Augenposition definieren, sowie drei Rotationen, die die Augenorientierung definieren, wie in 1 gezeigt ist.

Einige Augen-Verfolgungssysteme verwenden am Kopf montierte Kameras oder eine Kamera, die an einer Kopfstütze oder einer Kinnstütze angebracht ist. In diesem Spezialfall können alle Augenbewegungen relativ zur Kamera als Rotationen interpretiert werden, und nach einer Kalibrierung kann die Blickrichtung ermittelt werden, indem man die Pupille im Kamerabild erfasst. Diese Systeme sind jedoch störend und unkomfortabel und erfordern die Verwendung einer Kopfstütze, einer Kinnstütze oder eines Helms.

Nicht-störende Standardtechnologien erfassen die Pupille im Kamerabild zusammen mit kornealen Reflexen (sogenannte erste Purkinje-Bilder), die durch Beleuchtungsquellen an einer definierten Position relativ zur Kamera verursacht werden. Wenn wenigstens zwei Beleuchtungsquellen verwendet werden, können fünf Freiheitsgrade des Auges erfasst werden, nämlich drei Translationen und zwei Rotationen. Alternativ verwenden einige Vorgehensweisen nicht nur korneale Reflexe, sondern auch Reflexe von der Augenlinse. All diese Reflexionen von brechenden Oberflächen werden Purkinje-Bilder genannt. Es ist nicht möglich, durch Verwendung von Purkinje-Bildern die Rotation um die Symmetrieachse des Auges zu erfassen. Diese Technologien werden in verschiedenen Anwendungen zur Blickverfolgung eingesetzt, und werden üblicherweise als Purkinje-Vorgehensweisen bezeichnet.

Andere nicht-störende Technologien zur Augen-Verfolgung unter Verwendung einer Digitalkamera erfassen einfach die Pupille im zweidimensionalen Kamerabild. Mit dieser Information kann nicht zwischen Augenrotation und Augentranslation unterschieden werden. Derartige Systeme werden häufig bei Augenbehandlungslasern für korneale Ablation eingesetzt. Diese Systeme verfolgen die Pupille, wohingegen jedoch die Ablation auf der Kornea vorgenommen wird, die sich ungefähr drei Millimeter vor der Pupille befindet. Systematische Ablationsfehler treten auf, wenn sich starke Augenrotationen während der Operation ereignen, da sie ausschließlich als Translationen interpretiert werden (oder umgekehrt). Die Erfassung kornealer Reflexionen, damit zwischen Augenrotation und Augentranslation unterschieden werden kann, ist bei dieser Anwendung nicht möglich, da beim Standardverfahren zur kornealen Ablation (LASIK) eine dünne Schicht der Kornea mit einer Dicke von ungefähr 180 Mikron abgeschnitten wird. Die Korneaoberfläche ist nicht mehr glatt, und korneale Reflexionen können nicht genau lokalisiert werden. Dies ist in den 2a und 2b gezeigt, die Purkinje-Bilder eines Auges einer Person vor bzw. nach dem Abschneiden der dünnen Korneaschicht zeigen. In 2a ist die Kornea der Person intakt, so dass die kornealen Reflexe von zwei Beleuchtungsquellen, die an einer definierten Position im Raum angeordnet sind, präzise erfasst werden können. In diesem Fall wirkt die Korneaoberfläche mehr oder weniger wie ein Spiegel. In 2b jedoch ist das gleiche Auge nach einem Deckelschnitt gezeigt. Die Korneaoberfläche ist nicht mehr glatt, und korneale Reflexe können nicht länger erfasst werden. Die herkömmliche Purkinje-Vorgehensweise zur Bestimmung der Position des Auges sowie von zwei der drei Rotationkoordinaten kann daher nicht länger verwendet werden.

Es ist daher Aufgabe der Erfindung, ein Verfahren zur Bestimmung der räumlichen Relation eines Auges einer Person bezüglich einer Kameravorrichtung vorzuschlagen, welches nicht auf kornealen Reflexionen basiert, welches weniger störend und unkomfortabel ist als die oben diskutierten Verfolgungsmethoden des Stands der Technik und welches die Erfassung aller Augenbewegungen in sechs Freiheitsgraden erlaubt.

Überblick über die Erfindung

Erfindungsgemäß wird diese Aufgabe erfüllt durch ein Verfahren zur Bestimmung der räumlichen Relation eines Auges einer Person bezüglich einer Kameravorrichtung, die Bilder des Auges liefert, umfassend

  • – eine Modellerstellungsphase, in der ein individuell angepaßtes Modell des Auges konstruiert und eine räumliche Referenzrelation des Augenmodells bezüglich der Kameravorrichtung unter Verwendung eines Referenzbilds des Auges bestimmt wird; und
  • – eine Verfolgungsphase, in der Positions- und/oder Rotationskoordinaten des Auges durch Anpassen des Augenmodells an ein momentanes Bild des Auges bestimmt werden.

Die Modellerstellungsphase entspricht einer Art anfänglicher Initialisierungsphase, in der das Augenreferenzbild durch die Kameravorrichtung aufgenommen und durch eine Computer derart analysiert wird, dass die räumliche Referenzrelation des Augenmodells, welches das Auge der Person repräsentiert, bezüglich der Kameravorrichtung bestimmt wird.

Später, nämlich während der Verfolgungsphase, können die momentanen Positions- und/oder Rotationskoordinaten des Auges bestimmt werden, indem das Augenmodell, welches während der Modellerstellungsphase initialisiert worden ist, an das von der Kameravorrichtung gelieferte momentane Augenbild angepaßt wird. Diese Anpassung erfolgt üblicherweise durch numerische Fit-Algorithmen, die vom Computer ausgeführt werden.

Vorzugsweise umfasst das Augenmodell:

  • – ein dreidimensionales Augenformmodell, das die Oberfläche des Auges repräsentiert und während der Modellerstellungsphase an das Referenzbild des Auges angepaßt wird; und
  • – Texturinformation, die einer Mehrzahl von Punkten zugeordnet ist, die auf der Oberfläche des Auges lokalisiert sind.

Das Anpassen des Augenformmodells an das Referenzbild des Auges kann dann effizient erfolgen, indem die Translations- und/oder Rotationskoordinaten des Auges numerisch gefittet werden.

In einer einfachen Ausführungsform umfasst das dreidimensionale Augenformmodell eine Überlagerung von zwei Ellipsoiden, von denen eines den Augapfel und das andere die Kornea repräsentiert. Es wird dann üblicherweise unterstellt, dass die Pupille in der Schnittebene der zwei Ellipsoide liegt.

Diese Ausführungsform kann weiter vereinfacht werden, indem man annimmt, dass wenigstens eines der zwei Ellipsoide eine Kugel ist.

In alternativen Ausführungsformen kann das dreidimensionale Augenformmodell eine Gitternetzstruktur von miteinander verbundenen Punkten umfassen, oder kann eine Mehrzahl von Punkten umfassen, die durch Linearkombinationen von Form-Eigenvektoren definiert sind.

Für die Bestimmung der räumlichen Referenzrelation des Augenmodells bezüglich der Kameravorrichtung während der Modellerstellungsphase können verschiedene Möglichkeiten vorgesehen sein:

In der bevorzugten Ausführungsform der Erfindung wird die räumliche Referenzrelation des Augenformmodells bezüglich der Kameravorrichtung durch Anwenden einer Purkinje-Analyse auf das Referenzbild des Auges erhalten, basierend auf kornealen Reflexen von Beleuchtungsquellen, die an vordefinierten Positionen relativ zur Kameravorrichtung lokalisiert sind. Wie oben diskutiert erlaubt diese Purkinje-Vorgehensweise die präzise Messung der drei Translationskoordinaten und zwei Rotationskoordinaten des Auges vor einem eventuellen Korneadeckelschnitt.

Die "fehlende" Rotationskoordinate, nämlich der Rotationswinkel des Auges um seine Symmetrieachse, kann nicht auf einer absoluten Skala gemessen werden. Da Augenverfolgung jedoch eher daran interessiert ist, Augenbewegungen relativ zu einer Anfangsposition zu messen, genügt es, die Koordinate der Augenrotation um die Augensymmetrieachse einfach im Referenzbild als null Grad zu definieren.

In einer weniger zeitaufwendigen Ausführungsform kann die obige Purkinje-Analyse zur Bestimmung der räumlichen Referenzrelation des Augenformmodells bezüglich der Kameravorrichtung durch eine Annahme ersetzt werden, dass die Person eine feste Position im Raum fixiert, die vorher relativ zur Kameravorrichtung definiert worden ist. In anderen Worten wird ein Referenzbild des Auges während der Modellerstellungsphase aufgenommen, und die Augenrotationskoordinaten werden als bekannt unterstellt, da die Person vorher angewiesen worden ist, einen bestimmten Punkt im Raum zu fixieren. Beispielsweise kann die Person angewiesen worden sein, während der Modellerstellungsphase in die Kamera zu blicken, was bedeutet, dass alle Augenwinkel als null Grad definiert werden können. Ferner ist der Abstand des Auges von der Kameravorrichtung während der Modellerstellungsphase üblicherweise bekannt, so dass nur zwei Translationskoordinaten in einer Ebene orthogonal zur Augensymmetrieachse noch basierend auf dem Augenreferenzbild relativ zur Kameravorrichtung bestimmt werden müssen.

In der bevorzugten Ausführungsform der Erfindung, wird die Texturinformation als eine Merkmalstemplatekarte gespeichert, umfassend

  • – dreidimensionale Modellkoordinaten einer Mehrzahl von Referenzbildpunkten, an denen Augenmerkmale lokalisiert sind; und
  • – Templates, die Teile des Referenzbilds enthalten, welche um einen jeweils zugeordneten Punkt extrahiert sind und das entsprechende Augenmerkmal zeigen.

Diese Augenmerkmale können insbesondere ausgewählt sein aus der Gruppe bestehend aus Blutgefäßen, Irismerkmalen, Limbus, Limbuszentrum, Pupillenzentrum, Pupillenrand und künstliche Marker.

Während der Modellerstellungsphase kann somit ein Bediener das Referenzbild des Auges der Person betrachten und charakteristische Merkmale wie z. B. Blutgefäße, den Pupillenrand etc. auswählen. Beispielsweise kann der Bediener ein Augenmerkmal im Referenzbild auswählen, indem er mit einer Computermausvorrichtung darauf klickt. Vorzugsweise jedoch werden die charakteristischen Merkmale automatisch durch den Computer ausgewählt, und zwar durch Bestimmung von Merkmalen im Referenzbild, die einen großen Grauwertgradienten in zwei Dimensionen aufweisen, und die daher für Verfolgungszwecke gut geeignet sind. Die dreidimensionalen Modellkoordinaten jedes derartigen Bildpunkts werden zusammen mit dem zugeordneten Template gespeichert, welches einem aus dem vollständigen Referenzbild extrahierten Bild des Merkmals entspricht.

Vorteilhafterweise werden die dreidimensionalen Modellkoordinaten eines Punkts erhalten, indem das entsprechende Augenmerkmal im Referenzbild des Auges erfasst wird und ein Projektionsstrahl des Augenmerkmals mit dem angepaßten Augenformmodell geschnitten wird. Der Computer berechnet dann den entsprechenden Projektionsstrahl, d. h. die Linie, die beim ausgewählten Punkt beginnt und durch das Projektionszentrum der Kameravorrichtung verläuft, und bestimmt einen Schnittpunkt des Projektionsstrahls mit dem Augenformmodell, welches zuvor während der Modellerstellungsphase angepaßt worden ist. Diese Methode erlaubt eine Berechnung der dreidimensionalen Modellkoordinaten jedes charakteristischen Merkmals, welches im zweidimensionalen Referenzbild ausgewählt worden ist, welche dreidimensionalen Koordinaten dann in der Merkmalstemplatekarte zusammen mit dem zugeordneten Merkmalstemplate gespeichert werden.

In dieser Ausführungsform, bei der eine Merkmalstemplatekarte verwendet wird, kann die Verfolgungsphase vorzugsweise die folgenden Schritte umfassen:

  • a) einen Templateabgleichschritt, bei dem für eine Mehrzahl von in der Merkmalstemplatekarte gespeicherten Merkmalstemplates ein Bereich im momentanen Augenbild gesucht wird, der die größte Ähnlichkeit zu dem jeweiligen Merkmalstemplate aufweist;
  • b) einen Koordinatenbestimmungsschritt, bei dem die Koordinaten der im Schritt a) gefundenen Bereiche als jeweilige momentane Merkmalspositionen bestimmt werden; und
  • c) einen Anpassungsschritt, bei dem ein Bildabstand zwischen den im Schritt b) bestimmten momentanen Merkmalspositionen und den Positionen der in das momentane Augenbild projizierten entsprechenden dreidimensionalen Modellmerkmale durch Fitten von Orientierungs- und/oder Rotationsparametern des Augenmodells minimiert wird.

Alle Schritte der Verfolgungsphase werden vorteilhafterweise numerisch durch den gleichen Computer durchgeführt, der die Modellerstellungsphase steuert.

Obwohl der Templateabgleich ein Standardwerkzeug der modernen digitalen Bildanalyse ist, kann es dennoch hilfreich sein, die Suchzeit zu verringern, die benötigt wird, um ein Merkmalstemplate im momentanen Augenbild zu finden. Daher sollte für jedes Merkmalstemplate, das in der Merkmalstemplatekarte gespeichert ist, die während des Templateabgleichschritts durchgeführte Suche auf eine vorher definierte Zone des momentanen Augenbilds um die Merkmalsposition herum begrenzt werden, die in einem früheren Koordinatenbestimmungsschritt bestimmt worden ist. Dieser frühere Koordinatenbestimmungsschritt kann der anfängliche Koordinatenbestimmungsschritt sein, der während der Modellerstellungsphase basierend auf dem Referenzbild durchgeführt worden ist. In anderen Worten, wenn der Templateabgleich während der Verfolgungsphase erstmals durchgeführt wird, so kann die Suche nach demjenigen Bereich im momentanen Augenbild, der die größte Ähnlichkeit zum Merkmalstemplate aufweist, auf eine vorher definierte Zone des momentanen Augenbilds nahe der anfänglichen Merkmalsposition begrenzt werden, die im Referenzbild gemessen worden ist.

Die als Teil des Augenmodells gespeicherte Texturinformation muss nicht zwingend als Merkmalstemplatekarte bereitgestellt werden. Statt dessen kann eine alternative Ausführungsform vorgesehen werden, bei der die Texturinformation als Grauwertkarte gespeichert wird, umfassend:

  • – dreidimensionale Modellkoordinaten einer Mehrzahl von zuvor definierten Referenzbildpunkten; und
  • – Grauwerte, die aus dem Referenzbild bei jedem der Punkte extrahiert worden sind.

Auch in dieser alternativen Ausführungsform werden die dreidimensionalen Modellkoordinaten eines Punkts durch Schnitt eines Projektionsstrahls des Referenzbildpunkts mit dem angepaßten Augenformmodell erhalten.

Im Gegensatz zur oben diskutierten ersten Ausführungsform, die eine Merkmalstemplatekarte verwendet, müssen die vorher definierten Referenzbildpunkte, die in der Ausführungsform mit der Grauwertkarte verwendet werden, nicht individuell durch den Computer oder durch einen Bediener basierend auf einer Analyse des Augenreferenzbildes ausgewählt werden. Statt dessen wird üblicherweise eine große Zahl von vorher definierten Referenzbildpunkten automatisch aus dem Referenzbild ausgewählt, ihre dreidimensionalen Modellkoordinaten werden mittels des oben diskutierten Schnittverfahrens berechnet, und jeder Satz von dreidimensionalen Modellkoordinaten eines Punkts wird zusammen mit dem entsprechenden Grauwert des Referenzbilds bei diesem Punkt in der Grauwertkarte gespeichert.

In dieser Ausführungsform umfasst die Verfolgungsphase einen Anpassungsschritt, bei dem die Gesamtgrauwertdifferenz zwischen dem momentanen Augenbild und der in das momentane Augenbild projizierten Grauwertkarte durch Fitten von Orientierungs- und/oder Rotationsparametern des Augenmodells minimiert wird.

In allen Ausführungsformen der Erfindung ist es theoretisch möglich, das Auge der Person nur einmal zu verfolgen, beispielsweise bei Blickverfolgungsanwendungen im Rahmen von Marktstudien. Beispielsweise kann es interessant sein herauszufinden, in welche Richtung ein Kunde zuerst blickt, nachdem er ein Geschäft betreten hat.

Speziell bei kornealer Ablationschirurgie ist es jedoch bevorzugt, dass die Verfolgungsphase in regelmäßigen Zeitintervallen kontinuierlich wiederholt wird.

Bei diesen medizinischen Anwendungen umfasst das erfindungsgemäße Verfahren ferner einen Schritt der Bestimmung einer räumlichen Relation des Auges der Person bezüglich einer chirurgischen Vorrichtung basierend auf einer zuvor bestimmten räumlichen Relation der Kameravorrichtung bezüglich der chirurgischen Vorrichtung. Die chirurgische Vorrichtung kann insbesondere ein für korneale Ablation eingesetzter Laser sein. Das erfindungsgemäße Verfahren erlaubt dann die kontinuierliche Bereitstellung der momentanen Positions- und Rotationskooridinaten des Auges des Patienten. Der Laser kann dann automatisch bewegt werden, um unerwünschte Augenbewegungen zu kompensieren, damit sichergestellt ist, dass der Laserstrahl die Kornea des Patienten stets an der richtigen Position trifft.

In allen Ausführungsformen des erfindungsgemäßen Verfahrens umfasst die räumliche Verfolgungsphase ferner die Bestimmung interner Freiheitsgrade des Augenmodells, ausgewählt aus der Gruppe bestehend aus Relativbewegungen von Augenmodellmerkmalen, Skalierung des gesamten Augenmodells, Skalierung von Augenmodellmerkmalen, Verformungen des gesamten Augenmodells, Verformungen von Augenmodellmerkmalen und Aussehensveränderungen aufgrund von Beleuchtungseinflüssen. Ein entsprechend verbesserter numerischer Fitalgorithmus erlaubt die Berücksichtigung von Veränderungen im momentanen Augenbild im Vergleich zum Referenzbild, die nicht auf Augentranslationen oder -rotationen zurückzuführen sind, und wird daher die Anpassungsergebnisse verbessern.

Die Erfindung betrifft ferner ein Computerprogramm, umfassend: Computerprogrammcode, der beim Ausführen auf einem an eine Kameravorrichtung angeschlossenen Computer dem Computer ermöglicht, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.

Kurzbeschreibung der Zeichnungen

Weitere Aufgaben, Merkmale und Ergebnisse der Erfindung werden aus der nachfolgenden Beschreibung deutlich werden, die als nicht beschränkendes Beispiel gegeben und durch die beigefügten Figuren erläutert wird, in denen:

1 eine schematische Darstellung eines menschlichen Auges und eines daran festgemachten Koordinatensystems ist;

2a eine Fotografie eines Auges einer Person während einer Purkinje-Analyse ist, wobei die Kornea des Auges intakt ist;

2b eine Fotografie ähnlich 2a im Fall einer weggeschnittenen Korneaschicht ist;

3 eine schematische Ansicht zur Erläuterung eines experimentellen Aufbaus ist, der für korneale Ablationschirurgie verwendet wird;

4 einen schematischen experimentellen Aufbau für eine Purkinje-Analyse zeigt;

5 eine schematische Ansicht zur Erläuterung der Relation zwischen dem Auge einer Person mit einem daran festgemachten Koordinatensystem und der Kameravorrichtung ist, an der ein raumfestes Hauptkoordinatensystem festgemacht ist;

6 ein vergrößertes Bild eines Auges einer Person mit charakteristischen Blutgefäßmerkmalen ist;

7 eine schematische Darstellung von Projektionsstrahlen ist, die von einem Computer während der Modellerstellungsphase gemäß einer ersten Ausführungsform der Erfindung simuliert sind;

8 die räumliche Verteilung von Referenzbildpunkten in dem am Auge festgemachten Koordinatensystem gemäß der ersten Ausführungsform der Erfindung zeigt;

9 eine Mehrzahl von Templates zeigt, von denen jedes gemäß der ersten Ausführungsform der Erfindung einem jeweiligen Referenzbildpunkt zugeordnet ist;

10 ein schematisches Flußdiagramm ist, das die in der ersten Ausführungsform der Erfindung durchgeführten Verfahrensschritte erläutert;

11 drei Grauwertkarten zeigt, die in der zweiten Ausführungsform der Erfindung verwendet werden;

12 ein schematisches Flußdiagramm zur Erläuterung wesentlicher Verfahrensschritte der zweiten Ausführungsform der Erfindung ist;

13 einen experimentellen Aufbau zeigt, der in einer alternativen Ausführungsform der Erfindung basierend auf einer Augenmodellerstellung mittels Triangulation von Augenoberflächenpunkten verwendet wird; und

14 noch einen weiteren experimentellen Aufbau zeigt, der in einer alternativen Ausführungsform basierend auf einer Augenmodellerstellung mittels mehrerer Kameras verwendet wird.

1 ist eine schematische Darstellung eines Auges 10 einer Person und eines daran festgemachten Koordinatensystems. Die z'-Achse des Koordinatensystems fällt mit der Augensymmetrieachse zusammen und verläuft somit durch den Augapfel 12, die Linse 14 und die Augenkornea 16. In einer Ebene orthogonal zur z'-Achse sind zwei orthogonale Koordinatenachsen x' bzw. y' in 1 gezeigt.

Rotationen um die Achsen x', y' und z' werden durch Winkel &agr;', &bgr;', bzw. &ggr;' definiert. Ferner sind in 1 verschiedene Muskeln 18 gezeigt, die am Augapfel 12 befestigt sind. Absichtliche Aktivitäten dieser Muskeln 18 führen zu Translationen und/oder Rotationen des Auges, beispielsweise wenn die Person absichtlich ein bestimmtes Objekt betrachtet. Andererseits können unabsichtliche Aktivitäten der Muskeln 18 zu Translationen und/oder Rotationen des Auges 10 auch dann führen, wenn jede derartige Bewegung vermieden werden soll, beispielsweise während einer Augenoperation. In all diesen Fällen erlaubt das erfindungsgemäße Verfahren die Verfolgung des Auges 10 der Person, d. h. die Bestimmung seiner momentanen räumlichen Relation bezüglich einer Kameravorrichtung 20, die Bilder des Auges 10 liefert, beispielsweise während einer kornealen Ablationsoperation. Ein entsprechender experimenteller Aufbau ist in 3 schematisch gezeigt.

Bei dem in 3 gezeigten typischen chirurgischen Aufbau wird ein Patient auf einem Stuhl oder einer Patientenliege positioniert, und eine Kameravorrichtung 20 wird derart angeordnet, dass sie seinem Auge 10 in einem vorbestimmten Abstand gegenüber liegt.

Die Kameravorrichtung 20 gibt die gemessenen Bilddaten über eine Datenübertragungsleitung 24 an einen Computer 22 ein. Der Computer 22 wiederum steuert ein Lasergerät 26 über eine Steuerleitung 28. Das Lasergerät 26 umfasst eine Laservorrichtung und Mittel zum Richten eines von der Laservorrichtung emittierten Laserstrahls auf die Kornea 16 für chirurgische Zwecke. Ohne Beschränkung umfassen die Mittel zum Richten des Laserstrahls vorzugsweise eine Mehrzahl von individuell einstellbaren Spiegeln, die den von der Laservorrichtung emittierten Strahl reflektieren.

Alternativ könnten die Mittel zum Richten des Laserstrahls einen individuell einstellbaren Halter umfassen, auf dem die Laservorrichtung selbst montiert ist. Das Richten des Laserstrahls erfolgt dann durch Kippen oder Verschieben der Laservorrichtung selbst.

Der Computer 22 führt einen Computerprogrammcode aus, der es erlaubt, das erfindungsgemäße Verfahren derart durchzuführen, dass unabsichtliche Bewegungen der Kornea 16 mittels der Kameravorrichtung 20 verfolgt werden, und geeignete Steuersignale werden vom Computer 22 berechnet und über die Steuerleitung 28 zum Lasergerät 26 geschickt, um automatisch in geeigneter Weise den vom Lasergerät 26 emittierten Laserstrahl 30 zu verschieben. Somit können unabsichtliche Augenbewegungen kompensiert werden, und es kann sichergestellt werden, dass der Laserstrahl 30 die Kornea 16 an der gewünschten Stelle trifft. Alternativ kann anstelle einer Kompensierung von Augenbewegungen das Lasergerät 26 ausgeschaltet werden, oder der Laserstrahl kann blockiert werden, wenn festgestellt wird, dass die momentane Augenorientierung nicht innerhalb eines akzeptablen Bereichs liegt.

Bevorzugte Ausführungsformen des erfindungsgemäßen Verfahrens, wie es durch den Computer 22 gesteuert wird, werden nun detailliert in Verbindung mit den 414 beschrieben werden.

Wenn die Kameravorrichtung 20 vor dem Auge 10 des Patienten positioniert worden ist, wird die Modellerstellungsphase des erfindungsgemäßen Verfahrens gestartet, wobei ein individuell angepaßtes Modell des Auges 10 konstruiert wird, und die räumliche Referenzrelation des Augenmodells bezüglich der Kameravorrichtung 20 bestimmt wird. Das individuell angepaßte Augenmodell umfasst ein dreidimensionales Augenformmodell, welches die Oberfläche des Auges 10 repräsentiert. Bei der in 4 gezeigten Ausführungsform entspricht dieses Augenformmodell einer Überlagerung von zwei Kugeln: Der Augapfel oder Globus 12 wird durch die in 4 gezeigte größere Kugel repräsentiert, wohingegen die Kornea 16 durch den Teil einer kleineren Kugel repräsentiert wird, der als gepunktete Linie gezeigt ist und in Richtung der Kameravorrichtung 20 vom Augapfel 12 vorsteht. Der Radius der größeren Kugel bzw. der kleineren Kugel wird als bekannt angenommen.

Zu Beginn der Modellerstellungsphase werden die Positionskoordinaten x, y und z des Auges 10, dargestellt durch das individuell angepaßte Modell, sowie die Rotationskoordinaten &agr; und &bgr; im festen Koordinatensystem berechnet, das an der Kameravorrichtung 20 festgemacht ist, und zwar mittels einer Purkinje-Analyse, wie sie im Stand der Technik allgemein bekannt ist:

Zu diesem Zweck werden die kornealen Reflexe von Lichtstrahlen, die von zwei Beleuchtungsquellen 32 emittiert werden, welche an bekannten Positionen relativ zur Kameravorrichtung 20 lokalisiert sind, im Kamerabild erfasst. Zusätzlich wird auch das Limbus- oder Pupillenzentrum im Kamerabild erfasst. Die Berechnung der Koordinaten x, y, z, &agr; und &bgr; basiert auf einem geschätzten Abstand zwischen dem Limbus- oder Pupillenzentrum und dem Zentrum der Kornea 16. Ferner wird angenommen, dass die Kornea 16 nicht nur durch die in 4 mit gepunkteter Linie gezeigte perfekte Kugel repräsentiert werden kann, sondern dass sie auch ein perfekter Reflektor ist. Für jeden Lichtstrahl, der von einer der Beleuchtungsquellen 32 emittiert wird und die Kornea 16 trifft, kann dann unterstellt werden, dass der Ausfallswinkel &PHgr;' relativ zur lokalen Oberflächennormale 34 gleich dem entsprechenden Einfallswinkel &PHgr; ist.

2a zeigt die entsprechenden Lichtpunkte in der Pupille des Auges 10, auf denen dieses Purkinje-Verfahren zur Anpassung des Augenformmodells basiert.

Entsprechend können im Augenbild der 2b, wo das gleiche Auge 10 nach einem Deckelschnitt gezeigt ist, keine kornealen Reflexe mehr erfasst werden, da die Korneaoberfläche nicht mehr glatt ist. Es ist daher wesentlich, dass die Modellerstellungsphase des erfindungsgemäßen Verfahrens durchgeführt wird, bevor die korneale Ablationsoperation beginnt.

Wenn der anfängliche Purkinje-Schritt der Modellerstellungsphase abgeschlossen ist, sind Koordinaten x, y, z, &agr; und &bgr; des Augenformmodells berechnet worden, und sind in einem an der Kameravorrichtung festgemachten Koordinatensystem bekannt.

Dann wird als nächster Schritt während der Modellerstellungsphase Texturinformation über das Auge erhalten und im Computer 22 als eine Karte gespeichert, die der durch das Augenformmodell repräsentierten Augenoberfläche zugeordnet ist.

In der in Verbindung mit den 610 diskutierten bevorzugten Ausführungsform ist diese Karte eine Merkmalstemplatekarte, die Information über die Position und Struktur charakteristischer Augenmerkmale enthält. Als besonders geeignete Merkmale können im Augenbild erscheinende Blutgefäße ausgewählt werden, wie aus 6 klar wird, die ein durch die Kameravorrichtung 20 aufgenommenes Augenbild zeigt.

Insbesondere nimmt ein Bediener ein Referenzbild des Auges 10 der Person auf, und dann werden in der oben beschriebenen Weise charakteristische Merkmale wie z. B. die Blutgefäße, der Pupillenrand etc., wie sie in 6 klar sichtbar sind, ausgewählt. Diese Auswahl kann auf einem Bildschirm 36 beobachtet werden, auf dem das Referenzbild angezeigt wird. In 7 ist der Bildschirm 36 aus Gründen der Einfachheit an der Rückseite der Kameravorrichtung 20 gezeigt. Es kann jedoch ein separater Bildschirm 36 verwendet werden, der an den Computer 22 angeschlossen ist und das Referenzbild von der Kameravorrichtung 20 über die Datenübertragungsleitung 24 und den Computer 22 empfängt.

Für jedes ausgewählte charakteristische Augenmerkmal berechnet der Computer 22 einen Projektionsstrahl, d. h. eine Linie, die am ausgewählten Punkt beginnt und durch das Projektionszentrum der Kameravorrichtung verläuft, dessen Position ein grundlegender optischer Parameter der Kameravorrichtung 20 und somit bekannt ist. In 7 sind verschiedene ausgewählte charakteristische Punkte gezeigt, beispielsweise der ausgewählte Punkt 38, zusammen mit ihren entsprechenden Projektionsstrahlen, beispielsweise Strahl 40, die alle durch das Projektionszentrum 42 der Kamera verlaufen.

Der Computer 22 berechnet dann die dreidimensionalen Modellkoordinaten x', y' und z' jedes entsprechenden Punkts, wo ein Projektionsstrahl das zuvor angepaßte Augenformmodell schneidet. In 7 beispielsweise schneidet der Projektionsstrahl 40 das Augenformmodell im Punkt 44, dessen dreidimensionale Koordinaten x', y', z' bzw. x, y, z somit sowohl in dem am Auge 10 festgemachten Koordinatensystem (siehe 1 und 5) als auch in dem an der Kameravorrichtung festgemachten Koordinatensystem berechnet werden können, da das Augenformmodell zuvor angepaßt worden ist, was es erlaubt, die Koordinatentransformation für jeden Punkte des Augenformmodells zu berechnen.

8 zeigt ein typisches Beispiel der entsprechend erhaltenen Positionen charakteristischer Augenmerkmale auf der Oberfläche des angepaßten Augenformmodells. Jeder im dreidimensionalen Koordinatensystem der 8 dargestellte Punkt entspricht einem charakteristischen Augenmerkmal und ist durch das oben beschriebene Projektionsstrahlschnittverfahren erhalten worden. Ferner extrahiert der Computer 22 aus dem vollständigen Referenzbild ein lokales Bild jedes Augenmerkmals und speichert es zusammen mit den dreidimensionalen Modellkoordinaten x', y' und z'. 9 zeigt mehrere entsprechende Templates, von denen jedes einem der Punkte zugeordnet ist, die auf der Oberfläche des in 8 gezeigten angepaßten Augenformmodells liegen.

Als Folge hat der Computer 22 am Ende der Modellerstellungsphase Koordinaten x, y, z, &agr; und &bgr; des Augenformmodells in dem an der Kameravorrichtung 20 festgemachten Koordinatensystem berechnet, wobei die „fehlende" Rotationskoordinate &ggr; als null Grad definiert wird, und er hat ferner dreidimensionale Modellkoordinaten x', y' und z' einer Mehrzahl von charakteristischen Augenmerkmalen bestimmt und sie zusammen mit zugeordneten Templates abgespeichert, die die Struktur jedes jeweiligen Merkmals zeigen.

Basierend auf diesen Ergebnissen der Modellerstellungsphase wird nun die Verfolgungsphase der bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens in Verbindung mit 10 erklärt werden.

Zunächst führt der Computer 22 einen Templateabgleichschritt S10 basierend auf dem von der Kamervorrichtung 20 gelieferten momentanen Bild und der im Computer 22, beispielsweise auf einer darin installierten Festplatte, gespeicherten Merkmalstemplatekarte durch. Beim Templateabgleichschritt S10 wird eines der als Teil der Merkmalstemplatekarte (siehe 9) gespeicherten Templates ausgewählt, und im momentanen Augenbild wird ein Bereich gesucht, der die größte Ähnlichkeit zu dem ausgewählten Merkmalstemplate aufweist. Solche Templateabgleichverfahren, die beispielsweise auf normierten Kreuzkorrelationsalgorithmen basieren, sind im Stand der Technik bekannt und werden daher nicht detailliert erklärt werden.

Wenn im momentanen Augenbild derjenige Bereich gefunden worden ist, der die größte Ähnlichkeit zum ausgewählten Merkmalstemplate hat, wird in einem nachfolgenden Koordinatenbestimmungsschritt S20 seine Position in Form von zweidimensionalen Koordinaten im festen Koordinatensystem x, y, z bestimmt und vorübergehend im Computer 22 gespeichert.

Der Templateabgleichschritt S10 und der nachfolgende Koordinatenbestimmungsschritt S20 werden für eine Mehrzahl von Merkmalstemplates durchgeführt, die im Computer 22 als Teil der Merkmalstemplatekarte gespeichert sind, vorzugsweise für all ihre Merkmalstemplates. Entsprechend werden die zweidimensionalen Merkmalspositionen im Koordinatenbestimmungsschritt S20 für die Mehrzahl von Merkmalstemplates erhalten, und im bevorzugten Fall für alle Merkmalstemplates. Der Templateabgleichschritt des erfindungsgemäßen Verfahrens geht dann zu einem nachfolgenden Anpassungschritt S30 weiter, in dem ein Bildabstand zwischen den im Schritt S20 bestimmten momentanen Merkmalspositionen und den Positionen der entsprechenden dreidimensionalen Modellmerkmale, die in das momentane Augenbild projiziert werden, wie folgt minimiert wird: Das vollständige dreidimensionale Augenmodell, welches während der Modellerstellungsphase konstruiert und an das Augenreferenzbild angepaßt worden ist, wird in das momentane zweidimensionale Augenbild projiziert. Für jedes Merkmalstemplate, welches während des Templateabgleichschritts S10 abgeglichen worden ist, und dessen zweidimensionale Koordinaten im momentanen Bild entsprechend im Koordinatenbestimmungsschritt S20 bestimmt worden sind, berechnet der Computer 22 dann den Abstand zwischen seiner momentanen Position und der Position seiner Projektion. Die Berechnung der Summe der Abstände über alle Merkmalstemplates ergibt den sogenannten Bildabstand, der durch Fitten von Orientierungs- und/oder Rotationsparametern des Augenmodells minimiert werden kann, beispielsweise durch das gut bekannte Least-Squares-Fitverfahren.

In anderen Worten analysiert der Computer 22 während des Anpassungsschritts S30, welche Translationen und/oder Rotationen des Augenmodells die Reproduktion des momentanen Augenbilds erlauben, und die als Merkmalstemplatekarte gespeicherten charakteristischen Augenmerkmale dienen zum „Vergleich" des Augenmodells und des momentanen Bilds.

Als Folge des Anpassungsschritts S30 erhält man daher drei Translationskoordinaten x, y und z sowie drei Rotationskoordinaten &agr;, &bgr; und &ggr;, die die Bewegung des Auges 10 der Person im festen Koordinatensystem relativ zu seinem Referenzbild beschreiben. Basierend auf der entsprechend erhaltenen Information kann der Computer 22 das Lasergerät 26 derart steuern, dass Augenbewegungen kompensiert werden, um sicherzustellen, dass der Laserstrahl 30 die Kornea 16 des Patienten an der gewünschten Stelle trifft. Alternativ kann, wie oben erläutert, der Laserstrahl 30 abgeschaltet werden, wenn festgestellt wird, dass die momentane Augenorientierung außerhalb eines akzeptablen Orientierungsbereichs liegt.

Der während des Anpassungsschritts S30 verwendete Fitalgorithmus kann gegebenenfalls weitere Freiheitsgrade des Auges 10 berücksichtigen, beispielsweise Relativbewegungen von Augenmodellmerkmalen, eine Skalierung des gesamten Augenmodells, eine Skalierung von Augenmodellmerkmalen, Verformungen des gesamten Augenmodells, Verformungen von Augenmodellmerkmalen und Veränderungen des Aussehens aufgrund von Beleuchtungseinflüssen.

Eine alternative Ausführungsform des Erfindungsgemäßen Verfahrens wird nun in Verbindung mit 11 und 12 beschrieben werden.

In dieser alternativen Ausführungsform wird die Texturinformation des Augenmodells als eine Grauwertkarte gespeichert, die aus dem Referenzbild des Auges hergeleitet wird, das während der Modellerstellungsphase erhalten wird. In diesem Fall ist es nicht nötig, individuell charakteristische Augenmerkmale im Referenzbild auszuwählen, das auf einem Bildschirm angezeigt wird. Statt dessen ist eine große Zahl von Referenzbildpunkten, die im Betrachtungsfeld der Kameravorrichtung 20 liegen, vorher bei der Programmierung des Computerprogramms definiert worden, welches die Ausführung des erfindungsgemäßen Verfahrens erlaubt. Wenn dann während der Modellerstellungsphase das Referenzbild durch die Kameravorrichtung aufgenommen wird, berechnet der Computer 22 die dreidimensionalen Modellkoordinaten x', y', z', die jedem der zuvor definierten Referenzbildpunkte zugeordnet sind, basierend auf dem oben erläuterten Schnittverfahren, und bestimmt ferner den Grauwert des Referenzbilds an jedem der zuvor definierten Referenzbildpunkte. Die dreidimensionalen Modellkoordinaten x', y', z' der Referenzbildpunkte sowie ihre jeweiligen Grauwerte werden dann als eine Grauwertkarte abgespeichert.

Die Zahl vorher definierter Punkte, die für diese alternative Ausführungsform des erfindungsgemäßen Verfahrens verwendet werden, übersteigt üblicherweise bei weitem die Zahl von Punkten, die während der oben diskutierten Ausführungsform ausgewählt werden, welche auf Merkmalstemplates basiert. Im erläuternden Fall der 8 und 9 beispielsweise ist eine Gesamtzahl von 300 charakteristischen Punkten individuell vom Computer 22 ausgewählt worden, und zwar basierend auf der oben erläuterten Bestimmung von Grauwertgradienten in zwei Dimensionen im Augenreferenzbild. Bei der Grauwertkartenausführungsform jedoch werden üblicherweise mehrere Tausend regulär beabstandete Punkte vorher definiert und analysiert.

11 zeigt drei verschiedene Ansichten einer dreidimensionalen Grauwertkarte, erhalten aus dem Referenzbild des Auges 10 und auf einen Bildschirm projiziert. Die drei in 11 dargestellten Fälle könnten beispielsweise drei verschiedenen Rotationswinkeln &bgr; des Augenmodells entsprechen (siehe 1), wobei das mittlere Bild in 11 dem Fall &bgr; = 0 entspricht, d. h. das Augenmodell entspricht einem Auge 10 einer Person, die die Kameravorrichtung 20 fixiert.

In dieser alternativen Ausführungsform des erfindungsgemäßen Verfahrens umfasst die schematisch durch das Flussdiagramm in 13 dargestellte Verfolgungsphase einen Anpassungsschritt S130, in dem die Gesamtgrauwertdifferenz zwischen dem momentanen Augenbild und der in das momentane Augenbild projizierten Grauwertkarte wie folgt minimiert wird:

Zunächst wird die dreidimensionale Grauwertkarte in das momentane Augenbild projiziert. Dann berechnet der Computer 22 für eine Mehrzahl von vorher definierten Referenzbildpunkten, vorzugsweise für alle vorher definierten Referenzbildpunkte, die Differenz zwischen dem Grauwert des momentanen Augenbilds und dem von der Karte in das momentane Augenbild projizierten Grauwert an der jeweiligen Koordinate x, y. Eine Summation dieser Grauwertdifferenzen über alle Referenzbildpunkte ergibt die sogenannte Gesamtgrauwertdifferenz. Anschließend führt der Computer 22 einen Minimierungsalgorithmus durch, bei dem die Freiheitsgrade des Augenmodells, insbesondere seine Translations- und/oder Rotationskoordinaten derart variiert werden, dass die Gesamtgrauwertdifferenz minimiert wird.

Der erhaltene Koordinatensatz repräsentiert dann die Bewegung des Auges 10 der Person, die mittlerweile relativ zum Referenzbild aufgetreten ist. Wiederum kann der Computer 22 basierend auf dieser Information das Lasergerät 26 über die Steuerleitung 28 derart steuern, dass die Augenbewegung kompensiert und sichergestellt wird, dass der Laserstrahl 30 die gewünschte Stelle auf der Kornea 16 trifft, oder um den Laserstrahl 30 vollständig abzuschalten.

Wie in der oben diskutierten Ausführungsform unter Verwendung einer Merkmalstemplatekarte können wiederum mehr als sechs Freiheitsgrade des Auges 10 während des Anpassungsschritts S130 berücksichtigt werden, insbesondere Relativbewegungen von Augenmodellmerkmalen, eine Skalierung des gesamten Augenmodells, eine Skalierung von Augenmodellmerkmalen, Verformungen des gesamten Augenmodells, Verformungen von Augenmodellmerkmalen und Aussehensveränderungen aufgrund von Beleuchtungseinflüssen.

In anderen Worten ausgedrückt, wird in allen Ausführungsformen des erfindungsgemäßen Verfahrens die Bewegung des Auges 10 relativ zu seiner Anfangsposition, wie sie durch das Referenzbild gemessen wird, mit Hilfe eines numerischen Computeralgorithmus bestimmt, der versucht, die optimale Koordinatentransformation für die Texturinformation zu finden, und zwar von dem am Auge festgemachten Koordinatensystem x', y', z' in das an der Kameravorrichtung festgemachte feste Koordinatensystem x, y, z derart, dass der oben definierte Bildabstand oder die oben definierte Gesamtgrauwertdifferenz minimiert wird.

Das erfindungsgemäße Verfahren sowie das entsprechende erfindungsgemäße Computerprogramm sind nicht auf die oben diskutierten Ausführungsformen beschränkt, die nur zu Erläuterungszwecken dienen. Insbesondere kann während der Modellerstellungsphase die räumliche Referenzrelation des Augenformmodells bezüglich der Kameravorrichtung 20 durch andere Methoden als die oben diskutierte Purkinje-Analyse erhalten werden. Beispielsweise kann, wie in 13 gezeigt, das gut bekannte Verfahren der Triangulation von Augenoberflächenpunkten unter Verwendung eines projizierten Streifenmusters verwendet werden. In diesem Fall wird eine Projektionsvorrichtung 46 eingesetzt, um einen Lichtstrahl auf die Oberfläche des Auges 10 der Person zu richten. Als Projektionsvorrichtung 46 kann vorteilhafterweise eine Laserdiode oder irgendein anderer Projektor eingesetzt werden. Die Streifen in dem von der Kameravorrichtung 20 aufgenommenen Bild werden erfasst und erlauben die Gewinnung von Tiefeninformation an diesen Punkten mittels Triangulation, um eine dreidimensionale Punktwolke von Oberflächenpunkten des beleuchteten Auges 10 zu konstruieren. Dann kann ein dreidimensionales Modell des Auges konstruiert werden, und zwar entweder durch Fitten einer parametrisierten Oberfläche in die dreidimensionale Punktwolke (vorzugsweise ein Ellipsoid, insbesondere eine Kugel), oder durch Verwenden der Punktwolke selbst als das Refernzmodell.

Als weitere, in 14 gezeigte Alternative kann die räumliche Referenzrelation des Augenformmodells bezüglich der Kameravorrichtung 20 durch Verwendung einer weiteren Kameravorrichtung 48 bestimmt werden. In diesem Fall werden Stereoabgleichtechniken eingesetzt, um entsprechende Punkte in beiden Bildern zu erfassen, d. h. einem Bild in der Kameravorrichtung 20 und einem gleichzeitig aufgenommenen Bild in der weiteren Kameravorrichtung 48. Für diese Punkte kann Tiefeninformation durch Triangulation gewonnen werden, um eine dreidimensionale Punktwolke von Oberflächenpunkten des beleuchteten Auges zu konstruieren. Dann kann ein dreidimensionales Modell des Auges konstruiert werden, und zwar entweder durch Fitten einer parametrisierten Oberfläche in die dreidimensionale Punktwolke (vorzugsweise ein Ellipsoid, insbesondere eine Kugel), oder durch Verwenden der Punktwolke selbst als das Referenzmodell.

Ferner ist zu betonen, dass die Texturinformation nicht zwangsläufig Punkten zugeordnet sein muss, die auf der Augenoberfläche lokalisiert sind. Im Gegenteil, man könnte auch charakteristische sichtbare Merkmale der Retina, beispielsweise Retina-Blutgefäße, den Sehnervkopf, die Fovea oder einzelne Merkmale von erkrankten Augen wie Drusen als charakteristische Merkmale verwenden, die bestimmt und in der Merkmalstemplatekarte gespeichert werden. In ähnlicher Weise kann die Grauwertkarte basierend auf Grauwerten erstellt werden, die aus dem Referenzbild der Retina extrahiert werden. In dieser Ausführungsform, bei der Retinainformation anstelle von Augenoberflächinformation für Verfolgungszwecke eingesetzt wird, sollte jedoch auch die vorhergehende Anpassung während der Modellerstellungsphase auf der Retina basieren. Im Gegensatz zu der oben diskutierten Ausführungsform, bei der das dreidimensionale Augenformmodell die Augenoberfläche repräsentiert, muss daher in diesen Retina-Ausführungsformen das dreidimensionale Augenformmodell den hinteren Bereich des Augapfels 12 repräsentieren, wo sich die Retina befindet. Anstelle der Verwendung der oben diskutierten Purkinje-Analyse wird die räumliche Referenzrelation des Augenformmodells bezüglich der Kameravorrichtung dann üblicherweise erhalten werden, indem man unterstellt, dass die Person eine feste Position im Raum fixiert, insbesondere direkt auf die Kameravorrichtung 20 blickt.

Das erfindungsgemäße Verfahren erlaubt in all seinen Ausführungsformen im Gegensatz zu Techniken des Stands der Technik die kontinuierliche Bestimmung aller Translations- und Rotationskoordinaten des Auges 10, ohne vorauszusetzen, dass die Kornea 16 während der Verfolgungsphase intakt bleibt. Ein weiterer Vorteil der Erfindung ist die Tatsache, dass sie bei Verschiebungen des Pupillenzentrums arbeiten kann, ohne systematische Fehler einzuführen. Wenn sich die Pupillengröße ändert, insbesondere aufgrund von Veränderungen bei der Beleuchtung, verschiebt sich das Pupillenzentrum relativ zum Globus 12. Bei herkömmlichen Vorgehensweisen, die sich auf die Lokalisierung des Pupillenzentrums im Kamerabild verlassen, führt dies zu systematischen Fehlern. Im Gegensatz hierzu wird das erfindungsgemäße Verfahren durch eine Verschiebung der Pupille nicht beeinträchtigt.


Anspruch[de]
Verfahren zur Bestimmung der räumlichen Relation eines Auges (10) einer Person bezüglich einer Kameravorrichtung (20), die Bilder des Auges (10) liefert, dadurch gekennzeichnet, dass das Verfahren umfasst

– eine Modellerstellungsphase, in der ein individuell angepaßtes Modell des Auges (10) konstruiert und eine räumliche Referenzrelation des Augenmodells bezüglich der Kameravorrichtung (20) unter Verwendung eines Referenzbilds des Auges (10) bestimmt wird; und

– eine Verfolgungsphase, in der Positions- und/oder Rotationskoordinaten des Auges (10) durch Anpassen des Augenmodells an ein momentanes Bild des Auges (10) bestimmt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Augenmodell umfasst

– ein dreidimensionales Augenformmodell, das die Oberfläche des Auges (10) repräsentiert und während der Modellerstellungsphase an das Referenzbild des Auges (10) angepaßt wird; und

– Texturinformation, die einer Mehrzahl von Punkten zugeordnet ist, die auf der Oberfläche des Auges (10) lokalisiert sind.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das dreidimensionale Augenformmodell eine Überlagerung von zwei Ellipsoiden umfasst, von denen eines den Augapfel (12) repräsentiert, und das andere die Kornea (16) repräsentiert. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass wenigstens eines der zwei Ellipsoide eine Kugel ist. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das dreidimensionale Augenformmodell eine Gitternetzstruktur von miteinander verbundenen Punkten umfasst. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das dreidimensionale Augenformmodell eine Mehrzahl von Punkten umfasst, die durch Linearkombinationen von Form-Eigenvektoren definiert sind. Verfahren nach einem der Ansprüche 2–6, dadurch gekennzeichnet, dass die räumliche Referenzrelation des Augenformmodells bezüglich der Kameravorrichtung (20) durch Anwenden einer Purkinje-Analyse auf das Referenzbild des Auges (10) erhalten wird, basierend auf kornealen Reflexen von Beleuchtungsquellen (32), die an vordefinierten Positionen relativ zur Kameravorrichtung (20) lokalisiert sind. Verfahren nach einem der Ansprüche 2–6, dadurch gekennzeichnet, dass die räumliche Referenzrelation des Augenformmodells bezüglich der Kameravorrichtung (20) erhalten wird unter der Annahme, dass die Person eine feste Position im Raum fixiert, die zuvor relativ zur Kameravorrichtung (20) definiert worden ist. Verfahren nach einem der Ansprüche 2–8, dadurch gekennzeichnet, dass die Texturinformation als eine Merkmalstemplatekarte gespeichert wird, umfassend

– dreidimensionale Modellkoordinaten einer Mehrzahl von Referenzbildpunkten, an denen Augenmerkmale lokalisiert sind; und

– Templates, die Teile des Referenzbilds enthalten, welche um einen jeweils zugeordneten Punkt extrahiert sind und das entsprechende Augenmerkmal zeigen.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Merkmale ausgewählt sind aus der Gruppe bestehend aus Blutgefäßen, Iris-Merkmalen, Limbus, Limbuszentrum, Pupillenzentrum, Pupillenrand und künstlichen Markern. Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass die dreidimensionalen Modellkoordinaten eines Punkts erhalten werden durch Erfassen des entsprechenden Augenmerkmals im Referenzbild des Auges (10) und Schneiden eines Projektionsstrahls (40) des Augenmerkmals mit dem angepaßten Augenformmodell. Verfahren nach einem der Ansprüche 9–11, dadurch gekennzeichnet, dass die Verfolgungsphase die folgenden Schritte umfasst

a) einen Templateabgleichschritt (S10), bei dem für eine Mehrzahl von in der Merkmalstemplatekarte gespeicherten Merkmalstemplates ein Bereich im momentanen Augenbild gesucht wird, der die größte Ähnlichkeit zu dem jeweiligen Merkmalstemplate aufweist;

b) einen Koordinatenbestimmungsschritt (S20), bei dem die Koordinaten der im Schritt a) gefundenen Bereiche als jeweilige momentane Merkmalspositionen bestimmt werden; und

c) einen Anpassungsschritt (S30), bei dem ein Bildabstand zwischen den im Schritt b) bestimmten momentanen Merkmalspositionen und den Positionen der in das momentane Augenbild projizierten entsprechenden dreidimensionalen Modellmerkmale durch Fitten von Orientierungs- und/oder Rotationsparametern des Augenmodells minimiert wird.
Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass für jedes in der Merkmalstemplatekarte gespeicherte Merkmalstemplate die während des Templateabgleichschritts (S10) durchgeführte Suche auf eine vordefinierte Zone des momentanen Augenbilds um die Merkmalsposition herum beschränkt wird, welche in einem vorhergehenden Koordinatenbestimmungsschritt (S20) bestimmt worden ist. Verfahren nach einem der Ansprüche 2–8, dadurch gekennzeichnet, dass die Texturinformation als eine Grauwertkarte gespeichert wird, umfassend

– dreidimensionale Modellkoordinaten einer Mehrzahl von zuvor definierten Referenzbildpunkten; und

– Grauwerte, die aus dem Referenzbild bei jedem der Punkte extrahiert worden sind.
Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass die dreidimensionalen Modellkoordinaten eines Punkts durch Schneiden eines Projektionsstrahls (40) des Referenzbildpunkts mit dem angepaßten Augenformmodell erhalten werden. Verfahren nach Anspruch 14 oder 15, dadurch gekennzeichnet, dass die Verfolgungsphase einen Anpassungsschritt (S130) umfasst, in dem die Gesamtgrauwertdifferenz zwischen dem momentanen Augenbild und der in das momentane Augenbild projizierten Grauwertkarte durch Fitten von Orientierungs- und/oder Rotationsparametern des Augenmodells minimiert wird. Verfahren nach einem der vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass die Verfolgungsphase in gleichmäßigen Zeitintervallen kontinuierlich wiederholt wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es ferner einen Schritt der Bestimmung einer räumlichen Relation des Auges der Person bezüglich einer chirurgischen Vorrichtung (26) umfasst, basierend auf einer zuvor bestimmten räumlichen Relation der Kameravorrichtung (20) bezüglich der chirurgischen Vorrichtung (26). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die räumliche Verfolgungsphase ferner die Bestimmung interner Freiheitsgrade des Augenmodells umfasst, ausgewählt aus der Gruppe bestehend aus Relativbewegungen von Augenmodellmerkmalen, Skalierung des gesamten Augenmodells, Skalierung von Augenmodellmerkmalen, Verformungen des gesamten Augenmodells, Verformungen von Augenmodellmerkmalen und Aussehensveränderungen aufgrund von Beleuchtungseinflüssen. Computerprogramm, umfassend Computerprogrammcode, der beim Ausführen auf einem an eine Kameravorrichtung (20) angeschlossenen Computer (22) dem Computer (22) ermöglicht, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com