PatentDe  


Dokumentenidentifikation DE69802514T2 27.06.2002
EP-Veröffentlichungsnummer 0972220
Titel ABBILDUNGSSYSTEM UND -VERFAHREN FÜR MIKROSKOPIE
Anmelder Isis Innovation Ltd., Oxford, GB
Erfinder WILSON, Tony, Oxford OX4 1BN, GB;
NEIL, Andrew, Mark, Oxford OX2 9LB, GB;
JUSKAITIS, Rimvydas, Oxford OX2 8NT, GB
Vertreter Schwabe, Sandmair, Marx, 81677 München
DE-Aktenzeichen 69802514
Vertragsstaaten AT, BE, CH, DE, DK, ES, FI, FR, GR, IE, IT, LI, LU, MC, NL, PT, SE
Sprache des Dokument EN
EP-Anmeldetag 03.04.1998
EP-Aktenzeichen 989149653
WO-Anmeldetag 03.04.1998
PCT-Aktenzeichen PCT/GB98/00988
WO-Veröffentlichungsnummer 0009845745
WO-Veröffentlichungsdatum 15.10.1998
EP-Offenlegungsdatum 19.01.2000
EP date of grant 14.11.2001
Veröffentlichungstag im Patentblatt 27.06.2002
IPC-Hauptklasse G02B 21/00
IPC-Nebenklasse G06T 5/50   G01B 11/24   

Beschreibung[de]

Die vorliegende Erfindung betrifft einen Mikroskopie-Abbildungsapparat und ein Abbildungsverfahren, um ein Bild zu erzeugen, das im Allgemeinen nur scharfe Details enthält, und ein Verfahren dafür. Die vorliegende Erfindung ist geeignet, um Bilder zu erzeugen, die verwendet werden können, um scharfe dreidimensionale Bilder voluminöser Strukturen bzw. räumlicher Strukturen zu erzielen.

Mit einem herkömmlichen Lichtmikroskop können dreidimensionale Strukturen nicht erfolgreich abgebildet werden. Das sich ergebende Bild besteht aus einem scharfen Bild in einem Schärfebereich bzw. einem im Brennpunkt liegenden Bereich einer dreidimensionalen Struktur sowie unscharfe Bilder der Strukturen oberhalb und unterhalb des im Brennpunkt liegenden Bereichs bzw. des scharfen Bereichs. Ein herkömmliches Lichtmikroskop ist nicht dazu in der Lage, außerhalb des Brennpunkts liegende Details wiederzugeben.

Konfokale Mikroskope sind entwickelt worden, die optisch eine dreidimensionale Struktur aufschneiden, um scharfe Bilder einzelner Schichten oder Lagen der Struktur bereitzustellen, die aufeinander folgend kombiniert werden können, um ein scharfes dreidimensionales Bild der vollständigen Raumstruktur auszubilden. Unglücklicherweise ist das zur Verfügung stehende Licht konfokaler Mikroskope im Allgemeinen schwach, wenn inkohärente Lichtquellen verwendet werden. Konfokale Laserabtastmikroskope können eine sehr schmale Tiefenschärfe erzielen, benötigen aber eine teure Apparatur und ein Beleuchtungs-/Abbildungs-Pinhole bzw. -loch, durch das das Laserlicht fokussiert werden muss.

In US 5,381,236 wird ein optischer Sensor beschrieben, der verwendet wird, um den Bereich (Abstand) individueller Merkmale einer dreidimensionalen Struktur zu bestimmen. Der Sensor weist eine periodisch gemusterte Lichtquelle auf, die die Struktur beleuchtet und reversibel ist (das heißt das Muster ist um 180º phasenverschoben). Ein Feld von Detektorelementen, die auf das Muster der Lichtquelle ausgerichtet sind, wird verwendet, um ein Bild des Musters und das umgekehrte des Musters, das die Struktur beleuchtet, zu detektieren. Da das Muster nur auf jenen Teilen der Struktur, die sich selbst im Brennpunkt bzw. Fokus befinden, gut abgebildet wird, ermöglicht dies, dass der Bereich (Abstand) der sich im Brennpunkt befindlichen Teile der Struktur bestimmt wird. Der Apparat und das Verfahren, das in US 5,381,236 beschrieben ist, hat den Nachteil, dass, um zu arbeiten, die einzelnen Elemente des Detektors exakt mit dem Muster der Lichtquelle ausgerichtet sein müssen und damit übereinstimmen müssen. In der Praxis hat sich herausgestellt, dass dies nahezu unmöglich zu erreichen ist.

WO-A-97/06509 beschreibt ein Verfahren zum Erzeugen eines optisch in Schnitte unterteilten Bildes einer Probe. Ein Merkmal der WO-A-97/06509 liegt darin, dass ein synthetisch komplexes Bild von einer Anzahl aufgezeichneter Bilder über einen komplexen Verarbeitungsschritt erzeugt wird, der auf Sinus- und Kosinustransformationen basiert. Eine ähnliche Anordnung ist in Gruber et al. (Gruber und Hausler (1992): Optik, 89, 3, S. 118-122) beschrieben und verlässt sich ebenso auf eine Sinus- und Kosinustransformation einer Reihe von Bildern mit geänderter räumlicher Phase.

Die vorliegende Erfindung strebt an, einen Mikroskopie-Abbildungsapparat und ein Abbildungsverfahren bereitzustellen, um Bilder zu erzeugen, die in einer ähnlichen Weise, wie konfokale Bilder, nur scharfe Details bzw. fokussierte Details umfassen, und die verwendet werden können, um ein dreidimensionales Bild einer Struktur durch optische Schnittbildung der Struktur zu erzeugen. Die vorliegende Erfindung erzielt die optische Schnittbildung, ohne eine präzise Ausrichtung oder Übereinstimmung des Detektors und von Musterkomponenten zu erfordern und stellt gleichzeitig geringe Kostenanforderungen bereit.

Gemäß einem Aspekt stellt die vorliegende Erfindung ein Verfahren zum Erzeugen eines Bildes einer Probe bereit, das die folgenden Schritt umfasst: die Probe wird mit einer Lichtquelle beleuchtet; ein im Wesentlichen periodisches räumliches Muster wird auf der Probe erzeugt; ein erstes Bild der Probe wird aufgezeichnet; die räumliche Phase des Musters auf der Probe wird geändert und ein zweites Bild der Probe wird aufgezeichnet; wenigstens ein weiterer Schritt des Änderns der räumlichen Phase des Musters auf der Probe wird wiederholt und ein drittes Bild der Probe wird aufgezeichnet, wobei die räumliche Phase des Musters bei wenigstens drei aufgezeichneten Bildern der Probe unterschiedlich ist; und die drei oder mehr aufgezeichneten Bilder der Probe werden analysiert, um das räumliche Muster von den Bildern zu entfernen, wodurch ein optisch in Schnitte unterteiltes Bild der Probe erzeugt wird.

Bei dem Verfahren und ebenso bei dem Apparat gemäß der Erfindung wird ein optisch in Schnitten unterteiltes Bild durch Gruppieren aufgezeichneter Bilder in Paare von Bildern erzielt, wobei die Quadratwurzel der Summe der Quadrate der Differenzen zwischen den aufgezeichneten Bildern bei jedem Paar der Bilder berechnet wird, und, falls drei Bilder aufgezeichnet worden sind, das räumliche Muster gemäß der folgenden Formel entfernt wird:

I =

bei dem die drei aufgezeichneten Bilder I&sub1;, I&sub2; und I&sub3; sind und das optisch in Schnitten unterteilte Bild I ist.

Während der identifizierte Stand der Technik auf einem übereinstimmenden Detektorgitter beruht, das nach strengen Anforderungen mit dem Maskenmuster ausgerichtet ist, liegt der Vorteil der vorliegenden Erfindung darin, dass das Erfordernis nach einem derartigen übereinstimmenden Detektorgitter beseitigt ist. Das Verarbeiten der Bilddaten ist einfach und die Erfindung ermöglicht die Produktion von optisch in Schnitten unterteilten Bildern von einem herkömmlichen Mikroskop in Echtzeit.

Bei einer bevorzugten Ausführungsform wird das obige Verfahren bei unterschiedlichen Brennpunktpositionen wiederholt, um ein scharfes bzw. im Brennpunkt liegendes dreidimensionales Bild der Probe zu erzeugen. Bei einer spezifischen Ausführungsform der Erfindung, die im Folgenden detailliert beschrieben wird, wird dadurch ein dreidimensionales Bild der Oberflächenstruktur der Probe erzielt.

Die räumliche Phase des Musters kann kontinuierlich oder in diskreten Schritten geändert werden: wo die räumliche Phase kontinuierlich geändert wird, werden die aufgezeichneten Bilder der Probe über eine vorbestimmte Zeitdauer integriert. Es wurde berechnet und ebenso in der Praxis bestätigt, dass Bilder hoher Qualität erzielt werden, wenn die räumliche Phase des Musters kontinuierlich geändert wird. Somit liegt ein breiter Bereich von Mitteln zum Ändern der räumlichen Phase im Anwendungsbereich der vorliegenden Erfindung.

Gemäß einem weiteren Aspekt stellt die vorliegende Erfindung ein Verfahren zum Verarbeiten von Bilddaten bei wenigstens drei Bildern derselben Probe bereit, wobei die Bilder ein im Wesentlichen periodisches Muster aufweisen, die darauf überlagert sind, die räumlichen Phasen der Muster der drei Bilder sind unterschiedlich, weil sie eine Analyse der Daten umfassen, um so ein zusammengesetztes Bild, das frei von dem Muster ist, zu erzeugen.

Gemäß noch einem weiteren Aspekt stellt die vorliegende Erfindung einen Mikroskopie-Abbildungsapparat bereit, der Folgendes umfasst: eine Lichtquelle; ein Mustermittel, um ein im wesentliches periodisches räumliches Muster zu erzeugen; ein Fokussiermittel, um Licht von der Lichtquelle auf einer Probe zu fokussieren und um das Muster auf der Probe zu erzeugen; ein Phasenverschiebemittel, um die räumliche Phase des Musters, das auf der Probe erzeugt wird, einzustellen; einen Detektor, um Bilder der Probe zu detektieren; und einen Analysator, der ein Mittel hat, um Bilder der Probe zu analysieren, wobei die räumliche Phasenverschiebung des Musters sich bei wenigstens drei Bildern unterscheidet, und ein Mittel zum Entfernen des räumlichen Musters von den drei Bildern der Probe, wobei dadurch ein optisch in Schnitten unterteiltes Bild der Probe erzeugt wird.

Vorzugsweise ist das Mustermittel in der Gestalt einer Maske, die eine eindimensionale lokale Periodizität aufweist und das Maskenmuster wird auf die Probe projiziert. Beispielsweise kann die Maske ein lineares Gitter sein. Die Maske kann ebenso eine zirkulare Maske sein, die ein spiralförmiges Gitter enthält. In dem letzteren Fall wird das Muster praktischerweise auf die Probe projiziert, indem die Probe durch einen Pfeil des Gitters beleuchtet wird, das sich in Richtung auf oder an der Kante bzw. am Ende der zirkularen Maske befindet; da in diesem Abschnitt das spiralförmige Gitter sich einem Gitter mit parallelen Linien nähert. Ein Vorteil dieses spiralförmigen Gitters liegt darin, dass eine kontinuierliche Bewegung des Gitters durch Drehen der Maske erzielt wird. Alternativ kann, wo eine kohärente Lichtquelle verwendet wird, die Mustereinrichtung durch eine zweite kohärente Lichtquelle bereitgestellt werden, die so angeordnet ist, um mit dem Licht von der ersten Lichtquelle zu interferieren.

Bei einer weiteren Ausführungsform stellt die vorliegende Erfindung ein Verfahren zum Anpassen eines herkömmlichen Mikroskops bereit, um optisch in Schnitte unterteilte Bilder einer Probe zu erzeugen, wobei das Verfahren das Einführen eines Mustermittels in das optische Systems des Mikroskops umfasst, um ein im Wesentlichen periodisches räumliches Muster der Probe zu erzeugen; ein räumliches Phasenverschiebemittel zum Einstellen der räumlichen Phase des Musters bereitgestellt wird, um wenigstens drei unterschiedliche räumliche phasenverschobene Muster auf der Probe zu erzeugen; und ein Analysator bereitgestellt wird, der ein Mittel hat, um wenigstens drei getrennte Bilder der Probe zu analysieren, wobei jede eine unterschiedliche räumliche Phasenverschiebung des Musters hat, und ein Mittel, um das räumliche Muster von den Bildern der Probe zu entfernen, wobei dadurch ein optisch in Schnitten unterteiltes Bild der Probe erzeugt wird.

Es ist somit ein Vorteil der vorliegenden Erfindung, dass ein herkömmliches Mikroskop, ein Standardteil einer Laborausrüstung, leicht umgewandelt werden kann, so dass es dazu in der Lage ist, optisch in Schnitte unterteilte Bilder bereitzustellen.

Die vorliegende Erfindung kann ebenso ein Verfahren zum Verarbeiten von Bilddaten von wenigstens drei Bildern derselben Probe bereitstellen, wobei die Bilder ein im Wesentlichen periodisches Muster aufweisen, das darauf verlagert ist, wobei die räumlichen Phasen des Musters auf den drei Bildern unterschiedlich sind, wobei die Analyse der Daten umfasst ist, um so eine Zusammensetzung von dem Bild zu erzeugen, das frei von dem Muster ist.

Ausführungsformen der vorliegenden Erfindung werden nun beispielhaft unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, für diese gilt:

Fig. 1 ist ein schematisches Diagramm eines Mikroskopie-Abbildungsapparats in Übereinstimmung mit der vorliegenden Erfindung;

Fig. 2 ist ein schematisches Diagramm eines optischen Systems der vorliegenden Erfindung;

Fig. 3 zeigt gemessene Axialantworten des Systems der Fig. 2;

Fig. 4(a) zeigt ein Autofokusbild von Seerosen-Pollenkörnchen (Feldgröße bzw. Bildfelddurchmesser beträgt 100 um · 70 um), das gemäß der vorliegenden Erfindung erhalten wurde; und

Fig. 4(b) zeigt ein herkömmliches Bild von Seerosen-Pollenkörnchen (nicht entsprechend der vorliegenden Erfindung), wenn das Mikroskop in einer Ebene mittlerer Tiefe fokussiert ist.

Der Abbildungsapparat, der in Fig. 1 gezeigt ist, hat viele Merkmale eines herkömmlichen Mikroskops und beinhaltet insbesondere eine inkohärente Lichtquelle 10, ein Fokussiermittel, das bevorzugt in der Form einer oder mehrerer Linsen 11 ist, die Licht von der Lichtquelle 10 auf das abzubildende Objekt O fokussiert. Ein Strahlteiler 12 befindet sich zwischen der Lichtquelle und dem Objekt, so dass das Licht, das von dem Objekt reflektiert wird, in Richtung auf einen Lichtdetektor 13, der bevorzugt in der Form einer CCD-Kamera ist, reflektiert wird. Zusätzlich beinhaltet der Apparat eine Maske 14, die beispielsweise in der Gestalt eines Gitters bemustert ist und die mit der Lichtquelle 10 versehen ist, so dass das Objekt mit einem Nicht-Null-, räumlich im Wesentlichen periodischen Muster beleuchtet wird. Das Maskenmuster wird somit auf die Probe projiziert. Vorzugsweise hat das Maskenmuster eine Periodizität in nur einer Dimension. Die Detektorebene ist der Ebene zugeordnet, in der das projizierte Muster fokussiert ist, um ein optisch in Schnitte unterteiltes Bild des auszubildenden Objekts zu ermöglichen.

Der Apparat beinhaltet weiter eine räumliche Phasenverschiebeeinrichtung 15, um die räumliche Phase des Maskenmusters einzustellen, das auf das Objekt fokussiert ist, so dass wenigstens drei unterschiedliche Phasen des Maskenmusters erzeugt werden. Das Phasenverschiebemittel 15 kann in der Form eines Wagens sein, um die Maske entweder inkrementell oder kontinuierlich relativ zu dem Objekt zu bewegen, so dass die räumliche Phase des gemusterten Lichts, das auf das Objekt fokussiert ist, geändert werden kann. In dem Fall einer Maske, die in der Gestalt eines linearen Gitters ist, ist der Wagen angeordnet, um das Gitter senkrecht zu der Achse des Abbildungsapparats zu bewegen. Eine andere Option zum Einstellen der räumlichen Phase beinhaltet eine Bewegung des Strahlteilers, um so die Phase des projizierten Musters zu verschieben.

Das Muster kann auf der Probe in unterschiedlichen Arten erzeugt werden. Das Muster wird optional erzeugt, indem ein Band, das ein Muster, beispielsweise parallele Streifen trägt, verwendet wird. Hier projiziert eine Lichtquelle das Muster des Bandes auf die Probe. Das Band bildet eine Schleife um die Lichtquelle, so dass das Licht nur durch jenen Teil der Probe scheint, der sich zwischen der Lichtquelle und dem Objekt befindet. Alternativ bildet das Band eine Schleife um die Probe.

Eine andere Option liegt darin, dass das Band eine Schleife um einen Spiegel bildet, wobei ein Teil des Bandes sich zwischen der Lichtquelle und dem Spiegel befindet. Das Licht, das durch das Band gelangt ist, würde dann auf die Probe mittels des Spiegels reflektiert werden. Ein derartiges Band kann somit kontinuierlich oder inkrementell in dieselbe Richtung zu jeder Zeit bewegt werden. Es bietet den Vorteil der Erzeugung eines Musters, beispielsweise exakt paralleler Streifen (wie dies eine Maske tut, die ein rechteckiges Feld umfasst), und zwar ohne die Notwendigkeit, es in einer sägezahnartigen Art und Weise zu bewegen oder die Bewegungsrichtung umzukehren.

In Fig. 1 ist das Phasenverschiebemittel 15 in der Form eines Wagens, der angeordnet ist, um die Maske 14 in drei vorbestimmte Positionen zu bewegen, die sich in einer Ebene senkrecht zu der Achse des Abbildungsapparats befinden (in die Seite und heraus davon). Die drei Positionen für den Wagen werden so gewählt, dass drei unterschiedliche räumliche Phasen der Maske auf dem Objekt fokussiert sind. Beispielsweise können die drei Phasen wie folgt sein: φ, φ + 120º und φ + 240º. Alternativ können die räumlichen Phasenverschiebungen beispielsweise wie folgt erzeugt werden: φ, φ + 90º, φ + 180º und φ + 270º. Bei jedem der beiden oben gegebenen Beispiele ist die Winkeldifferenz zwischen den individuellen räumlichen Phasen dieselbe, jedoch ist es für die Winkeldifferenz nicht wesentlich, gleich zu sein, das heißt räumliche Phasenverschiebungen von φ, φ + 90º und φ + 270º können ebenso verwendet werden.

Der Abbildungsapparat beinhaltet weiter einen Analysierer 16, der mit dem Detektor verbunden ist, der das Ausgangssignal des Detektors analysiert. Der Analysierer 16 kann eine Speichereinrichtung 17 beispielsweise in der Gestalt einer Vielzahl von Puffern enthalten, die separat die drei oder mehr Bilder des Objekts speichern, wobei jedes mit unterschiedlichen Phasen der Maske beleuchtet wird. Der Analysierer 16 beinhaltet weiter ein Musterentfernungsmittel 18, um die drei oder mehr gespeicherten Bilder zu analysieren, um so das Maskenmuster von den Bildern zu entfernen, wodurch ein optisch in Schnitte unterteiltes Bild des Objekts zum Vorschein gebracht wird. Ein 3D-Abbildungsmittel 19 wird herkömmlicherweise bereitgestellt, das Standardwiedergabetechniken verwendet, um ein dreidimensionales Bild des Objekts durch Kombinieren einer Vielzahl unterschiedlicher, optisch in Schnitte unterteilter Bilder, die durch das Musterentfernungsmittel 18 erzeugt wurden, bei unterschiedlichen Brennpunktpositionen zu erzeugen.

Das Musterentfernungsmittel 18 kann arbeiten, um direkt das scharfe Bild minus den Streifen zu bestimmen. Wo beispielsweise drei Bilder I&sub1;, I&sub2;, I&sub3; sind, die bei drei gleichmäßig beabstandeten räumlichen Phasen erzeugt wurden, kann das scharfe Bild I bestimmt werden, indem die folgende Gleichung verwendet wird:

I =

Eine Realisierung dieses Verfahrens für jedes Pixel des Bildes ist jedoch rechnerisch aufwändig. Um alternativ eine Echtzeitabbildung zu ermöglichen, die ohne das Erfordernis nach einem dafür bestimmten Bildverarbeitungsapparat durchzuführen ist, kann der Analysierer 16 eine Nachschlagtabelle beinhalten, die mit dem Musterentfernungsmittel 18 verbunden ist. Die Nachschlagtabelle ist eine Tabellierung aller möglichen Lösungen der obigen Gleichung bezüglich der drei Eingangsbildwerte und ermöglicht, dass das Bild I durch Bezugnahme auf die Tabelle eher bestimmt wird als durch Berechnung der Lösung der Gleichung für jedes Pixel.

Der Abbildungsapparat, der oben beschrieben wurde, nutzt den Vorteil der Tatsache, dass irgendeine räumliche Frequenz in dem Bild des Objekts, die nicht Null ist, sich abschwächt, wenn der Apparat defokussiert ist. Dies bedeutet, dass das Maskenmuster nur auf jenen Teilen des Objekts gut abgebildet ist, die im Fokus sind bzw. scharf sind, und somit wird ein Mittel bereitgestellt, um jene Teile des Objekts in Schnitte zu unterteilen, die im Fokus bzw. scharf sind, jedoch mit einem ungewünschten Streifenmuster, das überlagert ist. Indem drei oder mehr Bilder des Objekts bei derselben Brennpunktposition aufgezeichnet werden, aber mit unterschiedlichen überlagerten räumlichen Phasen des Musters, ist es für die zu analysierenden Bilder möglich, die überlagerten Bilder zu entfernen, um ein optisch in Schnitte unterteiltes Bild des Objekts zum Vorschein zu bringen.

Vorzugsweise ist die Maske 14 in der Gestalt eines linearen Gitters, das ein quadratisches Wellenmuster ist, da dies den größten Lichtdurchsatz ergibt. Alternierende transparente und nicht-transparente Bänder gleicher Breite sind geeignet. Ein Muster mit breiteren Bändern führt zu einem tieferen optischen Schnitt. Gute Ergebnisse wurden erzielt, indem Bänder mit einer Breite von 5 bis 30 um, insbesondere 12¹/&sub2; um verwendet wurden, obwohl unterschiedliche Breiten geeignet sein werden, und zwar gemäß der geforderten optischen Schnittunterteilung. Jedoch kann jedes angewendete, im Wesentlichen periodische Lichtintensitätsmuster verwendet werden. Geeignete alternative Masken beinhalten ein spirales bzw. spiralförmiges Gitter. Darüber hinaus können zweidimensionale periodische Muster ebenso verwendet werden, jedoch ist natürlich die Analyse der sich ergebenden Bilder etwas kompliziert.

Da die Musterbeabstandung die Tiefe der optischen Schnittbildung bestimmt, wird idealerweise die Musterbeabstandung (räumliche Periodizität) der Maske ausgewählt und die Beleuchtungsverstärkung wird so angeordnet, dass nur das Fundamentale des Musters auf das Objekt projiziert wird. In dem Fall des linearen quadratischen Wellengitters, das oben beschrieben wurde, wo die drei Phasen des Gitters φ, φ + 120º und φ + 240º auf das Objekt projiziert werden, wird die dritte Harmonische automatisch bei der darauf folgenden Verarbeitung der drei Bilder herausgelöscht und so ist es nicht wesentlich, zu vermeiden, dass die dritte Harmonische auf das Objekt projiziert wird. Dies stellt eine größere Freiheit in dem Gesamtdesign des Abbildungssystems bereit und verbessert das zur Verfügung stehende Licht des Apparats. Im Allgemeinen werden dort, wo die Differenz zwischen den n Phasenverschiebungen des Musters, die auf das Objekt projiziert werden, in jedem Fall dasselbe sind, die n-te Harmonische und Harmonische davon automatisch herausgelöscht.

Ein Abbildungsapparat wurde oben beschrieben, bei dem drei oder mehr diskrete, vorbestimmte Phasenverschiebungen des Musters auf das Objekt projiziert werden. Wo die räumliche Phase des Musters kontinuierlich variiert wird, werden beispielsweise unter Verwendung einer rotierenden spiralen Maske oder einer kontinuierlichen Bewegung einer Maske vom Gittertyp die Bilder des Objekts über vorbestimmte Zeitdauern integriert, um das optisch in Schnitte unterteilte Bild zu erzeugen.

Der Abbildungsapparat kann alternativ eine kohärente Lichtquelle verwenden. Dies erlaubt wiederum, dass die Maske eine Intensität oder Phasenmusterung aufweist. Die Verwendung einer periodischen Phasenmusterung wird bevorzugt, da das Lichtpotenzial des Apparats größer ist als in dem Fall einer periodischen Intensitätsmusterung. Bei einer weiteren Alternative können zwei kohärente Lichtstrahlen verwendet werden, die so angeordnet sind, dass das Licht von den zwei Quellen interferieren, um ein Streifenmuster in dem Objektvolumen zu erzeugen. Wo zwei kohärente Lichtstrahlen verwendet werden, kann die temporäre Phasendifferenz zwischen den beiden Lichtstrahlen geändert werden, um die benötigten räumlichen Phasenverschiebungen des Streifenmusters zu bewirken. Wo eine oder mehrere kohärente Lichtquellen verwendet werden, erstreckt sich das Streifenmuster in die Tiefe durch das Objektvolumen, also ist eine axiale Ausrichtung der Detektionsebene nicht mehr kritisch. Dieser Lösungsansatz eignet sich insbesondere für eine Fluoreszenzabbildung.

Das optische System einer spezifischen Ausführungsform der vorliegenden Erfindung besteht einfach aus einer Beleuchtungsmaske S(t&sub0;,w&sub0;), die auf ein Objekt mit einer Amplitudentransmittanz oder -reflektanz τ(t1,w1) abgebildet wird. Das Endbild wird durch eine CCD-Kamera in der Abbildungsebene (t,w) aufgezeichnet. Die Maske wird inkohärent beleuchtet, was es uns erlaubt, die Bildintensität wie folgt zu schreiben:

I(t,w) = S(t&sub0;,w&sub0;) h&sub1;(t&sub0; + t&sub1;, w&sub0; + w&sub1;)τ(t&sub1;,w&sub1;)h&sub2;(t&sub1; + t, w&sub1; + w)dt&sub1;dw&sub1; ²dt&sub0;dw&sub0; (1)

wobei h1,2 die Amplitudenpunktspreizungsfunktionen der zwei Linsen darstellen. Wir bestimmen ebenso, in optischen Koordinaten (t,w) zu arbeiten, die zu realen Koordinaten (x,y) über (t,w) = 2π/λ (x,y)nsinα in Beziehung stehen, wobei n sin α die numerische Apertur (NA) ist und λ die Wellenlänge bezeichnet.

Wir nehmen ebenso an, dass die Beleuchtungsmaske die Form eines eindimensionalen Gitters annimmt, das aus Gründen der Einfachheit wie folgt beschrieben werden kann:

S(t&sub0;,w&sub0;) = 1 + mcos( t&sub0; + φ&sub0;) (2)

wobei m eine Modulationstiefe bezeichnet und φ&sub0; eine beliebige räumliche Phase bezeichnet. Die normalisierte räumliche Frequenz bezieht sich auf die tatsächliche räumliche Frequenz ν über = βλν/NA, wobei β die Vergrößerung zwischen der Gitterebene und der Probenebene bezeichnet. Falls wir nun die Gleichung (2) in die Gleichung (1) einsetzen, so haben wir

I(t,w) = I&sub0; + Iccosφ&sub0; + Issinφ&sub0; (3)

wobei I&sub0; durch die Gleichung (1) mit S = 1 gegeben ist und natürlich ein herkömmliches Großfeldbild bzw. Weitwinkelbild darstellt. Ic und Is stellen das Bild auf Grund von Masken der form mcos( t&sub0;) und msin( t&sub0;,) jeweilig dar. Falls wir nun Ip = bilden, entfernen wir das Gittermuster von dem Bild der Probe. Dies wird erzielt, indem drei Bilder I&sub1;, I&sub2; und I&sub3; genommen werden, die den relativen räumlichen Phasen φ + = 0, φ&sub0; = 2π/3 und φ&sub0; = 4π/3 jeweilige entsprechen.

Wir erhalten somit ein optisch in Schnitte unterteiltes Bild, das nicht I&sub0; enthält, indem Folgendes berechnet wird

I =

Dies ist analog zur quadratischen Gleichrichtung in Kommunikationssystemen.

Um die Fähigkeit unseres Systems zu demonstrieren, optisch in Schnitte unterteilte Bilder in Echtzeit zu erzeugen, führen wir ein eindimensionales Gitter mit 40 Zeilen/mm in dem Beleuchtungspfad eines herkömmlichen Mikroskops ein. Da wir Optiken mit unendlicher Tubuslänge verwendeten, war es notwendig, separate Linsen sowohl für die Projektion des Bildes des Gitters auf die Probe als auch für die Abbildung der Probe auf die CCD-Kamera einzuführen. Dies führte zu einer effektiven Vergrößerung zwischen der Beleuchtungsebene und der Probe von (50/180) M, wobei M die nominale Vergrößerung der Objektivlinse ist. Eine 15 W- Wolfram-Halogenlampe wurde als Lichtquelle zusammen mit einem Grünfilter (Bandbreite 100 nm) verwendet. Die Bilder wurden mit einer CCD-Kamera aufgezeichnet und zu einem Matrox Meteor Frame Grabber bzw. Bilderfasser übertragen. Das Gitter wurde in der Art und Weise eines einfachen Sägezahns, der mit der Kamera-Framerate bzw. -Vollbildrate synchronisiert war, derartig bewegt, dass jedes der drei aufeinander folgenden Kamerabilder einer räumlichen Verschiebung eines Drittels einer Periode in der Position des projizierten Bildes des Gitters entsprach, Fig. 2. Die Tatsache, dass das Gitter während der Integrationszeit eines jeden Rahmens bzw. Vollbildes in Bewegung ist, führt dazu, dass sich die Werte von Ic und Is in Gleichung (3) um einen Faktor sinc(πt/3T) verringern, wobei t die Integration der Kamera ist und T die Zeit zwischen dem Aufzeichnen aufeinander folgender Vollbilder ist. In unserem Fall gilt T = 2t = 40 ms und folglich ist dieser Faktor nur 0,955. In dem schlimmsten Fall T = t fällt der Faktor auf nur 0,827. Die optisch in Schnitte unterteilten Bilder wurden erhalten, indem eine Gleichung (4) zusammen mit einer Nachschlagtabelle verwendet wurde, die alle möglichen Kombinationen von h, 12 und 13 von unserer 8-Bit-Kamera auf Ip einander zuordnete.

Um die Stärke der optischen Schnittunterteilung unseres Mikroskops zu messen, verwendeten wir einen ebenen Spiegel zusammen mit einer kalibrierten axialen Übersetzungsstufe; die sich ergebenden axialen Antworten sind in Fig. 3 für zwei Olympus MD Planobjektive gezeigt. Wir merken an, dass die Verwendung des 50X 0,75 NA ν = 0,4 in unserem System entspricht, für das wir ein halbes Maximum voller Breite (FWHM) von 0,875 um vorhersagen, das sich gut mit dem gemessenen Wert von 0,91 um vergleichen lässt. Die Theorie sagt, dass das 150X, 0,95 NA Trockenobjektiv ν = 0,8 und folglich eine FWHM von 0,27 um ergeben sollte. In der Praxis haben wir 0,43 um gemessen, was dem entspricht, dass die numerische Apertur dieser Linse eher 0,85 als 0,95 ist. Diese Diskrepanz ist konsistent mit anderen Messungen, die mit Hochaperturlinsen durchgeführt wurden und können auf eine Vielfalt von Ursachen zurückgeführt werden, von denen eine wahrscheinlich die starke Abschwächung der Randstrahlen ist, die zu einer wirksamen Apodisation der Pupillenfunktion führt.

In Fig. 4 zeigen wir Bilder, in denen die dicke Volumenstruktur bzw. Raumstruktur eines Seerosen-Pollenkörnchens abgebildet wird. Fig. 4(a) stellt ein Autofokusbild dar, das durch Anzeigen der maximalen Bildintensität bei jedem Pixel durchgängig für eine 30 um Axialabtastung gemäß der vorliegenden Erfindung unter Verwendung des 50X, 0,75 NA Objektivs dargestellt wird. Die vollständige Oberflächenstruktur des Körnchens wird gut über das ganze Bildvolumen abgebildet. Fig. 4(b) zeigt auf der anderen Seite ein herkömmliches Bild, das bei einer Ebene auf halbem Weg durch das Körnchen genommen wurde. Es ist klar, dass ein Großteil der unscharfen Fokussierung hier vorhanden ist, die verhindern kann, dass jegliche sinnvolle dreidimensionale Bildverarbeitung ausgeführt werden kann.

Man wird erkennen, dass ein herkömmliches Mikroskop leicht so modifiziert werden kann, um optisch in Schnitte unterteilte Bilder zu erhalten. Die Modifikationen bestehen in der Einführung der gemusterten Maske und des Wagens in das Beleuchtungssystem des Mikroskops und in der Hinzufügung des Analysators, der oben beschrieben wurde. Das Einführen der Maske und des Wagens kann wiederum die Einführung zusätzlicher Optiken erfordern, wo jedoch das herkömmliche Mikroskop eine Iris beinhaltet, die auf das Objekt fokussiert ist, kann die Iris einfach durch eine Maske und einen Wagen ohne weitere Änderung ersetzt werden.

Der Abbildungsapparat, der oben beschrieben wurde, kann in einem breiten Bereich von Abbildungsmodalitäten verwendet werden, die beispielsweise ein Dunkelfeld und Differenzinterferenzkontrast beinhalten. Ebenso kann der Abbildungsapparat in allen herkömmlichen Mikroskopanwendungen verwendet werden. Insbesondere kann der Apparat bei biomedizinischen Anwendungen verwendet werden und hat den Vorteil, dass ein Fluoreszenzabbilden mit optischer Unterteilung in Schnitte effizient durchgeführt werden kann, ohne einen Laser als Lichtquelle zu benötigen.


Anspruch[de]

1. Verfahren zum Erzeugen eines Bildes einer Probe (0) mit den Schritten, wonach die Probe (0) mit einer Lichtquelle (10) beleuchtet wird; ein im Wesentlichen periodisches räumliches Muster auf der Probe (0) erzeugt wird; ein erstes Bild der Probe (0) aufgezeichnet wird; die räumliche Phase des Musters auf der Probe (0) geändert wird und ein zweites Bild der Probe (0) aufgezeichnet wird; wenigstens noch einmal die Schritte des Änderns der räumlichen Phase des Musters auf der Probe (0) und des Aufzeichnens eines dritten Bildes der Probe (0) wiederholt wird, wobei die räumliche Phase des Musters in wenigstens drei aufgezeichneten Bildern der Probe (0) unterschiedlich ist; und die drei oder mehr aufgezeichneten Bilder der Probe (0) analysiert werden, um das räumliche Muster von den Bildern zu entfernen, um dadurch ein optisch unterteiltes Bild der Probe (0) zu erzeugen,

dadurch gekennzeichnet, dass

ein optisches unterteiltes Bild erhalten wird, indem die aufgezeichneten Bilder in Paaren von Bildern gruppiert werden, die Quadratwurzel der Summe der Quadrate der Unterschiede zwischen den aufgezeichneten Bildern in jedem Paar von Bildern berechnet wird, und,

falls drei Bilder aufgezeichnet werden, das räumliche Muster gemäß der folgenden Formel entfernt wird:

I =

wobei die drei aufgezeichneten Bilder I&sub1;, I&sub2; und I&sub3; sind und das optisch unterteilte Bild I ist.

2. Verfahren nach Anspruch 1, bei welchen zwei kohärente Lichtquellen (10) zur Beleuchtung der Probe (0) und zum Erzeugen eines im Wesentlichen periodischen räumlichen Musters auf der Probe (0) verwendet werden.

3. Verfahren nach Anspruch 1, das die Verwendung einer Maske (14) umfasst, um das Muster auf die Probe (0) zu projizieren.

4. Verfahren nach Anspruch 3, bei welchem die Maske (14) eine lokale Periodizität in nur einer Richtung aufweist.

5. Verfahren nach Anspruch 3 oder Anspruch 4, bei welchem die Maske (14) im Wesentlichen parallele Streifen mit variierender Opazität bzw. Deckfähigkeit aufweist.

6. Verfahren nach Anspruch 4, bei welchem die Maske (14) Streifen umfasst, die sich in radialer Richtung erstrecken.

7. Verfahren nach Anspruch 5 oder Anspruch 6, bei welchem in der Maske (14) im Wesentlichen transparente Streifen mit im Wesentlichen nicht- transparenten Streifen alternieren.

8. Verfahren nach Anspruch 5 oder Anspruch 6, bei welchem die Opazität der Streifen stetig in eine Richtung variiert, in der man eine Periodizität finden kann.

9. Verfahren nach Anspruch 3 oder Anspruch 4, bei welchem die Maske (14) eine spirales Muster aufweist.

10. Verfahren nach irgendeinem der Ansprüche 3 bis 9, bei welchem der Schritt des Änderns der räumlichen Phase des Musters ein Bewegen der Maske (14) umfasst.

11. Verfahren nach irgendeinem der Ansprüche 3 bis 8, bei welchem der Schritt des Änderns der räumlichen Phase des Musters ein Bewegen der Maske (14) in eine Richtung umfasst, in der man eine Periodizität finden kann.

12. Verfahren nach irgendeinem der Ansprüche 1 bis 11, bei welchem die räumlichen Phasen der drei aufgezeichneten Bilder φ&sub0;, φ&sub0; + 120º und φ&sub0; + 240º jeweilig sind, wobei φ&sub0; eine beliebige Phase ist.

13. Verfahren nach irgendeinem der Ansprüche 1 bis 12, das ein im Wesentlichen kontinuierliches Ändern der räumlichen Phase des Musters umfasst.

14. Verfahren nach irgendeinem der Ansprüche 1 bis 12, das ein im Wesentlichen inkrementelles Ändern der räumlichen Phase des Musters umfasst.

15. Verfahren des Verarbeitens von Bilddaten von wenigstens drei Bildern derselben Probe (0), wobei die Bilder ein im Wesentlichen periodisches Muster aufweisen, das darauf überlagert wird, wobei die räumlichen Phasen des Musters auf den drei aufgezeichneten Bildern unterschiedlich sind, wobei das Verfahren ein Analysieren der Daten umfasst, um so ein zusammengesetztes Bild frei von dem Muster zu erzeugen,

dadurch gekennzeichnet, dass

ein optisches unterteiltes Bild erhalten wird, indem die aufgezeichneten Bilder in Paaren von Bildern gruppiert werden, die Quadratwurzel der Summe der Quadrate der Unterschiede zwischen den aufgezeichneten Bildern in jedem Paar von Bildern berechnet wird, und,

falls drei Bilder aufgezeichnet werden, das räumliche Muster gemäß der folgenden Formel entfernt wird:

I =

wobei die drei aufgezeichneten Bilder I&sub1;, I&sub2; und I&sub3; sind und das optisch unterteilte Bild I ist.

16. Verfahren nach Anspruch 15, bei welchem das Muster eine lokale Periodizität in nur einer Richtung hat.

17. Mikroskopie-Abbildungsapparat, der folgendes umfasst: eine Lichtquelle (10); ein Mustermittel, um ein im Wesentlichen periodisches räumliches Muster zu erzeugen; ein Fokussiermittel (11), um Licht von der Lichtquelle auf eine Probe (0) zu fokussieren und um das Muster auf der Probe (0) zu erzeugen; ein Phasenverschiebungsmittel (15), um die räumliche Phase des Musters einzustellen, das auf der Probe (0) erzeugt wird; einen Detektor (13), um Bilder auf der Probe (0) zu detektieren; und einen Analysator (16), der eine Einrichtung umfasst, um wenigstens drei Bilder der Probe (0) zu analysieren, wobei die räumliche Phasenverschiebung des Musters in den wenigstens drei Bildern unterschiedlich ist, und ein Entfernungsmittel für räumliche Muster, das das räumliche Muster (18) von den drei Bildern der Probe (0) entfernt, um dadurch ein optisch unterteiltes Bild der Probe (0) zu erzeugen, dadurch gekennzeichnet, dass das Entfernungsmittel für räumliche Muster das räumliche Muster von den drei Bildern der Probe entfernt, indem die aufgezeichneten Bilder in Paare von Bildern gruppiert werden, die Quadratwurzel der Summe der Quadrate der Unterschiede zwischen den aufgezeichneten Bildern in jedem Paar von Bildern berechnet wird, und, falls drei Bilder aufgezeichnet werden, das räumliche Muster gemäß der folgenden Formel entfernt wird:

I =

wobei die drei aufgezeichneten Bilder I&sub1;, I&sub2; und I&sub3; sind und das optisch unterteilte Bild I ist.

18. Apparat nach Anspruch 17, bei welchem das Mustermittel zwei kohärente Lichtquellen (10) umfasst, um die Probe (0) zu beleuchten und um ein im Wesentlichen periodisches Muster auf der Probe (0) zu erzeugen.

19. Apparat nach Anspruch 17, bei welchem das Mustermittel eine Maske (14) und ein Muster zum Projizieren des Musters auf die Probe (0) umfasst.

20. Apparat nach Anspruch 19, bei welchem die Maske (14) eine lokale Periodizität in nur einer Richtung hat.

21. Apparat nach Anspruch 19 oder Anspruch 20, bei welchem die Maske (14) im Wesentlichen parallele Streifen von variierender Opazität umfasst.

22. Apparat nach Anspruch 20, bei welchem die Maske (14) Streifen umfasst, die sich in radialer Richtung erstrecken.

23. Apparat nach Anspruch 21 oder Anspruch 22, bei welchem in der Maske (14) im Wesentlichen transparente Streifen mit im Wesentlichen nicht- transparenten Streifen alternieren.

24. Apparat nach Anspruch 21 oder Ansprüch 22, bei welchem die Opazität der Streifen allmählich in eine Richtung variiert, in der eine Periodizität gefunden werden kann.

25. Apparat nach irgendeinem der Ansprüche 21 bis 24, bei welchem die Streifen zwischen 5 und 30 um breit sind.

26. Apparat nach Anspruch 19 oder Anspruch 20, bei welchem die Maske (14) ein spirales bzw. spiralförmiges Muster hat.

27. Apparat nach irgendeinem der Ansprüche 19 bis 26, bei welchem das Phasenverschiebungsmittel (15) angepasst ist, um die Maske (14) zu bewegen.

28. Apparat nach irgendeinem der Ansprüche 19 bis 25, bei welchem das Phasenverschiebungsmittel (15) angepasst ist, um die Maske (14) in eine Richtung zu bewegen, in der Periodizität gefunden werden kann.

29. Apparat nach irgendeinem der Ansprüche 17 bis 28, bei welchem das Phasenverschiebungsmittel (15) angepasst ist, um die Phase des Musters in einer im Wesentlichen kontinuierlichen Art und Weise zu verschieben.

30. Apparat nach irgendeinem der Ansprüche 17 bis 28, bei welchem das Phasenverschiebungsmittel (15) angepasst ist, um die Phase des Musters in einer im Wesentlichen inkrementellen Art und Weise zu verschieben.

31. Apparat nach irgendeinem der Ansprüche 17 bis 30, der einen Detektor (13) umfasst, um Fluoreszenzbilder der Probe (0) zu detektieren.

32. Verfahren zum Adaptieren bzw. Anpassen eines konventionellen Mikroskops, um optisch unterteilte Bilder einer Probe (0) zu erzeugen, das die folgenden Schritte umfasst, ein Mustermittel wird in das optische System des Mikroskops eingeführt, um ein im Wesentlichen periodisches räumliches Muster auf der Probe (0) zu erzeugen; ein Raumphasenverschiebemittel (15) zum Einstellen der räumlichen Phase des Musters wird bereitgestellt, um wenigstens drei unterschiedliche, in ihrer räumlichen Phase verschobene Muster auf der Probe (0) zu erzeugen; und ein Analysierer (16) wird bereitgestellt, der eine Einrichtung aufweist, um wenigstens drei getrennte Bilder der Probe (0) zu analysieren, und zwar jedes mit einer unterschiedlichen räumlichen Phasenverschiebung des Musters, und ein Muster, um das räumliche Muster von den Bildern (18) der Probe (0) zu entfernen, um dadurch ein optisch unterteiltes Bild der Probe (0) zu erzeugen,

dadurch gekennzeichnet, dass

ein optisches unterteiltes Bild erhalten wird, indem die aufgezeichneten Bilder in Paaren von Bildern gruppiert werden, die Quadratwurzel der Summe der Quadrate der Unterschiede zwischen den aufgezeichneten Bildern in jedem Paar von Bildern berechnet wird, und,

falls drei Bilder aufgezeichnet werden, das räumliche Muster gemäß der folgenden Formel entfernt wird:

I =

wobei die drei aufgezeichneten Bilder I&sub1;, I&sub2; und I&sub3; sind und das optisch unterteilte Bild I ist.







IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com