PatentDe  


Dokumentenidentifikation DE102005024066A1 07.12.2006
Titel Verfahren und Vorrichtung zur optischen Abtastung einer Probe
Anmelder Soft Imaging System GmbH, 48149 Münster, DE
Erfinder Desai, Vasant, Dipl.-Phys. Dr., 48155 Münster, DE;
Gehrke, Guido, Dipl.-Ing., 48727 Billerbeck, DE;
Lethmate, Ralf, Dipl.-Phys. Dr., 48147 Münster, DE
Vertreter Honke und Kollegen, 45127 Essen
DE-Anmeldedatum 25.05.2005
DE-Aktenzeichen 102005024066
Offenlegungstag 07.12.2006
Veröffentlichungstag im Patentblatt 07.12.2006
IPC-Hauptklasse H04N 1/387(2006.01)A, F, I, 20051017, B, H, DE
IPC-Nebenklasse G02B 21/00(2006.01)A, L, I, 20051017, B, H, DE   
Zusammenfassung Gegenstand der vorliegenden Erfindung sind ein Verfahren sowie eine Vorrichtung zur optischen Abtastung einer Probe (1). Dazu sind grundsätzlich eine Verstelleinheit (2, 3) sowie eine Abtasteinrichtung (4, 5) realisiert. Die Probe (1) wird mittels der von einer Steueranlage (6) beaufschlagten Verstelleinheit (4, 5) gegenüber der Abtasteinrichtung (2, 3) bewegt oder umgekehrt. Auf diese Weise werden mit der Abtasteinrichtung (4, 5) gewonnene Einzelbilder (11) in der Steueranlage (6) zu wenigstens einem Gesamtbild zusammengesetzt. Erfindungsgemäß lassen sich die Einzelbilder (11) bedienerseitig auswählen und werden mit vorgegebenem Überlapp (14) aufgenommen sowie zu dem Gesamtbild in Echtzeit zusammengesetzt.

Beschreibung[de]

Die Erfindung betrifft ein Verfahren zur optischen Abtastung einer Probe, mit einer Verstelleinheit sowie einer Abtasteinrichtung, wonach die Probe mittels der von einer Steueranlage beaufschlagten Verstelleinheit gegenüber der Abtasteinrichtung bewegt wird, oder umgekehrt, und wonach auf diese Weise mit der Abtasteinrichtung gewonnene Einzelbilder in der Steueranlage zu wenigstens einem Gesamtbild zusammengesetzt werden.

Bei Verfahren der eingangs beschriebenen Ausgestaltung wird eine Probe zumeist hinsichtlich ihrer Transmission untersucht, wenngleich grundsätzlich auch Reflexionsmessungen möglich sind und umfasst werden. Üblicherweise wird jedoch das Absorptionsvermögen der Probe bei einem Durchscheinen mit einer (Weißlicht-)Quelle untersucht. Bei diesen Proben mag es sich um biologische Schnitte, Schnitte durch Werkstoffe etc. handeln.

Weil die Abtasteinrichtung immer nur einen bestimmten Ausschnitt der Probe mit der gewünschten Auflösung erfassen kann, sorgt die Verstelleinheit dafür, dass mit der Abtasteinrichtung aufgenommene Einzelbilder zu dem wenigstens einen Gesamtbild in der Steueranlage zusammengesetzt werden. Tatsächlich setzt sich die Abtasteinrichtung üblicherweise aus einer Optikeinheit und einer Aufzeichnungseinheit zusammen. Bei der Optikeinheit mag es sich nicht einschränkend um ein oder mehrere Mikroskopobjektive handeln, während die Aufzeichnungseinheit als beispielsweise CCD-Chip (CCD= charge coupled device) ausgeführt ist, welcher sich regelmäßig in der Bildebene des jeweiligen Mikroskopobjektives befindet, um das Einzelbild aufzunehmen und an die Steueranlage zu übergeben, welche die Aufzeichnungseinheit ausliest und das jeweilige Einzelbild abspeichert.

Beim gattungsbildenden Stand der Technik nach der US-PS 4 760 385 wird der gesamte aufzunehmende Bereich serpentinenartig durchfahren und werden Schritt für Schritt zugehörige Einzelbilder aufgenommen und schließlich in der Steueranlage zum Gesamtbild zusammengesetzt. Die bisherige Vorgehensweise ist mit mehreren Nachteilen verbunden.

So dauert der Prozess der Aufnahme des Gesamtbildes relativ lange und kann von außen her durch einen Bediener praktisch nicht beeinflusst werden, sondern wird automatisiert abgearbeitet. Daraus folgend muss die Verstelleinheit mit sehr hoher Präzision arbeiten, um die Einzelbilder fehlerfrei zu dem anschließenden Gesamtbild zusammensetzen zu können. Eine solche Vorgehensweise erfordert mechanisch besonders präzise arbeitende Stellvorrichtungen in der Verstelleinheit, die kostenaufwendig sind. Hier setzt die Erfindung ein.

Der Erfindung liegt das technische Problem zugrunde, ein derartiges Verfahren so weiter zu entwickeln, dass der Kostenaufwand verringert ist und ein Bedienereingriff ermöglicht wird. Außerdem soll eine hierzu besonders geeignete Vorrichtung geschaffen werden.

Zur Lösung dieser technischen Problemstellung ist ein gattungsgemäßes Verfahren zur optischen Abtastung einer Probe erfindungsgemäß dadurch gekennzeichnet, dass die Einzelbilder bedienerseitig und/oder automatisch (mit Hilfe der Steueranlage) ausgewählt und mit vorgegebenem Überlapp aufgenommen sowie zu dem Gesamtbild in Echtzeit zusammengesetzt werden.

Auf diese Weise kann beispielsweise der Bediener das Aussehen des Gesamtbildes praktisch unmittelbar steuern und dieses beeinflussen. Denn die Einzelbilder werden bedienerseitig im Rahmen einer ersten Alternative ausgewählt. Das geschieht im einfachsten Fall dadurch, dass eine an die Steueranlage angeschlossene Eingabeeinheit entsprechende Bedienerwünsche erfasst und über die Steueranlage in Stellsignale für die Verstelleinheit umsetzt. Bei dieser Eingabeeinheit handelt es sich nach bevorzugter Ausführungsform um eine X-/Y-Eingabeeinheit, beispielsweise eine Computermaus, einen Joystick oder dergleichen.

Mit dessen Hilfe wird nun das gewünschte Einzelbild ausgewählt, indem die betreffende Eingabeeinheit die Verstelleinheit so ansteuert, dass beispielsweise auf einer Ausgabeeinheit bzw. einem Bildschirm der Steueranlage der betreffende Bildausschnitt bzw. das hierzu gehörige Einzelbild erscheint, und zwar unmittelbar. Hiervon ausgehend kann nun mittels der Eingabeeinheit ein Abtastweg entlang der zu untersuchenden Probe von dem Bediener vorgegeben werden. Dieser Abtastweg mag dabei serpentinenartig oder mäanderförmig – der Vorgabe folgend – ausgebildet sein. Selbstverständlich ist es auch denkbar, nur bestimmte Bereiche der Probe in Einzelbildern zu erfassen. Das alles steuert jedenfalls der Bediener, indem sein Bedienerwunsch von der Eingabeeinheit erfasst und mit Hilfe der Steueranlage in entsprechende Stellsignale für die Verstelleinheit umgesetzt wird. Die dabei aufgenommenen Einzelbilder werden nun – verzögerungsfrei – zu dem Gesamtbild in Echtzeit zusammengesetzt.

Alternativ oder zusätzlich ist es auch möglich, die Auswahl des jeweiligen Einzelbildes automatisch vorzunehmen, was insbesondere mit Hilfe der Steueranlage geschieht. Beispielsweise ist es denkbar, eine lebende Probe in ihrer Bewegung zu verfolgen. Auch das Wachstum von u. a. Nervenzellen kann auf diese Weise automatisch beobachtet werden. Zu diesem Zweck muss eine Bildanalyse vorgeschaltet werden. Dies kann so aussehen, dass der Bediener einen lebenden Einzeller aufnimmt, welcher für die anschließende Wegverfolgung als Referenzbild dient. Etwaige Bewegungen dieses Einzellers werden nun mit Hilfe der Steueranlage dahingehend analysiert, dass die Verstelleinheit im Sinne einer Regelung mit Hilfe der Steueranlage so bewegt wird, dass der besagte Einzeller bzw. das aktuelle Bild mit dem Referenzbild übereinstimmt. Zumindest lässt sich die Lage des Einzellers bzw. der Probe im Referenzbild mit derjenigen im aktuell aufgenommenen Einzelbild zur Deckung bringen. Als Folge hiervon steht – auch bei einer manuellen bzw. bedienerseitigen Auswahl der Einzelbilder – die Wegstrecke des Einzellers bzw. die Wegstrecke der Verstelleinheit in der Steueranlage zur Verfügung. Das heißt, durch die automatische Auswahl der Einzelbilder in Verbindung mit der vorgeschalteten Bildanalyse kann problemlos eine Trajektorie von beispielsweise Nervenzellen verfolgt werden, also deren Bewegungsverlauf.

Dabei wird man in der Regel die Belichtungszeit für die Abtasteinrichtung bzw. die dort üblicherweise realisierte Abtasteinheit groß gegenüber der Zeit zum Bewegen der Verstelleinheit einstellen bzw. für eine entsprechende Anpassung sorgen. Dadurch kann das Einzelbild jeweils praktisch verzögerungsfrei in Echtzeit wiedergegeben werden.

In der Regel erzeugt die Eingabeeinheit bzw. die Steueranlage bei der automatischen Auswahl der Einzelbilder wenigstens eine Markierung auf der an die Steueranlage angeschlossenen Ausgabeeinheit. Diese Markierung zeigt üblicherweise die Bildmitte des jeweils aufgenommenen Einzelbildes an. Selbstverständlich lassen sich auch andere exponierte Punkte in dem Einzelbild als Markierung nutzen.

Jedenfalls gibt die Eingabeeinheit bzw. die Steueranlage den Abtastweg vor, entlang dessen die Probe abgetastet wird und die Einzelbilder eine Aufnahme erfahren. Der Abtastweg kann abgespeichert werden und weist Ankerpunkte auf, wobei jeder Ankerpunkt zu einem Einzelbild korrespondiert. Dabei mag der Ankerpunkt beispielsweise zu der Bildmitte des jeweiligen Einzelbildes korrespondieren.

Bei diesem bedienerseitigen Abtastvorgang muss gewährleistet werden, dass die Einzelbilder mit dem vorgegebenen Überlapp zueinander aufgenommen werden, so dass sie sich zu dem Gesamtbild in Echtzeit zusammensetzen lassen. D. h., das dem jeweiligen Bedienerwunsch entsprechende Einzelbild wird unmittelbar auf der Ausgabeeinheit angezeigt. Wenn nun der Bediener in die Eingabeeinheit einen Befehl zum Weiterbewegen eingibt, folgt die Verstelleinheit dem auf diese Weise vorgegebenen Abtastweg. Der Abtastweg wird in der Steueranlage abgespeichert.

Nach einer systembedingten Verzögerungszeit wird das nächste Einzelbild aufgenommen, indem der zugehörige Ankerpunkt auf dem Abtastweg festgelegt wird und im Beispielfall und nicht einschränkend die Bildmitte des nächsten Einzelbildes definiert. Dabei stellt die Steueranlage sicher, dass die Bildmitte (der Ankerpunkt) so positioniert ist, dass das aufgenommene erste Einzelbild und das darauf folgende zweite Einzelbild den gewünschten und vorgegebenen Überlapp zueinander aufweisen.

Das erreicht man im Detail dergestalt, dass in der Steueranlage das erste Einzelbild mit einem ihn umgebenden Rahmen identifiziert wird, wobei der Ankerpunkt die Bildmitte und gleichzeitig den Startpunkt des Abtastweges markiert. Wenn nun die Eingabeeinheit entsprechend dem Bedienerwunsch den Abtastweg vorgibt, so wird ein zweiter Bildrahmen erzeugt, dessen Ankerpunkt respektive Bildmitte dem Weg der Eingabeeinheit auf dem Abtastweg folgt. Dieser zweite Bildrahmen bewegt sich zunehmend aus dem ersten Bildrahmen heraus, so dass der Überlapp der beiden Bildrahmen mit wachsendem Abstand des zweiten Ankerpunktes vom Startpunkt bzw. ersten Ankerpunkt kleiner wird. Während dieses Vorganges folgt die Verstelleinheit der Bewegung des zweiten Ankerpunktes. Sobald hierbei der vorgegebene (minimale) Überlapp der Einzelbilder bzw. von erstem und zweitem Bildrahmen erreicht worden ist, wird die Verstelleinheit kurz angehalten, damit das zweite Einzelbild unter Berücksichtigung des vorgegebenen Überlapps aufgenommen werden kann. Das zweite Einzelbild erscheint zusätzlich zu dem ersten Einzelbild unmittelbar auf oder in der Ausgabeeinheit, so dass die beiden Einzelbilder bereits ein Gesamtbild formen, und zwar in Echtzeit.

Sollte der Bediener über die Eingabeeinheit so schnelle Bewegungen der Verstelleinheit vorgeben, dass die Einzelbildaufnahme nicht unmittelbar folgen kann, wird der Abtastweg entlang der abgespeicherten Vorgaben quasi abgearbeitet und die Verstelleinheit folgt dem abgespeicherten Abtastweg von Ankerpunkt zu Ankerpunkt. Dabei wird der jeweils nachfolgende Ankerpunkt immer in einem solchen Abstand vom vorlaufenden Ankerpunkt definiert, dass das nachfolgende Einzelbild mit seiner Bildmitte am nachfolgenden Ankerpunkt immer noch den gewünschten vorgegebenen Überlapp zum vorlaufenden Einzelbild mit dessen Bildmitte am vorlaufenden Ankerpunkt aufweist. Derartige Fälle treten jedoch in der Praxis praktisch kaum auf, weil die zuvor bereits angesprochenen systembedingten Verzögerungszeiten äußerst kurz sind. Diese erklären sich letztlich aufgrund der Zeitdauer, die benötigt wird, das jeweilige Einzelbild bei Stillstand der Verstelleinheit aufzunehmen und die Aufzeichnungseinheit der Abtasteinrichtung auszulesen sowie die zugehörigen Bildwerte in der Steueranlage abzulegen.

Jedenfalls wird im Ergebnis ein Gesamtbild aus mehreren mit Überlapp aufgenommenen Einzelbildern zur Verfügung gestellt, welches sich unmittelbar und in Echtzeit, d. h. praktisch verzögerungslos, in der Ausgabeeinheit aufbaut, und zwar entsprechend den Vorgaben des Bedieners, nämlich entlang dem vorgegebenen Abtastweg.

Dabei kommt dem Überlapp zwischen den Einzelbildern eine besondere Bedeutung zu. Denn anhand dieses Überlapps können die Einzelbilder einwandfrei gegeneinander ausgerichtet und zu dem Gesamtbild verbunden werden, ohne dass die Verstelleinheit die vom Stand der Technik geforderte höchste Präzision aufweisen muss. Tatsächlich arbeitet man an dieser Stelle mit einem Überlapp der Flächen der Einzelbilder von weniger als 20 %, vorzugsweise ca. 10 %. D. h., die jeweiligen Einzelbilder überlappen sich hinsichtlich 10 % ihrer Flächen, die regelmäßig – wie der zugehörige Bildrahmen – gleich groß bemessen sind.

Jedenfalls kann dieser Überlapp analysiert werden, um beispielsweise ein nachfolgendes gegenüber einem vorlaufenden oder voreilenden Einzelbild auszurichten und dessen exakte X-/Y-Position im Koordinatensystem des Gesamtbildes bzw. im Raster der Einzelbilder zu finden. Hierbei macht sich die Erfindung eine Kombination aus schneller Fouriertransformation (FFT = fast fourier transformation) in Verbindung mit einer Kreuzkorrelation zunutze, wie in der Figurenbeschreibung noch näher erläutert wird. Dadurch erfahren die Einzelbilder eine automatische X-/Y-Korrektur im Koordinatensystem des Gesamtbildes. Selbstverständlich ist auch eine Z-Korrektur möglich. In jedem Fall gleicht die besagte Korrektur auch (kleinere) mechanische Ungenauigkeiten der Verstelleinheit aus. Dadurch kann an dieser Stelle auf kostengünstige Varianten, insbesondere der Stellvorrichtungen, zurückgegriffen werden.

Den vorerwähnten Überlapp der Einzelbilder wird man in der Regel in Abhängigkeit von der Geschwindigkeit, mit welcher der Abtastweg durchlaufen wird, vorgeben. D. h., wenn der Abtastweg schnell durchlaufen werden soll und man beispielsweise nur einen groben Überblick der Probe in Echtzeit haben möchte, wird man meist versuchen, mit einem geringen Überlapp, beispielsweise sogar unterhalb von 10 % auskommen zu können, um die systembedingten Verzögerungszeiten in der Summe so gering wie möglich einzustellen. Meistens wird man in diesem Fall auch mit einer relativ geringen Auflösung der Abtasteinrichtung arbeiten. D. h., der Überlapp lässt sich auch in Abhängigkeit von der Auflösung variieren. Schließlich spielt natürlich auch die Aufnahmenrate für die Einzelbilder ggf. eine Rolle.

Dadurch, dass mit Hilfe der Fouriertransformation in Verbindung mit der Kreuzkorrelation (kleine) mechanische Ungenauigkeiten der Verstelleinheit ausgeglichen werden, und zwar bedarfsweise in X-/Y- und ggf. Z-Richtung, besteht die Möglichkeit, die vorgenommenen Korrekturen in der Steueranlage abzuspeichern und im Sinne einer Regelung bzw. eines Feedbacks bei der Ansteuerung der Verstelleinheit zu berücksichtigen. D. h., jeder X-/Y- und ggf. Z-Wert der Verstelleinheit korrespondiert zu einem Korrekturwert, welcher aus der Fourieranalyse in Verbindung mit der Kreuzkorrelation ermittelt worden ist und bei einer anschließenden Anwahl dieser Position Berücksichtigung findet.

Dabei wird insgesamt der Überlapp der Einzelbilder zu ihrer gegenseitigen Ausrichtung im Gesamtbild und im zugehörigen Koordinatensystem für das Gesamtbild ausgewertet. Die Ankerpunkte korrespondieren dabei jeweils zu Koordinatenwerten im Gesamtbild, die ggf. eine Korrektur im Anschluss an die gegenseitige Ausrichtung der Einzelbilder zum Gesamtbild erfahren. Das geschieht im Anschluss an die Auswertung des Überlapps mit Hilfe der FFT in Verbindung mit der Kreuzkorrelation.

Gegenstand der Erfindung ist auch eine Vorrichtung zur optischen Abtastung einer Probe, wie sie im Anspruch 8 beschrieben wird. Vorteilhafte Ausgestaltungen dieser Vorrichtung sind Gegenstand der Ansprüche 9 und 10.

Im Folgenden wird die Erfindung anhand einer lediglich ein Ausführungsbeispiel darstellenden Zeichnung näher erläutert; es zeigen:

1 eine erfindungsgemäße Vorrichtung schematisch,

2 einen vergrößerten Ausschnitt aus 1,

3 mehrere entlang eines bedienerseitig vorgegebenen Abtastweges aufgenommene Einzelbilder und

4 und 5 jeweils ein Gesamtbild mit eingezeichneten Korrekturen.

In den Figuren ist eine Vorrichtung zur optischen Abtastung einer Probe 1 dargestellt, bei welcher es sich nicht einschränkend um einen transparenten biologischen Gewebeschnitt handelt. Dieser wird mit Hilfe einer Weißlichtquelle W durchleuchtet, wobei selbstverständlich auch andere Lichtquellen, beispielsweise LED-Zeilen oder dergleichen zum Einsatz kommen können. Die Weißlichtquelle W befindet sich unterhalb einer Verstelleinheit 2, 3. Die Verstelleinheit 2, 3 setzt sich aus Stellvorrichtungen 2 sowie einem Tisch 3 zusammen.

Mit Hilfe der Stellvorrichtungen 2 kann der Tisch 3 im Beispielfall in X-/Y-Richtung verfahren werden, so dass unterschiedliche Bereiche der Probe 1 aufgenommen werden können. Selbstverständlich liegt es im Rahmen der Erfindung, den Tisch 3 ggf. auch in Z-Richtung zu verstellen. Das ist jedoch nicht gezeigt.

Das von der Weißlichtquelle W ausgesandte Licht durchleuchtet die Probe 1 und wird ausweislich der 2 mit Hilfe einer Abtasteinrichtung 4, 5 aufgenommen. Die Abtasteinrichtung 4, 5 setzt sich aus mehreren Objektiven 4 als Optikeinheit 4 zusammen, die wahlweise unterschiedlich große Bildausschnitte der Probe 1 auf eine Aufzeichnungseinheit 5 abbilden. Bei der Aufzeichnungseinheit 5 handelt es sich um einen CCD-Chip mit beispielsweise 1·106 Pixeln. Das auf dem CCD-Chip erzeugte Bild der transmittierten Probe 1 wird in einer Steueranlage 6 als Einzelbild 7 aufgenommen. Die Steueranlage 6 steuert auch die Stellvorrichtung 2 bzw. die Verstelleinheit 2, 3 sowie ggf. die Optikeinheit 4, in dem ein gewünschtes Objektiv 4 ausgewählt wird.

Zusätzlich ist eine Eingabeeinheit 8 realisiert, welche an die Steueranlage 6 angeschlossen ist und eine bedienerseitige Steuerung der Einzelbildaufnahme ermöglicht. Bei dieser Eingabeeinheit 8 handelt es sich nicht einschränkend um eine X-/Y-Eingabeeinheit 8, die im Ausführungsbeispiel als Computermaus ausgeführt ist. Mit Hilfe einer solchen Computermaus lassen sich X-/Y-Werte in einem Koordinatensystem vorgeben und als Markierung 9 auf einer Ausgabeeinheit 10 anzeigen. Bei der Ausgabeeinheit 10 handelt es sich um einen Computerbildschirm, während die Markierung 9 hierauf als Pfeil, Kreuz o. dgl. erscheint. Mit Hilfe der Eingabeeinheit 8 und der damit definierten Position der Markierung 9 im Koordinatensystem wird auch die Position des Tisches 3 in X-/Y-Richtung vorgegeben und verändert, wie nachfolgend noch näher erläutert wird. D. h., die Eingabeeinheit 8 gibt eine bestimmte Raumposition der Verstelleinheit 2, 3 zur Einzelbildaufnahme vor.

Alternativ hierzu kann die Verstelleinheit 2, 3 aber auch automatisch bewegt werden, und zwar mit Hilfe der Steueranlage 6, die die Stellvorrichtung 2 bzw. die Verstelleinheit 2, 3 sowie ggf. die Optikeinheit 4 entsprechend ansteuert. Dazu mag eine Bildanalyse vorangehen und die Einzelbildfolge korrespondiert zu dem eingangs bereits beschriebenen Weg beispielsweise eines Einzellers beispielsweise entlang einer Trajektorie. Dabei kann die Steueranlage 6 selbstverständlich auch Trajektorien in drei Dimensionen berücksichtigen und diese nachfahren. In diesem Fall wird die Markierung 9 von der Steueranlage 6 vorgegeben. Dabei können selbstverständlich auch Rotationen von Einzelbild zu Einzelbild detektiert und mit Hilfe der Verstelleinheit 2, 3 ausgeführt werden. Derartige Rotationen lassen sich neben einem auf diese Weise definierten Abtastweg 12 zusätzlich in der Steueranlage 6 abspeichern.

Im Idealfall stimmen das Koordinatensystem für die Markierung 9 auf der Ausgabeeinheit 10, das Koordinatensystem der Verstelleinheit 2, 3 und schließlich dasjenige des aus den Einzelbildern 7 zusammengesetzten Gesamtbildes überein bzw. lassen sich ineinander transformieren. Etwaige Abweichungen der Position des Einzelbildes 7 im Gesamtbild von dieser idealen Position werden durch die nachfolgend beschriebenen Operationen erfasst und die Position des Einzelbildes 7 wird korrigiert. Dadurch lassen sich Fehler bei der Aufnahme des Einzelbildes 7 in der Verstelleinheit 2, 3 und/oder der Abtasteinrichtung problemlos ausgleichen.

Im Detail kann ein Bediener nun mit Hilfe der Eingabeeinheit 8 zunächst einmal eine Startposition für die Bildaufnahme mit Hilfe einer Markierung 9 bzw. einer ersten Markierung 91 entsprechend der Darstellung in 3 festlegen. Diese Startposition 91 fällt im Ausführungsbeispiel und nicht einschränkend mit der Bildmitte des ersten Einzelbildes 111 zusammen und markiert einen ersten Ankerpunkt 91. Das erste Einzelbild 111 erscheint nach Anwahl der Position bzw. Markierung 91 unmittelbar auf der Ausgabeeinheit 10. Wenn nun ein Bediener die Eingabeeinheit 8 entlang des Abtastweges 12 weiter bewegt, wird ein Rahmen 132 für das zweite Einzelbild 112 im Koordinatensystem entlang des Abtastweges 12 bewegt.

Dieser Rahmen 132 bewegt sich gleichsam aus dem Rahmen 131 des ersten Einzelbildes 111 heraus, indem ein zugehöriger Überlapp 1412 kleiner wird. Erreicht dieser Überlapp 1412 zwischen dem ersten Einzelbild 111 und dem zweiten Einzelbild 112 bzw. zwischen den beiden zugehörigen Rahmen 131 und 132 einen bestimmten vorgegebenen Wert, liegt beispielsweise unterhalb von 20 % oder bei ca. 10 %, so wird die Verstelleinheit 2, 3 angehalten, welche während des eingangs erläuterten Vorganges der Bewegung der Eingabeeinheit 8 gefolgt ist bzw. den Abtastweg 12 nachgezeichnet hat. Dieser kurze Stopp korrespondiert zur Position der Markierung 92 des zweiten Einzelbildes 112, wiederum in dessen Bildmitte. In dieser Stellung wird das zweite Einzelbild 112 aufgenommen.

Nachdem die Aufzeichnungseinheit 5 und folglich das zweite Einzelbild 112 ausgelesen worden ist, kann die Verstelleinheit 2, 3 dem weiteren Abtastweg 12 wieder folgen. Das geschieht mit einer (geringen) und durch den vorbeschriebenen Auslesevorgang vorgegebenen Verzögerung. Falls die Verstelleinheit 2, 3 den Vorgaben der Eingabeeinheit 8 nicht unmittelbar folgen kann, weil ein Bediener beispielsweise die Eingabeeinheit 8 zu schnell bewegt, so wird der Abtastweg 12 in der Steueranlage 6 abgespeichert und mit der maximal möglichen Geschwindigkeit der Stellvorrichtungen 2 bzw. der Verstelleinheit 2, 3 entsprechend den oben angegebenen Vorgaben abgearbeitet.

Nachdem das zweite Einzelbild 112 erzeugt worden ist, bewegt sich die Verstelleinheit 2, 3 ausgehend von der zweiten Markierung 92 als zweitem Ankerpunkt 92 in Richtung auf den dritten Ankerpunkt bzw. die dritte Markierung 93. Dieser dritte Ankerpunkt 93 wird wiederum dadurch festgelegt, dass ein dritter Bildrahmen 133 gegenüber dem zweiten Bildrahmen 132 so weit verschoben worden ist, bis der vorgegebene Überlapp 14 zwischen dem zweiten Bildrahmen 132 und dem dritten Bildrahmen 133 vorliegt. Dieser Überlapp 14 trägt die Bezeichnung 1423.

Dann hält die Verstelleinheit 2, 3 wiederum für einen kurzen Moment an, so dass das dritte Einzelbild 113 aufgenommen werden kann, wobei der dritte Ankerpunkt bzw. die dritte Markierung 93 wiederum die Bildmitte des dritten Einzelbildes 113 vorgibt. Dieser Vorgang wird fortgeführt, so dass auf der Ausgabeeinheit 10 unmittelbar die jeweils mit dem Überlapp 14 aneinander anschließenden Einzelbilder 7 bzw. 11 erscheinen, und zwar praktisch verzögerungsfrei, d. h. in Echtzeit. Dabei mag der jeweilige Überlapp, beispielsweise 1412, in Abhängigkeit von der Geschwindigkeit vorgegeben werden, mit welcher der Abtastweg 12 von der Verstelleinheit 2, 3 durchlaufen wird. Tendenziell gilt, je höher die Geschwindigkeit, desto geringer der Überlapp 14. Selbstverständlich spielt auch die Auflösung der Abtasteinrichtung 4, 5 eine Rolle, mit welcher die jeweiligen Einzelbilder 11 aufgenommen werden.

Um nun die Einzelbilder 7 bzw. 11 zu dem gewünschten Gesamtbild verzerrungsfrei zusammensetzen zu können, ist es erforderlich, den jeweiligen Überlapp, beispielsweise 1412, zu analysieren. Dazu wird auf die 4 verwiesen. Dargestellt ist hier der Fall, dass sich die Einzelbilder 111, 112 und 113 jeweils überlappen, und zwar unter Berücksichtigung des Überlapps 1412 zwischen dem Einzelbild 111 und 112 sowie dem Überlapp 143 als Überdeckung zwischen dem Einzelbild 111 und 113. Die jeweiligen Überlappe 1412 und 1413 betragen jeweils 10 % der Fläche.

In dem nun der jeweilige Überlapp 1412 und 1413 analysiert wird, können beispielsweise die Bilder 112 und 113 gegenüber dem Einzelbild 111 in dem gemeinsamen Koordinatensystem des Gesamtbildes ausgerichtet werden. Dazu wird der jeweils (streifenförmige) Überlapp 1412 bzw. 1413 im Beispielfall in jeweilige Quadrate 15 unterteilt. Selbstverständlich kann der Überlapp 14 bzw. 1412 oder 1413 auch in rechteckige oder andere Teilbereiche 15 eingeteilt werden. Jedenfalls werden diese Teilbereiche 15 untersucht, indem von jedem zugehörigen Einzelbild, also im Beispielfall von den Einzelbildern 111, 112 und 113, im Bereich des Teilbereiches 15 eine Fouriertransformation der zugehörigen Bildwerte bzw. Pixelwerte vorgenommen wird.

Tatsächlich korrespondiert ein solcher Teilbereich 15 beispielsweise zu einem Quadrat von 100 × 100 Pixeln. Wenn man nun die dazugehörigen Bildwerte jedes Einzelbildes 7 bzw. 11 in der Steueranlage 6 im betreffenden Teilbereich 15 fouriertransformiert, so lassen sich Rückschlüsse über die jeweilige Textur, also die lokale Verteilung und Variation der Grauwerte im zugehörigen Bildbereich, erhalten. In diesem Zusammenhang macht sich die Erfindung zunutze, dass eine beispielsweise regelmäßige Textur zu einer periodischen (zweidimensionalen) Grauwertverteilung korrespondiert, die mit Hilfe von Sinus- und Kosinus-Funktionen angenähert werden kann. Aus diesen Funktionen lassen sich (zweidimensionale) Fourierkoeffizienten ableiten, die ein Fourierbild erzeugen. Beispielsweise korrespondiert ein gleichförmiges Muster aus senkrechten Streifen zu waagerecht angeordneten Punkten im Fourierbild.

Nun wird dieses Fourierbild für jeden Teilbereich 15, einerseits im Beispielfall des Überlapps 1412 vom Einzelbild 111 und andererseits vom Einzelbild 112 erzeugt. Dabei kommt es darauf an, die beiden Fourierbilder der Einzelbilder 111 und 112 – im Teilbereich 15 – miteinander zu vergleichen. Als Resultat dieses Vergleiches muss beispielsweise das Einzelbild 112 gegenüber dem Einzelbild 111 (in der Steueranlage 6) verschoben oder gedreht werden, um die Strukturen gegeneinander auszurichten bzw. eine maximale Übereinstimmung der jeweiligen Texturen im Teilbereich 15 zu erreichen. Dieser Einzelbildvergleich findet nun im Sinne einer Kreuzkorrelation statt. Bei dieser Kreuzkorrelation werden die zuvor ermittelten jeweiligen Fourierbilder bzw. deren Fourierkoordinaten je Pixel einer mathematischen Operation unterzogen, die auf ein Ergebnis führt, welches umso größer ist, je größer die Übereinstimmung der jeweiligen Fourierkoordiaten ist. Die Kreuzkorrelation hat Ähnlichkeit mit der Faltung. Einzelheiten zur Fouriertransformation und Faltung sowie Kreuzkorrelation finden sich in dem Buch "Bildbearbeitung für Einsteiger" von B. Neumann, Springer Verlag, 2004, auf welches als Referenz ausdrücklich verwiesen sei.

Indem nun die Teilbereiche 15 des jeweiligen Überlapps 1412 und 1413 hinsichtlich der Übereinstimmung ihrer jeweiligen Texturen untersucht und die zugehörigen Einzelbilder 112 und 113 ggf. eine Verschiebung und Drehung gegenüber dem Einzelbild 111 erfahren, wird ein Gesamtbild aus den Einzelbildern 111, 112, 113 usw. erzeugt, das quasi auf elektronischem Wege etwaige mechanische Ungenauigkeiten bei der Aufnahme der Einzelbilder 7 bzw. 11 ausgleicht.

Grundsätzlich kann die beschriebene Kreuzkorrelation beim Einzelbildvergleich auch in der Weise durchgeführt werden, dass zunächst Einzelbilder 7 bzw. 11 mit einer bestimmten (groben) Auflösung aufgenommen und gegeneinander in der beschriebenen Art und Weise ausgerichtet werden. Dann werden die betreffenden Einzelbilder 7 bzw. 11 noch einmal mit erhöhter Auflösung untersucht und wiederum der beschriebenen Kreuzkorrelation unterzogen. In diesem Fall wird also – wenn man so will – ein Einzelbildstapel, also eine Mehrzahl an Einzelbildern 7 bzw. 11 entlang des Abtastweges 12 aufgezeichnet und für die gegenseitige Ausrichtung ausgewertet.

Aus dieser Auswertung resultieren ggf. Korrekturwerte für die Verstelleinheit 2, 3 am jeweiligen Ankerpunkt 91, 92 usw.. Diese Korrekturwerte können in der Steueranlage 6 hinterlegt werden bzw. bei der Ansteuerung eines nicht dargestellten Positionsgebers für die Verstelleinheit 2, 3 Berücksichtigung finden. D. h., falls die Verstelleinheit 2, 3 in einem nachfolgenden Schritt den besagten Ankerpunkt 91, 92 usw. noch einmal anfährt, berücksichtigt der Positionsgeber den zu der betreffenden Position gehörigen Korrekturwert bei der Ansteuerung der Verstelleinheit 2, 3.

Neben dem Abtastweg 12, den Ankerpunkten 91, 92 und den vorerwähnten Korrekturwerten können auch zu den jeweiligen Ankerpunkten 91, 92 usw. gehörige Zeitpunkte t1, t2 usw. protokolliert bzw. abgespeichert werden. Dadurch kann beispielsweise der Weg eines Einzellers nicht nur örtlich, sondern auch zeitlich nachvollzogen und für anschließende Analyseschritte ausgewertet werden.

Im Rahmen der 5 erkennt man, dass als durchgezogene Linie angedeutete Teilbereiche 15 zu akzeptablen Ergebnissen beim Bildvergleich geführt haben, während einzelne strichpunktiert angedeutete Teilbereiche 15 noch einer Verbesserung bedürfen. Hier wird man die jeweiligen Einzelbilder 7 bzw. 11 nochmals gegeneinander verschieben oder drehen müssen, um bei einem nachfolgenden Bildvergleich eine höhere Übereinstimmung der Texturen im jeweils untersuchten Teilbereich 15 zu erreichen. Jedenfalls gleicht die geschilderte Prozedur etwaige mechanische Ungenauigkeiten aus und ermöglicht im Übrigen eine Echtzeitwiedergabe der jeweiligen Einzelbilder 7 bzw. 11 und des aus ihnen zusammengesetzten Gesamtbildes.


Anspruch[de]
Verfahren zur optischen Abtastung einer Probe (1), mit einer Verstelleinheit (2, 3) sowie einer Abtasteinrichtung (4, 5), wonach die Probe (1) mittels der von einer Steueranlage (6) beaufschlagten Verstelleinheit (2, 3) gegenüber der Abtasteinrichtung (4, 5) bewegt wird, oder umgekehrt, und wonach auf diese Weise mit der Abtasteinrichtung (4, 5) gewonnene Einzelbilder (11) in der Steueranlage (6) zu wenigstens einem Gesamtbild zusammengesetzt werden, dadurch gekennzeichnet, dass die Einzelbilder (11) bedienerseitig und/oder automatisch ausgewählt und mit vorgegebenem Überlapp (14) aufgenommen sowie zu dem Gesamtbild in Echtzeit zusammengesetzt werden. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Einzelbilder (11) bedienerseitig in der Weise ausgewählt werden, dass eine an die Steueranlage (6) angeschlossene Eingabeeinheit (8) entsprechende Bedienerwünsche erfasst und über die Steueranlage (6) in Stellsignale für die Verstelleinheit (2, 3) umsetzt. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Eingabeeinheit (8) wenigstens eine Markierung (9) in einer an die Steueranlage (6) angeschlossenen Ausgabeeinheit (10) erzeugt, welche ggf. die Bildmitte des jeweils aufgenommen Einzelbildes (11) markiert. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass mittels der Eingabeeinheit (8) ein Abtastweg (12) mit Ankerpunkten (91, 92 usw.) auf der Probe (1) definiert wird, wobei jeder Ankerpunkt (91, 92 usw.) zu beispielsweise der Bildmitte eines Einzelbildes (11) korrespondiert. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass der Überlapp (14) der Einzelbilder (11) in Abhängigkeit von der Geschwindigkeit, mit welcher der Abtastweg (12) durchlaufen wird und/oder der Auflösung der Abtasteinrichtung (4, 5) und/oder der Aufnahmerate für die Einzelbilder (11) eingestellt wird. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass der Überlapp (14) der Einzelbilder (11) zu ihrer gegenseitigen Ausrichtung im Gesamtbild ausgewertet wird. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Ankerpunkte (91, 92 usw.) zu Koordinatenwerten im Gesamtbild korrespondieren, die ggf. eine Korrektur im Anschluss an die gegenseitige Ausrichtung der Einzelbilder (11) zu dem Gesamtbild erfahren. Vorrichtung zur optischen Abtastung einer Probe (1), mit wenigstens einer Verstelleinheit (2, 3), und mit zumindest einer Abtasteinrichtung (4, 5), wobei die Probe (1) mittels der von einer Steueranlage (6) beaufschlagten Verstelleinheit (2, 3j gegenüber der Abtasteinrichtung (4, 5) bewegt wird, oder umgekehrt, und wobei auf diese Weise mit der Abtasteinrichtung (4, 5) gewonnene Einzelbilder (11) in der Steueranlage (6) zu wenigstens einem Gesamtbild zusammengesetzt werden, dadurch gekennzeichnet, dass zur bedienerseitigen Auswahl der Einzelbilder (11) eine an die Steueranlage (6) angeschlossene Eingabeeinheit (8) vorgesehen ist, die eine bestimmte Raumposition der Stelleinheit (2, 3) zur Einzelbildaufnahme vorgibt. Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die Eingabeeinheit (8) als X-/Y-Eingabeeinheit, beispielsweise Computermaus, Joystick, o. dgl. ausgebildet ist. Vorrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Eingabeeinheit (8) eine zur X-/Y-Position der Verstelleinheit (2, 3) korrespondierende Markierung (9) auf einer Ausgabeeinheit (10) erzeugt.






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com