PatentDe  


Dokumentenidentifikation DE69513756T2 11.05.2000
EP-Veröffentlichungsnummer 0701225
Titel Anlage zur Umschreibung von Wandtafelbildern mittels eines kamerabasierten Abtasters
Anmelder Xerox Corp., Rochester, N.Y., US
Erfinder Saund, Eric, San Carlos, California 94070, US
Vertreter Grünecker, Kinkeldey, Stockmair & Schwanhäusser, 80538 München
DE-Aktenzeichen 69513756
Vertragsstaaten DE, FR, GB
Sprache des Dokument En
EP-Anmeldetag 01.09.1995
EP-Aktenzeichen 953061207
EP-Offenlegungsdatum 13.03.1996
EP date of grant 08.12.1999
Veröffentlichungstag im Patentblatt 11.05.2000
IPC-Hauptklasse G06K 9/20
IPC-Nebenklasse G06T 3/20   G06T 11/60   

Beschreibung[de]

Die vorliegende Erfindung betrifft eine Einrichtung, um Beschriftungen auf einer Magnettafel oder einer Wandtafel in elektronische Form umzuschreiben. Genauer gesagt betrifft die Erfindung Techniken, um Bilder von einer Tafel zu erfassen und diese Bilder elektronisch zu verarbeiten, um ein vollständiges, unverzerrtes Bild hoher Auflösung der gesamten Tafel zu erzeugen.

In Zusammenarbeitsumfeldern möchten mehrere Benutzer häufig gleichzeitig angezeigte Informationen betrachten und bearbeiten. Magnettafeln und Wandtafeln (nachfolgend als "Tafeln" bezeichnet) werden weitverbreitet verwendet, von Hand geschriebene Text- und Graphikbilder auf einer "Wandtafel"-Fläche festzuhalten. Das Tafelmedium liefert gewisse Eigenschaften, die eine Vielzahl interaktiver Arbeitspraktiken erleichtern: die Beschriftungen sind groß genug, daß sie von mehreren Menschen gesehen werden; die Beschriftungen können durch Löschen und erneutes Schreiben bearbeitet werden; die Fläche ist unbeweglich, geht somit nicht verloren, wird nicht verknittert, zerrissen oder vom Wind weggeweht; die Fläche wird schnell gelöscht, ist vollständig wiederverwertbar und nutzt sich (praktisch) nicht ab. Jedoch besteht ein Nachteil bei der Verwendung einer Tafel darin, daß Informationen nicht ohne weiteres auf andere Medien übertragen werden können. Somit ist es gegenwärtig nicht möglich, eine Unterhaltung mit irgendjemand festzuhalten, während eine Niederschrift der Unterhaltung in Text und Graphik aufrechterhalten wird, und dann die Niederschrift schnell, einfach und selbsttätig auf Papier oder ein anderes tragbares und aufhebbares Medium zu übertragen.

Bestehende Verfahren, diese Aufgabe durchzuführen, sind mühsam, zeitaufwendig und unbequem. Man kann einfach von Hand auf Papier irgendetwas des gesamten Texts und der Graphik oder alles umschreiben, die sich auf der Tafel befinden. Dies kann zeit aufwendig sein und leidet unter Irrtümern aufgrund von Fehlern beim Lesen und Schreiben durch eine Person. Oder man kann die Tafel mit einer Kamera photographieren. Dies verlangt, daß man eine Kamera zur Hand hat, führt die Verzögerung die Filmentwicklung ein, kann kostspielig sein, wenn eine Sofortkamera verwendet wird, und kann wegen falscher Scharfeinstellung und Belichtung eine Wiedergabe schlechter Qualität liefern. Des weiteren erzeugt eine Kamera üblicherweise ein Bild stark verkleinerter Größe, das nur schwierig gelesen werden kann.

Alternativ führen "Wandtafel"-Papierbogen, wie Posterblöcke, zu einer relativ dauerhaften und tragbaren Aufzeichnung von dem, was geschrieben wurde, wobei aber diese Papierbogen groß und unbequem sind und während der Bilderzeugung keine Löschung erlauben.

Eine Notiztafeleinrichtung stellt eine Schreibfläche bereit, die auf eine Papierkopie umgeschrieben werden kann, wobei aber diese gegenwärtig als leicht tragbare Magnettafeln ausgelegt sind, die bestehende eingebaute Tafeln verdrängen statt sie zu ersetzen.

JP-A-5,122,501 beschreibt eine Bildlesevorrichtung, die ein Ursprungsbild in vier Teilen liest. Ein Musteranpassungsverfahren kann dann ausgeführt werden, um die sich gegenseitig überlappenden Bereiche der vier jeweiligen Bilder zu bestimmen, wodurch die entsprechenden Bilder in dem Speicher in der Größe verringert und zu einem einzigen Ausgangsbild zusammengestellt werden können.

NTIS Technical Notes, 1. August 1990, Seite 669, "Making Mosaics of SAR Imagery" beschreibt, wie Bilder eines an Bord eines Raumfahrzeugs mitgeführten Radars mit künstlicher Strahleröffnung (SAR) zusammmengestückelt werden können, um Mosaike zu erzeugen, die einen großen Bereich überdeckende Bilder darstellen. Um dies zu erreichen, wird ein Paßpunkt von benachbarten Bildern gewonnen, und die Paßpunkte werden dann miteinander vermischt, um ein Mosaikbild zu bilden. Eine weitere Verarbeitung kann dann ausgeführt werden, um die Übergänge zwischen den Bildern zu glätten.

US-A-5 113 267 beschreibt eine Vorrichtung und ein Verfahren, um ein einziges Dokument und Daten aufzubauen, die von einer Abtastvorrichtung geliefert werden, die das gesamte Dokument nicht lesen kann. Um dies zu erreichen, wird auf dem abzutasten den Dokument ein Kalibrierungsbogen angeordnet. Die Abtastvorrichtung verwendet dann den Abtastbereich des Kalibrierungsbogens, um die entsprechenden Bildabschnitte aneinander anzupassen.

Die vorliegende Erfindung schafft eine Einrichtung, den Bildinhalt eines Bildes auf einer Tafel in einer Computer-Form zu erfassen. Die Einrichtung umfaßt eine Tafel, auf der ein Tafelbild vorgesehen ist, zumindest ein Kamerauntersystem, um das Tafelbild mit einer Reihe überlappender Bildflächenabschnitte zu erfassen, und einen Prozessor, um die Bildflächenabschnitte zu erhalten und zu verarbeiten und die Flächenabschnitte zu einem vollständigen binären Bild zu kombinieren, das das Tafelbild darstellt, wobei ein Speicher die Zwischenbilddaten und das sich ergebende binäre Bild speichert.

Genauer gesagt schafft die Erfindung ein automatisches System zum Erfassen des Bildinhalts eines Bildes auf einer Oberfläche, das umfaßt:

a) eine Oberfläche, auf der ein Bild vorgesehen ist;

b) zumindest ein Kamerauntersystem, um das genannte Bild in einer Matrix von Bildflächenabschnitten zu erfassen, wobei jeder genannte Bildflächenabschnitt zumindest einen Bereich des Bildes umfaßt, und die genannten Flächenabschnitte jeweils benachbarte Flächenabschnitte überlappen;

c) einen Prozessor, der die genannten Bildflächenabschnitte erhält und verarbeitet, um die genannten Flächenabschnitte zu kombinieren, damit das genannte Bild darstellende Bilddaten bestimmt werden; und

d) einen für den genannten Prozessor zugängigen Speicher, um Daten zu speichern, die Befehle für den genannten Prozessor und die genannten Bilddaten einschließen, wobei zumindest einer der genannten Flächenabschnitte eine perspektivische Verzerrung des Bildbereiches aufweist, und der Prozessor die genannten Flächenabschnitte derart kombiniert, daß die Bilddaten in bezug auf perspektivische Verzerrung korrigiert werden, wobei die Kombination der genannten Flächenabschnitte die Schritte einschließt:

1) Bestimmen eines Überlappungsbereiches zwischen einem ersten Flächenabschnitt und einem zweiten Flächenabschnitt für jeweils zwei benachbarte Flächenabschnitte;

Vorzugsweise umfaßt das Kamerauntersystem eine einzige in bezug auf die genannte Tafel drehbare Kamera.

Alternativ umfaßt das Kamerauntersystem eine Mehrzahl Kameras in einer ortsfesten Position in bezug auf die genannte Tafel, wobei jede einen Bildflächenabschnitt der genannten Oberfläche abtastet. Die oder jede Kamera kann in einer ortsfesten, drehbaren Position in bezug auf die genannte Tafel sein, wobei jede zumindest einen Bildflächenabschnitt der genannten Tafel abtastet.

Die Erfindung schafft des weiteren ein Verfahren zur Herstellung von Bilddaten, die ein Bild auf einer Oberfläche darstellen, wobei das Verfahren die schritte umfaßt:

a) Erfassen von Bildflächenabschnitten (62, 64, 66) unter Verwendung wenigstens eines Kamerauntersystems (54, 55), wobei jeder Flächenabschnitt einen Bereich des Bildes umfaßt und die genannten Flächenabschnitte jeweils benachbarte Flächenabschnitte überlappen;

b) Umwandeln der genannten Bildflächenabschnitte in Bilddaten;

c) Kombinieren der Bilddaten eines jeden der genannten Bildflächenabschnitte, um Bilddaten zu erzeugen, die das Bild auf der Oberfläche darstellen, wobei zumindest einer der genannten Flächenabschnitte (62, 64, 66) eine perspektivische Verzerrung des Bereiches des Bildes umfaßt, und der Schritt, die genannten Flächenabschnitte zu kombinieren, die Korrektur der perspektivischen Verzerrung einschließt, wobei die Kombination der genannten Flächenabschnitte die Schritte einschließt:

1) Bestimmen eines Überlappungsbereiches zwischen einem ersten Flächenabschnitt und einem zweiten Flächenabschnitt für jeweils zwei benachbarte Flächenabschnitte (62, 64);

2) Bestimmen zumindest einer Markierung (150) in dem genannten Bereich;

3) Auffinden einer Projektion der genannten zumindest einen Markierung an einem ersten Oberflächenkoordinatenort in dem genannten ersten Flächenabschnittsbild;

4) Auffinden einer Projektion der genannten Markierung an einem zweiten Oberflächenkoordinatenort in dem genannten zweiten Flächenabschnittsbild;

5) Korrigieren der perspektivischen Verzerrung zwischen dem genannten ersten und zweiten Oberflächenkoordinatenoril; und

6) Erzeugen der Bilddaten nach Maßgabe der korrigierten Oberflächenkoordinaten.

Genauer gesagt schafft die Erfindung ein Verfahren, um eine vollständige, unverzerrte Computer-Darstellung eines Bildes auf einer Fläche zu liefern, das umfaßt: Erfassen von Bildflächenabschnitten, wobei jeder Flächenabschnitt einen Bereich des Oberflächenbildes enthält, und wobei jeder genannte Flächenabschnitt jeweils benachbarte Flächenabschnitte überlappt; Umwandeln der genannten Bildflächenabschnitte in ein elektronisches Computer-Format; Bestimmen der genannten Überlappungsfläche in jedem Flächenabschnitt; Korrigieren von Verzerrungen in der genannten Überlappungsfläche, um ein einziges Computer-Bild zu erzeugen.

Die Erfindung schafft des weiteren ein Verfahren, eine vollständige, unverzerrte, Computer-Darstellung eines Bildes auf einer Oberfläche zu schaffen, das umfaßt: Erfassen von Bildflächenabschnitten, wobei jeder Flächenabschnitt einen Bereich des Oberflächenbildes enthält und jeder Flächenabschnitt benachbarte Flächenabschnitte überlappt; Umwandeln der genannten Bildflächenabschnitte in ein elektronisch Computer- Format; Korrigieren der Helligkeitsänderung über jeden Flächenabschnitt; Bestimmen der genannten Überlappungsfläche in jedem Flächenabschnitt; Korrigieren von Verzerrungen in der genannten Überlappungsfläche, um ein Bild mit einem einzigen, mittleren Grauwert zu erzeugen; und die genannte Grauwertdarstellung des genannten Bildes einer Schwellenverarbeitung zu unterziehen, um ein Coputer-Bild zu erzeugen, daß das genannte Oberflächenbild darstellt;

Eine Zielsetzung dieser Erfindung ist, Benutzern die Möglichkeit bereitzustellen, in einer Computer-Form den Bildinhalt bestehender Tafeln zu erfassen, wobei ein vollständiges, unverzerrtes, hochaufgelöstes, Computer-Bild von Beschriftungen auf der Tafel geschaffen wird. Ein Vorteil ist, daß, sobald sich das Bild in elektronischer Form befindet, eine Festkopie hergestellt, es über Fax übertragen, in einer Datei gespeichert, zu einer Anzeigeeinrichtung übertragen und/oder weiterverarbeitet werden kann, wobei Bildanalysetechniken verwendet werden, den Informationsinhalt zu filtern und zu analysieren.

Durch die Einrichtung der vorliegenden Erfindung wird ein hochaufgelöstes elektronisches Bild einer Tafel ohne merkliche Verzerrung durch ein Kamera-Abtastsystem geschaffen.

Ausführungsformen der Erfindung werden nun in beispielhafter Weise unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, in denen:

Fig. 1 eine Einrichtung zeigt, die die Merkmale der vorliegenden Erfindung verwendet;

Fig. 2 ein Ablaufdiagramm für das allgemeine Verfahren zur Erzeugung einer binären Wiedergabe der Tafel aus einer Gruppe abgetasteter Bildabschnitte zeigt;

Fig. 3 Bildflächenabschnitte auf einer Tafel zeigt, die von einer Kamera abgetastet wird;

Fig. 4 ein Ablaufdiagramm zeigt, das eine Mittenumgebungsverarbeitung beschreibt;

Fig. 5 ein Ablaufdiagramm zeigt, das das Auffinden entsprechender Kennmarkierungen in zwei überlappenden Flächenabschnitten beschreibt;

Fig. 6 zwei Beispiele von Markierungen zeigt, die als Kennmarkierungen verwendet werden können;

Fig. 7 die Bestimmung eines Vertrauenrechtecks darstellt;

Fig. 8 ein Ablaufdiagramm zeigt, das perspektivische Verzerrungskorrekturen löst, die globale Kennmarkierungs-Fehlanpassungsfunktionen optimieren;

Fig. 9 eine Kennmarkierung in der Überlappungsfläche von zwei Flächenabschnitten zeigt;

Fig. 10 die Versetzung der Kennmarkierung zwischen zwei Flächenabschnitten darstellt; und

Fig. 11 eine Kennmarkierung und die entsprechenden Transformationsparameter zeigt.

Es wird auf Fig. 1 Bezug genommen, die eine Einrichtung 50 zeigt, die die Merkmale der vorliegenden Erfindung beschreibt. Eine Tafel 52 erhält Beschriftungen von einem Benutzer. Eine "Tafel" kann entweder eine Mägnettafel, eine Wandtafel oder eine ähnliche wandmäßige Oberfläche sein, die verwendet wird, von Hand geschriebene Text- und Graphikbilder festzuhalten. Der folgenden Beschreibung liegt hauptsächlich eine Magnettafel mit dunkelfarbigen Markierungen zugrunde. Für den Durchschnittsfachmann auf dem Gebiet liegt es auf der Hand, daß eine dunkelfarbige Tafel mit hellfarbiger Markierung auch verwendet werden kann, wobei einige Parameter geändert werden, um das entgegengesetzte Reflexionsvermögen wiederzugeben. (Ein Verfahren zur Interpretation von von Hand geschriebenen schematischen Benutzerschnittstellenbefehlen ist in EP-A-701,224 geoffenbart, entsprechend der US Anmeldung Aktenzeichen 08/303,929, die gemeinsam mit der vorliegenden Anmeldung eingereicht wurde.)

Ein Kamerauntersystem 54 erfaßt ein Bild oder Bilder auf der Tafel, die über ein Netz 58 einem Computer 56 zugeführt werden. Der Computer 56 umfaßt einen Prozessor und einen Speicher, um Befehle und elektronische und Computer-Bilder zu speichern. Im allgemeinen ist die Auflösung einer elektronischen Kamera, wie einer Videokamera, unzureichend, das gesamte Tafelbild mit ausreichender Genauigkeit zu erfassen, um die Markierungen auf der Tafel klar zu unterscheiden. Deshalb müssen mehrere Zoom- Bilder kleinerer Unterbereiche der Tafel, "Bildflächenelemente" genannt, unabhängig erfaßt und dann zusammengesetzt werden.

Das Kamerauntersystem 54 ist auf einem computergesteuerten Schwenk- /Neigungskopf 55 befestigt und wird der Reihe nach unter Programmsteuerung auf ver schiedene Unterbereiche gerichtet, wenn ein Bilderfassungsbefehl ausgeführt wird. Das Kamerauntersystem 54 kann alternativ eine Mehrfachanordnung fester oder drehbarer Kameras umfassen, von denen jede auf einen unterschiedlichen Unterbereich oder auf Unterbereiche gerichtet ist. Zur Erklärung kann hier das Kamerauntersystem 54 einfach als eine Kamera 54 bezeichnet werden.

Die "rohen" Bildflächenabschnitte überlappen einander im allgemeinen, enthalten perspektivische Verzerrungen aufgrund des außeraxialen Blickpunkts der Kamera und enthalten ungleichförmige Helligkeitswerte über die Tafel zwischen dem Vordergrund (geschriebene Markierungen) und dem Hintergrund (unbeschriebene Tafel) wegen der ungesteuerten Beleuchtungsbedingungen und Reflexionen.

Die folgenden Figuren beschreiben ein allgemeines Verfahren, Techniken der Erfindung durchzuführen, um die oben beschriebenen Wirkungen auszugleichen.

Das Ablaufdiagramm der Fig. 2 zeigt das allgemeine Verfahren, eine binäre Darstellung der Tafel aus einer Gruppe abgetasteter Bildabschnitte zu erzeugen. Im Schritt 100 werden die abgetasteten Bildabschnitte als "Flächenabschnitte" erfaßt. Jeder Flächenabschnitt ist ein Bereich des Bildes, das mit einer Kamera abgetastet worden ist, wie es in Fig. 3 gezeigt ist. Eine Tafel 60 wird als eine Reihe von Flächenabschnitten 62, 64, usw. erfaßt. Die Flächenabschnitte überlappen sich mit den benachbarten Flächenabschnitten ein wenig, so daß das gesamte Bild ohne "fehlende" Zwischenräume abgetastet wird. Die Lage eines jeden Flächenabschnitts ist aus der Position und Richtung der Kamera auf dem Schwenk-/Neigungskopf bekannt, wenn der Flächenabschnitt abgetastet wird. Die Flächenabschnitte können als "rohes Bild" oder "Kamerabild"- Flächenabschnitte beschrieben werden, da an ihnen keine Verarbeitung durchgeführt worden ist, um sie entweder zu interpretieren oder genau in dem digitalen Bild anzuordnen. Eine Markierung 150 auf der Tafel 60 wird in zwei benachbarten Flächenabschnitten 62 und 64 erfaßt.

Kehrt man zur Fig. 2 zurück, wird im Schritt 102 eine Mittenumgebungsverarbeitung bei jedem Kamera-Bildflächenabschnitt durchgeführt. Eine Mittenumgebungsverarbeitung gleicht die Helligkeitsveränderungen zwischen den und innerhalb der Flächenabschnitte aus. Die Technik zur Mittenumgebungsverarbeitung wird in bezug auf Fig. 4 beschrie ben. Bei jedem Pixel in dem Bild berechnet der Schritt 120 einen örtlichen Durchschnitt der Pixelintensitäten in einem Fenster einer vorbestimmten Größe, das bei pi,j zentriert ist. Im Schritt 122 wird die Durchschnittsintensität von jedem pi,j subtrahiert. Die sich ergebenden Pixel werden im Schritt 124 ausgegeben. Die sich ergebenden Ausgangspixel stellen die Differenz bei jedem Pixel zwischen seinem Ursprungswert und dem Durchschnittswert der Pixel in dem Umgebungsbereich dar.

Erneut zur Fig. 2 zurückkehrend findet der Schritt 104 entsprechende "Kennmarkierungen" in sich überlappenden Flächenabschnitten, wie in bezug auf Fig. 5 beschrieben wird. "Kennmarkierungen" werden als Markierungen auf der Tafel beschrieben, die in zumindest zwei Flächenabschnitten auftreten und verwendet werden können, die Überlappungsposition anschließender benachbarter Flächenabschnitte zu bestimmen. Fig. 6 zeigt zwei Beispiele von Markierungen, die als Kennmarkierungen verwendet werden können. Kennmarkierungen können durch Anfangspunkte, Endpunkte und Kreuzungspunkte bei ihrer Herstellung definiert werden.

Kennmarkierungen werden in zwei Stufen erfaßt. Die erste Stufe führt zu der Erzeugung eines zusätzlichen "Kennmarkierungsqualität"-Bildes, das die "Güte" einer möglichen Kennmarkierung angibt, die bei jedem Pixel in dem Bild zentriert ist. Eine "gute" Kennmarkierung liefert eine genaue Lokalisierung in zwei Richtungen, wie die Markierung 150. Eine "sekundäre" Kennmarkierung, wie die Markierung 160, liefert eine Lokalisierung in nur einer Richtung, die eine Lokalisierung in der Richtung des Pfeils 165 bereitstellt, aber eine wenig genauere Lokalisierung in der anderen Richtung, die mit dem Pfeil 163 bezeichnet ist. Die zweite Stufe ist die Auswahl guter Kennmarkierungen so gleichförmig wie möglich innerhalb des Überlappungsbereiches zwischen der Projektion von zwei Bildflächenabschnitten in dem Koordinatensystem der Tafel.

Um das zusätzliche Kennmarkierungsqualitätsbild zu erhalten, wird zuerst ein Gradientenoperator auf das rohe Bild angewendet, wobei die grobe Orientierung und Größe des Gradienten bei jedem Pixel aufgezeichnet werden, und Techniken verwendet werden, die dem mit der Computer-Darstellungsliteratur Vertrauten gut bekannt sind.

Die örtliche Ausrichtung wird in vier Teilungen digitalisiert. Somit wird für jedes Pixel in dem Bild ein örtliches Histogramm gebildet, das eine kumulative Gradientengröße für jedes der Ausrichtungsteilungen innerhalb einer lokalisierten Nachbarschaft eines jeden Pixels liefert. Man beachte, daß bei guten Kennmarkierungen das Histogramm eine große kumulative Gradientengröße in allen Ausrichtungsbins enthält, sekundäre Kennmarkierungen eine große Gradientengröße in höchsten zwei Teilungen enthält und schlechte oder nichtvorhandene Kennmarkierungen eine große kumulative Gradientengröße in keiner Teilung enthält. Schließlich wird jeder Pixel in bezug auf die örtliche Kennmarkierungsqualität bewertet gemäß:

Kennmarkierungsqualität = vmvp + vm + vp

worin vm die Gradientengröße in dem Histogrammteilungsfach mit der größten kumulativen Gradientengröße ist und vp die Gradientengröße in dem Histogrammteilungsfach ist, das die Ausrichtung unter 90 Grad von der Teilung von vm darstellt.

In der zweiten Stufe der Kennmarkierungserfassung wird das Bild der Kennmarkieurungsqualität mit der Zielsetzung abgetastet, grob gleichförmig verteilte Orte zu erhalten, die Kennmarkierungen hoher Qualität darstellen. Das Bild der Kennmarkierungsqualität wird in Quadratfelder vorbestimmter Größe unterteilt, die als der "Kennmarkierungsradius" bezeichnet wird. Innerhalb eines jeden solchen Feldes wird jedem Pixel eine Bewertung der "gewichteten Kennmarkierungsqualität" gegeben durch

gewichtete Kennmarkierungsqualtität = Kennmarkierungsqualität + 2 Kennmarkierungsradlius dx dy

wo dx und dy die Entfernung des Pixel von der Mitte des Quadratfeldes in der horizontalen bzw. vertikalen Richtung ist. Innerhalb eines jeden Feldes wird das Pixel mit der größten gewichteten Kennmarkierungsqualität gefunden. Wenn die Kennmarkierungsqualität, die mit diesem Pixel verbunden ist, oberhalb einer vorbestimmten Schwelle liegt, dann wird dieser Pixelort als eine Kennmarkierung akzeptiert.

Fig. 5 beschreibt das Auffinden entsprechender Kennmarkierungen in zwei überlappenden Flächenabschnitten, die als Flächenabschnitt 1 und Flächenabschnitt 2 bezeichnet werden. Im Schritt 130 der Fig. 5 wird eine ungefähre perspektivische Transformation des Flächenabschnitts 1 durchgeführt, um näherungsweise zu bestimmen, wie sich der Flächenabschnitt auf die Tafelkoordinaten abbildet. Dies kommt von dem Koppeln auf der Grundlage der Kamerakalibrierung und der Positionierung des Schwenk/Neigungskopfes, als dieses Bild aufgenommen wurde. Die Transformation kann unter Verwendung einer allgemeinen linearen Transformation in homogenen Koordinaten bestimmt werden, wie es in Geometric lnvariance in Computer Vision, herausgegeben von Mundy und Zissermann, 1992 Massachusetts Institute of Technology, Anhang 23.4.5-23.4.7, Seiten 481-484 beschrieben ist. Die Tafelkoordinaten werden im bezug auf die Tafel vordefiniert. Wenn die Kamera kalibriert ist, wird jeder Ort des Flächenabschnitts in Tafelkoordinaten bestimmt. Eine ähnliche Transformation wird im Schritt 132 bei dem Flächenabschnitt 2 durchgeführt.

Im Schritt 134 wird der Überlappungsbereich in Tafelkoordinaten zwischen den Flächenabschnitten 1 und 2 auf Koppelgrundlage gefunden. Kennmarkierungen, die in diesem Überlappungsbereich in dem transformierten Bild des Flächenabschnitts 1 fallen, werden im Schritt 136 erkannt, und im Schritt 138 werden die ungefähren Orte der Kennmarkierungen in dem transformierten Bild des Flächenabschnitts 2 geortet.

Im Schritt 140 wird eine örtliche Korrelation bei Bildfeldern in der Nachbarschaft von Kennmarkierungen durchgeführt, um Orte in dem Flächenabschnitt 2 zu finden, die den Kennmarkierungsorten im Flächenabschnitt 1 entsprechen. Diese Korrelation bestimmt des weiteren ein ausgerichtetes Rechteck, das zwei Vertrauenswerte bei der Lokalisierung der Markierung enthält. Fig. 7 stellt diese Bestimmung des Vertrauenswerts dar. Wie es vorhergehend beschrieben wurde, bildet die Markierung 150 eine "gute" Kennmarkierung. Das Muster 156 ist ein Bildfeld, das ein Pixel der Markierung in dem ersten Flächenabschnitt umgibt und verwendet wird, die Ausrichtung und den Ort der Kennmarkierung 150 zu bestimmen. Wenn das Feld 156 mit der Markierung 150 in dem Bildflächenabschnitt korreliert ist, paßte es in zwei Richtungen nahe zu der Markierung, wobei nur ein sehr kleiner Übereinstimmungsbereich erzeugt wird. Dieses "Korrelationsrechteck", das die Übereinstimmungsgröße zwischen dem Feld der Kennmarkierung in dem Flächenabschnitt 1 und der Kennmarkierung in dem Flächenabschnitt 2 beschreibt, hilft, den Vertrauenswert in bezug auf den Ort der Markierung in den Flächenabschnitten zu bestimmen.

Alternativ kann man bei der Kennmarkierung 160, die vorhergehend als eine sekundäre Kennmarkierung beschrieben worden ist, sehen, daß ein Bildfeld um ein Pixel der Markierung 160 herum, das Muster 166, zu einer Anzahl Orten entlang der Längsachse der Markierung 160 passen könnte. Der Vertrauenswert in bezug auf die Lokalisierung wird entlang der Ausrichtungsachse und quer zu der Ausrichtungsachse bestimmt. In dem Fall der Markierung 160, liefert das Muster 166 ein relativ großes Korrelationsrechteck in Längsrichtung entlang der Ausrichtungsachse des Musters. Der Vertrauenswert in der Weitenrichtung ist viel größer, da es eine kleinere Fläche für das Muster gibt, in der Querachsenausrichtung übereinzustimmen. Während die Korrelation der Markierung 160 somit eine gute Abschätzung des Orts in einer Richtung liefern mag, ist wegen der Unsicherheit in der senkrechten Richtung der Vertrauenswert in bezug auf den genauen Ort kleiner als der, der durch die Korrelation der Markierung 150 geliefert wird.

Kehrt man noch einmal zur Fig. 2 zurück, so löst der Schritt 106 perspektivische Verzerrungskorrekturen, die globale Kennmarkierungs-Fehlanpassungsfunktionen optimieren, wie es ausführlicher in Fig. 8 beschrieben ist. Dieser Schritt korrigiert Fehler, die beim Koppeln des Flächenabschnittsorts in dem Bild auftreten. Die Transformation wird mit dem Vertrauensrechteck gewichtet, das in dem vorhergehenden Schritt erhalten wurde.

Im Schritt 170 der Fig. 8 werden die Kennmarkierungen auf Tafelkoordinaten projiziert. Wenn dies das erste Mal durchgeführt wird, werden die Koppeldaten verwendet, die gegenwärtige Abschätzung zu liefern. Bei späteren Iterationen werden die Projektionen unter Verwendung der gegenwärtigen Abschätzung der perspektivischen Transformation gemacht. Im Schritt 172 werden die Orte von Paaren von Kennmarkierungen überlappender Flächenabschnitte verglichen, und im Schritt 174 werden Zwischenzielorte gewählt. Diese Schritte sind in Fig. 9 und 10 dargestellt. In Fig. 9 weist ein erster Flächenabschnitt 190 eine Kennmarkierung 192 auf, die in seinem Überlappungsbereich erkannt wurde. In dem zweiten Flächenabschnitt 194 befindet sich die entsprechende Kennmarkierung 196. Wie es in Fig. 10 gezeigt ist, sind die Kennmarkierungen 192 und 196 etwas in ihren Projektionen in Tafelkoordinaten versetzt. Ein Korrelationsrechteck umgibt die Markierung 196, wie es im Schritt 140 bestimmt wurde. Ein Zwischenort oder Zielort 200 wird ausgewählt, der sich auf der Hälfte zwischen den Vertrauensrechtecken des ersten Orts 192 und des zweiten Orts 196 befindet. Die Bilder beider Flächenab schnitte werden dann transformiert, um den Kennmarkierungsort naher mit diesem Zielort zu korrelieren.

Es ist wichtig, zu beachten, daß in einigen Fällen Kennmarkierungen bestimmt werden können, die falsch sind, d. h., die Entsprechung aus der Korrelation ist einfach inkorrekt. Diese inkorrekte Kennmarkierungen sollten in die Gewichtung nicht eingeschlossen werden. Um zu gewährleisten, daß fremde Markierungen nicht in die Berechnung eingeschlossen werden, wird von allen Kennmarkierungen zuerst angenommen, daß sie korrekt sind. Wenn einige Kennmarkierungen jedoch sehr weit von einer annehmbaren Grenze beabstandet sind, dann wird die Kennmarkierung entfernt und nicht weiter in den Berechnungen berücksichtigt.

Des weiteren werden künstliche "Markierungspunkte" in den Ecken eines jeden Flächenabschnitts mit einem entsprechend großen Vertrauensrechteck angeordnet - d. h., mit geringem Vertrauenswert in beiden Richtungen. Diese Punkte können verwendet werden, Flächenabschnitte zu lokalisieren, die darin keine Markierungen oder keine Markierungen in Überlappungsbereichen aufweisen. Die Punktdaten werden ohne weiteres durch Kennmarkierungsdaten verworfen. Die Punkte können auch verwendet werden, wenn Kennmarkierungen als inkorrekt bestimmt werden.

Der Schritt 176 berechnet, wobei ein Zielmaß der kleinsten Quadrate verwendet wird, neue perspektivische Transformationen, die Kennmarkierungen in Kamerakoordinaten optimal in neue Zielorte in Tafelkoordinaten projizieren. Die Transformation kann bestimmt werden, wobei eine allgemeine lineare Transformation in homogenen Koordinaten durchgeführt wird, wie es von den oben zitierten Mundy und Zisserman beschrieben wird. In der Formel unten sind X, Y und Z die Zielkoordinaten der Kennmarkierung in Tafelkoordinaten, die durch Vergleich von Kennmarkierungen überlappender Flächenabschnitte gefunden werden. x, y und z sind Kamerakoordinaten.

worin t&sub3;&sub3; = 1.

Die Bildkoordinaten u und v können gefunden werden durch

u = x/z und u = y/z

Um die Transformationsparameter zu lösen, wird eine Kennmarkierung 180, wie es in Fig. 11 gezeigt ist, als Beispiel verwendet. Das Vertrauensrechteck 184, das, wie in bezug auf Fig. 7 beschrieben, bestimmt wird, ist durch die Weite w 181, die Länge I 182 und den Ausrichtungswinkel 9 183 definiert. Somit können die Vertrauensgewichte abgeleitet werden durch

cl = 1/l und cw = 1/w

Löst man nach den Transformationsparametern t auf, wird ein überbestimmtes System binärer Gleichung konstruiert.

worin

u'i = uicosθi + visinθi und v'i = uisinθi + uicosθi

Jedes Zeilenpaar in der obigen Matrix überdeckt die i-te Kennmarkierung. Die Transformationsparameter können nun zur Verwendung bei der einzelnen Wertzerlegung gelöst werden.

Kehrt man zur Fig. 8 zurück, so werden im Schritt 178 der neue kumulative Fehler der Kennmarkierungsprojektionen, der als die Differenz zwischen dem gegenwärtigen quadrierten Fehler und dem quatrierten Fehler von der letzten Iteration bestimmt ist, überprüft, ob sie in eine vorhergehend bestimmte Schwelle fallen.

Zur Fig. 2 zurückkehrend führt der Schritt 108 perspektivische Korrekturen an allen Flächenabschnitten durch, die die im Schritt 106 bestimmte perspektivische Transformation verwenden. Im Schritt 110 werden die korrigierten Daten in das Grauwert- Tafelwiedergabebild geschrieben. Im Schritt 112 wird das Grauwert-Bild einer Schwellenbehandlung unterzogen, die eine binäre Wiedergabe des Tafelbildes für Schwarz- Weiß-Bilder oder eine Farbwiedergabe des Tafelbildes in Farbsystemen erzeugt.

Von den Bildverarbeitungsfunktionen, die von einem oben beschriebenen System verlangt werden, kann man annehmen, daß sie relativ selten sind. Computerbetriebsmittel können in einem Requester-Servernetz gemeinsam benutzt werden, das mehrere Kameras umfaßt, von denen jede Videobilder zu einem einzigen Server überträgt, der die Bildverarbeitungsoperationen ausführt, die vorhergehend erörtert wurden. Ein Computerbetriebsmittelserver kann von mehreren Kameraeinheiten gemeinsam genutzt werden, die in einem Gebäude verteilt sein mögen oder unterschiedliche Tafeln oder Bereiche von Tafeln in einem Raum abtasten. Jede Kamera überträgt Videobilder zu dem Server, der die Bildverarbeitungsoperationen ausführt.


Anspruch[de]

1. Eine automatisches System (50) zum Erfassen des Bildinhalts eines Bildes auf einer Oberfläche, das umfaßt:

a) eine Oberfläche (52), auf der ein Bild vorgesehen ist;

b) zumindest ein Kamerauntersystem (54, 55), um das genannte Bild in einer Matrix von Bildflächenabschnitten (62, 64, 66) zu erfassen, wobei jeder genannte Bildflächenabschnitt zumindest einen Bereich des Bildes umfaßt, und die genannten Flächenabschnitte jeweils benachbarte Flächenabschnitte überlappen;

c) einen Prozessor, der die genannten Bildflächenabschnitte (62, 64, 66) erhält und verarbeitet, um die genannten Flächenabschnitte zu kombinieren, damit das genannte Bild darstellende Bilddaten bestimmt werden; und

d) einen für den genannten Prozessor zugängigen Speicher, um Daten zu speichern, die Befehle für den genannten Prozessor und die genannten Bilddaten einschließen, wobei zumindest einer der genannten Flächenabschnitte (62, 64, 66) eine perspektivische Verzerrung des Bildbereiches aufweist, und der Prozessor die genannten Flächenabschnitte derart kombiniert, daß die Bilddaten in bezug auf perspektivische Verzerrung korrigiert werden, wobei die Kombination der genannten Flächenabschnitte die Schritte einschließt:

1) Bestimmen eines Überlappungsbereiches zwischen einem ersten Flächenabschnitt und einem zweiten Flächenabschnitt für jeweils zwei benachbarte Flächenabschnitte (62, 64);

2) Bestimmen zumindest einer Markierung (150) in dem genannten Bereich;

3) Auffinden einer Projektion der genannten zumindest einen Markierung an einem ersten Oberflächenkoordinatenort in dem genannten ersten Flächenabschnittsbild;

4) Auffinden einer Projektion der genannten Markierung an einem zweiten Oberflächenkoordinatenort in dem genannten zweiten Flächenabschnittsbild;

5) Korrigieren der perspektivischen Verzerrung zwischen dem genannten ersten und zweiten Oberflächenkoordinatenort; und

6) Erzeugen der Bilddaten nach Maßgabe der korrigierten Oberflächenkoordinaten.

2. Das System des Anspruchs 1, wobei der genannte Prozessor eine perspektivische Verzerrung der genannten Oberlfächenkoordinaten der genannten Markierung korrigiert, indem:

eine erste perspektivische Transformation des genannten ersten Flächenabschnitts berechnet wird, um eine erste Gruppe transformierter Oberflächenkoordinaten (92) gemäß dem genannten ersten transformierten Flächenabschnitt (190) zu erhalten;

Berechnen einer zweiten perspektivischen Transformation des genannten zweiten Flächenabschnitts, um eine zweite Gruppe transformierter Oberflächenkoordinaten (196) zu erhalten, wobei die genannte zweite perspektivische Transformation mit einem Vertrauenswert des genannten zweiten Oberflächenkoordinatenorts gemäß dem genannten zweiten transformierten Flächenabschnitt (194) gewichtet wird;

eine Differenz zwischen der genannten ersten Gruppe transformierter Oberflächenkoordinaten (192) und der genannten zweiten Gruppe transformierter Oberflächenkoordinaten (196) bestimmt wird;

wobei der genannte Prozessor die genannten Schritte, eine perspektivische Transformation des genannten zweiten Flächenabschnitts und eine Differenz der genannten ersten Gruppe und der genannten zweiten Gruppe transformierter Oberflächenkoordinaten zu berechnen, wiederholt, bis die genannte Differenz kleiner als eine annehmbare Schwelle ist.

3. Das System des Anspruchs 2, wobei der Prozessor des weiteren einen Vertrauenswert des genannten zweiten Oberflächenkoordinatenorts bestimmt, der an einer bestimmten Position in bezug auf den genannten zweiten Flächenabschnitt ist, durch

Bestimmen eines Bildfeldes in einem Bereich, das zumindest einen Bereich der genannten Markierung (192) in dem genannten ersten Flächenabschnitt (190) umgibt und einschließt;

Korrelieren des genannten Bildfeldes mit der genannten Markierung (196) in dem genannten zweiten Flächenabschnitt (194);

Bestimmen eines Vertrauensbereiches (198) in dem genannten zweiten Flächenabschnitt (194), in dem das genannte Bildfeld mit der genannten Markierung (196) korreliert; und

Bestimmen eines Längsvertrauenswerts bei einer Längenausrichtung der genannten Markierung und eines Weitenvertrauenswerts in einer Weitenausrichtung der genannten Markierung, wobei der genannte Längsvertrauenswert und der genannte Weitenvertrauenswert verwendet werden, die genannte zweite perspektivische Transformation zu gewichten.

4. Das System des Anspruchs 1, wobei der genannte Prozessor die genannten Flächenabschnitte (62, 64, 66) verarbeitet, indem eine Helligkeitsänderung über jeden Flächenabschnitt korrigiert wird, der Bereich in jedem Flächenabschnitt bestimmt wird, der umgebende Flächenabschnitte überlappt, die genannten Flächenabschnitte kombiniert werden, um ein einziges Grauwert-Zwischenbild zu erzeugen, und die genannte Grauwert-Darstellung des genannten Bilds einer Schwellenverarbeitung unterzogen wird, um das genannte binäre Bild zu erzeugen, das das genannte Bild darstellt.

5. Das System des Anspruchs 4, wobei der genannte Prozessor die genannten Flächenabschnitte (62, 64, 66) kombiniert, um ein einziges Grauwert- Zwischenbild zu erzeugen, durch:

Bestimmen eines Überlappungsbereiches zwischen einem ersten Flächenabschnitt und einem zweiten Flächenabschnitt für jeweils zwei benachbarte Flächenabschnitte (62, 64);

Bestimmen zumindest einer Markierung (150) in dem genannten Bereich;

Auffinden einer Projektion der genannten Markierung an einem ersten Oberflächenkoordinatenort in dem genannten ersten Flächenabschnittsbild;

Auffinden einer Projektion der genannten Markierung an einem zweiten Oberflächenkoordinatenort in dem genannten zweiten Flächenabschnittsbild;

Korrigieren der perspektivischen Verzerrung zwischen dem genannten ersten und zweiten Oberflächenkoordinatenort; und

Schreiben der korrigierten Oberflächenkoordinaten in die genannte Zwischenbilddarstellung, die in dem genannten Speicher gespeichert ist.

6. Das System des Anspruchs 1, wobei das zumindest eine Kamerauntersystem eine einzige in bezug auf die genannte Oberfläche drehbare Kamera (54) umfaßt.

7. Das System des Anspruchs 1, wobei das genannte zumindest eine Kamerauntersystem eine Mehrzahl Kameras umfaßt, von denen jede in einer ortsfesten Position in bezug auf die genannte Oberfläche ist und jede einen Bildflächenabschnitt der genannten Oberfläche abtastet.

8. Das System des Anspruchs 1, wobei das genannte zumindest eine Kamerauntersystem eine Mehrzahl Kameras umfaßt, von denen jede in einer ortsfesten, drehbaren Position in bezug auf die genannte Oberfläche ist und jede zumindest einen Bildflächenabschnitt der genannten Oberfläche abtastet.

9. Ein Verfahren zur Herstellung von Bilddaten, die ein Bild auf einer Oberfläche darstellen, wobei das Verfahren die schritte umfaßt:

a) Erfassen von Bildflächenabschnitten (62, 64, 66) unter Verwendung wenigstens eines Kamerauntersystems (54, 55), wobei jeder Flächenabschnitt einen Bereich des Bildes umfaßt und die genannten Flächenabschnitte jeweils benachbarte Flächenabschnitte überlappen;

b) Umwandeln der genannten Bildflächenabschnitte in Bilddaten;

c) Kombinieren der Bilddaten eines jeden der genannten Bildflächenabschnitte, um Bilddaten zu erzeugen, die das Bild auf der Oberfläche darstellen, wobei zumindest einer der genannten Flächenabschnitte (62, 64, 66) eine perspektivische Verzerrung des Bereiches des Bildes umfaßt, und der Schritt, die genannten Flächenabschnitte zu kombinieren, die Korrektur der perspektivischen Verzerrung einschließt, wobei die Kombination der genannten Flächenabschnitte die Schritte einschließt:

1) Bestimmen eines Überlappungsbereiches zwischen einem ersten Flächenabschnitt und einem zweiten Flächenabschnitt für jeweils zwei benachbarte Flächenabschnitte (62, 64);

2) Bestimmen zumindest einer Markierung (150) in dem genannten Bereich;

3) Auffinden einer Projektion der genannten zumindest einen Markierung an einem ersten Oberflächenkoordinatenort in dem genannten ersten Flächenabschnittsbild;

4) Auffinden einer Projektion der genannten Markierung an einem zweiten Oberflächenkoordinatenort in dem genannten zweiten Flächenabschnittsbild;

5) Korrigieren der perspektivischen Verzerrung zwischen dem genannten ersten und zweiten Oberflächenkoordinatenort; und

6) Erzeugen der Bilddaten nach Maßgabe der korrigierten Oberflächenkoordinaten.

10. Ein Verfahren zur Herstellung von Bilddaten, die ein Bild auf einer Oberfläche darstellen, wobei das Verfahren die schritte umfaßt:

a) Erfassen von Bildflächenabschnitten (62, 64, 66) unter Verwendung wenigstens eines Kamerauntersystems (54, 55), wobei jeder Flächenabschnitt einen Bereich des Bildes umfaßt und die genannten Flächenabschnitte jeweils benachbarte Flächenabschnitte überlappen;

b) Umwandeln der genannten Bildflächenabschnitte (62, 64, 66) in Bilddaten;

c) Bestimmen der genannten Überlappungsfläche in jedem Flächenabschnitt;

d) Korrigieren von Verzerrungen, um Bilddaten zu erzeugen, die das Bild darstellen, wobei die Verzerrungen perspektivische Verzerrungen umfassen und der Schritt, die Verzerrungen zu korrigieren, die Unterschritte einschließt:

1) Bestimmen von Kennmarkierungen (150), die in den genannten Überlappungsbereich fallen;

2) Durchführen örtlicher Korrelationen von Bildfeldern in der Nachbarschaft von Kennmarkierungen, um entsprechende Kennmarkierungsorte in jedem Bildflächenabschnitt zu bestimmen;

3) Projizieren der genannten entsprechenden Kennmarkierungsorte in Oberflächenkoordinaten;

4) Vergleichen von Kennmarkierungspaaren aus überlappenden Flächenabschnitten;

5) Auswählen von Zielkoordinaten an Zwischenorten; und

6) Berechnen neuer perspektivischer Transformationen von jedem Bildflächenabschnitt für die genannten Zwischenorte;

wobei die genannten Unterschritte wiederholt werden, bis die Konvergenz zwischen Kennmarkierungspositionen zwischen überlappenden Flächenabschnitten, die durch kumulative Fehler bei der Kennmarkierungsprojektion dargestellt ist, kleiner als eine Schwellengröße ist.

11. Ein Verfahren zum Herstellen von Bilddaten, die ein Bild auf einer Oberfläche darstellen, das umfaßt:

a) Erfassen von Bildflächenabschnitten (62, 64, 66) unter Verwendung wenigstens eines Kamerauntersystems (54, 55), wobei jeder Flächenabschnitt einen Bereich des Bildes umfaßt und die genannten Flächenabschnitte jeweils benachbarte Flächenabschnitte überlappen;

b) Umwandeln der genannten Bildflächenabschnitte in Bilddaten;

c) Korrigieren von Helligkeitsänderungen über jeden Flächenabschnitt;

d) Bestimmen der genannten Überlappungsfläche in jedem Flächenabschnitt;

e) Korrigieren von Verzerrungen, um ein einziges Greuwert-Zwischenbild zu erzeugen, wobei die Verzerrungen perspektivische Verzerrungen umfassen und der Schritt, die Verzerrungen zu korrigieren, die Unterschritte einschließt:

1) Bestimmen von Kennmarkierungen, die in den genannten Überlappungsbereich fallen

2) Durchführen örtlicher Korrelationen von Bildfeldern in der Nachbarschaft von Kennmarkierungen, um entsprechende Kennmarkierungsorte in jedem Bildflächenabschnitt zu bestimmen;

3) Projizieren der genannten entsprechenden Kennmarkierungsorte in Oberflächenkoordinaten;

4) Vergleichen von Kennmarkierungspaaren aus überlappenden Flächenabschnitten;

5) Auswählen von Zielkoordinaten an Zwischenorten; und

6) Berechnen neuer perspektivischer Transformationen von jedem Bildflächenabschnitt für die genannten Zwischenorte;

wobei die genannten Unterschritte wiederholt werden, bis die Konvergenz zwischen Kennmarkierungspositionen zwischen überlappenden Flächenabschnitten, die durch kumulative Fehler bei der Kennmarkierungsprojektion dargestellt ist, kleiner als eine Schwellengröße ist, und

f) Schwellenverarbeitung der genannten Grauwert-Darstellung des genannten Bilds, um Bilddaten ohne perspektivische Verzerrung zu erzeugen, die das genannte Bild darstellen.







IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

  Patente PDF

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com