PatentDe  


Dokumentenidentifikation DE60217450T2 11.10.2007
EP-Veröffentlichungsnummer 0001304625
Titel Verfahren und Anordnung zur vorherigen Anmerkung von Dokumente und zur Erstellung einer Zusammenfassung anhand von Dokumentbilddaten
Anmelder Xerox Corp., Rochester, N.Y., US
Erfinder Kuruoglu, Ecran E., 56125 Pisa, IT;
Taylor, Alex S., Guilford, Surrey GU1 4LE, GB
Vertreter Grünecker, Kinkeldey, Stockmair & Schwanhäusser, 80538 München
DE-Aktenzeichen 60217450
Vertragsstaaten DE, FR, GB
Sprache des Dokument EN
EP-Anmeldetag 11.10.2002
EP-Aktenzeichen 020229449
EP-Offenlegungsdatum 23.04.2003
EP date of grant 10.01.2007
Veröffentlichungstag im Patentblatt 11.10.2007
IPC-Hauptklasse G06F 17/24(2006.01)A, F, I, 20051017, B, H, EP
IPC-Nebenklasse G06F 17/30(2006.01)A, L, I, 20051017, B, H, EP   

Beschreibung[de]

Diese Erfindung bezieht sich auf das Gebiet der Dokumentenverarbeitung. Die Erfindung ist für die Verarbeitung von erfassten Dokumenten-Images besonders geeignet, aber nicht darauf beschränkt. Die Erfindung bezieht sich auch auf die Verarbeitung eines eingescannten Dokumenten-Images zur Erzeugung einer Zusammenfassung des Dokuments aus dem eingescannten Image.

Es gibt viele Situationen, in denen eine Person mehrere Dokumente lesen muss und in jedem Dokument nach der gleichen Information sucht. Dies ist sehr zeitaufwändig, und es ist wahrscheinlich, dass der Benutzer in anderem Text vergrabene, wichtige Information verpassen oder übersehen könnte.

Es wäre wünschenswert, wenn ein zu lesendes Dokument automatisch irgendwie markiert werden könnte, um die Aufmerksamkeit eines Benutzers ohne Rücksicht auf den Typ oder das Format des Dokuments auf bestimmte Teile des Dokuments zu lenken, die signifikante Information enthalten können.

Es gibt auch viele Gelegenheiten, zu denen es wünschenswert wäre, automatisch eine Zusammenfassung eines Dokuments zu erstellen. Mehrere Möglichkeiten, sich einem solchen System zu nähern, sind im Stande der Technik vorgeschlagen worden.

Zum Beispiel wird in der europäischen Patentanmeldung EP 0 902 379 A2 ein Verfahren beschrieben, wo ein Benutzer bestimmte Wörter oder Sätze in einer elektronischen Version eines Dokuments (zum Beispiel einem ASCII-Text) markieren kann, die das System dann herauszieht, um eine Zusammenfassung des Dokuments zu erstellen. Ein solches System verlangt jedoch vom Benutzer, mit einer elektronischen Version des Dokuments zu arbeiten. Des Weiteren muss das Dokument bereits in elektronischer Gestalt existieren, ehe irgendwelche Wörter oder Sätze durch den Benutzer ausgewählt werden können.

Was die Zusammenfassung von Papierdokumenten (oder eingescannten Images von Papierdokumenten) betrifft, kann auf die folgenden Dokumente Bezug genommen werden:

In den US-Patenten Nr. 5 638 543 und 5 689 716 werden Systeme beschrieben, in denen Images von Papierdokumenten eingescannt und die Images mit optischer Zeichenerkennung (OCR: optical character recognition) verarbeitet werden, um eine maschinenlesbare Version des Dokuments zu erzeugen. Eine Zusammenfassung wird erzeugt, indem in Abhängigkeit von kritischen oder thematischen Wörtern, die in einem Satz erkannt worden sind, Sätzen „Punktewertungen" zuerkannt werden. Die Zusammenfassung wird aus den Sätzen erzeugt, die die besten Punktewertungen haben.

Im US-Patent Nr. 5 848 191 wird ein System beschrieben, das dem des US-Patents Nr. 5 689 716 ähnlich ist und Punktewertungen verwendet, um Sätzen eine Rangordnung zu geben, wobei die Punktewertung von der Anzahl von thematischen Wörtern abhängt, die in einem Satz vorkommen. Im US-Patent Nr. 5 848 191 wird aber die Zusammenfassung direkt vom eingescannten Image erzeugt, ohne OCR durchzuführen.

Im US-Patent Nr. 5 491 760 wird ein System beschrieben, bei dem signifikante Wörter, Wendungen und Grafiken in einem Dokumenten-Image unter Verwendung automatischer oder interaktiver morphologischer Bilderkennungsverfahren erkannt werden. Eine Zusammenfassung des Dokuments oder ein Register können auf der Grundlage der identifizierten, signifikanten Teile des Dokumenten-Images erstellt werden.

Im Aufsatz „Summarization of imaged documents without OCR" [Zusammenfassung abgebildeter Dokumente ohne OCR] von Chen und Bloomberg auf Seiten 307 bis 320 in Computer Vision and Image Understanding, Band 70, Nr. 3, Juni 1998, wird ein detailliertes Verfahren beschrieben, das auf einem Herausziehen von Merkmalen und einer Punktewertung von Sätzen auf der Grundlage der Werte eines Satzes diskreter Merkmale beruht. Vorausinformation wird in Gestalt der Werte von Merkmalsvektoren verwendet, die aus Zusammenfassungen gewonnen werden, die durch professionelles Personal für die Erstellung von Zusammenfassungen erstellt worden sind. Die in die Zusammenfassung aufzunehmenden Sätze werden nach der Punktewertung des Satzes ausgewählt.

Alle oben aufgeführten, mit Papier arbeitenden Verfahren verwenden Varianten einer statistischen Bewertung, um (entweder auf der Grundlage eines OCR-Textes oder auf der Grundlage von Image-Maps) zu beurteilen, welche Merkmale oder Sätze zur Verwendung in der erstellten Zusammenfassung herausgezogen werden sollten.

Es kann auf XP000551171, Chen und Mitautoren, „Detection and location of multicharacter sequences in lines of imaged text" [Erkennung und Ortung von Mehrzeichenfolgen in Zeilen eines abgebildeten Textes], verwiesen werden, wo die Merkmale des Oberbegriffs eines Aspekts der Erfindung beschrieben werden. Es kann auch auf XP002324871, Nagao, „Automatic text summarization based on the global document annotation" [Automatische Textzusammenfassung auf der Grundlage der globalen Dokumentenannotation], verwiesen werden, wo die Merkmale des Oberbegriffs eines zweiten Aspekts der Erfindung beschrieben werden. Es kann auch auf US-A-4 868 750, EP-A-0 902 380 und XP002324872, Stevens und Mitautoren, „Automatic processing of document annotations" [Automatische Verarbeitung von Dokumentenannotationen] verwiesen werden. Die vorliegende Erfindung wird in den Ansprüchen definiert.

Die vorliegende Erfindung kann ein Verfahren zur Verfügung stellen, bei dem ein Zieldokument auf der Grundlage eines oder mehrerer Schlüsselwörter annotiert wird, die im Voraus in das Verarbeitungssystem eingegeben worden sind.

Genauer wird das Zieldokument durchsucht, um das Auftreten des einen oder mehrerer Schlüsselwörter zu identifizieren, und jedes solche Auftreten wird (mit einer elektronisch erzeugten Annotation) annotiert, um den Benutzer zu einer solchen Textstelle zu leiten.

Ein Aspekt der vorliegenden Erfindung besteht darin, eine Zusammenfassung eines erfassten (z.B. eingescannten) Images eines Dokuments auf der Grundlage erkannter handschriftlicher oder elektronischer Annotationen zu erzeugen, die vor dem Einscannen an einem Dokument angebracht worden sind.

Genauer wird das erfasste Image darauf verarbeitet, Annotationen zu erkennen, die vor der Bilderfassung am Dokument angebracht worden sind. Die in einem ersten Dokument erkannten Annotationen können verwendet werden, um Merkmale oder Textstellen zu identifizieren, die verwendet werden sollen, um ein anderes Dokument zusammenzufassen.

Der Ausdruck „annotieren" soll hier breit interpretiert werden und kann eine jegliche geeignete Markierung (z.B. Hervorheben, Einringeln, Ausstreichen, Einklammern, Unterstreichen, fettes Drucken, kursives Drucken, farbiges Hinterlegen) oder andere Techniken zur visuellen Anzeige eines Abschnitts des Dokuments beinhalten.

Bevorzugt werden die Schlüsselwörter aus einem Quelldokument abgeleitet, das zuvor durch einen Benutzer annotiert worden ist. Das System kann somit als ein „Forward-Annotations"system für ein automatisches „Forwarding" [Weiterleiten] der an einem Quelldokument angebrachten Annotationen zu gleichwertigen Annotationen eines Zieldokuments bezeichnet werden.

Vorzugsweise kann das Quelldokument entweder ein Papier- (oder anderes physisches) Dokument oder ein elektronisches Dokument (z.B. eine Textdatei) sein.

Vorzugsweise kann das Zieldokument entweder ein Papier- (oder anderes physisches) Dokument oder ein elektronisches Dokument (z.B. eine Textdatei oder ein Image des Dokuments) sein.

Vorzugsweise umfasst das System eine Projektspeichervorrichtung für die Speicherung von Schlüsselwörtern aus einer Mehrzahl von Quelldokumenten.

Vorzugsweise speichert die Speichervorrichtung auch die vollständigen Quelldokumente (entweder in elektronischer Textform oder als ein eingescanntes Image).

Diese und weitere Aspekte der Erfindung werden aus der folgenden Beschreibung klar werden, wenn in Verbindung mit den beigefügten Zeichnungen gelesen, in denen die gleichen Bezugszahlen für gleiche Teile verwendet worden sind und in denen:

1 ein Blockdiagramm ist, das ein Dokumentenverarbeitungssystem zeigt;

2 ein schematisches Diagramm ist, das die Arbeitsprinzipien des Systems veranschaulicht;

3 eine schematische Veranschaulichung eines Beispielprozesses ist;

4 ein schematisches Ablaufdiagramm ist, das ein Eingabeverfahren veranschaulicht;

5 ein schematisches Ablaufdiagramm ist, das ein Ausgabeverfahren veranschaulicht;

6 ein schematisches Blockdiagramm einer ersten Ausführungsform für die Verarbeitung eines Papierdokuments zur Erzeugung einer Zusammenfassung des Dokuments ist;

7 ein schematisches Ablaufdiagramm ist, das den Prozess für die Erzeugung der Zusammenfassung zeigt;

8 eine schematische Ansicht einer annotierten Seite eines Dokuments ist;

9 eine vergrösserte schematische Ansicht eines Ausschnitts von 8 ist, die das Herausziehen eines Satzes veranschaulicht; und

10 ein schematisches Diagramm ist, das Optionen für die Anzeige der Zusammenfassung veranschaulicht.

Auf die Zeichnungen Bezug nehmend, umfasst ein Dokumentenverarbeitungssystem 10 eine Bilderfassungsvorrichtung 14 für die Erfassung eines digitalen Images eines Dokuments 12. Die Bilderfassungsvorrichtung kann zum Beispiel einen Flachbettscanner oder einen Desktopscanner mit Kamera umfassen.

Das System umfasst weiter einen Prozessor 16 zur Verarbeitung des Images, einen oder mehrere Benutzereingabevorrichtungen 18, zum Beispiel eine Tastatur und/oder eine Zeigevorrichtung, sowie einen oder mehrere Ausgabevorrichtungen 20, zum Beispiel eine Ausgabebildschirm und/oder einen Drucker.

Der Prozessor 16 umfasst eine Massenspeichervorrichtung 22, die zum Beispiel durch irgendwelche geeigneten Speichermedien wie magnetische Medien, optische Medien oder Halbleitermedien implementiert sein kann.

Auf 2 Bezug nehmend, besteht die Funktion dieser Ausführungsform darin, automatisch ein „Ziel"dokument 25 zu annotieren, das ein Benutzer vielleicht zu lesen wünscht, um auf der Grundlage von früher gespeicherten Annotationen aus anderen „Quell"dokumenten 26 interessante Bereiche anzuzeigen. Das System erzeugt ein annotiertes Zieldokument 27, das auf externen Annotationen beruht, die zuvor durch den gleichen Benutzer (oder durch andere Benutzer) an einem oder mehreren früheren Dokumenten 26 angebracht worden waren. Das System kann daher als ein „Forward-Annotations-" system [Vorwärts- oder Weiterleit-Annotationssystem] bezeichnet werden.

Ein Beispiel dafür wird in 3 veranschaulicht. 3(c) zeigt ein Quelldokument 30, das durch einen Benutzer auf Papier annotiert worden ist, um den nützlichen Text 32 darzustellen, den der Benutzer in künftigen Zieldokumenten zu identifizieren wünscht. Das Dokument 30 wird in das Verarbeitungssystem 10 eingescannt, das das eingescannte Image verarbeitet, um den annotierten Text zu identifizieren (genauer weiter unten beschrieben).

3(a) veranschaulicht ein Papierzieldokument 34, das der Benutzer jetzt zu lesen wünscht. Bei dieser Etappe ist das Zieldokument rein (d.h. es enthält keine Annotationen, die den Benutzer zu signifikantem Text führen). Das Zieldokument 34 wird in das Verarbeitungssystem eingescannt, das dann das eingescannte Image verarbeitet, um zu identifizieren, ob irgendwelche der zuvor annotierten Wörter 32 im Zieldokument vorhanden sind. Wenn ja, dann werden die im Zieldokument 34 vorkommenden gleichen Wörter annotiert (im digitalen Image 35 des Zieldokuments 34), um die gleichen Annotationen 36 wie im Quelldokument 30 zu erhalten, wie in 3(b) veranschaulicht. Das annotierte Zieldokument kann dann angezeigt oder ausgedruckt werden, um durch den Benutzer gelesen zu werden.

Wieder auf 2 Bezug nehmend, unterhält der Prozessor 16 eine Bibliothek bzw. einen Sammelort für die Daten oder Images von jedem Quelldokument in Gestalt eines Projekts 38. Jedes Projekt 38 kann eine Mehrzahl von Dokumenten oder Annotationen von unterschiedlichen Dokumenten beinhalten. Das Projekt kann entweder Dokumenten-Images oder Daten enthalten, die die identifizierten Annotationen darstellen.

In dieser Ausführungsform sind die Quelldokumente nicht auf Papierdokumente beschränkt, sondern können elektronische Versionen eines Dokuments wie eine Textdatei oder eine Wortverarbeitungsdatei beinhalten. In diesem Falle können die Annotationen im elektronischen Quelldokument mit jeder geeigneten Technik wie zum Beispiel Unterstreichen, Hervorheben oder Einsetzen von Markern erfolgen. Ausserdem können die Annotationen im elektronischen Quelldokument eine Vielfalt von Datenformaten wie Bild, Video, Audio, Grafik und Text beinhalten.

4 zeigt ein Verfahren für die Eingabe von Quelldokumenten in das Verarbeitungssystem 10. Im Schritt 40 wird ein Papierdokument (einschliesslich der Papierannotationen) mit der Erfassungsvorrichtung 14 eingescannt, um ein digitales Image des Dokuments zu erzeugen.

Im Schritt 42 werden die Papierannotationen im eingescannten Image identifiziert. Verfahren zur Identifikation von Annotationen sind dem Fachmann bekannt und brauchen deshalb hier nicht detailliert beschrieben zu werden. Als ein Beispiel jedoch wird im US-Patent Nr. 5 348 863 ein geeignetes System zur Unterscheidung handschriftlicher Annotationen von maschinengedrucktem Text beschrieben.

Im Schritt 44 wird der den annotierten Bereichen entsprechende Text durch einen optischen Zeichenerkennungs-(OCR-) Algorithmus verarbeitet, um diesen Bereich (Text) in elektronischen Text zu verwandeln. Dies erfolgt in der vorliegenden Ausführungsform als ein optimales Verfahren, um den gleichen Text in späteren Zieldokumenten (insbesondere elektronischen Zieldokumenten) zu identifizieren. Es wird aber verständlich sein, dass je nach Wunsch stattdessen eine Bitmap des annotierten Textes herausgezogen und die Annotation als Quelle in Bitmapform verwendet werden kann.

Im Schritt 46 wird der herausgezogene Text (OCR-Text oder Bitmap) zusammen mit Daten, die den Typ der Annotation (zum Beispiel unterstrichen oder hervorgehoben oder geringelt usw.) darstellen, im Projekt 38 gespeichert. Der Text wird somit als ein Schlüsselwort oder als eine Schlüsselwendung zur Verwendung beim Durchsuchen künftiger Zieldokumente behandelt.

Wie oben erwähnt, kann je nach Wunsch auch das ganze Dokument (und nicht nur die Schlüsselwörter oder Schlüsselwendungen) im Projekt 38 gespeichert werden. Jedoch werden die Schlüsselwörter oder Schlüsselwendungen als Text für künftige Suchvorgänge gespeichert.

Wenn das Quelldokument ein elektronisches Dokument ist, dann wird es stattdessen im Schritt 48 elektronisch eingegeben. Das elektronische Dokument wird im Schritt 50 verarbeitet, um annotierte Bereiche des Dokuments zu identifizieren und herauszuziehen, und solche Annotationen werden dann im Schritt 46 in der gleichen Weise wie oben beschrieben gespeichert.

Unter Verwendung dieses Verfahrens ist es möglich, ein Projekt 38 aufzubauen, das ein oder mehrere Dokumente enthält, die Annotationen enthalten, die auf Textstellen hinweisen, die für den Benutzer interessant sind.

5 veranschaulicht ein Verfahren der Verarbeitung von Zieldokumenten, bei denen die gleichen Annotationen wie in den Quelldokumenten angebracht werden sollen. Wenn das Zieldokument ein Papierdokument ist, dann wird es im Schritt 52 unter Verwendung der Erfassungsvorrichtung 14 eingescannt, um ein digitales Image zu bilden.

Im Schritt 54 wird das digitale Image unter Verwendung eines OCR-Algorithmus verarbeitet, um das eingescannte Image in elektronischen Text zu verwandeln.

Im Schritt 56 wird der elektronische Text durchsucht, um zu identifizieren, ob irgendwelche der im Projekt 38 gespeicherten früheren Annotationen im Zieldokument vorhanden sind. Wenn ja, dann werden gleichwertige Annotationen (in elektronischer Form) am elektronischen Text angebracht.

Im Schritt 58 wird das annotierte Zieldokument zur Anzeige oder zum Druck ausgegeben.

Wenn das Zieldokument ein elektronisches Dokument ist, dann wird dieses stattdessen im Schritt 60 zur direkten Verarbeitung im Schritt 56 eingegeben.

Wenn gewünscht, kann der Benutzer die Option haben, sowohl an markierten (Quell-) Dokumenten als auch an nicht markierten (Ziel-) Dokumenten angebrachte Annotationen selektiv zu redigieren, zu manipulieren oder zu löschen.

Wenn gewünscht, kann das System aktiviert oder desaktiviert werden, um häufig verwendete Wörter (ohne Stop-Wörter) zu erkennen, das Dokument automatisch zu annotieren und die häufig verwendeten Wörter als Schlüsselwörter für das Projekt aufzuzeichnen.

Wenn gewünscht, kann das Dokument, nachdem es im Schritt 56 verarbeitet worden ist, als Teil des Projekts 38 gespeichert werden. In diesem Falle würde das Projekt eine vollständige Darstellung des Dokuments und nicht nur die herausgezogenen Annotationen (Schlüsselwörter oder Schlüsselwendungen) speichern. Das Dokument kann dann zur Anzeige aufgerufen werden, indem man einfach eine Annotation in einem anderen, im Projekt gespeicherten Dokument anklickt.

In dieser Ausführungsform kann die OCR-Verarbeitung eingescannter Images Annotationen aktivieren, die an Papierquelldokumenten angebracht worden waren, um sie für eine Annotation elektronischer Zieldokumente zu verwenden, oder Annotationen aktivieren, die an elektronischen Quelldokumenten angebracht worden waren, um sie für eine Annotation von Papierzieldokumenten zu verwenden. Ausserdem kann sie auch Unterschiede in den Zeichensätzen und Zeichengrössen in verschiedenen Papierdokumenten kompensieren. Wenn diese Vielseitigkeit aber in anderen Ausführungsformen nicht verlangt wird, dann können die Prinzipien der Erfindung ohne OCR verwendet werden, zum Beispiel in einem System, das nur elektronische (Quell- und Ziel-) Dokumente verarbeitet, oder einem System, das nur Papier- (Quell- und Ziel-) dokumente verarbeitet.

Auf 6 Bezug nehmend, wird ein System 110 zur Erzeugung einer Zusammenfassung aus einem Papierdokument 112 veranschaulicht. Das System umfasst eine optische Erfassungsvorrichtung 114 zur Erfassung eines digitalen Images (zum Beispiel eines Bitmap-Images) jeder Seite des Papierdokuments 112. Die Erfassungsvorrichtung 114 kann in Gestalt einer digitalen Kamera oder eines Dokumentenscanners vorliegen.

Das System 110 beinhaltet auch einen Prozessor 116 zur Verarbeitung des erfassten digitalen Images, um daraus eine Zusammenfassung zu erzeugen. Der Prozessor ist an eine oder mehrere Benutzereingabevorrichtungen 118 (zum Beispiel eine Tastatur oder eine Zeigevorrichtung) und auch an eine oder mehrere Ausgabevorrichtungen 120 für die Ausgabe der erzeugten Zusammenfassung angekoppelt. Die Ausgabevorrichtung 120 kann zum Beispiel eine Anzeigeeinheit und/oder einen Drucker beinhalten.

Im Gegensatz zum Stande der Technik besteht eines der Prinzipien dieser Ausführungsform darin, die Zusammenfassung auf der Grundlage von Annotationen zu erzeugen, die vor dem Einscannen (oder Erfassen) durch die optische Erfassungsvorrichtung 114 von Hand am Papierdokument angebracht worden waren. Der Prozessor 116 verarbeitet das digitale Bild, um handschriftliche Annotationen zu erkennen, die interessante Bereiche im Papierdokument anzeigen. Textstellen oder andere Merkmale, die durch die Annotationen angezeigt werden, werden herausgezogen und verwendet, um die Zusammenfassung zu erstellen. Die Zusammenfassung spiegelt daher die durch handschriftliche Annotationen im Papierdokument identifizierten, interessanten Bereiche wider.

Auf 7 Bezug nehmend, umfasst der Prozess für die Erzeugung der Zusammenfassung durch den Prozessor 116 einen ersten Schritt 130, in dem die durch den Benutzer angebrachten Annotationen im erfassten digitalen Image identifiziert werden. Geeignete Verfahren zur Identifikation von Annotationen werden zum Beispiel in den US-Patenten Nr. 5 570 435, 5 748 805 und 5 384 863 beschrieben. Diese Patente offenbaren Verfahren zur Unterscheidung regulären Maschinendrucks von handschriftlichen Markierungen und Annotationen.

8 veranschaulicht die Art von handschriftlichen Annotationen, die typischerweise identifiziert werden können und u.a. Unterstreichen 132, Umringeln 134, Einklammern 136, Randklammern oder Randmarkierungen 138, Durchstreichen 140, Ortswechsel anzeigende verankerte Pfeile 142 und handgeschriebene Notizen oder Einschübe 144 beinhalten.

Im Schritt 146 (7) erfolgt die Interpretation der Annotationen. Das Niveau der Interpretation kann je nach der durch das System 110 erlaubten Komplexität der Annotation zwischen verschiedenen Ausführungsformen variieren. Zum Beispiel bedürfen das einfache Unterstreichen 132 oder Umringeln 134 eines Wortes keiner Interpretation, da die Wörter durch die Annotationen direkt identifiziert werden. Einklammern 136 und Randmarkierung 138 erfordern nur die einfache Interpretation, dass der ganze, durch die Klammern oder Markierungen umspannte Text identifiziert wird.

Durchgestrichene Annotationen 140 werden bevorzugt als eine negative Annotation interpretiert, um den durchgestrichenen Text von der Zusammenfassung auszuschliessen. In einer Beziehung kann dies als gleichwertig mit gar keiner Annotation (und daher als keine Aufmerksamkeit auf die Textstelle für einen Einbezug in die Zusammenfassung lenkend) betrachtet werden. Eine durchgestrichene Annotation 140 liefert aber auch eine Möglichkeit, ein oder mehrere Wörter, die sich in der Nähe eines hervorgehobenen Wortes befinden, davon auszuschliessen, als Teil eines Textzusammenhangs einbezogen zu werden (9).

Ortswechselpfeile 142 und handgeschriebene Notizen und Einfügungen 144 verlangen auch eine Interpretation, um die durch die Annotationen identifizierten Positionen zu identifizieren.

Im Schritt 148 (7) werden Bereiche des digitalen Images, die durch die interpretierten Annotationen identifiziert worden sind, zur Verwendung in der Zusammenfassung herausgezogen. Jeder Bereich wird hier als ein „Merkmal" bezeichnet und ist eine Image-Map des aus dem digitalen Image herausgezogenen Bereichs. Ausserdem wird jedes Merkmal mit einem Zeiger oder einer Adresse markiert, die die Stelle im ursprünglich eingescannten Image anzeigen, von der es herausgezogen (oder kopiert) worden ist.

Wenn eine Annotation nur ein einzelnes Wort oder eine kurze Wendung identifiziert, dann wird das herausgezogene Merkmal für diese Annotation vorzugsweise erweitert, um zusätzliche Informationen oder Textstellen aus dem Kontext für die Annotation einzubeziehen. Normalerweise wird das Merkmal erweitert, um den Satz 150 (9) einzubeziehen, der die Annotation umgibt. Daher identifiziert im Schritt 148 der Prozessor 116 den Ort von Punkten oder anderen maschinengedruckten Markierungen oder Begrenzungen, die den Anfang und das Ende eines Satzes anzeigen.

Obwohl 8 und 9 nur die Annotation von Textstellen in einem Dokument veranschaulichen, können auch ein oder mehrere Grafikteile des Dokuments annotiert werden, um in die Zusammenfassung einbezogen zu werden. In einem solchen Fall wird im Schritt 148 eine Image-Map herausgezogen, die dem annotierten graphischen „Merkmal" entspricht.

Im Schritt 152 wird die Zusammenfassung aus den herausgezogenen Merkmalen zusammengestellt. Die Zusammenfassung kann in Gestalt von Image-Maps der herausgezogenen Merkmale zusammengestellt werden, oder Textteile der Merkmale können mit OCR verarbeitet werden, um Zeichencodes für den Text zu erzeugen. In ähnlicher Weise können handschriftliche Notizen oder Einfügungen mit OCR verarbeitet werden, um Zeichencodes zu erzeugen, oder sie können als Image-Maps verwendet werden.

Während der Zusammenstellung kann eine weitere Interpretation der Annotationen, die erforderlich sein kann, erfolgen. Zum Beispiel kann durchgestrichener Text von der Zusammenfassung gelöscht (entfernt) werden (zum Beispiel der durchgestrichene Text 140 in 9).

Zusätzlich können während der Zusammenstellung identisch annotierte Merkmale zum Beispiel mit Aufzählungszeichen (Bullets) einzeln aufgeführt werden. Zum Beispiel können Sätze, die geringelte Wörter enthalten, als eine Liste mit Bullets organisiert werden. Eine solche Operation ist vorzugsweise eine durch den Benutzer gesteuerte Option, kann aber ein leistungsfähiges Vorgehen liefern, um es einem Benutzer zu ermöglichen, einzelne Informationen in der Zusammenfassung gruppenweise zusammenzufassen, indem einfach die gleiche Annotation wie im ursprünglichen Dokument verwendet wird, um die Information zu markieren.

Zusätzlich können während der Zusammenstellung auf der Grundlage der handschriftlichen Annotationen Teile der Zusammenfassung als wichtig hervorgehoben werden. Zum Beispiel können Annotationen wie ein Ausrufezeichen (154 in 8) oder eine doppelte Unterstreichung als Markierung für die Wichtigkeit in die Zusammenfassung einbezogen werden, indem der Text fett oder unterstrichen oder in einer anderen Farbe wiedergegeben wird.

Im Schritt 156 wird die zusammengestellte Zusammenfassung zum Beispiel auf dem Bildschirm oder dem Drucker des Benutzers ausgegeben.

In dieser Ausführungsform liefert das System 110 eine Mehrzahl von geschichteten Detailniveaus in einem Fenster 157 für die Zusammenfassung, wie in 10 angedeutet. Diese Schichten können entweder während der Zusammenstellung oder während der Ausgabe der zusammenfassenden Information angewendet werden.

Das unterste Detailniveau 158 enthält lediglich aus dem Dokument herausgezogene Sachüberschriften.

Durch Anklicken einer Sachüberschrift wird die Sachüberschrift zu ihrem zweiten Detailniveau 160 ausgeweitet, um die Textzusammenfassung dieses zutreffenden Abschnitts des Dokuments zu erzeugen. Das zweite Detailniveau 160 enthält nur Textmerkmale. Durch erneutes Anklicken wird aber die Zusammenfassung erweitert (drittes Detailniveau 162), um nicht textliche Merkmale als einen Teil der Zusammenfassung einzubeziehen, zum Beispiel annotierte Figuren aus dem betreffenden Abschnitt des Dokuments.

Durch Anklicken irgendeines Satzes wird die Zusammenfassung erweitert (viertes Detailniveau 164), um weiteren Kontext des Satzes anzuzeigen, zum Beispiel den Absatz, der den Satz enthält.

In einer letzten Schicht (fünftes Detailniveau 166) kann die mit einem beliebigen Satz im Dokument zusammenhängende Annotation „aufgerufen" werden, indem der Satz angeklickt wird.

In einer alternativen Ausführungsform kann auf die Mehrzahl von geschichteten Detailniveaus für die Zusammenfassung einfach dadurch zugegriffen werden, dass jedes Detailniveau, das in dem in 10 gezeigten Fenster 157 vorgegeben ist, angeklickt wird. Das bedeutet, dass das Fenster 157 sowohl dafür verwendet werden kann, um ein Detailniveau anzuzeigen, das derzeit verwendet wird, um ein Dokument zusammenzufassen, als auch dafür, auf ein spezielles Detailniveau zuzugreifen.

In der vorliegenden Ausführungsform, die keinen Teil der Erfindung darstellt, beruht die Zusammenfassung auf Annotationen, die an dem zusammenzufassenden Dokument angebracht worden sind. In anderen Ausführungsformen, die einen Teil der Erfindung bilden, kann aber die Zusammenfassung auf der Grundlage von Annotationen erstellt werden, die an einem anderen Dokument angebracht worden sind, zum Beispiel einem früher annotierten Dokument oder einem Masterdokument. In einer solchen Ausführungsform wird ein erstes Dokument handschriftlich annotiert, und die Annotationen werden durch das System 110 erkannt und gespeichert. Ein zweites Dokument wird dann durch das System erfasst, und das zweite Dokument wird auf der Grundlage der erkannten Annotationen aus dem ersten Dokument verarbeitet. In anderen Worten werden die im ersten Dokument erkannten Annotationen als ein Führer verwendet, um die Zusammenfassung des zweiten Dokuments zu erzeugen (in der gleichen Weise, als ob die handschriftlichen Annotationen am zweiten Dokument angebracht worden wären).

Obwohl einige der oben umrissenen Ausführungsformen ein Zieldokument einfach auf der Grundlage einer oder mehrerer Quellannotationen annotieren, können in anderen der oben umrissenen Ausführungsformen zusätzlich die Annotationen in anderer Weise genutzt werden. Zum Beispiel können die verschiedenen, oben umrissenen beispielhaften Ausführungsformen kombiniert werden. In einem solchen kombinierten Verfahren könnte ein Zieldokument auf der Grundlage der zuvor an einem anderen Quelldokument angebrachten Annotationen automatisch zusammengefasst werden.

Die Erfindung ist unter Bezugnahme auf verschiedene beispielhafte Ausführungsformen beschrieben worden. Abwandlungen und Veränderungen werden Dritten einfallen, wenn sie diese Beschreibung zusammen mit den Zeichnungen lesen und verstehen. Die Ausführungsformen sind lediglich Beispiele, und verschiedene Alternativen, Abwandlungen, Variationen oder Verbesserungen können im Rahmen der in den folgenden Ansprüchen definierten Erfindung gemacht werden.


Anspruch[de]
System für die Verarbeitung eines Quelldokuments (26; 30) und eines Zieldokuments (25; 34), wobei das System umfasst:

eine Speichervorrichtung (22) zur Speicherung einer Mehrzahl von Wörtern;

eine Eingabevorrichtung (14, 16) zur Eingabe von Wörtern in die Speichervorrichtung;

eine Suchvorrichtung (16), um zu identifizieren, ob etwelche der Wörter, die in der Speichervorrichtung vorhanden sind, im Zieldokument vorhanden sind; und

eine Annotationsvorrichtung (16), um die im Zieldokument aufgefundenen Wörter zu annotieren; dadurch gekennzeichnet, dass:

die Eingabevorrichtung konfiguriert ist, um Wörter aus dem Quelldokument in die Speichervorrichtung einzugeben, wobei die Eingabevorrichtung umfasst:

eine Erfassungsvorrichtung (14) zur Erfassung eines digitalen Images eines physischen Quelldokuments;

einen Detektor (16) zur Erkennung eines oder mehrerer annotierter Bereiche im erfassten Image des Quelldokuments; und

eine Vorrichtung (16) zur Eingabe eines oder mehrerer Wörter von einem erkannten annotierten Bereich des Quelldokuments in die Speichervorrichtung.
System nach Anspruch 1, weiter eine Erfassungsvorrichtung (14) zur Erfassung eines digitalen Images eines zu annotierenden, physischen Zieldokuments umfassend. Verfahren zur Verarbeitung eines Quelldokuments (26) und eines Zieldokuments (25), umfassend:

Eingabe und Speicherung (4046) einer Mehrzahl von interessanten Wörtern;

Durchsuche (56) des Zieldokuments, um zu identifizieren, ob etwelche der interessanten Wörter im Zieldokument vorhanden sind;

Annotieren (56) der im Zieldokument aufgefundenen Wörter;

dadurch gekennzeichnet, dass der Eingabe- und Speicherschritt die Eingabe und Speicherung von Wörtern aus dem Quelldokument durch die Teilschritte umfasst:

Erfassung (40) eines digitalen Images eines physischen Quelldokuments;

Erkennung (42) eines oder mehrerer annotierter Bereiche im erfassten Image des Quelldokuments; und

Speicherung (46) eines oder mehrerer Wörter von einem erkannten annotierten Bereich des Quelldokuments.
Gerät zur Erzeugung einer Zusammenfassung eines Dokuments, umfassend:

eine Bilderfassungsvorrichtung zur Erfassung des Images eines Dokuments;

eine Verarbeitungsvorrichtung zur Erkennung von Annotationen, die vor der Bilderfassung am Dokument angebracht worden waren; und

einen Zusammenfassungsgenerator zur Erzeugung einer Zusammenfassung eines Dokuments auf der Grundlage der erkannten Annotationen;

dadurch gekennzeichnet, dass

der Zusammenfassungsgenerator so arbeitet, dass er eine Zusammenfassung eines anderen Dokuments als dem, bei dem die Annotationen erkannt werden, erzeugt.
Verfahren zur Erzeugung einer Zusammenfassung eines Dokuments, umfassend:

a) Erfassung eines Images eines Dokuments;

b) Erkennung von an dem Dokument vor der Bilderfassung angebrachten Annotationen; und

c) Verwendung der erkannten Annotationen bei der Erzeugung einer Zusammenfassung eines Dokuments;

dadurch gekennzeichnet, dass Schritte (a) und (b) an einem anderen Dokument ausgeführt werden als dem in Schritt (c) verwendeten Dokument.






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com