PatentDe  


Dokumentenidentifikation DE102007024639A1 10.01.2008
Titel Verfahren zur Objekterkennung
Anmelder DaimlerChrysler AG, 70327 Stuttgart, DE
Erfinder Löhlein, Otto, Dr.-Ing., 89171 Illerkirchberg, DE;
Oberländer, Matthias, Dipl.-Inform., 89075 Ulm, DE;
Ritter, Werner, Dr.rer.nat., 89081 Ulm, DE;
Schweiger, Roland, Dipl.-Inform., 89075 Ulm, DE
DE-Anmeldedatum 24.05.2007
DE-Aktenzeichen 102007024639
Offenlegungstag 10.01.2008
Veröffentlichungstag im Patentblatt 10.01.2008
IPC-Hauptklasse G06K 9/62(2006.01)A, F, I, 20070524, B, H, DE
IPC-Nebenklasse G08G 1/16(2006.01)A, L, I, 20070524, B, H, DE   
Zusammenfassung Die Erfindung betrifft ein Verfahren zur Objekterkennung in mindestens zwei Signalströmen (S1 bis Sn), bei dem aus jedem der Signalströme (S1 bis Sn) mindestens eine Objekthypothese (OH1 bis OHn) erstellt wird, wobei auf der Grundlage der Objekthypothese (OH1 bis OHn) mindestens ein Merkmal (M1, M2) generiert wird und wobei mindestens eine der Objekthypothesen (OH1 bis OHn) anhand mindestens eines ihrer Merkmale (M1, M2) mittels mindestens eines Klassifikators bewertet und als Objekt (O1, O2) einer oder mehreren Klassen zugeordnet wird, wobei mindesten zwei der Signalströme (S1 bis Sn) voneinander verschiedene physikalische Messgrößen mit unterschiedlichen Abbildungseigenschaften repräsentieren, wobei pro Signalstrom (S1, S2) eine Lage mindestens eines der Objekte (O1, O2) oder einer der Objekthypothesen (OH1 bis OHn) oder eines ihrer Merkmale (M1, M2) in je einer Abbildung (3.1, 3.2) bestimmt wird und wobei Korrespondenzen zwischen mindestens zweien der Signalströme (S1, S2) aus einer Beziehung der Lagen untereinander bestimmt werden und wobei eine Tiefenkarte aus jeweils mindestens einer der Korrespondenzen erstellt wird und/oder unter Zuhilfenahme der Korrespondenz eine räumliche Lage des Objekts (O1, O2) im Verhältnis zu den Sensoren (S1 bis Sn) bestimmt wird.

Beschreibung[de]

Die Erfindung betrifft ein Verfahren zur Objekterkennung gemäß dem Oberbegriff des Anspruchs 1.

Die Erkennung und räumliche Zuordnung von Objekten ist eine wesentliche Voraussetzung zur Realisierung von Assistenzsystemen in Kraftfahrzeugen, die beispielsweise situationsabhängig selbsttätig bremsen oder einen Fahrer beim Bremsen unterstützen. Besonders wichtig ist hierzu die Kenntnis über die Entfernung und die Bewegungsrichtung eines Objekts vor dem Kraftfahrzeug.

An modernen Fahrzeugen ist häufig eine Vielzahl von Sensoren vorgesehen, beispielsweise Kameras, Infrarotsensoren für den Nah- und/oder Ferninfrarotbereich oder Radarsysteme, die jeweils verschiedene Aufgaben wahrnehmen und hierzu verschiedene physikalische Messgrößen erfassen.

Es sind bereits Verfahren bekannt, bei denen ein Objekt mittels zweier gleichartiger Sensoren, beispielsweise zwei Kameras, erfasst, die Disparität in den Abbildungen der Sensoren ausgewertet und daraus die Entfernung zu dem Objekt bestimmt wird. Nachteilig ist hierbei, dass für die räumliche Zuordnung der Objekte jeweils Sensorpaare benötigt werden, die die gleichen physikalischen Messgrößen erfassen.

Es ist daher eine Aufgabe der Erfindung, ein verbessertes Verfahren zur Objekterkennung anzugeben.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1.

Vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche.

Bei einem erfindungsgemäßen Verfahren zur Objekterkennung werden mindestens zwei Signalströme betrachtet, die von jeweils einem Sensor geliefert werden, wobei mindestens zwei der Signalströme voneinander verschiedene physikalische Messgrößen mit unterschiedlichen Abbildungseigenschaften repräsentieren. Beispielsweise kann einer der Sensoren eine Kamera und der andere ein Radarsystem sein, ebenso sind Kombinationen aus Nahinfrarot- und Ferninfrarotsensoren denkbar. Aus jedem der Signalströme wird mindestens eine Objekthypothese erstellt, d.h. ein potentielles Objekt, identifiziert. Auf der Grundlage der Objekthypothese wird für jeden der Signalströme mindestens ein Merkmal generiert. Mindestens eine der Objekthypothesen wird anhand mindestens eines ihrer Merkmale mittels mindestens eines Klassifikators bewertet und im Erfolgsfall als Objekt einer oder mehreren Klassen zugeordnet, beispielsweise als Person oder entgegenkommendes Fahrzeug erkannt. Mehrere Objekthypothesen können durch die Klassifikation als ein einziges Objekt erkannt werden. In einer Abbildung des jeweiligen Signalstroms wird eine Lage jedes der Objekte bestimmt. Aus einer Beziehung der Lagen der Objekte verschiedener Signalströme oder deren Merkmale untereinander werden Korrespondenzen zwischen den Signalströmen ermittelt. Aus dieser Korrespondenz wird eine Tiefenkarte erstellt. Eine Tiefenkarte ist eine 3D-Repräsentation des Objekts in seinem Kontext. Auf diese Weise kann die Entfernung und räumliche Lage des Objekts im Verhältnis zu den Sensoren ermittelt werden. War es bei bekannten Verfahren erforderlich, Korrespondenzen des selben Objekts oder gleiche Merkmale des selben Objekts in den Abbildungen zweier Signalströme aus einem Sensorpaar, das die gleiche physikalische Messgröße erfasst, zu ermitteln, ist es mit dem vorliegenden Verfahren möglich, Korrespondenzen und damit die räumliche Lage eines Objekts mittels der Signalströme aus Sensoren zu ermitteln, die für verschiedene physikalische Messgrößen empfindlich sind.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.

Dabei zeigen:

1 eine schematische Darstellung einer Datenverarbeitungseinheit mit zwei Sensoren, deren Signalströmen und Abbildungen sowie eine Tiefenkarte bei der Lokalisierung eines Kraftfahrzeugs, und

2 eine schematische Darstellung einer Datenverarbeitungseinheit mit zwei Sensoren, deren Signalströmen und Abbildungen sowie eine Tiefenkarte bei der Lokalisierung einer Person.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.

In 1 ist eine Datenverarbeitungseinheit 1, beispielsweise in einem Kraftfahrzeug angeordnet, gezeigt, der Signalströme S1, S2 aus mindestens zwei Sensoren 2.1, 2.2 zugeführt werden. Der Sensor 2.1 ist im gewählten Beispiel ein Radarsystem, das einen Bereich vor dem Kraftfahrzeug abtastet. Der Sensor 2.2 ist beispielsweise eine Kamera.

Der Sensorstrom S1 liefert eine zweidimensionale Abbildung 3.1, in der mehrere, die Radarstrahlung stark reflektierende Objekthypothesen OH1 bis OH4 identifiziert werden. Deren typische Anordnung deutet daraufhin, dass es sich um ein Objekt O1, z. B. ein Kraftfahrzeug, handelt, von dem die Scheinwerfer sichtbar sind, was durch die Bewertung der Objekthypothesen OH1 bis OH4 mittels eines geeigneten Klassifikators feststellbar ist.

Der Sensorstrom S2 liefert eine zweidimensionale Abbildung 3.2. Durch Kantendetektion lässt sich eine Objekthypothese OH5 finden, die durch Bewertung mit einem Klassifikator als die Umrisse eines Objektes O2, z. B. eines Kraftfahrzeugs, klassifiziert wird. Die Lage der so klassifizierten Objekte O1, O2 in ihren jeweiligen Abbildungen 3.1, 3.2 wird nun bestimmt, beispielsweise durch Bestimmung je eines Merkmals M1, M2 Flächenschwerpunkt pro Abbildung. Beide Objekte O1, O2 gehören offenbar derselben Objektklasse "Kraftfahrzeuge" an. Daher wird angenommen, dass es sich um ein und dasselbe Objekt O1 handelt. Anhand einer Beziehung zwischen den ermittelten Lagen der Objekte O1, O2 bzw. ihrer Merkmale M1, M2 untereinander wird eine Korrespondenz der Signalströme S1, S2 ermittelt. Aus der Korrespondenz wird dann eine Tiefenkarte 4 bestimmt, die eine dreidimensionale Repräsentation des Objekts O1 in einem Koordinatensystem darstellt, zu dem die Lage der Sensoren 2.1, 2.2 bekannt ist.

Eine ähnliche Vorgehensweise ist bei der Lokalisierung einer Person denkbar, wie sie in 2 gezeigt ist.

Der Sensor 2.1 ist hier ein Ferninfrarotsensor, der sensitiv auf warme Flächen in einer kühleren Umgebung ausgebildet ist. Der Sensor 2.2 ist ein Nahinfrarotsensor, der die Konturen von Objekten liefert. Die in der Abbildung 3.1 des Signalstroms S1 aus dem Sensor 2.1 erkannte Objekthypothese OH1 (z. B. ovale warme Fläche für einen Kopf) ist hier der Kopf einer Person, der sich deutlich von seiner Umgebung, aber auch von bekleideten Körperteilen des Objekts O1 "Person" abhebt. Die in der Abbildung 3.2 des Signalstroms S2 aus dem Sensor 2.2 erkannte Objekthypothese OH2 ist die Kontur des Objekts O1 "Person". Die Objekthypothese OH2 ist direkt als Objekt O1 "Person" klassifizierbar. Eine Klassifikation der Objekthypothese OH1 findet wegen der relativ schwachen Unterscheidungskraft einer ovalen warmen Fläche zu anderen identifizierten Objekten vorzugsweise unter Zuhilfenahme der Klassifikationsmerkmale der weiteren Objekthypothese OH2 oder des in der Abbildung 3.2 bereits klassifizierten Objekts O1 "Person" statt.

Die Lage des so klassifizierten Objekts O1 in seinen jeweiligen Abbildungen 3.1, 3.2 wird nun bestimmt, beispielsweise durch Bestimmung jeweils eines Merkmals M1, M2, z. B. eines Flächenschwerpunkts, der Objekthypothesen OH1, OH2. Anhand einer Beziehung zwischen den ermittelten Lagen der Merkmale M1, M2 untereinander wird eine Korrespondenz der Signalströme S1, S2 ermittelt. Für die Objektklasse "Person" ist dabei bekannt, dass die Merkmale M1, M2 (Flächenschwerpunkte) der Objekthypothese OH1 (= Kopf bzw. Gesicht) und OH2 (= Kontur der Person) nicht zusammen fallen, was bei der Bildung der Korrespondenz berücksichtigt wird. Aus der Korrespondenz wird dann eine Tiefenkarte 4 bestimmt.

Die Klassifikation von Objekten O1 bis On aus Objekthypothesen OH1 bis OHn kann für jeden Signalstrom S1, S2 separat oder mit den Objekthypothesen OH1 bis OHn oder deren Merkmalen aus mehreren der Sensorströme S1, S2 erfolgen.

Die Sensoren 2.1, 2.2 können voneinander beabstandet angeordnet sein.

Die Kombinationen von Merkmalen M1, M2 verschiedener Signalströme S1, S2 und die Bestimmung der Korrespondenzen können in einem selbstlernenden Verfahren automatisiert und/oder manuell trainiert werden.

Die räumliche Lage mindestens eines der Objekte O1, O2 kann verfolgt und dabei jeweils ein Flussvektor bestimmt werden, der den Verlauf einer Bewegung des Objekts O1, O2 beschreibt und zur Prognose einer zu erwartenden Bewegung genutzt werden kann. Beispielsweise kann eine Bewegung einer Person am Fahrbahnrand erfasst und prognostiziert werden, ob sie die Fahrbahn betreten wird.

Es können Gruppen von Merkmalen M1, M2, beispielsweise Textureigenschaften, mindestens eines der Objekte O1, O2 oder mindestens einer der Objekthypothesen OH1 bis OH5 mindestens eines der Signalströme S1, S2 gebildet und die Beziehung der Lage der Gruppe relativ zu einem Merkmal M1, M2 oder einer Gruppe eines der Objekte O1, O2 oder einer der Objekthypothesen OH1 bis OH5 in einem anderen der Signalströme S1, S2 bestimmt werden.

Es können mehr als zwei Signalströme S1 bis Sn entsprechend vieler Sensoren 2.1 bis 2.n ausgewertet und Korrespondenzen darin ermittelt werden.

Es können verschiedene Typen von Merkmalen M1, M2 gleichzeitig berücksichtigt werden.

1
Datenverarbeitungseinheit
2.1 bis 2.n
Sensor
3.1, 3.2
Abbildung
4
Tiefenkarte
M1, M2
Merkmal
OH1 bis OHn
Objekthypothese
O1, O2
Objekt
S1 bis Sn
Signalstrom


Anspruch[de]
Verfahren zur Objekterkennung in mindestens zwei Signalströmen (S1 bis Sn) mehrerer Sensoren (2.1, 2.2), bei dem aus jedem der Signalströme (S1 bis Sn) mindestens eine Objekthypothese (OH1 bis OHn) erstellt wird, wobei auf der Grundlage der Objekthypothese (OH1 bis OHn) mindestens ein Merkmal (M1, M2) generiert wird und mindestens eine der Objekthypothesen (OH1 bis OHn) anhand mindestens eines ihrer Merkmale (M1 , M2) mittels mindestens eines Klassifikators bewertet und als Objekt (O1,O2) einer oder mehreren Klassen zugeordnet wird, dadurch gekennzeichnet, dass mindestens zwei der Signalströme (S1 bis Sn) voneinander verschiedene physikalische Messgrößen mit unterschiedlichen Abbildungseigenschaften repräsentieren, wobei pro Signalstrom (S1, S2) eine Lage mindestens eines der Objekte (O1, O2) oder einer der Objekthypothesen (OH1 bis OHn) oder eines ihrer Merkmale (M1, M2) in je einer Abbildung (3.1, 3.2) bestimmt wird und Korrespondenzen zwischen mindestens zwei der Signalströme (S1, S2) aus einer Beziehung der Lagen untereinander bestimmt werden und eine Tiefenkarte (4) aus jeweils mindestens einer der Korrespondenzen erstellt wird und/oder unter Zuhilfenahme der Korrespondenz eine räumliche Lage des Objekts (O1, O2) im Verhältnis zu den Sensoren (2.1, 2.2) bestimmt wird. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die räumliche Lage mindestens eines der Objekte (O1, O2) zeitlich verfolgt und jeweils ein Flussvektor bestimmt wird. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass Gruppen von Merkmalen (M1, M2) mindestens eines der Objekte (O1, O2) mindestens eines der Signalströme (S1 bis Sn) gebildet und die Beziehung der Lage der Gruppen relativ zu einem Merkmal (M1, M2) oder einer Gruppe eines der Objekte (O1, O2) in einem anderen der Signalströme (S1 bis Sn) bestimmt wird.






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com