PatentDe  


Dokumentenidentifikation DE102005044981A1 22.03.2007
Titel Verfahren zur Erkennung von Fahrspurmarkierungen
Anmelder ADC Automotive Distance Control Systems GmbH, 88131 Lindau, DE
Erfinder Fechner, Thomas, Dipl.-Ing., 88079 Kressbronn, DE;
Heinrich, Stefan, Dipl.-Ing., 77855 Achern, DE;
Ulbricht, Dirk, Dipl.-Ing., 77855 Achern, DE
DE-Anmeldedatum 20.09.2005
DE-Aktenzeichen 102005044981
Offenlegungstag 22.03.2007
Veröffentlichungstag im Patentblatt 22.03.2007
IPC-Hauptklasse G06K 9/62(2006.01)A, F, I, 20050920, B, H, DE
IPC-Nebenklasse G06T 7/00(2006.01)A, L, I, 20050920, B, H, DE   G05D 1/02(2006.01)A, L, I, 20050920, B, H, DE   G01B 11/24(2006.01)A, L, I, 20050920, B, H, DE   
Zusammenfassung Es wird ein Verfahren zur Erkennung von Fahrspurmarkierungen für ein bewegtes Kraftfahrzeug mit einer Bildaufnahmeeinheit angegeben. Die aufgenommenen Bilddaten werden auf Helligkeitsunterschiede (Kontraste) hin analysiert und/oder Kanten werden extrahiert. Zur Bestimmung der Form von Objekten werden zusammenhängende Gebilde mit ähnlicher Helligkeit zu Clustern zusammengefasst. Potentielle Fahrbahnmarkierungen werden anhand ihrer Form und ihrer periodischen Anordnung auf der Fahrbahn erkannt. Die so erhaltenen Informationen über den Fahrspurverlauf und die Markierungsart werden im weiteren Verlauf der Fahrspurerkennung genutzt, wobei gezielt nach Markierungen, die der zuvor erkannten Art entsprechen, gesucht wird.

Beschreibung[de]

Die Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zur Fahrspurerkennung. Ein wichtiger Bestandteil von Fahrerassistenzsystemen, die z. B. zur Abstandsregelung oder Spurhaltung eingesetzt werden, ist die Prädiktion der Fahrspur. In der Literatur werden verschiedene Lösungsansätze zu diesem Thema angegeben. DE 10327869 offenbart ein Navigationssystem mit Fahrspurhinweisen, bei dem Straßenkartendaten mit Fahrspurinformationen in einem Speicherelement abgelegt und zusätzlich die Straße vor dem Kraftfahrzeug erfasst wird. Die Datensätze werden zur Positions- und Fahrspurbestimmung des Kraftfahrzeugs verglichen.

Alternativ werden häufig Kamerasysteme zur Fahrspurfindung eingesetzt. Es wird z. B. in DE 102004003502 ein Verfahren und Vorrichtung zum Assistieren beim Führen eines Kraftfahrzeugs vorgestellt. Die Fahrzeugumgebung wird mit einer Kamera aufgenommen. Zur Auswertung der Bilddaten werden vorgegebene Suchfenster benutzt, in denen Fahrbahnmarkierung detektiert werden. Die Maximalanzahl der verfügbaren Suchfenster wird situationsbedingt ermittelt. Dieses Vorgehen bietet den Vorteil, dass auch bei einer Kurvenfahrt oder einem Fahrspurwechsel eine Fahrspur weiterhin erkannt werden kann.

Es ist eine Aufgabe der hier vorliegenden Erfindung, die Fahrspur eines Kraftfahrzeugs schnell und zuverlässig zu erkennen.

Die Aufgabe wird erfinderisch gemäß den unabhängigen Patentansprüchen gelöst. Die abhängigen Unteransprüche zeigen vorteilhafte Ausführungsformen und Weiterentwicklungen der Erfindung auf.

Für eine kamerabasierte Fahrspurfindung eines Fahrzeugs werden die Bilddaten mit einem dafür geeigneten Auswerteverfahren (Algorithmus) analysiert. Für ein schnelles und sicheres Auffinden der Fahrspur ist es von Vorteil, die Markierungsart zu kennen. Z. B. wird in Deutschland bevorzugt eine in periodischen Abständen unterbrochene weiße Line als Fahrspurmarkierung verwendet, wohingegen in den USA häufig punktförmige, erhabenen Spurmarkierungen, sog. Bot Dots, anzutreffen sind. Ist die Art der Fahrspurmarkierung bekannt, die aktuell die Fahrspur des Fahrzeugs begrenzt, kann in den Bilddaten gezielt nach dem Vorhandensein von Objekten mit einer vorgegeben Form und einem vorgegebenen Abstand gesucht werden.

Dazu wird ein Verfahren zur für ein bewegtes Kraftfahrzeug mit einer Bildaufnahmeeinheit angegeben. In den aufgenommenen Bilddaten werden Helligkeitsunterschiede (Kontraste) analysiert und/oder Kanten extrahiert. Zusammenhängende Gebilde mit ähnlicher Helligkeit werden zu Clustern zusammengefasst, um die Form von Objekten zu analysieren. Erfindungsgemäß werden die Fahrbahnmarkierungen anhand ihrer Form und ihrer periodischen Anordnung auf der Fahrbahn erkannt. Insbesondere werden Objekte und damit Fahrbahnmarkierungen dann erkannt, wenn Abstand und Form der Objekte im Bild vorgegebenen, zuvor in einer Steuereinheit abgelegten Werten entsprechen. Anhand von Form und Abstand der Objekte kann auch die Markierungsart (unterbrochenen Linie, Bot Dot, etc.) identifiziert werden.

In einer weiteren Ausführungsform werden Objekte als Fahrbahnmarkierungen erkannt, wenn sie mit einem vorgegebenen, vorher in der Steuereinheit abgelegten Muster übereinstimmen (Pattern Matching). Die in der Steuereinheit abgelegten Muster entsprechen denen typischer Fahrbahnmarkierungen. Die Fahrbahnmarkierungen sind in einer Perspektive dargestellt, die der Ausrichtung des vorliegenden Bildaufnehmers auf die Fahrbahn im Wesentlichen entspricht. Der Vergleich mit einem vorgegebenen Muster ermöglicht auch die Identifizierung der Markierungsart

In einer vorteilhaften Ausgestaltung der Erfindung wird nur in vorgegebenen Bereichen des Bildes nach Kontrastunterschieden und damit Fahrbahnmarkierungen gesucht. Die vorgegebenen Bereiche sind so angeordnet, dass sie den modellhaft angenommenen Spurverlauf begrenzen.

Weitere Verfahrensschritte zur Prüfung des erhaltenen Resultats und zur Vermeidung von Auswertefehlern werden im den folgenden vorteilhaften Ausführungsformen der Erfindung angegeben. Fälschlicherweise erkannte Fahrbahnmarkierungen erschweren die Spurerkennung. „Falsche Fahrbahnmarkierungen" können durch Schmutz, Texturen oder Spiegelbilder der Fahrbahnmarkierungen z. B. auf nasser Fahrbahn im betrachteten Bildausschnitt entstehen.

In einer besonderen Ausführungsform der Erfindung wird im Bild für jeweils einzelne Segmente (Bildausschnitte/Bildpixel) entlang der identifizierten Fahrspurmarkierungen ein Frequenzspektrum des Helligkeitsverlaufs ermittelt. Die Frequenzspektren der unterschiedlichen Bildsegmente werden in den relevanten Frequenzbereichen verglichen. Weicht in einem Bildsegment das Frequenzspektrum stark von dem der anderen Segmente ab, so wird das Messsignal in diesem Segment verworfen.

In einer vorteilhaften Ausgestaltung der Erfindung wird im Bild für jeweils einzelne Segmente (Bildausschnitte bzw. Bildpixel) entlang der identifizierten Fahrspurmarkierungen ein Helligkeitsverlauf ermittelt. Markierungslinien sind üblicherweise durch periodische Strukturen in Fahrtrichtung repräsentiert. Neben der örtlichen Periodizität tritt im Fahrbetrieb aber auch eine zeitliche Periodizität der Markierungsmesswerte auf. Durch den zeitlichen Wechsel zwischen Markierungsmessung und Markierungslücke entsteht in allen Bildsegmenten der gleiche Helligkeitsverlauf. Durch den Vergleich der Helligkeitsverläufe durch eine Kreuzkorrelation kann die Ähnlichkeit der Helligkeitsverläufe ermittelt werden. Stimmt der Helligkeitsverlauf in einem bestimmten Bildsegment nicht mit den anderen In einer weiteren Ausgestaltung der Erfindung wird zur Identifizierung von Auswertefehlern der zeitabhängige Helligkeitsverlauf in den einzelnen Bildsegmenten unter Berücksichtigung der Eigengeschwindigkeit mit vorgegebenen Helligkeitsverläufen verglichen. Gemessenes und vorgegebenes Signal können nur miteinander verglichen werden, wenn beide bei der gleichen Fahrzeuggeschwindigkeit aufgenommen bzw. simuliert wurden. Der Vergleich wird mittels Korrelation oder Frequenzanalyse und anschließendem Vergleich der Spektren durchgeführt. Beide Auswerteverfahren wurden unmittelbar zuvor beschrieben. Die vorgegeben Helligkeitsverläufe entsprechen denen typischer Fahrspurmarkierungen. Zeit der aufgenommene Helligkeitsverlauf in einem Bildsegment keine Ähnlichkeit mit einem der vorgegebenen Helligkeitsverläufen auf, wird dieses Messsignal verworfen.

In einer vorteilhaften Ausgestaltung der Erfindung werden zur Vermeidung von Auswertefehlern nur Objekte als Fahrbahnmarkierungen erkannt werden, die entlang einer Gerade oder eines Bogens angeordnet sind. Diese Anordnung entspricht dem typischen Verlauf von Fahrspurmarkierungen.

Die Bewegungsrichtung der als Fahrbahnmarkierung erkannten Objekte wird in einer besonderen Ausführungsform der Erfindung in nacheinander aufgenommenen Bildern untersucht. Die Bewegungsrichtung „echter" Fahrspurmarkierungen stimmt bei einem zumindest nahezu geradlinigen Verlauf der Fahrbahn bzw. im Nahbereich vor dem Fahrzeug im Wesentlichen überein. Messwerte von Objekten, die von der Bewegungsrichtung anderer Markierungen wesentlich abweichen, werden verworfen.

In einer vorteilhaften Ausgestaltung der Erfindung wird die Bewegungsrichtung und/oder Bewegungsgeschwindigkeit der als Fahrbahnmarkierung erkannten Objekte in nacheinander aufgenommenen Bildern untersucht und mit einem erwarteten Verlauf verglichen. Der erwartete Verlauf wird in Abhängigkeit der Eigengeschwindigkeit des Fahrzeugs und ggf. von der Markierungsart (unterbrochene Linie, Bot Dots, etc.) bestimmt. Objekte, die von diesem erwarteten Verlauf abweichend, werden verworfen.

Zudem wird eine Vorrichtung mit einer Bildaufnahmeeinheit und einer Steuereinheit mit einer hinterlegten Programmierung zur Durchführung eines wie oben beschriebenen Verfahrens vorgestellt. Referenzdaten zu bekannten Fahrspurmarkierungen und eine Programmierung zur Durchführung eines wie oben beschriebenen Verfahrens sind auf der Steuereinheit hinterlegt.

Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels und einer Abbildung näher beschrieben.

1 Entfernungsbestimmung von Objekten aus einem Kamerabild und den Kalibrierungsdaten der Kamera.

2 Zeitlicher Verlauf von Fahrspurmarkierungen im Kamerabild

Eine Bildaufnahmeeinheit in einem bewegten Kraftfahrzeug nimmt die Umgebung vor dem Kraftfahrzeug auf. Teilbereiche der aufgenommenen Bilddaten werden Helligkeitsunterschiede (Kontraste) analysiert und/oder Kanten extrahiert. Die Teilbereiche sind so angeordnet, dass sie den modellhaft angenommenen Fahrspurverlauf im Bild begrenzen. Der angenommene Fahrspurverlauf ergibt sich entweder aus früheren Messungen oder aus der Ausrichtung der kalibrierten Kamera auf die Fahrzeugumgebung, wobei davon ausgegangen wird dass sich die Fahrspurmarkierungen auf der linken und rechten Seite des Fahrzeugs befinden.

Benachbart detektierte Kantenpaare werden daraufhin untersucht, ob sie den vorgeschlagenen Markierungsgeometrien entsprechen. Hierzu wird die Position der Kantenpaare in Weltkoordinaten, und somit er tatsächlichen Form der Objekte auf der Fahrbahn, ermittelt. Die relevanten Kantenpaare werden dann zu möglichen Markierungen zusammengefasst (Clusterbildung). Der Umriss eines solchen Clusters gibt die Form des Objekts an. Der Abstand der erkannten Objekte kann aus den Bilddaten und den Kalibrierdaten des eingebauten Bildaufnehmers aus geometrischen Überlegungen heraus bestimmt werden. 1 stellt die Abstandsbestimmung eines Punktes d zur Kamera dar. Der Abstand wird aus h der Kameraeinbauhöhe, &agr; dem Kameranickwinkel, y der Bildzeile des Punktes, &eegr; der Pixelgröße und f die Kamerabrennweite zu

Die Fahrbahnmarkierungen werden anhand ihrer Form und ihrer periodischen Anordnung auf der Fahrbahn erkannt. Dazu werden die Form und der Abstand der im Bild vorhandnen Objekte analysiert. Ist der Abstand zwischen den Objekten äquidistant, handelt es sich mit wahrscheinlich um Fahrspurmarkierungen. In einer Steuereinheit zur Datenverarbeitung und Auswertung werden die im Bild erkannten Objekte mit zuvor abgelegten Werten typischer Fahrbahnmarkierungen verglichen. Anhand dieses Vergleichs kann mit großer Sicherheit bestimmt werden, ob es sich um Fahrbahnmarkierungen handelt und mit welche Markierungsart (unterbrochene Linie, Bot Dot, etc.) vorliegt. Die so erhaltenen Informationen über den Fahrspurverlauf und die Markierungsart werden im weiteren Verlauf der Fahrspurerkennung genutzt, wobei gezielt nach Markierungen die der zuvor erkannten Art entspricht gesucht wird.

Um Auswertefehler bei der Fahrspurerkennung zu vermeiden wird zusätzlich zu dem oben genannten Verfahren die zeitliche Periodizität von Fahrspurbegrenzungslinien geprüft. Markierungslinien werden üblicherweise durch periodische Strukturen in Fahrtrichtung repräsentiert. Neben der örtlichen Periodizität tritt im Fahrbetrieb aber auch eine zeitliche Periodizität der Markierungsmesswerte auf. In 2 ist dargestellt, dass die Wiederholfrequenz mit der Fahrbahnmarkierungen in Bildsegmenten entlang des des mittleren Fahrspurrandes 1 detektiert werden, unabhängig von der Entfernung der Fahrspurmarkierung zum Fahrzeug ist. Dazu ist rechts in 2 der zeitliche Verlauf des Messsignals an bestimmten Bildpunkten wiedergegeben. Weicht die Wiederholfrequenz des mittleren Fahrspurrands 1 also in einem Bildsegment stark von der in anderen Bildsegmenten bestimmten Wiederholfrequenz ab, wird das Messsignal in diesem Bildsegment verworfen.


Anspruch[de]
Verfahren zur Erkennung von Fahrspurmarkierungen (1) für ein bewegtes Kraftfahrzeug mit einer Bildaufnahmeeinheit, wobei in den aufgenommenen Bilddaten Helligkeitsunterschiede (Kontraste) analysiert und/oder Kanten extrahiert werden und zur Bestimmung der Form von Objekten zusammenhängende Gebilde mit ähnlicher Helligkeit zu Clustern zusammengefasst werden dadurch gekennzeichnet, dass Fahrbahnmarkierungen (1) anhand ihrer Form und ihrer periodischen Anordnung auf der Fahrbahn erkannt werden. Kamerabasiertes Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Objekte als Fahrbahnmarkierungen (1) erkannt werden und/oder die Art der Fahrbahnmarkierung (1) identifiziert wird, wenn Abstand und Form der Objekte im Bild vorgegebenen Werten von typischen Fahrbahnmarkierungen (1) entsprechen. Kamerabasierte Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Objekte als Fahrbahnmarkierungen (1) erkannt werden und oder. die Art der Fahrbahnmarkierung identifiziert wird, wenn sie mit einem vorgegebenen Muster, das dem einer typischen Fahrbahnmarkierung entspricht, übereinstimmen (Pattern matching). Kamerabasiertes Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass nur in vorgegebenen Bereichen des Bilds nach Fahrbahnmarkierungen (1) gesucht wird. Kamerabasiertes Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass zur Identifizierung von Auswertefehlern

– im Bild für jeweils einzelne Segmente (Bildausschnitte) entlang der identifizierten Fahrspurmarkierungen (1) das Frequenzspektrum des Helligkeitsverlaufs ermittelt wird und

– die Spektren untereinander verglichen werden und

– bei einer starken Abweichung des Frequenzspektrums in einem Segment dieses Messsignal verworfen wird.
Kamerabasiertes Verfahren nach einem der vorherigen Ansprüche 4 oder 5, dadurch gekennzeichnet, dass zur Identifizierung von Auswertefehlern der Helligkeitsverlauf für jeweils einzelne Bildsegmenten unter -Berücksichtigung der Eigengeschwindigkeit mit vorgegebenen Helligkeitsverläufen, die denen typischer Fahrspurmarkierungen (1) entsprechen, mittels Korrelation und Frequenzanalyse verglichen werden, wobei bei einer starken Abweichung des Helligkeitsverlaufs in einem Segment von allen vorgegebenen Signalen das Messsignal verworfen wird. Kamerabasiertes Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Helligkeitsverlauf mit einem für die Eigengeschwindigkeit der Vorrichtung prädizierten Verlauf verglichen wird und Messwerte die dem vorgegebenen Verlauf nicht entsprechen, verworfen werden. Kamerabasiertes Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass zur Vermeidung von Auswertefehlern nur Objekte als Fahrbahnmarkierungen (1) erkannt werden, die entlang einer Gerade oder eines Bogens angeordnet sind. Kamerabasiertes Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass eine Bewegungsrichtung der als Fahrbahnmarkierung (1) erkannten Objekte im Bild untersucht werden, wobei Messwerte von Objekten, die von der Bewegungsrichtung anderer Markierungen abweichen verworfen werden. Kamerabasiertes Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass eine Bewegungsrichtung und/oder Bewegungsgeschwindigkeit der als Fahrbahnmarkierung (1) erkannten Objekte im Bild untersucht und mit einem prädizierten Verlauf verglichen werden, wobei der prädizierte Verlauf von der Eigengeschwindigkeit der Vorrichtung abhängt, und von diesem Verlauf abweichende Objekte verworfen werden. Vorrichtung mit einer Bildaufnahmeeinheit und einer Steuereinheit mit einer hinterlegten Programmierung zur Durchführung eines Verfahrens nach einem der vorherigen Ansprüche. Kraftfahrzeug mit einer Vorrichtung nach Anspruch 11.






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com