PatentDe  


Dokumentenidentifikation DE102006060893A1 15.11.2007
Titel Vorrichtung und Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug
Anmelder ADC Automotive Distance Control Systems GmbH, 88131 Lindau, DE
Erfinder Fechner, Thomas, Dipl.-Ing., 88079 Kressbronn, DE
DE-Anmeldedatum 22.12.2006
DE-Aktenzeichen 102006060893
Offenlegungstag 15.11.2007
Veröffentlichungstag im Patentblatt 15.11.2007
IPC-Hauptklasse G06K 9/62(2006.01)A, F, I, 20061222, B, H, DE
IPC-Nebenklasse G08G 1/16(2006.01)A, L, I, 20061222, B, H, DE   
Zusammenfassung Die Erfindung betrifft eine Vorrichtung (14) zum Bestimmen eines Freiraums vor einem Fahrzeug (10), umfassend:
- einen bildgebenden Sensor (16), der ausgebildet ist, um ein Bild eines Beobachtungsbereichs (22) vor dem Fahrzeug (10) aufzunehmen;
- eine Bildverarbeitungseinheit (18), die ausgebildet ist, um das aufgenommene Bild zu verarbeiten, um ein Verarbeitungsbild zu erhalten, in dem Bildkanten in dem Bild markiert sind; und
- eine Mustererkennungseinheit (20), die ausgebildet ist, um als Freiraum vor dem Fahrzeug (10) denjenigen Teil des Beobachtungsbereichs (22) zu bestimmen, der einem Bildkanten-freien Bereich des Verarbeitungsbildes ausgehend von einem unteren Bildrand des Bildes entspricht.

Beschreibung[de]

Die Erfindung betrifft eine Vorrichtung zum Bestimmen eines Freiraums vor einem Fahrzeug gemäß Anspruch 1 und ein Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug gemäß Anspruch 15.

Zukünftige Fahrerassistenzsysteme für Stop&Go-Unterstützung und Systeme zum führerlosen Betreiben von Transport-Fahrzeugen wie beispielsweise U-Bahnen, Züge oder Schwebebahnen werden ein vollautomatisches Wiederanfahren realisieren. Dazu muss der Anfahrtsraum direkt vor dem Fahrzeug (Kraftfahrzeug, U-Bahn, Zug) von dem Wiederanfahren nach einem Stop, beispielsweise in einem Stau, ein vorausfahrendes Fahrzeug wartet vor einer Ampel oder ein Halt der U-Bahn in einer Station, überwacht werden. Für ein sicheres Wideranfahren ist es wichtig, zu erkennen, ob der Anfahrtsraum frei ist und sich in der Zwischenzeit keine Personen oder andere Objekte in den Raum vor dem Fahrzeug hineinbewegt haben. Dies kann zum Beispiel mit den üblichen Strahlsensoren wie Radar-, Lidar-, Ultraschall-Systemen umgesetzt werden. Auf Grund ihres Einbauorts in der Fahrzeugfront, insbesondere im Kühlergrill oder Scheinwerfer, sind aber zum Beispiel Radar- oder Lidar-Systeme nur begrenzt in der Lage, einen Raum unmittelbar vor dem Fahrzeug zu überwachen. Vorzuziehen ist daher ein hinter einer Windschutzscheibe angebrachtes Sensorsystem, zum Beispiel ein Kamerasystem, das einen sehr viel breiteren Raum vor dem Fahrzeug erfassen kann. Es sind zum Beispiel stereobasierte Kamerasysteme bekannt, die eine dreidimensionale Erkennung von Hindernissen erlauben. Der Aufwand für derartige Stereokameras ist allerdings kostenintensiv und erfordert relativ viel Bauraum im Bereich der Windschutzscheibe im Fahrzeug, da zwei Kameras in diesen Bereich angeordnet werden müssen.

Aufgabe der vorliegenden Erfindung ist es daher, eine Vorrichtung und ein Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug zu schaffen, welche verbesserte Eigenschaften gegenüber dem Stand der Technik haben.

Diese Aufgabe wird durch eine Vorrichtung zum Bestimmen eines Freiraums vor einem Fahrzeug mit den Merkmalen nach Anspruch 1 und ein entsprechendes Verfahren mit den Merkmalen nach Anspruch 17 gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.

Ein wesentlicher Gedanke der Erfindung besteht nun darin, dass mit einem einzigen bildgebenden Sensor ein Bild vor dem Fahrzeug aufgenommen wird und die Kanten darin analysiert werden, die beispielsweise durch Begrenzungslinien von Schatten oder Fahrbahnmarkierungen in dem Bild enthalten sind (Bildkanten). Durch Auswertung dieser Bildkanten, die einen Rückschluss auf Hindernisse vor dem Fahrzeug geben, kann dann der Freiraum vor dem Fahrzeug als derjenige Raum gewertet werden, der ausgehend von einem unteren Rand des Bildes einem Bildkanten-freien Bereich entspricht. Die bedeutet, dass derjenige Bereich vor dem Fahrzeug als Freiraum betrachtet wird, in dem keine Bildkanten-verursachtenden Objekte enthalten sind. Diese Bewertung des Freiraumes vor dem Fahrzeug funktioniert sowohl bei stehendem Fahrzeug (z.B. im Stau oder vor dem Anfahren) als auch bei fahrendem Fahrzeug und bietet daher die Möglichkeit, in nahezu allen im Straßenverkehr auftretenden Situationen ein Objekt vor dem Fahrzeug zu erkennen.

Außerdem können auch nacheinander zwei Bilder von einem zu überwachenden Bereich vor dem Fahrzeug aufgenommen, diese beiden Bilder miteinander verglichen und die unterschiedlichen Elemente in diesen beiden Bildern durch Bewegungskanten in einem Differenzbild abgebildet werden. Hieran anschließend kann eine Mustererkennung auf diese Bewegungskanten angewendet werden, um festzustellen, ob sich in einem überwachten Bereich vor dem Fahrzeug Objekte hineinbewegen. Werden nur wenige Bewegungskanten festgestellt, so kann davon ausgegangen werden, dass sich kein Objekt vor dem Fahrzeug befindet, da durch den Eintritt dieses Objekts in den Bereich vor dem Fahrzeug in einem Zeitraum zwischen den beiden Bildern eine Bewegungskante für dieses Objekt im Differenzbild entstehen würde. Da weiterhin durch den erfindungsgemäßen Ansatz lediglich ein bildgebender Sensor verwendet wird, ist eine kostengünstigere Implementierung als beispielsweise ein Stereokamerasystem möglich. Außerdem reicht ein geringerer Bauraum zur Anordnung eines solchen Sensors im Fahrzeug aus.

Die vorliegende Erfindung betrifft gemäß einer Ausführungsform eine Vorrichtung zum Bestimmen eines Freiraums vor einem Fahrzeug, umfassend:

  • – einen bildgebenden Sensor, der ausgebildet ist, um ein Bild eines Beobachtungsbereichs vor dem Fahrzeug aufzunehmen;
  • – eine Bildverarbeitungseinheit, die ausgebildet ist, um das aufgenommene Bild zu verarbeiten, um ein Verarbeitungsbild zu erhalten, in dem Bildkanten in dem Bild markiert sind; und
  • – eine Mustererkennungseinheit, die ausgebildet ist, um als Freiraum vor dem Fahrzeug denjenigen Teil des Beobachtungsbereichs zu bestimmen, der einem Bildkanten-freien Bereich des Verarbeitungsbildes ausgehend von einem unteren Bildrand des Bildes entspricht.

Bei einer weiteren Ausführungsform kann die Bildverarbeitungseinheit ausgebildet sein, um Fahrbahnmarkierungen und/oder einen Schattenverlauf zu erkennen und als Bildkante in dem Bild zu markieren. Dies bietet den Vorteil, dass hierdurch eine spezielle Anpassung an typische Fahrsituationen erfolgen kann, so dass zum Beispiel schon häufig auftretende Kantenverläufe auf der Fahrbahn in der Bildverarbeitungseinheit vorprogrammiert und somit die Auswertung erleichtert werden kann. Alternativ oder zusätzlich kann auch eine Mindestlänge von Schatten-bedingten Kanten vorgesehen sein, so dass schon vorab eine Einschätzung der Größe des entsprechenden Objekts abgeschätzt werden kann.

Auch kann in einer Ausführungsform die Vorrichtung zum Bestimmen eines Freiraums vor dem Fahrzeug

  • – den bildgebenden Sensor umfassen, der ausgebildet ist, um zu einem ersten Zeitpunkt das Bild und zu einem nach dem ersten Zeitpunkt liegenden zweiten Zeitpunkt ein zweites Bild eines Beobachtungsbereichs vor dem Fahrzeug aufzunehmen;
  • – die Bildverarbeitungseinheit ausgebildet ist, um durch Bilden einer Differenz von Bilddaten des Bildes und Bilddaten des zweiten Bildes ein Differenzbild zu erhalten, welches Bewegungskanten aufweist, die durch sich unterscheidende Bildpunktwerte der Bilddaten des Bildes gegenüber den Bilddaten des zweiten Bildes definiert sind; und
  • – eine Mustererkennungseinheit, die ausgebildet ist, um als Freiraum vor dem Fahrzeug denjenigen Teil des Beobachtungsbereichs zu bestimmen, der einem Bewegungskanten-freien Bereich des Differenzbildes ausgehend von einem unteren Bildrand des Differenzbildes entspricht.

Dies ermöglicht nicht nur bei Einzelbildern ein Hindernis vor dem Fahrzeug zu erkennen und damit eine deutliche Flexibilisierung des Einsatzszenarios zu bieten. Insbesondere kann die Sicherheit eines fahrenden Fahrzeugs deutlich erhöht werden, wenn dieser dynamische Aspekt der Hinderniserkennung mitberücksichtigt wird.

Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung kann die Bildverarbeitungseinheit ausgebildet sein, um einen Schwellenwert auf Bildpunktwerte des Differenzbildes anzuwenden, derart, dass in dem Differenzbild nur Bewegungskanten enthalten sind, deren Bildpunktwerte über dem Schwellenwert liegen. Dies bietet den Vorteil, dass geringfügige Störungen in dem Differenzbild bei der Mustererkennung nicht berücksichtigt werden und damit eine Mustererkennung deutlich störungsfreier arbeitet.

In einer weiteren Ausführungsform wird die Bewegungsrichtung der Kanten analysiert. Kanten, die sich in den beobachteten Bereich hineinbewegen werden stärker gewichtet als Kanten, die sich aus dem beobachteten Bereich hinausbewegen. Mit anderen Worten ausgedrückt kann die Mustererkennungseinheit ausgebildet sein, um eine Bewegungsrichtung der Kanten zu analysieren und um beim Bestimmen des Freiraums vor dem Fahrzeug diejenigen Bewegungskanten, die sich in den Beobachtungsbereich hineinbewegen stärker zu gewichten als Bewegungskanten, die sich aus dem Beobachtungsbereich hinausbewegen, wobei das stärkere Gewichten der sich in den Beobachtungsbereich hineinbewegenden Beobachtungskanten derart erfolgt, dass bezüglich dieser sich in den Bewegungsbereich hineinbewegenden Beobachtungskanten ein Sicherheitsabstand in dem zu bestimmenden Freiraum vor dem Fahrzeug vorgesehen wird. Damit wird sichergestellt, dass Objekte, die sich in den beobachteten Bereich hineinbewegen als besonders kollisionsgefährdet behandelt werden.

Der bildgebende Sensor kann in einer weiteren Ausbildungsform der vorliegenden Erfindung ausgebildet sein, um das Bild und das zweite Bild während einem Stillstand des Fahrzeugs aufzunehmen. Insbesondere kurz vorm Wiederanfahren ist es wichtig, mögliche Objekte im Anfahrtsraum vor einem Fahrzeug sicher zu erkennen. Weiterhin kann durch diese Funktion der Fahrer bei einer psychologisch oftmals als monoton betrachteten Verkehrssituation zusätzlich beispielsweise visuell unterstützt werden kann. Zugleich kann die Auswertung von Bildern im stehenden Zustand des Fahrzeugs deutlich erleichtert werden, da aufgrund der in der Regel geringen Änderungen von Bild zu Bild die Bildverarbeitung weniger Ressourcen in Form von Rechenleistung beansprucht.

In einer weiteren Ausführungsform der vorliegenden Erfindung kann die Mustererkennungseinheit ausgebildet sein, um ein Blockieren des Anfahrens des Fahrzeugs zu signalisieren, wenn nicht mindestens ein Freiraum von einer vordefinierten Größe vor dem Fahrzeug erkannt wurde. Hierdurch lässt sich sicherstellen, dass kein Auffahrunfall bei einem zu geringen Abstand zu einem vorausfahrenden Fahrzeug verursacht wird. Auch kann sichergestellt werden, dass kein Anfahren von Personen erfolgt, die möglicherweise während einem Warten der Fahrzeuge auf die Fahrbahn getreten und zwischen die Fahrzeuge gelaufen sind.

Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung kann die Mustererkennungseinheit auch ausgebildet sein, um ein Blockieren des Anfahrens des Fahrzeugs zu signalisieren, wenn ein Objekt mit einer vordefinierten Mindestgröße in einem vordefinierten Bereich vor dem Fahrzeug erkannt wurde. Dies ermöglicht, dass das Anfahren vor allem dann blockiert wird, wenn große Objekte, wie beispielsweise Personen, in dem Bereich vor dem Fahrzeug erkannt werden. Werden dagegen kleinere Objekte vor dem Fahrzeug erkannt, wie beispielsweise Müll oder Zeitungen, kann ein Anfahren des Fahrzeugs trotzdem erfolgen, ohne dass eine Gefahr für das Fahrzeug oder eine Person zu befürchten ist.

Die Mustererkennungseinheit kann gemäß einer Ausführungsform der Erfindung ausgebildet sein, eine geometrische Berechnung des Freiraums vor dem Fahrzeug aus den ermittelten Werten des Differenzbildes durchzuführen, indem der Abstand d Punktes zum bildgebenden Sensor aus der Einbauhöhe h des bildgebenden Sensors im Fahrzeug, dem Sensornickwinkel &agr;, der Bildzeile y des Punktes, dessen Abstand bestimmt werden soll, der Pixelgröße &eegr; sowie der Brennweite f gemäß der folgenden Formel bestimmt wird:

In einer weiteren Ausführungsform der vorliegenden Erfindung kann der bildgebende Sensor ausgebildet sein, um nach dem zweiten Zeitpunkt weitere Bilder aufzunehmen, und die Bildverarbeitungseinheit kann ferner ausgebildet sein, um das erste und zweite Bild sowie die weiteren Bilder zu speichern und um aus dem zweiten Bild und weiteren Bildern weitere Differenzbilder mit entsprechenden Bewegungskanten aufzunehmen. Hierdurch bietet sich die Möglichkeit, während dem Stillstand den Freiraum vor dem Fahrzeug kontinuierlich zu überwachen.

Auch kann die Mustererkennungseinheit gemäß einer weiteren Ausführungsform der vorliegenden Erfindung ausgebildet sein, um ein Eindringen eines Objektes in einen freizuhaltenden Raum vor einem stehenden Fahrzeug durch einen Vergleich der Bewegungskanten in unterschiedlichen Differenzbildern zu erkennen. Hierdurch kann nicht nur der statische Zustand vor dem Fahrzeug durch Auswertung eines einzigen Differenzbildes erfolgen, sondern auch eine Bewegung eines Objektes erkannt werden. Hierbei wird beispielsweise unterschieden zwischen Bewegungen in den Beobachtungsraum hinein und Bewegungen aus dem Beobachtungsraum hinaus. Eine Bewegung aus dem Beobachtungsraum hinaus, z.B. aufgrund eines anfahrenden Fahrzeugs sollte möglichst nicht das eigene Wiederanfahren blockieren. Dagegen kann eine Bewegung in den Beobachtungsraum hinein als Kollisionsrelevant eingestuft werden und beispielsweise infolgedessen ein automatisches Wiederanfahren blockiert werden. Die Mustererkennungseinheit kann realisiert werden, indem spaltenweise die Kantenpixel zu einem Profil aufintegriert werden. Werden in diesem Profil Peaks erkannt die oberhalb eines gewissen Schwellwertes liegen, so wird zum Beispiel ein Flag gesetzt und damit signalisiert, dass sich etwas in den Beobachtungsbereich bewegt hat

In einer weiteren Ausführungsform kann die Mustererkennungseinheit ausgebildet sein, um aus einer Mehrzahl von Differenzbildern eine Bewegung eines in den freizuhaltenden Raum vor dem Fahrzeug eindringenden Objektes in diesem freizuhaltenden Raum nach zu verfolgen. Dies bietet die Möglichkeit abzuschätzen, ob das Objekt in Kürze den Bereich vor dem Fahrzeug verlassen wird, so dass bereits vorbereitende Maßnahmen zum Wiederanfahren getroffen werden können.

In einer weiteren Ausführungsform der vorliegenden Erfindung kann der bildgebende Sensor eine Kamera sein. Dies ermöglicht neben der Verwendung eines Ultraschall-Sensors, eines Radar-Sensors oder eines Lidar-Sensors eine kostengünstige Implementierung der Erfindung. Das Bild einer Kamera kann zudem für weitere Funktionen des Fahrerassistenzsystems verwendet werden.

Weiterhin kann in einer Ausführungsform der vorliegenden Erfindung die Vorrichtung einen weiteren bildgebenden Sensor aufweisen und die Mustererkennungseinheit ausgebildet sein, um die Bilddaten des ersten oder zweiten Bildes mit Bilddaten des weiteren bildgebenden Sensors auf Plausibilität zu überprüfen. Dies stellt sicher, dass ein Fehler in dem bildgebenden Sensor einfach und schnell erkannt werden kann und eine Gefährdung von Sachwerten oder Personen aufgrund einer ungewollten Wiederanfahrt des Fahrzeugs vermieden werden kann.

Auch kann in einer Ausführungsform ein Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug bereitgestellt sein, das folgende Schritte umfasst:

  • – Aufnehmen eines Bildes eines Beobachtungsbereichs vor dem Fahrzeug;
  • – Verarbeiten des aufgenommenen Bildes, um ein Verarbeitungsbild zu erhalten, in dem Bildkanten in dem Bild markiert sind; und
  • – Bestimmen desjenigen Teils des Beobachtungsbereichs als Freiraum vor dem Fahrzeug, der einem Bildkanten-freien Bereich des Verarbeitungsbildes ausgehend von einem unteren Bildrand des Bildes entspricht.

In einer weiteren Ausführungsform der vorliegenden Erfindung kann ein Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug vorgesehen sein, das die folgenden Schritte aufweist:

  • – Aufnehmen eines ersten Bildes eines Beobachtungsbereichs vor dem Fahrzeug zu einem ersten Zeitpunkt und eines zweiten Bildes des Beobachtungsbereichs vor dem Fahrzeug zu einem nach dem ersten Zeitpunkt liegenden zweiten Zeitpunkt durch einen bildgebenden Sensor;
  • – Bilden einer Differenz von Bilddaten des ersten Bildes und Bilddaten des zweiten Bildes, um ein Differenzbild zu erhalten, welches Bewegungskanten aufweist, die durch sich unterscheidende Bildpunktwerte der Bilddaten des ersten Bildes gegenüber den Bilddaten des zweiten Bildes definiert sind; und
  • – Bestimmen desjenigen Teils des Beobachtungsbereichs als Freiraum vor dem Fahrzeug, der einem Bewegungskanten-freien Bereich des Differenzbildes ausgehend von einem unteren Bildrand des Differenzbildes entspricht. Dieses Bestimmen kann beispielsweise dadurch erfolgen, dass ein Setzen eines Flags ausgeführt wird, wenn die Musterekennungseinheit Kantenbewegungen in den Beobachtungsbereich hinein detektiert. Die Mustererkennungseinheit kann realisiert werden, indem spaltenweise die Kantenpixel zu einem Profil aufintegriert werden. Werden in diesem Profil Peaks erkannt die oberhalb eines gewissen Schwellwertes liegen, so wird das Flag gesetzt und damit signalisiert, dass sich etwas in den Beobachtungsbereich bewegt hat.

Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit den in den Zeichnungen dargestellten Ausführungsbeispielen.

In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in den Zeichnungen werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet.

Die Zeichnungen zeigen in

1 eine Darstellung der Einsatzmöglichkeit eines Ausführungsbeispiels der vorliegenden Erfindung;

2 eine Darstellung der Erfassung von Bewegungskanten in einem Bild;

3 eine Darstellung der geometrischen Berechnung des tatsächlichen Freiraums vor dem Fahrzeug aus den in dem Differenzbild ermittelten Werten; und

4 eine Darstellung der Gewichtung der Bewegungskanten zur Beurteilung des Freiraumes vor einem Fahrzeug abhängig von einer Bewegungsrichtung eines Objektes vor das Fahrzeug.

Im Folgenden können gleiche und/oder funktional gleiche Elemente mit den gleichen Bezugszeichen versehen sein. Die im Folgenden angegebenen absoluten Werte und Maßangaben sind nur beispielhafte Werte und stellen keine Einschränkung der Erfindung auf derartige Dimensionen dar.

1 zeigt eine Darstellung der Einsatzmöglichkeit eines Ausführungsbeispiels der vorliegenden Erfindung. Hierbei ist ein Fahrzeug 10 dargestellt, dass sich beispielsweise in einem Stau hinter einem Lastwagen 12 befindet. Das Fahrzeug 10 ist mit einem Ausführungsbeispiel der erfindungsgemäßen Vorrichtung 14 ausgestattet.

Das in 1 dargestellte Ausführungsbeispiel der Vorrichtung 14 umfasst einen bildgebenden Sensor 16, der beispielsweise eine optische Kamera, ein Ultraschallsensor, ein Radarsensor oder Lidarsensor sein kann. Ferner umfasst die Vorrichtung 14 eine Bildverarbeitungseinheit 18 sowie eine mit der Bildverarbeitungseinheit 18 gekoppelte Mustererkennungseinheit 20. Der bildgebende Sensor 16 kann im Bereich der Windschutzscheibe des Fahrzeugs 10 angeordnet sein. Hierdurch ergibt sich ein Beobachtungsbereich 22, der durch die erhöhte Anordnung des bildgebenden Sensors 16 wesentlich größer ist, als es bei einer Montage des Sensors beispielsweise im Front-, insbesondere Kühlerbereich eines Kraftfahrzeugs möglich ist.

In diesem Beobachtungsbereich 22 kann ein Objekt 24 erkannt werden, beispielsweise eine Person, die während dem Stau zwischen das Fahrzeug 10 und den Lastwagen 12 gelaufen ist. Der bildgebende Sensor 16 nimmt hierzu ein erstes Bild auf, in dem sich das Objekt 24 noch nicht zwischen dem Fahrzeug 10 und dem Lastwagen 12 befindet. Danach wird ein zweites Bild aufgenommen, bei dem sich das Objekt 24 bereits zwischen dem Fahrzeug 10 und dem Lastwagen 12 befindet. Das erste und zweite Bild werden dann miteinander verglichen, indem ein Differenzbild aus dem ersten und zweiten Bild erzeugt wird. Die durch das Objekt 24 im zweiten Bild verursachten Unterschiede führen hierbei zu Bewegungskanten im Differenzbild, die aus der Anwesenheit des Objekts 24 in dem Beobachtungsbereich 22 resultieren. Es wird nun ein Abstand zwischen der durch das Objekt 24 verursachten untersten Bewegungskante und einem unteren Rand des Differenzbildes gemessen, der einen Rückschluss auf die Position des Objekts 24 in dem Beobachtungsbereich 22 beziehungsweise einen Rückschluss auf einen Abstand des Objektes 24 vom Fahrzeug 10 ermöglicht. Hierbei wird davon ausgegangen, dass der untere Rand des Differenzbildes beziehungsweise des ersten und zweiten Bildes der Frontposition des Fahrzeugs 10 entspricht.

2 zeigt eine Darstellung der Erfassung von Bildkanten beispielhaft an Hand von zwei Bildern. In der linken Teildarstellung von 2 ist ein Bild einer Kamera wiedergegeben, in dem dargestellt ist, wie sich das Fahrzeug mit der erfindungsgemäßen Vorrichtung auf einer Strasse hinter einem Lastwagen 12 befindet. Als Grundannahme wird dabei davon ausgegangen, dass eine leere Fahrspur bis auf die Fahrbahnmarkierungen keine starken (Bild-) Kanten enthält. Sich durch "erhabene" Objekte bildende Schattenkanten heben sich über ihren Kontrast von der Fahrbahn ab und lassen auf Objekte oder Hindernisse auf der Fahrbahn (oder zumindest direkt daneben) schließen. In der rechten Teildarstellung von 2 ist erkennbar, wie Bildkanten in der (statischen) Auswertung eines einzelnen Bildes ermittelt und markiert werden können. Insbesondere ist gut zu sehen, dass durch die Fahrbahnmarkierungen und die Bildkanten des Schattenverlaufs hinter dem Lastwagen der vor dem Fahrzeug liegende Bereich derart analysiert wurde, dass im Bereich 30 keine Bewegungskanten vor dem Fahrzeug erkannt wurden und dass dieser Bereich 30 als Freiraum vor dem Fahrzeug betrachtet werden kann. Dagegen werden in einem Randbereich der Fahrbahn die Seitenstreifen durch die Kantenerkennung erkannt und als Begrenzung für den Freiraum vor dem Fahrzeug gewertet. Im rechten Teildiagramm der 2 ist durch die Kantenerkennung klar zu erkennen, dass sich kein Objekt zwischen dem Fahrzeug und dem Lastwagen befindet. Dies ermöglicht zugleich die Verwendung der Erfindung zur Spurführung. Ändert sich auch der Abstand zum vorausfahrenden LKW bei der Fahrt nicht, ergibt sich auch im Bewegungsbild keine Bewegungsbildkante, so dass hierauf keine Veränderung des Abstandes zum LKW und damit keine Einschränkung des Freiraumes vor dem Fahrzeug zu verzeichnen ist.

In 3 ist dargestellt, wie eine geometrische Berechnung des Freiraums vor dem Fahrzeug aus den ermittelten Werten des Differenzbildes durchgeführt wird, das aus von einer hinter dem Rückspiegel an der Windschutzscheibe eines Kraftfahrzeugs montierten Kamera aufgenommen Bildern erzeugt wurde. Hierbei stellt 3 eine Möglichkeit zur Abstandsbestimmung eines Punktes d zur Kamera beziehungsweise dem bildgebenden Sensor dar. Der Abstand wird aus der Kameraeinbauhöhe h in dem Fahrzeug, dem Kameranickwinkel &agr;, der Bildzeile y des Punktes dessen Abstand bestimmt werden soll, der Pixelgröße &eegr; sowie der Kamerabrennweite f gemäß der Formel

bestimmt.

Im Folgenden wird ein beispielhaftes Verfahren beschrieben, das eine automatische Freiraumbestimmung mittels monokularer Kamera realisiert, zum Beispiel für das Wiederanfahren eines angehaltenen Fahrzeugs. Es ist vorgesehen, dass ein automatisches Wiederanfahren nur erfolgt, wenn ein Freiraum vor dem Fahrzeug so bemessen ist, dass er größer als ein vorher als ausreichend groß definierter Freiraum ist und im Sensorsystem beziehungsweise der zugehörigen Auswerteeinheit hinterlegt ist. Kann dies nicht durch ein oder mehrere Sensorsysteme (Kamera, Ultraschall, Radar, Lidar, etc.) verifiziert werden, ist ein aktiver Eingriff, zum Beispiel des Fahrzeugführers, notwendig, damit die Fahrt fortgesetzt wird.

Im Folgenden wird eine vorteilhaft ausgestaltete Vorrichtung und ein ebensolches Verfahren beschrieben, das den Freiraum vor einem Fahrzeug vor einer Wiederanfahrt bestimmt. Das Fahrzeug ist mit mindestens einem Sensorsystem, mit zugehöriger Auswerteeinheit und einer Speichervorrichtung ausgestattet. In der Speichervorrichtung werden ab Stillstand des Fahrzeugs Informationen über bewegte Objekte im Erfassungsbereich des Sensors beziehungsweise der Sensoren in gespeichert. Optional werden bewegte Objekte während des Stillstands nachverfolgt, um weitere Informationen zum Beispiel über die Relativgeschwindigkeit zu erhalten oder ein wahrscheinliches Verhalten des Objektes vorherzusagen (Querbewegung, Objekt bewegt sich auf das Fahrzeug zu oder vom Fahrzeug weg).

Kommen mehrere Sensorsysteme zum Einsatz, so werden ihre Daten zur Plausibilisierung des Ergebnisses zusammengeführt (Sensordatenfusion). Möglich ist auch eine Beschränkung auf Objekte, die sich auf der Fahrbahn oder in einem zuvor definierten relevanten Bereich befinden. Das Verfahren selektiert also Objekte, die nach dem Stillstand in den Freiraum vor dem Fahrzeug eintreten. Vor einer Wiederanfahrt wird geprüft, ob sich diese Objekte noch vor dem Fahrzeug befinden oder diesen Bereich bereits wieder verlassen haben. Ein Kriterium, ob ein aktiver Eingriff, z.B. des Fahrzeugsführers, zur Fortsetzung der Fahrt vorgesehen ist oder auch eine automatische Wiederanfahrt erfolgt, wird in Abhängigkeit davon getroffen, dass sich eines der vorher beschriebenen selektierten Objekte noch in dem vorgegebenen Freiraum aufhält. Weitere Kriterien können z.B. die Objekteigenschaften (Größe, Relativgeschwindigkeit, Mensch, Gegenstand, Fahrzeug etc.) sein.

Das vorstehend beschriebene Verfahren ist unter anderem für einen Kamerasensor geeignet. Unter der Annahme, dass eine leere Fahrspur keine starken Kanten enthält, werden die Kanten in den Bilddaten extrahiert. Sich in das Bild bewegende "erhabene" Objekte bilden Schattenkanten und heben sich über ihren Kontrast von der Fahrbahn ab. Ein Verfahren zur Erkennung von bewegten Objekten mit einer Kamera könnte etwa wie folgt ablaufen:

  • 1. Es wird ein Differenzbild aus zwei aufeinander folgenden Bildern berechnet. Es entsteht ein Bild mit Bewegungskanten.
  • 2. Es wird ein Schwellenwert auf das Differenzbild angewendet, so dass nur starke Bewegungskanten verbleiben.
  • 3. Alle Bewegungskanten werden während des Stillstands gespeichert.
  • 4. Vor einer Wiederanfahrt wird der Freiraum berechnet, zum Beispiel werden ausgehend vom unteren Bildrand die nächsten gespeicherten Bewegungskanten bestimmt. Die entstehende Kontur begrenzt den Freiraum.

Alternativ kann das Verfahren gemäß einem Ausführungsbeispiel auch folgendermaßen ablaufen, wie es in 4 näher dargestellt ist:

  • 1. Es wird ein Differenzbild aus zwei aufeinander folgenden Bildern T1 und T1 + dt berechnet. Es entsteht ein (Differenz-)Bild mit Bewegungskanten.
  • 2. Es wird ein Schwellenwert auf das Differenzbild angewendet, so dass nur starke Bewegungskanten verbleiben.
  • 3. Die Bewegungskanten werden spaltenweise aufintegriert, so dass ein Kantenprofil entsteht.
  • 4. Überschreitet das Profil einen Schwellwert wird ein Freiraum-Flag gesetzt, das eine Bewegung in den Freiraum anzeigt
  • 5. Vor einer Wiederanfahrt wird das Freiraum-Flag abgefragt. Beispielsweise kann das Wiederanfahren blockiert werden, wenn das Freiraum-Flag gesetzt ist und das Wiederanfahren erst dann freigegeben werden, wenn sichergestellt ist, dass sich kein Objekt mehr vor dem Fahrzeug befindet. Dies kann durch ein Rücksetzen des Flags erfolgen, wenn sich das Objekt aus dem Beobachtungsbereich hinausbewegt und durch eine Auswertung diese sich aus dem Beobachtungsbereich hinausbewegenden Bewegungskanten ein Löschen des Flags bewirken.

Weiterhin werden auch beim Analysieren des Differenzbildes statische Bildkanten wie z.B. die Fahrbahnmarkierungen herausgefiltert, da diese in beiden Bildern auftreten. Somit kann der Focus lediglich auf die „sich bewegenden" Bildkanten gerichtet werden, was die Bildverarbeitung deutlich erleichtert.

10
Fahrzeug
12
Lastwagen
14
Vorrichtung zum Bestimmen eines Freiraums vor einem
Fahrzeug
16
bildgebender Sensor, Kamera
18
Bildverarbeitungseinheit
20
Mustererkennungseinheit
22
Beobachtungsbereich
24
Objekt
30
als Freiraum erkennbarer Bereich


Anspruch[de]
Vorrichtung (14) zum Bestimmen eines Freiraums vor einem Fahrzeug (10), umfassend:

– einen bildgebenden Sensor (16), der ausgebildet ist, um ein Bild eines Beobachtungsbereichs (22) vor dem Fahrzeug (10) aufzunehmen;

– eine Bildverarbeitungseinheit (18), die ausgebildet ist, um das aufgenommene Bild zu verarbeiten, um ein Verarbeitungsbild zu erhalten, in dem Bildkanten in dem Bild markiert sind; und

– eine Mustererkennungseinheit (20), die ausgebildet ist, um als Freiraum vor dem Fahrzeug (10) denjenigen Teil des Beobachtungsbereichs (22) zu bestimmen, der einem Bildkantenfreien Bereich des Verarbeitungsbildes ausgehend von einem unteren Bildrand des Bildes entspricht.
Vorrichtung (14) gemäß Anspruch 1, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (18) ausgebildet ist, um Fahrbahnmarkierungen und/oder einen Schattenverlauf zu erkennen und als Bildkante in dem Bild zu markieren. Vorrichtung (14) gemäß Anspruch 1,

dadurch gekennzeichnet, dass

– der bildgebende Sensor (16) ausgebildet ist, um zu einem ersten Zeitpunkt das Bild und zu einem nach dem ersten Zeitpunkt liegenden zweiten Zeitpunkt ein zweites Bild des Beobachtungsbereichs (22) vor dem Fahrzeug (10) aufzunehmen;

– die Bildverarbeitungseinheit (18) ausgebildet ist, um durch Bilden einer Differenz von Bilddaten des Bildes und Bilddaten des zweiten Bildes ein Differenzbild zu erhalten, welches Bewegungskanten aufweist, die durch sich unterscheidende Bildpunktwerte der Bilddaten des Bildes gegenüber den Bilddaten des zweiten Bildes definiert sind, wobei das Differenzbild als Verarbeitungsbild bereitgestellt wird; und

– die Mustererkennungseinheit (20) ausgebildet ist, um als Freiraum vor dem Fahrzeug (10) denjenigen Teil des Beobachtungsbereichs (22) zu bestimmen, der einem Bewegungskanten-freien Bereich des Differenzbildes ausgehend von einem unteren Bildrand des Differenzbildes entspricht.
Vorrichtung gemäß Anspruch 3, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (18) ausgebildet ist, um einen Schwellenwert auf Bildpunktwerte des Differenzbildes anzuwenden, derart, dass in dem Differenzbild nur Bewegungskanten enthalten sind, deren Bildpunktwerte über dem Schwellenwert liegen. Vorrichtung gemäß einem der Ansprüche 3 oder 4, dadurch gekennzeichnet, dass der bildgebende Sensor (16) ausgebildet ist, um das Bild und das zweite Bild während einem Stillstand des Fahrzeugs (10) aufzunehmen. Vorrichtung gemäß Anspruch 5, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, um ein Blockieren des Anfahrens des Fahrzeugs (10) zu signalisieren, wenn nicht mindestens ein Freiraum von einer vordefinierten Größe vor dem Fahrzeug (10) erkannt wurde. Vorrichtung gemäß Anspruch 5 oder 6, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, um ein Blockieren des Anfahrens des Fahrzeugs (10) zu signalisieren, wenn ein Objekt (24) mit einer vordefinierten Mindestgröße in einem vordefinierten Bereich vor dem Fahrzeug (10) erkannt wurde. Vorrichtung gemäß einem der Ansprüche 3 bis 7, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, eine geometrische Berechnung des Freiraums vor dem Fahrzeug aus den ermittelten Werten des Differenzbildes durchzuführen, indem der Abstand d Punktes zum bildgebenden Sensor (16) aus der Einbauhöhe h des bildgebenden Sensors (16) im Fahrzeug, dem Sensornickwinkel &agr;, der Bildzeile y des Punktes, dessen Abstand bestimmt werden soll, der Pixelgröße &eegr; sowie der Brennweite f gemäß der folgenden Formel bestimmt wird:
Vorrichtung gemäß einem der Ansprüche 3 bis 8, dadurch gekennzeichnet, dass der bildgebende Sensor (16) ausgebildet ist, um nach dem zweiten Zeitpunkt weitere Bilder aufzunehmen und die Bildverarbeitungseinheit (18) ferner ausgebildet ist, um das Bild und das zweite Bild sowie die weiteren Bilder zu speichern und um aus dem zweiten Bild und weiteren Bildern weitere Differenzbilder mit entsprechenden Bewegungskanten aufzunehmen. Vorrichtung gemäß Anspruch 9, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, um ein Eindringen eines Objektes (24) in einen freizuhaltenden Raum vor einem stehenden Fahrzeug (10) durch einen Vergleich der Bewegungskanten in unterschiedlichen Differenzbildern zu erkennen. Vorrichtung gemäß Anspruch 10, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, um eine Bewegungsrichtung der Kanten zu analysieren und um beim Bestimmen des Freiraums vor dem Fahrzeug (10) diejenigen Bewegungskanten, die sich in den Beobachtungsbereich (22) hineinbewegen stärker zu gewichten als Bewegungskanten, die sich aus dem Beobachtungsbereich (22) hinausbewegen, wobei das stärkere Gewichten der sich in den Beobachtungsbereich (22) hineinbewegenden Beobachtungskanten derart erfolgt, dass bezüglich dieser sich in den Bewegungsbereich (22) hineinbewegenden Beobachtungskanten ein Sicherheitsabstand in dem zu bestimmenden Freiraum vor dem Fahrzeug (10) vorgesehen wird. Vorrichtung gemäß einem der Ansprüche 10 oder 11, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, um bei stehendem Fahrzeug (10) eine Bewegungsrichtung der Kanten zu analysieren und um beim Bestimmen des Freiraums vor dem Fahrzeug (10) diejenigen Bewegungskanten, die sich in den Beobachtungsbereich (22) hineinbewegen stärker zu gewichten als Bewegungskanten, die sich aus dem Beobachtungsbereich (22) hinausbewegen, wobei das stärkere Gewichten der sich in den Beobachtungsbereich (22) hineinbewegenden Beobachtungskanten derart erfolgt, dass bezüglich dieser sich in den Bewegungsbereich (22) hineinbewegenden Beobachtungskanten ein Signal gesetzt wird und wobei ein Wiederanfahren des Fahrzeugs (10) in Abhängigkeit von dem Signal erfolgt. Vorrichtung gemäß Anspruch 12, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, um die Bewegungskanten der Differenzbilder spaltenweise aufzuintegrieren, so dass ein Kantenprofil entsteht und bei einem Überschreiten des Profils über einen Schwellwert das Signal zu setzen, um eine Bewegung in den Freiraum anzuzeigen. Vorrichtung gemäß einem der Ansprüche 9 bis 13, dadurch gekennzeichnet, dass die Mustererkennungseinheit (20) ausgebildet ist, um aus einer Mehrzahl von Differenzbildern eine Bewegung eines in den freizuhaltenden Raum vor dem Fahrzeug (10) eindringenden Objektes (24) in diesem freizuhaltenden Raum nachzuverfolgen. Vorrichtung gemäß einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass der bildgebende Sensor (16) eine Kamera ist. Vorrichtung gemäß einem der Ansprüche 3 bis 15, dadurch gekennzeichnet, dass die Vorrichtung (14) einen weiteren bildgebenden Sensor aufweist und die Bildverarbeitungseinheit (18) ausgebildet ist, um die Bilddaten des Bildes oder des zweiten Bildes mit Bilddaten des weiteren bildgebenden Sensors auf Plausibilität zu überprüfen. Verfahren (14) zum Bestimmen eines Freiraums vor einem Fahrzeug (10), mit folgenden Schritten:

– Aufnehmen eines Bildes eines Beobachtungsbereichs (22) vor dem Fahrzeug (10);

– Verarbeiten des aufgenommenen Bildes, um ein Verarbeitungsbild zu erhalten, in dem Bildkanten in dem Bild markiert sind; und

– Bestimmen desjenigen Teils des Beobachtungsbereichs (22) als Freiraum vor dem Fahrzeug (10), der einem Bildkanten-freien Bereich des Verarbeitungsbildes ausgehend von einem unteren Bildrand des Bildes entspricht.






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com