PatentDe  


Dokumentenidentifikation DE19723963C2 06.09.2001
Titel Objekterkennungsvorrichtung und -verfahren für Fahrzeuge
Anmelder Fuji Jukogyo K.K., Tokio/Tokyo, JP
Erfinder Sogawa, Yoshiyuki, Mitaka, Tokio/Tokyo, JP
Vertreter Vossius & Partner, 81675 München
DE-Anmeldedatum 06.06.1997
DE-Aktenzeichen 19723963
Offenlegungstag 11.12.1997
Veröffentlichungstag der Patenterteilung 06.09.2001
Veröffentlichungstag im Patentblatt 06.09.2001
IPC-Hauptklasse G06K 9/62
IPC-Nebenklasse G08G 1/00   B60R 16/02   

Beschreibung[de]

Die vorliegende Erfindung betrifft eine Objekterkennungsvorrichtung und ein Objekterkennungsverfahren für ein Fahrzeug und insbesondere eine Objekterkennungsvorrichtung und ein Objekterkennungsverfahren, die für ein Fahrtunterstützungssystem eines Automobils oder für ein Steuerungssystem für einen autonomen Fahrbetrieb eines autonom oder selbständig fahrenden Fahrzeugs verwendet werden.

Um ein sichereres Fahr- oder Betriebsgefühl eines Fahrzeugführers bei einer Fahrt durch enge Straßen mit häufig auftretenden Hindernissen, wie beispielsweise Wänden, Pfählen, Stangen oder Lichtmasten, Leitschienen, geparkten Fahrzeugen und ähnlichen Hindernissen, zu gewährleisten, wurde eine Vorrichtung zum Erfassen solcher Hindernisse durch Tastsensoren, wie beispielsweise ein Eckenstabfühler, ein Kontaktschalter und ähnliche Einrichtungen, die auf einem Fahrzeug angeordnet sind, entwickelt.

Außerdem wurde ein Verfahren entwickelt, bei dem Ultraschallsensoren auf einer Seitenfläche oder an Ecken des Fahrzeugs angeordnet sind, um einen Abstand zu einem Hindernis zu messen und einen Fahrzeugführer über den gemessenen Abstand zu informieren.

Außerdem wurde in den letzten Jahren ein Verfahren vorgeschlagen, gemäß dem nicht nur ein Abstand zu einem Hindernis erfaßt, sondern auch die Gestalt bzw. Form des Hindernisses erkannt wird. Als Beispiel eines solchen Verfahrens wird durch den vorliegenden Anmelder in der offengelegten Japanischen Patentveröffentlichung Nr. 5-114099 eine Hinderniserkennungsvorrichtung beschrieben, bei der mehrere CCD-Kameras und eine Stereoskopbildverarbeitungseinrichtung zum Erkennen von um das Fahrzeug vorhandenen Hindernissen verwendet werden, um den Fahrzeugführer zu informieren. Dieses Hinderniserkennungssystem kann nicht nur eine Richtung und eine Form eines Hindernisses erkennen, sondern auch einen exakten Abstand zum Hindernis bestimmen.

Bei autonom oder selbständig fahrenden Fahrzeugen wird, um während der Fahrt eine Kollision oder einen Kontakt mit Hindernissen zu vermeiden, ein Verfahren angewendet, gemäß dem das Vorhandensein bzw. das Nichtvorhandensein von Hindernissen unter Verwendung eines Infrarotsensors oder eines Ultraschallsensors erfaßt wird, wobei, wenn ein Hindernis vorhanden ist, eine Steuerung, wie beispielsweise eine Steuerung zum Anhalten des Fahrzeugs, ausgeführt wird.

Außerdem können gemäß einer kürzlich vorgeschlagenen intelligenten Steuerung für einen autonomen Fahrbetrieb für ein Fahrzeug, bei der die vorstehend erwähnte Stereoskopbildverarbeitungseinrichtung zum Erkennen von in der Nähe des Fahrzeugs vorhandenen Hindernissen verwendet wird, mehrere Hindernisse gleichzeitig erfaßt werden, um die Richtung und die Gestalt oder Form dieser Hindernisse zu erkennen und außerdem verschiedartige Steuerungen, z. B. eine Steuerung zum Anhalten des Fahrzeugs oder zum Steuern des Fahrzeugs in die Richtung, in der kein Hindernis vorhanden ist, auszuführen.

Bei der vorstehend erwähnten Hinderniserkennungsvorrichtung, bei der Stereoskopkameras verwendet werden, tritt jedoch das Problem auf, daß, weil sie nur Hindernisse erkennen kann, die in ein Sichtfeld der Kameras kommen, z. B., Kameras, deren Linsen in Vorwärtsrichtung des Fahrzeugs ausgerichtet sind, nur im Sichtfeld der Kameras vorhandene Objekte erkannt werden können, Objekte außerhalb des Sichtfeldes jedoch nicht.

Daher besteht, wenn das Fahrzeug eine Kurve fährt bzw. eine Drehung ausführt, die Möglichkeit, daß das Fahrzeug mit einem an der Ecke stehenden Hindernis kollidiert. Um dies zu verhindern, könnten leicht zusätzliche Kameras installiert werden, um an beiden Seiten des Fahrzeugs angeordnete Hindernisse zu erfassen, wobei diese Idee jedoch nicht geeignet ist, weil zusätzliche Kamerapositionen vorgesehen sein müssen und die Kosten zunehmen.

Insbesondere im Fall eines autonom fahrenden Fahrzeugs, z. B. eines unbemannten Bodenreinigungsfahrzeugs, das Bodenreinigungsarbeiten ausführt, ist es häufig erforderlich, einen genauen Arbeitsvorgang um ein Hindernis auszuführen. D. h., das Fahrzeug muß in der Lage sein, jedes um das Fahrzeug angeordnete Hindernis zu erkennen. In diesem Fall ist es aus dem gleichen Grund, wie im vorstehend erwähnten Fall, unzulässig, zusätzliche Kameras oder ähnliche Einrichtungen zu installieren.

Aus der DE-A-43 08 776 ist ein System zur Überwachung des fahrzeugexternen Zustands bekannt, bei dem die Distanz zwischen einem fahrenden Fahrzeug und einem Objekt über eine abgebildete Darstellung bestimmt wird. Dabei werden dreidimensionale Objekte oder die Straßenform mit Position oder Ausdehnung ebenfalls erfaßt. Ein Objekt innerhalb einer festen Region außerhalb eines Fahrzeugs wird mittels eines optischen Stereoskopsystems abgebildet, das einer Bildverarbeitungsvorrichtung das aufgenommene Bild zuführt, die eine Distanzverteilung über das gesamte Bild berechnet. Eine dreidimensionale Straßen-/Objektdetektorvorrichtung berechnet dreidimensionale Positionen jeweiliger Objektabschnitte entsprechend der Distanzverteilungsinformation, um die Form der Straße und mehrere dreidimensionale Objekte unter Verwendung der dreidimensionalen Positionen zu berechnen.

Aus der DE-C-41 10 132 sowie den Veröffentlichungen "Towards All Around Automatic Visual Obstacle Sensing for Cars" und "3-D Image Recognition System by Means of Stereoscopy Combined with Ordinary Image Processing" sind weitere diesbezügliche Systeme bekannt.

Daher ist es eine Aufgabe der vorliegenden Erfindung, eine Objekterkennungsvorrichtung bereitzustellen, durch die Objekte um das Fahrzeug über einen weiten Bereich erfaßt werden können, ohne daß zusätzliche Kameras, Ultraschallsensoren oder andere komplizierte Objekterfassungsvorrichtungen verwendet werden. Diese Aufgabe wird durch die Merkmale der Patentansprüche gelöst.

Die Erfindung wird nachstehend unter Bezug auf die beigefügten Zeichnungen beschrieben; es zeigen:

Fig. 1 ein Funktionsblockdiagramm eines Fahrtunterstützungssystems, bei dem eine erste Ausführungsform einer erfindungsgemäßen Objekterfassungsvorrichtung verwendet wird;

Fig. 2 eine schematische Seitenansicht zum Darstellen des Gesamtaufbaus eines Fahrtunterstützungssystems, bei dem die erste Ausführungsform einer erfindungsgemäßen Objekterfassungsvorrichtung verwendet wird;

Fig. 3 eine schematische Draufsicht zum Darstellen des Gesamtaufbaus eines Fahrtunterstützungssystems, bei dem die erste Ausführungsform einer erfindungsgemäßen Objekterfassungsvorrichtung verwendet wird;

Fig. 4 eine Ansicht zum Erläutern von bei der ersten Ausführungsform der vorliegenden Erfindung verwendeten Positionsinformationen über um das Fahrzeug angeordnete Objekte;

Fig. 5 eine Ansicht zum Erläutern einer gemäß der ersten Ausführungsform der vorliegenden Erfindung erfaßten Positionsänderung eines Objekts;

Fig. 6 eine Ansicht zum Darstellen von bei der ersten Ausführungsform der vorliegenden Erfindung vorgesehenen Gefahrennäherungslinien;

Fig. 7 ein Ablaufdiagramm einer ersten Ausführungsform eines erfindungsgemäßen Fahrtunterstützungssystems;

Fig. 8 ein Funktionsblockdiagramm einer zweiten Ausführungsform eines erfindungsgemäßen Fahrtunterstützungssystems;

Fig. 9 eine schematische Seitenansicht zum Darstellen des Gesamtaufbaus eines Fahrtunterstützungssystems, bei dem eine zweite Ausführungsform einer erfindungsgemäßen Objekterfassungsvorrichtung verwendet wird;

Fig. 10 eine schematische Draufsicht zum Darstellen des Gesamtaufbaus eines Fahrtunterstützungssystems, bei dem eine dritte Ausführungsform einer erfindungsgemäßen Objekterfassungsvorrichtung verwendet wird;

Fig. 11 ein Ablaufdiagramm der zweiten Ausführungsform eines erfindungsgemäßen Fahrtunterstützungssystems;

Fig. 12 ein Funktionsblockdiagramm eines Steuerungssystems für einen autonomen Fahrbetrieb, bei dem die dritte Ausführungsform einer erfindungsgemäßen Objekterfassungsvorrichtung verwendet wird;

Fig. 13 eine schematische Seitenansicht zum Darstellen des Gesamtaufbaus eines Steuerungssystems für einen autonomen Fahrbetrieb, bei dem die dritte Ausführungsform einer erfindungsgemäßen Objekterfassungsvorrichtung verwendet wird;

Fig. 14 eine schematische Draufsicht zum Darstellen des Gesamtaufbaus eines Steuerungssystems für einen autonomen Fahrbetrieb, bei dem die dritte Ausführungsform einer erfindungegemäßen Objekterfassungsvorrichtung verwendet wird;

Fig. 15 eine Ansicht zum Erläutern von bei der dritten Ausführungsform der vorliegenden Erfindung verwendeten Positionsinformationen von um ein Fahrzeug angeordneten Objekten;

Fig. 16 ein Ablaufdiagramm für die dritte Ausführungsform eines erfindungsgemäßen Steuerungssystems für einen autonomen Fahrbetrieb;

Fig. 17 ein Funktionsblockdiagramm einer vierten Ausführungsform eines erfindungsgemäßen Steuerungssystems für einen autonomen Fahrbetrieb;

Fig. 18 eine schematische Seitenansicht zum Darstellen des Gesamtaufbaus eines Steuerungssystems für einen autonomen Fahrbetrieb, bei dem eine vierte Ausführungsform einer erfindungsgemäßen Objekterfassungsvorrichtung verwendet wird;

Fig. 19 eine schematische Draufsicht zum Darstellen des Gesamtaufbaus eines Steuerungssystems für einen autonomen Fahrbetrieb, bei dem eine vierte Ausführungsform einer erfindungsgemäßen Objekterfassungsvorrichtung verwendet wird;

Fig. 20 eine Ansicht zum Erläutern von bei der vierten Ausführungsform der vorliegenden Erfindung verwendeten Positionsinformationen von um ein Fahrzeug angeordneten Objekten; und

Fig. 21 ein Ablaufdiagramm der vierten Ausführungform eines erfindungsgemäßen Steuerungssystems für einen autonomen Fahrbetrieb.

Fig. 2 und 3 zeigen ein motorbetriebenes Fahrzeug 1 mit einem Fahrtunterstützungssystem 2 zum Unterstützen eines Fahrers hinsichtlich der Beurteilung der Möglichkeit eines Zusammenstoßes des Fahrzeugs mit Hindernissen auf einer Straße, wie beispielsweise Seitenwänden, Leitschienen, Stangen, Pfählen oder Lichtmasten, geparkten Autos und ähnlichen Hindernissen, und zum Darstellen des Ergebnisses dieser Beurteilung für den Fahrer.

Das Fahrtunterstützungssystem 2 weist auf: ein stereoskopisches optisches System 3 zum Aufnehmen von in einem vorgegebenen Bereich außen angeordneten Objekten, einen Lenkwinkelsensor 4 zum Erfassen eines Lenkwinkels, einen Hinterrad-Drehzahlsensor 5 zum Erfassen der Drehzahl eines Hinterrads, eine Steuerungsvorrichtung 6, durch die beurteilt wird, ob eine enge Straße durchfahren werden kann, oder die Möglichkeit einer Kollision mit Hindernissen besteht, und einen Anzeigeabschnitt 7, durch den ein Fahrzeugführer über das Ergebnis der Beurteilung informiert wird.

Das stereoskopische optische System 3 besteht aus einem Paar CCD-Kameras 3L, 3R (eine linke bzw. eine rechte Kamera), die in einem vorgegebenen Abstand an der Decke im vorderen Abschnitt des Fahrgastraum angeordnet sind, um Stereoskopbilder von Objekten außerhalb des Fahrzeugs aufzunehmen.

Die Steuerungsvorrichtung 6 weist eine Fahrzeug- Rundumobjekterkennungsvorrichtung 10 und einen Abschnitt 20 zum Ausgeben des Ergebnisses einer Kollisionsbeurteilung auf. Im Objekterkennungsabschnitt 10 werden Positionsinformationen über um das Fahrzeug angeordnete Objekte basierend auf dem durch das stereoskopische optische System 3 aufgenommenen Bild, dem durch den Lenksensor 4 erfaßten Lenkwinkel und der durch den Hinterrad-Drehzahlsensor 5 erfaßten Hinterrad-Drehzahl berechnet, und im Abschnitt 20 zum Ausgeben des Ergebnisses einer Kollisionsbeurteilung wird die Möglichkeit einer Kollision mit Hindernissen basierend auf den von der Fahrzeug-Rundumobjekterkennungsvorrichtung 10 erhaltenen Positionsinformationen von Objekten, falls erforderlich, ausgegeben.

Der Anzeigeabschnitt 7 besteht aus mehreren lichtemittierenden Objekten, wie beispielsweise elektrischen Lampen oder Leuchtdioden. Davon bezeichnen die Bezugszeichen 7FL und 7FR einen an der Oberseite des linken bzw. des rechten Kotflügels der Fahrzeugkarrosserie angeordneten Anzeigeabschnitt. Die Bezugszeichen 7IL und 7IR bezeichnen einen im Armaturenbrett bzw. in der Instrumententafel angeordneten Anzeigeabschnitt, und Bezugszeichen 7S bezeichnet einen in der Nähe des Seitenspiegels an der Beifahrerseite angeordneten Anzeigeabschnitt. Diese Anzeigeabschnitte werden gemäß Ausgangssignalen vom Abschnitt 20 zum Ausgeben des Ergebnisses einer Kollisionsbeurteilung aktiviert. Sie sind beispielsweise so aufgebaut, daß eine rote Lampe flimmert oder eingeschaltet wird, wenn festgestellt wird, daß eine Kollision auftreten wird, eine gelbe Lampe flimmert oder eingeschaltet wird, wenn festgestellt wird, daß eine Kollision in Abhängigkeit von der zukünftigen Lenkungsbetätigung des Fahrers auftreten kann, und eine grüne Lampe eingeschaltet ist, wenn festgestellt wird, daß zwischen dem Fahrzeug und Objekten genügend Raum vorhanden ist bzw. keine Kollisionsgefahr besteht.

Die Fahrzeug-Rundumobjekterkennungsvorrichtung 10 weist ferner einen Stereoskopbildverarbeitungsabschnitt 11, einen Objekterkennungsabschnitt 12, einen Abschnitt 13 zum Berechnen von Objektpositionsinformationen und einen Speicherabschnitt 14 auf.

Im Stereoskopbildverarbeitungsabschnitt 11 wird eine Abstandsinformation gemäß einem Triangulationsprinzip aus einem Gesamtbild erhalten, das aus einem Paar durch das stereoskopische optische System 3 aufgenommenen Stereoskopbilder besteht, werden Abstandsbilder, die dreidimensionale Abstandsverteilungen aufweisen, basierend auf dieser Abstandsinformation gebildet und diese Abstandsbilder an den Objekterkennungsabschnitt 12 ausgegeben. Daher wird durch das stereoskopische optische System 3 und den Stereoskopbildverarbeitungsabschnitt 11 eine Objekterfassungseinrichtung gebildet.

Im einzelnen werden im Stereoskopbildverarbeitungsabschnitt 11 die Abstandsverteilungen durch Auffinden einer Übereinstimmung von Helligkeits- oder Farbmustern zwischen dem linken und dem rechten Bild für jeden kleinen Bereich erhalten, durch die ein vorgegebenes Bild gebildet wird. Wenn das "i"-te Bildelement des linken und des rechten Bildes als Ai bzw. Bi dargestellt wird (bezüglich der Helligkeit oder der Farbe), wird die Bestimmung der Übereinstimmung zwischen dem linken und dem rechten Bild basierend auf dem folgenden City-Blockabstand H durchgeführt. D. h., es wird festgestellt, daß der linke und der rechte kleine Bereich miteinander übereinstimmen, wenn der Minimalwert des City-Blockabstands H eine vorgegebene Bedingung erfüllt.



H = Σ |Ai - Bi| (1)

Die Abstandsverteilungsinformation, d. h. die Abstandsbilder, sind in einer vorgegebenen Größe des Bildes (z. B. 400 × 200 Bildelementen) in einem Koordinatensystem angeordnet. In diesem Beispiel hat das Koordinatensystem einen Ursprung an der linken oberen Ecke, wobei eine "i"-Achse in Querrichtung und eine "j"-Achse in Längsrichtung angeordnet sind.

Der Objekterkennungsabschnitt 12 ist eine Objekterkennungseinrichtung zum Extrahieren mehrerer vor dem Fahrzeug angeordneter Objekte aus dem Abstandsbild, zum Berechnen der Position und der Größe jedes Objekt und zum Erzeugen eines Bildes einer Grenz- oder Umrißlinie des Objekts. Beim Extrahieren eines Objekts wird basierend auf einer Höheninformation in den dreidimensionalen Positionsdaten des Objekts unterschieden zwischen dem Objekt und der Straße, und durch die Abstandsinformation wird das Objekt vom Hintergrund getrennt. Weil diese Höhen- oder Abstandsinformationen aus einem Bezugskoordinatensystem erhalten werden, wird zunächst das Koordinatensystem im Stereoskopbildverarbeitungsabschnitt 11 in ein neues Koordinatensystem im realen Raum oder Realraum um das Fahrzeug 1 transformiert.

Dieses praktische Koordinatensystem im Realraum wird durch orthogonale Koordinaten gebildet, deren Ursprung auf die Mitte des Fahrzeugs 1 festgelegt ist (exakt auf einen Punkt der Straßenoberfläche unmittelbar unter der Fahrzeugmitte), wobei die X-Achse des Koordinatensystems in Seiten- oder Querrichtung des Fahrzeugs 1, die Y-Achse in Längsrichtung des Fahrzeugs und die Z-Achse in vertikaler Richtung des Fahrzeugs ausgerichtet ist. In diesem Fall stimmt die X- Y-Ebene (Z = 0) mit der Straßenoberfläche überein, vorausgesetzt, daß die Straße eben ist. Um die dreidimensionale Position (X, Y, Z) eines Objekts im Realraumkoordinatensystem aus der Abstandsinformation (i, j) im Bild zu berechnen, wird gemäß den folgenden Gleichungen (2) und (3) eine Koordinatentransformation durchgeführt.



Z = CH - Y × PW × (j - JV) (2)



X = r/2 - ρ + Y × PW × (i - IV) (3)



wobei

CH: Höhe der Kameras

PW: Sichtwinkel je Bildelement

IV: i-Koordinate eines unendlich entfernten Punktes in Geradeausrichtung vor dem Fahrzeug 1

JV: j-Koordinate eines unendlich entfernten Punktes in Geradeausrichtung vor dem Fahrzeug 1

r: Abstand zwischen den beiden Kameras

ρ: Abweichung des Mittelpunktes der beiden Kameras von der Fahrzeugmitte

Umgekehrt wird die Abstandsinformation (i, j) im Bild aus der dreidimensionalen Koordinate (X, Y, Z) des Realraumkoordinatensystems gemäß den folgenden Gleichungen (4) und (5) berechnet, die durch Transformation der Gleichungen (2) und (3) erhalten werden.



j = (CH - Z)/(Y × PW) + JV (4)



i = (X - r/2 + ρ)/(Y × PW) + IV (5)

Außerdem wird im Objekterkennungsabschnitt 12, wie nachstehend beschrieben wird, eine "Objekterkennung", wie beispielsweise die Erkennung von Hindernissen, z. B. von geparkten Automobilen, getrennt von einer "Wanderfassung", z. B. der Erfassung von Seitenwänden an der Straßenseite, durchgeführt. Bei einer "Objekterkennung" wird nur ein Objekt aus den Abstandsbilddaten vom Stereoskopbildverarbeitungsabschnitt 11 ausgewählt, das die Fahrt des Fahrzeug behindern kann. Das Abstandsbild wird in vertikaler Richtung in mehrere Abschnitte unterteilt. Die Breite eines Abschnitts beträgt 8 bis 20 Bildelemente. Bei dieser Ausführungsform werden, weil 400 Bildelemente in der Seitenrichtung angeordnet sind, in einem Bild 20 bis 50 Abschnitte gebildet. Im Objekterkennungsabschnitt 12 können, weil für jeden Abschnitt Objekte erfaßt werden, mehrere Objekte gleichzeitig erfaßt werden. Daraufhin wird auch der Abstand zu den erfaßten Objekten berechnet.

Bezüglich den Objekten jedes Abschnitts wird aus der Koordinate (i, j) des Bildes und dem Abstandsdatenelement Y unter Verwendung der vorstehenden Gleichungen (2) und (3) eine dreidimensionale Position (X, Y, Z) eines Objekts im Realraum berechnet. Die Höhe H des Objektes bezüglich der Straßenoberfläche wird gemäß der folgenden Gleichung berechnet:



H = Z - Zr (6)



wobei % die Höhe der Straßenoberfläche ist. Allgemein wird vorausgesetzt, daß Zr = 0,0 m beträgt, außer für den Fall, wenn das Fahrzeug geneigt ist oder sich in vertikaler Richtung bewegt. Wenn die Höhe des Objekt kleiner ist als etwa 0,1 m, wird angenommen, daß das Objekt kein Hindernis ist, so daß die Daten des Objekts verworfen werden. Daher werden Daten der Straße selbst, von Fahrbahnmarkierungen, Schatten und ähnliche Daten aus den Bilddaten gelöscht. Andererseits können Objekte, deren Höhe größer ist als das Fahrzeug, verworfen werden, weil angenommen wird, daß diese Fußgängerbrücken, Straßenschilder und ähnliche Einrichtungen sind. Daher werden nur Objekte ausgewählt, durch die die Fahrt behindert wird. Durch diese Verarbeitung der Höhendaten, können im zweidimensionalen Bild der Straße überlagerte Objekte von der Straße unterschieden werden.

Daraufhin wird bezüglich der Daten der derart extrahierten Objekte eines Abschnitts die Anzahl der in einem vorgegebenen Abstand Y enthaltenen Daten gezählt, und es wird ein Histogramm erzeugt, dessen Abszissenachse der Abstand Y ist. Der vorgegebene Abstand Y wird festgelegt, indem die Erfassungsgrenze, die Erfassungsgenauigkeit, die Form des Objektes und ähnliche Faktoren berücksichtigt werden.

Weil im derart erzeugten Histogramm fehlerhaft erfaßte Werte enthalten sind, erscheinen einige wenige Daten an einer Position, wo tatsächlich kein Objekt vorhanden ist. Wo auch immer ein Objekt mit einer gewissen Größe vorhanden ist, tritt an der Position, wo das Objekt vorhanden ist, eine große Häufigkeit von Datenpunkten auf. An Positionen, wo kein Objekt vorhanden ist, erscheint dagegen eine geringe Häufigkeit von Datenpunkten.

Wenn daher die Häufigkeit bei einem bestimmten Abstand Y einen vorgegebenen Wert überschreitet, wird festgestellt, daß dort ein Objekt vorhanden ist. Wenn die Häufigkeit über einen bestimmten Bereich kleiner ist als der vorgegebene Wert, wird festgestellt, daß innerhalb dieses Bereichs kein Objekt vorhanden ist, wodurch ein nachteiliger Einfluß durch Rauschen eliminiert werden kann.

Wenn festgestellt wird, daß Objekte vorhanden sind, wird der Abstand Y zu dem Objekt durch Bilden eines Mittelwertes der Abstandsdaten Y und der Daten in der Nähe von Y erhalten. Diese Verarbeitungen zum Erfassen von Objekten und zum Berechnen des Abstands werden für alle Abschnitte ausgeführt. Wenn der Unterschied zwischen dem Abstand zu einem erfaßten Objekt in einem bestimmten Abschnitt und dem Abstand zu einem erfaßten Objekt in einem in der Nähe angeordneten Abschnitt kleiner ist als ein vorgegebener Wert, wird angenommen, daß diese Objekte das gleiche Objekt darstellen. Wenn diese Differenz dagegen größer ist als ein vorgegebener Wert, werden diese Objekte als verschiedene Objekte betrachtet. Daher kann, auch wenn mehrere Objekte einander überlagert sind, ein unabhängiges Objekt durch die unterschiedlichen Abstände identifiziert werden.

Nachstehend wird die Transformation der erfaßten Objekte im dreidimensionalen Raum in den zweidimensionalen Raum beschrieben. Zunächst wird ein "dreidimensionales Fenster" eingerichtet, das die Objekte enthält, und dann wird aus diesem "dreidimensionalen Fenster" ein "zweidimensionales Fenster" erzeugt. Im einzelnen werden zweidimensionale Koordinaten (in, jn) unter Verwendung der vorstehenden Gleichungen (4) und (5) bezüglich jedem von acht Eckpunkten (Xn, Yn, Zn) eines dreidimensionalen Fensters berechnet, und es werden Polygone durch Umhüllen dieser zweidimensionalen Koordinaten (in, jn) erzeugt. Dadurch werden Umrißlinien der Objekte aus den im dreidimensionalen Fenster enthaltenen Daten extrahiert.

Hinsichtlich der Wanderfassung im Objekterkennungsabschnitt 12, wird die Seitenwand auf der Straßenseite durch den Höhenunterschied zwischen der Seitenwand und der Straßenoberfläche von der Straße unterschieden. Die Seitenwand wird durch den Unterschied der Abstände in der Seiten- und in der Längsrichtung des Bildes vom fernen Hintergrund unterschieden.

D. h., es werden aus der Abstandverteilungsinformation zunächst nur Daten von Objekten extrahiert, die höher sind als die Straßenoberfläche, daraufhin werden daraus nur in einem vorgegebenen Suchbereich der Seitenwand vorhandene Daten der Seitenwand extrahiert, wenn die Seitenwand existiert, wobei ihre Position durch lineare Gleichungen durch Anwenden eines Huff-Transformationsverfahrens dargestellt wird. Basierend auf diesen linearen Gleichungen wird, indem ein Seitenwandexistenzbereich eingerichtet wird, in dem die Seitenwand vermutet wird, das nächste und das entfernteste Ende der Seitenwand von diesen Objektdaten im Seitenwandexistenzbereich erfaßt.

D. h., weil die Seitenwand auch ein Objekt ist, werden zunächst Daten von Objekten, die höher sind als die Straßenobefläche, aus dem Abstandsbild extrahiert. Daraufhin werden die Daten von Objekten, die niedriger sind als eine Höhe von etwa 0,1 m, verworfen, weil vorausgesetzt wird, daß diese Fahrbahnmarkierungen, Verschmutzungen, Schatten oder ähnliche Objekte auf der Straße darstellen. Außerdem werden Daten von Objekten, die höher sind als die Höhe des Fahrzeugs, verworfen, weil diese als Fußgängerbrücken, Verkehrszeichen und ähnliche Einrichtungen betrachtet werden. Daher werden nur Objekte über der Straßenoberfläche ausgewählt.

Wenn die derart extrahierten Daten verarbeitet werden, wird, weil es nicht effizient ist, alle Daten im Bild zu verarbeiten, eine Grenze in einem Suchbereich festgelegt, in dem die Seitenwand gesucht werden soll.

Allgemein sind die Seitenwände an der linken und der rechten Seite der Straße parallel zum Fahrzeug 1 angeordnet. Außerdem können Daten der weit vom Fahrzeug entfernten Seitenwand aus den erforderlichen Daten gelöscht werden. Wenn dies berücksichtigt wird, werden zwei Suchbereiche an der linken bzw. der rechten Straßenseite eingerichtet, und die Erfassung wird getrennt für jeden Suchbereich durchgeführt.

Anschließend werden die zweidimensionalen Positionen (X-, Y-Koordinaten) der in jedem der Suchbereiche enthaltenen Objekte berechnet. Weil die Daten in den Suchbereichen nicht nur Daten der Seitenwand selbst, sondern auch Raten anderer Objekte enthalten, sind auch Rauschdaten enthalten. Aus diesen verschiedenartigen Daten werden unter Verwendung des Huff-Transformationsverfahrens nur linear angeordnete Daten extrahiert, und die Umrißlinie der Seitenwand wird erzeugt.

Im einzelnen wird, wenn die Erfassung der linearen Gleichung gemäß der Huff-Transformation zunächst bezüglich einer Position (Xi, Yi) eines Objekts beschrieben wird, eine durch Pi verlaufende gerade Linie Fi vorausgesetzt. Die Gleichung der geraden Linie wird dargestellt durch:



X = afi × Y + bfi (7)

Anschließend wird, wenn ein Parameterraum vorausgesetzt wird, durch den ein Gradient af und ein Achsenabschnitt oder Abschnitt bf parametrisiert werden, eine Häufigkeitsbestimmung der Kombination der Parameter afi und bfi bezüglich Pi (Xi, Yi) vorgenommen.

Weil vorausgesetzt wird, daß die Seitenwand etwa parallel zum Fahrzeug 1 angeordnet ist, sollte der Wert des Gradienten afi groß genug sein, z. B. im Bereich von ±20 Grad liegen. Außerdem sollte der Wert des Abschnitts bfi -1 m bis -10 m an der linken Straßenseite und +1 m bis +10 m an der rechten Straßenseite betragen, weil die Erfassung einer weit vom Fahrzeug entfernten Seitenwand in der Praxis nicht erforderlich ist.

Durch diese Festlegung der Bereiche wird ein rechteckiger Bereich gebildet, in dem Häufigkeitsermittlungen vorgenommen werden. Außerdem wird dieser rechteckige Bereich in mehrere Gitter unterteilt. Der Gradient afi von Gleichung (7) wird um ein Gitterintervall Δaf innerhalb des vorgegebenen Bereichs (z. B. ±20 Grad) geändert. Durch Ersetzen dieses Gradienten afi und der Koordinaten (Xi, Yi) der Objektdaten Pi in Gleichung (7), wird der Wert des Abschnitts bfi erhalten. Wenn der derart erhaltene Wert bfi innerhalb des vorgegebenen Bereichs liegt, wird für ein entsprechendes Gitter des Parameterraums ein Zählwert vorwärts gezählt.

Die Positionsgenauigkeit der erfaßten Seitenwand, d. h. die Erfassungsgenauigkeit des Gradienten und des Abschnitts der linearen Gleichung, ist abhängig von Δaf und Δbf. Bei der Bestimmung des Gitterintervalls von Δaf wird Δbf unter Verwendung dieser Seitenwandinformation dem erforderlichen Pegel der Peripheriegeräte angepaßt.

Wenn als Ergebnis der Häufigkeitsermittlung im Parameterraum Daten in einer geraden Linie angeordnet sind, enthält das den Parametern afi, bfi der geraden Linie entsprechende Gitter einen hohen Zählwert. Dadurch erscheint im linken und im rechten Häufigkeitsermittlungsbereich ein lokales Maximum.

Wenn eine Seitenwand vorhanden ist, d. h., eine offensichtliche Anordnung von Objektdaten existiert, stellt das lokale Maximum einen großen Wert dar. Wenn dagegen keine Seitenwand vorhanden ist, d. h., Objektdaten verstreut verteilt sind, stellt das lokale Maximum einen kleinen Wert dar. Daher kann festgestellt werden, ob eine Seitenwand vorhanden ist, indem erfaßt wird, ob der Wert des lokalen Maximums größer ist als ein vorgegebener Entscheidungswert. Dieser Entscheidungswert wird unter Berücksichtigung der Größe des Suchbereichs, des Gitterintervalls und ähnlicher Faktoren festgelegt.

Anschließend wird, wenn eine Seitenwand vorhanden ist, die Position des nächsten und des am weitesten entfernten Endes erfaßt. Zunächst wird ein Wandexistenzbereich durch eine gerade Linie festgelegt, entlang der eine Seitenwand vermutet wird. Der Wandexistenzbereich hat eine Breite von 0,3 m bis 1,0 m, wobei die gerade Linie in der Mitte angeordnet ist. Außerdem wird, nachdem dieser Bereich in der Y- Richtung in Scheiben unterteilt wurde, die Anzahl der Objektdaten in der Scheibe vorwärts gezählt, um ein Histogramm zu erstellen. Wenn eine Scheibe gefunden wird, in der die Häufigkeit größer ist als ein vorgegebener Wert, wird festgestellt, daß in deren Nähe eine Seitenwand vorhanden ist. Daher wird die dreidimensionale Position für alle Seitenwände berechnet, und das nächste und das am weitesten entfernte Ende werden erfaßt.

Bei den vorstehenden Verarbeitungen werden Parameter der Position von Objekten auf Straßen, der Form von Objekten und andere Parameter aus dem Abstandsbild gelesen und dem Abschnitt 13 zum Berechnen von Objektpositionsinformationen zugeführt, der eine Einrichtung zum Berechnen von Objektpositionsinformationen bildet.

Im Abschnitt 13 zum Berechnen von Objektpositionsinformationen werden, nachdem die im Speicherabschnitt 14 gespeicherten Objektpositionsinformationen aktualisiert wurden, basierend auf dem durch den Lenksensor 4 erfaßten Lenkwinkel, der durch den Hinterrad-Drehzahlsensor 5 erfaßten Drehzahl des Hinterrades und der vom Objekterkennungsabschnitt 12 erhaltenen Information neue Positionsinformationen von Objekten um das Fahrzeug berechnet.

Gemäß Fig. 4 sind die neuen Positionsinformationen von Objekten um das Fahrzeug Positionsinformationen innerhalb eines Bereichs QRST, die durch neu erhaltene Informationen (Informationen innerhalb eines Bereichs PQR) vom Objekterkennungsabschnitt 12 und durch zuvor vom Objekterkennungsabschnitt 12 erhaltene Informationen gebildet werden.

D. h., wenn das Fahrzeug eine Strecke M zurückgelegt hat und neue Positionsinformationen des Bereichs PQR vom Objekterkennungsabschnitt 12 erhalten werden, werden die vorhergehenden Positionsinformationen eines Bereichs Q'R'S'T' aktualisiert. In diesem Fall werden die aus dem Speicherbereich überlaufenden Daten (Daten eines Bereichs TSS'T') und die (mit den neu erhaltenen Daten des Bereichs PQR überlappenden) Daten eines Bereichs PEF gelöscht und dann die neuen Positionsinformationen des Bereichs PQR hinzugefügt. Die derart erhaltenen Daten der aktuellen Objektpositionsinformation werden wieder im Speicherabschnitt 14 gespeichert und an den Abschnitt 20 zum Ausgeben des Ergebnisses einer Kollisionsbeurteilung ausgegeben. Fig. 4 zeigt anhand eines leicht verständlichen Beispiels den Fall eines in Geradeausrichtung fahrenden Fahrzeugs, wobei die aktuellen Objektpositionsinformationen jedoch auf ähnliche Weise erhalten werden können, wenn das Fahrzeug eine Kurve fährt bzw. eine Drehung ausführt.

Daher können gemäß der im Zusammenhang mit der ersten Ausführungsform der vorliegenden Erfindung beschriebenen Fahrzeug-Rundumobjekterkennungsvorrichtung 10, weil die Position eines Objekts auch dann bekannt ist, nachdem dieses Objekt das Sichtfeld einer Kamera verlassen hat, Objekte um das Fahrzeug in einem breiten Bereich erfaßt werden, ohne daß zusätzliche Kameras oder andere komplizierte Vorrichtungen erforderlich sind.

Die neuen Objektpositionsinformationen werden gemäß nachstehenden Gleichungen aus den vorhergehenden Objektpositionsinformationen erhalten.

Gemäß Fig. 5 bewegt sich, wenn das Fahrzeug in Geradeausrichtung fährt, ein Objekt an einem Punkt A (xa, ya) zum Punkt B (xb, yb). In diesem Fall ist, weil das Fahrzeug geradeaus fährt, xa = xb. Wenn vorausgesetzt wird, daß der Fahrwert des Hinterrades ΔM beträgt, gilt yb = ya - ΔM. Die durch (xold, yold) dargestellte vorangehende Position verschiebt sich gemäß den folgenden Gleichungen zur durch (xnew, ynew) dargestellten neuen Position:



xnew = xold (8)



ynew = yold - ΔM (9)

Außerdem verschiebt sich, wenn das Fahrzeug eine Drehung mit dem Punkt P (XCE, YCE) als Mittelpunkt ausführt, der Punkt B (xb, yb) zum Punkt C (xc, yc). Wenn der Lenkwinkel durch δ dargestellt wird, werden die Koordinaten des Punktes PC durch folgende Gleichungen dargestellt:



XCE = f(δ) (10)



YCE = 0 (11)



wobei f(δ) ein unter Bezug auf eine vorgegebene Tabelle, durch die der Lenkwinkel δ parametrisiert wird, erhaltener Wert ist.

Der Drehwinkel θc bei Kurvenfahrt wird durch folgende Gleichung dargestellt:



θc = ΔM/(XCE - XW) (12)



wobei XW ein Offset-Wert des Hinterrades in X-Richtung bezüglich der Kameraposition ist.

Wenn das Fahrzeug eine Drehung um den Drehwinkel θc ausführt, verschiebt sich die vorhergehende Objektposition der Koordinate (xold, yold) zur Koordinate (xnew, ynew), die folgendermaßen berechnet wird:



xnew = r × cos(a + θc) + XCE (13)



ynew = r × sin(a + θc) + YCE (14)



wobei



r = ((xold - XCE)2 + (yold - YCE)2)1/2



a = arctan((yold - YCE)/(xold - XCE))

Im Abschnitt 20 zum Ausgeben des Ergebnisses einer Kollisionsbeurteilung wird die Wahrscheinlichkeit einer Kollision mit einem Objekt basierend auf der derart erhaltenen Objektpositionsinformation und einer gespeicherten Information über die äußere Form des Fahrzeugs beurteilt, und das Beurteilungsergebnis wird an den vorstehend erwähnten Anzeigeabschnitt 7 ausgegeben.

Wie in Fig. 6 dargestellt, sind an der linken und an der rechten Seite des Fahrzeugs eine linke Gefahrennäherungslinie LA und eine rechte Gefahrennäherungslinie RA eingerichtet. Wenn das Objekt oder Hindernis innerhalb dieser Gefahrennäherungslinien LA und RA vorhanden ist, wird eine der Warnlampen 7FL, 7FR, 7IL und 7IR ausgewählt, um ein rotes Licht einzuschalten. Wenn beispielsweise das Objekt an der linken Seite des Fahrzeugs vorhanden ist, leuchten die Warnlampe 7FL auf dem linken Kotflügel und die Warnlampe 7IL auf der Instrumententafel bzw. dem Armaturenbrett auf. Wenn dagegen das Objekt an der rechten Seite des Fahrzeugs vorhanden ist, leuchten die Warnlampe 7FR auf dem rechten Kotflügel und die Warnlampe 7IR auf der Instrumententafel bzw. dem Armaturenbrett auf.

Ferner sind eine linke Gefahrennäherungslinie LB und eine rechte Gefahrennäherungslinie RB außerhalb der Gefahrennäherungslinien LA bzw. RA eingerichtet. Wenn das Objekt zwischen der Gefahrennäherungslinie LA und der Gefahrennäherungslinie LB vorhanden ist, wird festgestellt, daß das Fahrzeug in Abhängigkeit von der Handhabung bzw. Bedienung des Fahrzeugs durch den Fahrer zukünftig mit dem Objekt kollidieren kann, wobei ein gelbes Licht in den Warnlampen 7FL und 7IL aufleuchtet. Wenn dagegen das Objekt zwischen der Gefahrennäherungslinie RA und der Gefahrennäherungslinie RB vorhanden ist, leuchtet ähnlicherweise ein gelbes Licht in den Warnlampen 7FR und 7IR auf.

Außerdem wird, wenn das Objekt außerhalb der Gefahrennährungslinien LB und RB vorhanden ist, festgestellt, daß zwischen dem Objekt und dem Fahrzeug ein geeigneter Abstand vorhanden ist, so daß keine Kollisionsgefahr besteht. In diesem Fall wird in den Warnlampen 7FL und 7IL ein grünes Licht eingeschaltet, usw.

Im in Fig. 6 dargestellten Beispiel sind die Gefahrennäherungslinien LA, RA, LB und RB gerade, parallel zueinander verlaufende Linien, diese Linien müssen jedoch nicht notwendigerweise gerade oder parallel verlaufen. Es kann eine beliebige Form von Linien oder Kurven ausgewählt oder in Abhängigkeit von der Fahrzeuggeschwindigkeit oder dem Lenkwinkel verändert werden.

Nachstehend wird die erste Ausführungsform einer erfindungsgemäßen Fahrtunterstützungssteuerung unter Bezug auf das in Fig. 7 dargestellte Ablaufdiagramm beschrieben.

Zunächst werden bei Schritt (nachstehend als S bezeichnet) 101 ein Lenkwinkel δ und ein aus der Drehzahl des Hinterrades berechneter Fahrwert des Hinterrades vom Lenkwinkelsensor 4 bzw. vom Hinterrad-Drehzahlsensor 5 gelesen. Außerdem wird gleichzeitig eine vorangehende Objektpositionsinformation vom Speicherabschnitt 14 des Fahrzeug- Rundumobjekterkennungsabschnitts 10 gelesen.

Daraufhin schreitet das Programm zu S102 fort, wo festgestellt wird, ob das Fahrzeug 1 eine Drehung ausführt oder geradeaus fährt. Wenn es geradeaus fährt, schreitet das Programm zu S103 fort, und wenn es eine Drehung ausführt, schreitet das Programm zu S104 fort.

Wenn das Programm zu S103 fortschreitet, wird die Objektpositionsinformation durch Addieren eines Fahrwerts ΔM des Hinterrades zur neuen Objektpositionsinformation verschoben. (vergl. Gleichungen (8) und (9)).

Wenn das Programm dagegen zu S104 fortschreitet, werden der Drehmittelpunkt Pc und der Drehwinkel θc basierend auf dem Lenkwinkel δ und dem Fahrwert ΔM des Hinterrades gemäß den Gleichungen (10), (11) und (12) berechnet, und beim nächsten Schritt S105 wird die vorangehende Objektpositionsinformation so weit gedreht, wie dem Drehwinkel θc um den Drehmittelpunkt Pc entspricht. Im einzelnen wird die durch die Koordinaten (xnew, ynew) dargestellte neue Objektpositionsinformation gemäß den Gleichungen (13) und (14) berechnet.

Das Programm schreitet von S103 oder S105 zu S106 fort, wo die durch die Verarbeitung bei S103 oder S105 aus dem Speicherbereich überlaufenden Daten gelöscht werden.

Anschließend schreitet das Programm zu S107 fort, wo die mit den neu erhaltenen Objektpositionsinformationen überlappenden Daten aus den vorhergehenden Objektpositionsinformationen gelöscht werden.

Daraufhin schreitet das Programm zu S108 fort, wo die neu erhaltenen Objektpositionsinformationen gelesen werden, d. h., die Daten des Objekts, die durch die Verarbeitung des durch das stereoskopische optische System 3 aufgenommenen Bildes im Stereoskopbildverarbeitungsabschnitt 11 und im Objekterkennungsabschnitt 12 erhalten wurden. Anschließend schreitet das Programm zu S109 fort, wo diese Daten zu der bei S107 gebildeten vorangehenden Objektpositionsinformation addiert werden, um sie zu speichern. Die derart erhaltenen Objektpositionsinformationen sind aktualisierte neue Positionsinformationen über um das Fahrzeug angeordnete Objekte. Die bei den Schritten S102 bis S108 ausgeführten Verarbeitungen entsprechen den im Abschnitt 13 zum Berechnen von Objektpositionsinformationen und im Speicherabschnitt 14 ausgeführten Verarbeitungen.

Außerdem schreitet das Programm zu S110 fort, bei dem die Möglichkeit einer Kollision des Fahrzeugs mit dem Objekt basierend auf diesen aktualisierten neuen Positionsinformationen über um das Fahrzeug angeordnete Objekte unter Bezug auf die gespeicherte äußere Form des Fahrzeugs beurteilt wird. Daraufhin schreitet das Programm zu S111 fort, wo gemäß dem Ergebnis der Beurteilung bei S110 ein Signal an den Anzeigeabschnitt 7 ausgegeben wird. Die bei S110 und S111 ausgeführten Verarbeitungen entsprechen den im Abschnitt 20 zum Ausgeben des Ergebnisses einer Kollisionsbeurteilung ausgeführten Verarbeitungen.

Die vorstehenden Positionsinformationen über um das Fahrzeug angeordnete Objekte werden bei der nächsten Ausführung des Programms als die vorangehenden Objektpositionsinformationen eingelesen und verarbeitet.

Gemäß der ersten Ausführungsform einer Fahrzeug- Rundumobjekterkennungsvorrichtung 10 kann nicht nur die Position von Objekten vor dem Fahrzeug erfaßt werden, sondern es kann auch die Position von Objekten erkannt werden, die sich infolge der Bewegung des Fahrzeugs neben das Fahrzeug bewegt haben. Daher kann durch das Fahrzeugfahrtunterstützungssystem, in dem diese Fahrzeug-Rundumobjekterkennungsvorrichtung verwendet wird, die Bedienung des Fahrzeugs durch den Fahrer über einen weiten Bereich unterstützt werden.

Nachstehend wird eine zweite Ausführungsform der vorliegenden Erfindung unter Bezug auf die Fig. 8 bis 11 beschrieben.

Gemäß Fig. 8 und 9 weist das Fahrtunterstützungssystem 2 einen Drehzahlsensor 5 für das linke Hinterrad, einen Drehzahlsensor 25 für das rechte Hinterrad, eine linke CCD- Kamera, eine rechte CCD-Kamera, eine Steuerungsvorrichtung 6 und Anzeigeabschnitte 7FL bis 7S auf. Die Steuerungsvorrichtung 6 weist außerdem eine Fahrzeug-Rundumobjekterkennungsvorrichtung 10 und einen Abschnitt 20 zum Ausgeben des Ergebnisses einer Kollisionsbeurteilung auf. Die Fahrzeug- Rundumobjekterkennungsvorrichtung 10 weist ferner einen Stereoskopbildverarbeitungsabschnitt 11, einen Objekterkennungsabschnitt 12, einen Abschnitt 12 zum Berechnen von Objektpositionsinformationen und einen Speicherabschnitt 14 auf. Der Abschnitt 26 zum Berechnen von Objektpositionsinformationen berechnet basierend auf den Umdrehungszahlen des linken und des rechten Hinterrades und den im Speicherabschnitt 14 gespeicherten vorangehenden Positionsinformationen über um das Fahrzeug angeordnete Objekte neue Positionsinformationen über um das Fahrzeug angeordnete Objekte und gibt diese an den Abschnitt 20 zum Ausgeben des Ergebnisses einer Kollisionsbeurteilung aus.

Der Abschnitt 26 zum Berechnen von Objektpositionsinformationen hat etwa die gleiche Funktion wie der im Zusammenhang mit der ersten Ausführungsform beschriebene Abschnitt 13 zum Berechnen von Objektpositionsinformationen. Im einzelnen wird die Verschiebung der vorangehenden Objektpositionsinformationen folgendermaßen durchgeführt.

Gemäß Fig. 5 verschiebt sich, wenn das Fahrzeug geradeaus fährt, ein Objekt an einem Punkt A (xa, ya) zur Position B (xb, yb). In diesem Fall verschiebt sich, weil der Fahrwert ΔML des linken Hinterrades dem Fahrwert ΔMR des rechten Hinterrades gleich ist und ferner xa = xb ist, eine durch Koordinaten (xold, yold) dargestellte vorangehende Objektposition gemäß den beiden folgenden Gleichungen zur durch Koordinaten (xnew, ynew) dargestellten aktuellen neuen Objektposition:



xnew = xold (15)



ynew = yold - ΔMR (16)

Wenn das Fahrzeug dagegen eine Drehung ausführt, bewegt sich das Objekt am Punkt B (xb, yb) zum Punkt C (xc, yc). Der Drehmittelpunkt Pc (XCE, YCE) wird folgendermaßen dargestellt:



XCE = (ΔMR + ΔML)/(ΔMR - ΔML) × (Spurweite)/2 (17)



YCE = (Offset-Wert des Hinterrades) = 0 (18)

Außerdem wird der Drehwinkel θc von Punkt B zu Punkt C dargestellt durch:



θc = (ΔMR - ΔML)/(Spurweite) (19)

Daher wird die vorangehende Objektposition durch Ersetzen der Koordinaten (XCE, YCE) und des Drehwinkels θc in den vorstehend erwähnten Gleichungen (13) und (14) auf die durch die Koordinaten (xnew, ynew) dargestellte aktuelle neue Objektposition verschoben.

Nachstehend wird eine Arbeitsweise der zweiten Ausführungsform eines Fahrtunterstützungssystems 2 unter Bezug auf das in Fig. 11 dargestellte Ablaufdiagramm beschrieben.

Zunächst werden bei S201 die Fahrwerte ΔML und ΔMR des linken und des rechten Hinterrads vom linken bzw. vom rechten Hinterradsensor gelesen, und ferner wird die vorangehende Objektpositionsinformation vom Speicherabschnitt 14 der Fahrzeug-Rundumobjekterkennungsvorrichtung 10 gelesen.

Anschließend schreitet das Programm zu S202 fort, wo gemäß den Fahrwerten ΔML und ΔMR festgestellt wird, ob das Fahrzeug eine Drehung ausführt oder geradeaus fährt. Wenn das Fahrzeug geradeaus fährt, schreitet das Programm zu S203 fort, wo der Fahrwert ΔML zur vorangehenden Objektpositionsinformation addiert wird. Wenn das Fahrzeug eine Drehung ausführt, schreitet das Programm zu S204 fort, wo der Drehmittelpunkt Pc und der Drehwinkel θc berechnet werden, woraufhin bei S105 die vorangehende Objektpositionsinformation um den Drehwinkel θc um den Drehmittelpunkt Pc gedreht wird. Daraufhin schreitet das Programm von S203 oder S105 zu dem Schritt S106 folgenden Schritten fort, wo die gleichen Verarbeitungen ausgeführt werden wie bei der ersten Ausführungsform.

Daher kann durch die bei der zweiten Ausführungsform vorgesehene Fahrzeug-Rundumobjekterkennungsvorrichtung ohne Verwendung des Lenkwinkelsensors die gleiche Wirkung erzielt werden wie bei der ersten Ausführungsform.

Die Fig. 12 bis 16 betreffen eine dritte Ausführungsform der vorliegenden Erfindung. Die Vorrichtung gemäß der dritten Ausführungsform dient zum Ausführen von Steuerungen für einen autonomen Fahrbetrieb, wie beispielsweise einer Steuerung zum Anhalten des Fahrzeugs, zum Ausweichen von Hindernissen und ähnlicher Steuerungen, basierend auf den von der in Verbindung mit der zweiten Ausführungsform beschriebenen Fahrzeug-Rundumobjekterkennungsvorrichtung 10 erhaltenen Objektpositionsinformationen.

Bezugszeichen 30 bezeichnet ein autonom fahrendes Fahrzeug zum unbemannten Ausführen verschiedenartiger Arbeiten, wie beispielsweise zum Reinigen von Böden, Mähen von Rasenflächen und ähnlicher Arbeiten. Das autonom fahrende Fahrzeug 30 weist eine Arbeitsvorrichtung 31, z. B. einen Mäher, in der Nähe des hinteren Fahrzeugendes auf. Außerdem weist es ein Paar Antriebsräder (linkes Antriebsrad 33L und rechtes Antriebsrad 33R) an der linken bzw. der rechten Seite des Mittelabschnitts des Fahrzeugs auf. Diese Antriebsräder werden durch Antriebsmotoren 34 (linker Antriebsmotor 34L und rechter Antriebsmotor 34R) angetrieben, die durch eine Steuerungsvorrichtung 35 für einen autonomen Fahrbetrieb gesteuert werden.

Außerdem weist das autonom fahrende Fahrzeug 30 ein stereoskopisches optisches System 3 (linke und rechte CCD- Kamera) zum Aufnehmen des vorderen Bildbereichs auf. Ferner sind ein linker Antriebsraddrehzahlsensor 5 zum Erfassen der Anzahl der Umdrehungen des linken Antriebsrads 33L und ein rechter Antriebsraddrehzahlsensor 25 zum Erfassen der Anzahl der Umdrehungen des rechten Antriebsrads 33R vorgesehen. Das stereoskopische optische System 3, der linke Antriebsraddrehzahlsensor 5 und der rechte Antriebsraddrehzahlsensor 25 sind mit der Steuerungsvorrichtung 35 für einen autonomen Fahrbetrieb verbunden.

Die Steuerungsvorrichtung 35 für einen autonomen Fahrbetrieb weist eine Fahrzeug-Rundumobjekterkennungsvorrichtung 10 auf, die die gleiche Funktion hat wie die bei der zweiten Ausführungsform der vorliegenden Erfindung vorgesehene Fahrzeug-Rundumobjekterkennungsvorrichtung, und einen Fahrtsteuerungsabschnitt 38 zum Ausführen von Steuerungen, wie beispielsweise einer Steuerung zum Anhalten des Fahrzeugs, zum Ausweichen von Hindernissen und ähnlicher Steuerungen, basierend auf den Objektpositionsinformationen von der Fahrzeug-Rundumobjekterkennungsvorrichtung 10.

Wie in Fig. 15 dargestellt, sind die durch die Fahrzeug-Rundumobjekterkennungsvorrichtung 10 erzeugten Objektpositionsinformationen Positionsinformationen von Objekten, die in einem vorgegebenen Bereich QRST in der X-Y-Ebene mit dem Fahrzeug als Mittelpunkt angeordnet sind. Im Fall einer Geradeausfahrt, wie beispielsweise einer Fahrt vom Punkt A (xa, ya) zum Punkt B (xb, yb), werden die neuen aktuellen Positionsinformationen gemäß den vorstehenden Gleichungen (15) und (16) berechnet. Andererseits werden im Fall einer Kurvenfahrt, wie beispielsweise bei einer Fahrt vom Punkt B (xb, yb) zum Punkt C (xc, yc), die neuen aktuellen Positionsinformationen durch die Gleichungen (13) und (14) erhalten. Die aus dem Speicherbereich überlaufenden Daten und die mit den neu erhaltenen Daten überlappenden Daten (Sichtfeld der Kamera) werden jeweils gelöscht. Durch Addieren der derart erhaltenen Daten zu den neu erhaltenen Daten (Sichtfeld der Kamera) werden die neuen aktuellen Objektpositionsinformationen erhalten.

Im Fahrtsteuerungsabschnitt 38 wird basierend auf den vom Abschnitt 26 zum Berechnen von Objektpositionsinformationen erhaltenen Positionsinformationen über um das Fahrzeug angeordnete Objekte unter Bezug auf die gespeicherte äußere Form des Fahrzeugs beurteilt, ob das Fahrzeug angehalten werden sollte oder nicht. Wenn festgestellt wird, daß das Fahrzeug angehalten werden sollte, wird der Antriebsmotor 34 ausgeschaltet. Wenn festgestellt wird, daß das Fahrzeug dem Hindernis ausweichen kann, jedoch nicht angehalten werden muß, wird einer der Antriebsmotoren 34L, 34R an der dem Hindernis abgewandten Seite gesteuert, um dessen Drehgeschwindigkeit zu reduzieren.

Nachstehend wird unter Bezug auf das in Fig. 16 dargestellte Ablaufdiagramm eine durch die Steuerungsvorrichtung 35 für einen autonomen Fahrbetrieb ausgeführte autonome Fahrtsteuerung beschrieben. Die Inhalte der Schritte S201 bis S109 sind die gleichen wie diejenigen bei der zweiten Ausführungsform, mit der Ausnahme, daß anstelle von "Hinterrad" bei den Schritten S201, S203 und S204 der Ausdruck "Antriebsrad" einzusetzen ist.

Bei S301 wird basierend auf den vom Abschnitt 26 zum Berechnen von Objektpositionsinformationen erhaltenen Objektpositionsinformationen unter Bezug auf die gespeicherte äußere Form des Fahrzeugs beurteilt, ob das Fahrzeug angehalten werden sollte oder nicht. Wenn festgestellt wird, daß das Fahrzeug angehalten werden sollte, weil es in unmittelbare Nähe eines Hindernisses kommt, schreitet das Programm zu S302 fort, wo der Antriebsmotor ausgeschaltet wird (die Steuerung zum Anhalten des Fahrzeugs aktiviert wird), um das Fahrzeug anzuhalten.

Wenn andererseits bei S301 festgestellt wird, daß das Fahrzeug nicht angehalten werden muß, schreitet das Programm zu S303 fort, wo die Steuerung zum Anhalten des Fahrzeugs deaktiviert wird. Anschließend wird bei S304 basierend auf den vom Abschnitt 26 zum Berechnen von Objektpositionsinformationen erhaltenen Objektpositionsinformationen unter Bezug auf die gespeicherte äußere Fahrzeugform beurteilt, ob das Fahrzeug einen Ausweichvorgang ausführen sollte oder nicht.

Wenn bei S304 festgestellt wird, daß dem Hindernis ausgewichen werden sollte, schreitet das Programm zu S305 fort, wo die Drehzahl des Motors an der dem Hindernis abgewandten Seite gesteuert wird (die Steuerung zum Ausweichen eines Hindernisses aktiviert wird), um einen berechneten reduzierten Drehzahlwert zu erhalten, woraufhin das Programm beendet wird. Außerdem setzt das Fahrzeug, wenn bei S304 festgestellt wird, daß dem Hindernis nicht ausgewichen werden muß, seine Fahrt fort.

Dadurch können die Steuerungen für einen autonome Fahrbetrieb, wie beispielsweise eine Steuerung zum Anhalten des Fahrzeugs, zum Ausweichen von Hindernissen usw., effektiv ausgeführt werden, wenn das autonom fahrende Fahrzeug mit der Fahrzeug-Rundumobjekterkennungsvorrichtung 10 ausgerüstet ist. Außerdem kann diese Fahrzeug-Rundumobjekterkennungsvorrichtung 10 für ein autonom fahrendes Fahrzeug verwendet werden, das entlang Wänden oder wandähnlicher Objekte fährt. Insbesondere wenn diese Vorrichtung für einen Bodenreinigungsroboter verwendet wird, wird ein Arbeitsvorgang in unmittelbarer Nähe einer Wand einfach.

Die Fig. 17 bis 21 betreffen eine vierte Ausführungsform der vorliegenden Erfindung. Bei dieser Ausführungsform ist die CCD-Kamera auf einem autonom fahrenden Fahrzeug 40 drehbar angeordnet, um Bilder in einem breiteren Bereich aufzunehmen. D. h., das stereoskopische optische System 3 ist, wie in Fig. 17 und 18 dargestellt, auf einem Drehtisch 41 angeordnet, der in horizontaler Richtung schwenkbar ist, um einen breiteren Objektinformationsbereich zu erfassen.

Der Drehtisch 41 ist mit einem Motor 42 verbunden, um den Drehwinkel des Drehtischs zu steuern. Der Drehwinkel α (wobei vorausgesetzt wird, daß der Drehwinkel in Geradeausrichtung 0 Grad beträgt) wird durch einen Drehwinkelsensor 43 erfaßt und dem Objekterkennungsabschnitt 48 zugeführt, wie in Fig. 17 dargestellt. Eine Fahrzeug-Rundumobjekterkennungsvorrichtung 47 der Steuerungsvorrichtung 45 für einen autonomen Fahrbetrieb hat mit Ausnahme des bei der vierten Ausführungsform vorgesehenen Objekterkennungsabschnitts 48 die gleiche Funktion wie die Fahrzeug-Rundumobjekterkennungsvorrichtung 10 der dritten Ausführungsform.

D. h., durch den Objekterkennungsabschnitt 48 werden Parameter, wie beispielsweise die Position und die Form von Objekten auf der Straße, aus dem vom Stereoskopbildverarbeitungsabschnitt 11 ausgegebenem Abstandsbild auf die gleiche Weise erhalten wie durch den Objekterkennungsabschnitt 12. Außerdem berechnet der Objekterkennungsabschnitt 48 Koordinaten eines in Fahrtrichtung erfaßten Objekts unter Bezug auf den Drehwinkel α des Drehtischs 41 und gibt diese Koordinaten des Objekts an den Abschnitt 26 zum Berechnen von Objektpositionsinformationen aus.

Wie in Fig. 20 dargestellt, müssen bei dieser Ausführungsform, weil das durch das stereoskopische optische System 3 erhaltene Bild um den Drehwinkel α von der Geradeausrichtung abweicht, die Koordinaten des Objekts korrigiert werden. Die korrigierte Objektpositionsinformation wird zu der in Geradeausrichtung erfaßten Positionsinformation addiert.

Im Fahrtsteuerungsabschnitt 46 wird die Fahrtsteuerung, z. B. eine Steuerung zum Anhalten des Fahrzeugs, zum Ausweichen von Hindernissen und ähnliche Steuerungen, basierend auf den Objektpositionsinformationen auf die gleiche Weise ausgeführt wie im Fahrtsteuerungsabschnitt 38 der dritten Ausführungsform der vorliegenden Erfindung. Außerdem steuert der Fahrtsteuerungsabschnitt 46 das stereoskopische optische System 3 so, daß es mit konstanter Geschwindigkeit nach links und nach rechts schwenkt. In diesem Fall kann die Bewegung des stereoskopischen optischen Systems der Fahrzeugbewegung angepaßt werden, so daß beispielsweise, wenn das Fahrzeug nach links dreht, das stereoskopische optische System 3 nach links geschwenkt wird, und wenn das Fahrzeug nach rechts dreht, das stereoskopische optische System 3 nach rechts geschwenkt wird.

Der Steuerungsablauf in der Steuerungsvorrichtung 45 für einen autonomen Fahrbetrieb ist mit Ausnahme des Programmschritts S401 der gleiche wie in der bei der dritten Ausführungsform vorgesehenen Steuerungsvorrichtung 35 für einen autonomen Fahrbetrieb.

D. h., nachdem die mit den neu erhaltenen Positionsinformationen überlappenden Daten bei S107 aus den vorangehenden Objektpositionsinformationen gelöscht wurden, schreitet das Programm zu S401 fort, wo die mit dem Drehwinkel α des Drehtischs 41 korrigierten neuen Objektpositionsinformationen gelesen werden, woraufhin das Programm zu S109 fortschreitet.

Daher kann bei der vierten Ausführungsform der vorliegenden Erfindung, außer dem bei der dritten Ausführunsgform erhaltenen Effekt, ein breiter Sichtfeldbereich der Kamera erhalten werden, so daß das autonom fahrende Fahrzeug exaktere und kompliziertere Arbeiten ausführen kann.

Bei den ersten bis vierten Ausführungsformen der vorliegenden Erfindung ist die Fahrzeug-Rundumobjekterkennungsvorrichtung jeweils so aufgebaut, daß Objekte um das Fahrzeug basierend auf durch die CCD-Kamera erfaßten Bildern erfaßt werden, wobei jedoch anstelle der CCD-Kamera andere Vorrichtungen, wie beispielsweise Laser-Radar, ein Ultraschallsensor und ähnliche Vorrichtungen, verwendet werden können.

Außerdem wurde bei den vorstehenden Ausführungsformen der vorliegenden Erfindung die Berechnung der Objektpositionsinformationen bezüglich eines orthogonalen Koordinatensystems durchgeführt, wobei diese Berechnung jedoch auch bezüglich eines Polarkoordinatensystems durchgeführt werden kann.

Zusammenfassend können erfindungsgemäß, weil die Positionsinformationen über um das Fahrzeug angeordnete Objekte permanent aktualisiert und gespeichert werden, während das Fahrzeug fährt, die Objekte in einem breiten Bereich um das Fahrzeug erfaßt werden, ohne daß zusätzliche Kameras, Sensoren und andere komplizierte Erfassungsvorrichtungen erforderlich sind.


Anspruch[de]
  1. 1. Objekterkennungsvorrichtung für ein Fahrzeug zum Erkennen von um das Fahrzeug angeordneten Objekten, mit einer Objekterfassungseinrichtung zum Erfassen einer Richtung von Objekten und einer Abstandsverteilung zu den Objekten und einer Objekterkennungseinrichtung zum Erkennen der durch die Objekterfassungseinrichtung erfaßten Objekte als Hindernisse basierend auf der Abstandsverteilung und zum Berechnen einer Relativposition der Objekte bezüglich des Fahrzeugs, wobei die Objekterkennungsvorrichtung ferner aufweist:

    eine Objektpositionsspeichereinrichtung zum Speichern der Relativposition der Objekte bezüglich des Fahrzeugs;

    eine Einrichtung zum Berechnen eines Fahrwerts, der eine Fahrtstrecke und eine Fahrtrichtung des Fahrzeugs enthält, wobei der Fahrwert basierend auf einem Lenkwinkel und der Radumlaufzahl, basierend auf der Umlaufzahl des linken und des rechten Hinterrades und/oder basierend auf der Radumlaufzahl und einer um einen Winkel verschwenkbaren Objekterfassungseinrichtung ermittelbar ist; und

    eine Einrichtung zum Berechnen von Objektpositionsinformationen zum Berechnen einer neuen Relativposition der Objekte bezüglich des Fahrzeugs basierend auf der Relativposition der Objekte und dem Fahrwert des Fahrzeugs und zum Aktualisieren der in der Objektpositionsspeichereinrichtung gespeicherten Relativposition durch die neue Relativposition der Objekte, um die Objekte erkennen zu können, die einen Erfassungsbereich der Objekterfassungseinrichtung verfassen haben.
  2. 2. Vorrichtung nach Anspruch 1, wobei die Objekterfassungseinrichtung aufweist: eine Einrichtung zum Aufnehmen eines Stereoskopbildes der Objekte durch eine in eine Vorwärtsrichtung des Fahrzeugs ausgerichtete Abbildungseinrichtung und zum Berechnen einer dreidimensionalen Abstandsverteilung basierend auf dem Stereoskopbild.
  3. 3. Vorrichtung nach Anspruch 1 oder 2, wobei die Objekterfassungseinrichtung aufweist: eine Einrichtung zum Aufnehmen eines Stereoskopbildes der Objekte durch eine um einen Winkel bezüglich der Vorwärtsrichtung des Fahrzeugs gedrehte Abbildungseinrichtung, zum Berechnen einer dreidimensionalen Abstandsverteilung basierend auf dem Stereoskopbild und zum Korrigieren der dreidimensionalen Abstandsverteilung gemäß dem Winkel.
  4. 4. Vorrichtung nach Anspruch 3, wobei der Winkel mit konstanter Geschwindigkeit in die linke und in die rechte Richtung geändert wird.
  5. 5. Vorrichtung nach Anspruch 3 oder 4, wobei der Winkel in die linke Richtung geändert wird, wenn das Fahrzeug eine Linksdrehung ausführt, und in die rechte Richtung, wenn das Fahrzeug eine Rechtsdrehung ausführt.
  6. 6. Objekterkennungsvorrichtung nach Anspruch 2, wobei die Abbildungseinrichtung ein Paar von auf dem Fahrzeug angeordneten CCD-Kameras ist.
  7. 7. Vorrichtung nach einem der Ansprüche 3 bis 6, wobei die Abbildungseinrichtung ein Paar von auf dem Fahrzeug drehbar angeordneten CCD-Kameras ist.
  8. 8. Verfahren zum Erkennen von um ein Fahrzeug angeordneten Objekten mit einer Objekterfassungseinrichtung zum Erfassen einer Richtung von Objekten und einer Abstandsverteilung zu den Objekten und einer Objekterkennungseinrichtung zum Erkennen der Objekte als Hindernisse basierend auf der Abstandsverteilung und zum Berechnen einer Relativposition der Objekte bezüglich des Fahrzeugs, mit den Schritten:

    Speichern der Relativposition der Objekte bezüglich des Fahrzeugs;

    Berechnen eines Fahrwertes, der eine Fahrstrecke und eine Fahrtrichtung des Fahrzeugs enthält, wobei der Fahrwert basierend auf einem Lenkwinkel und der Radumlaufzahl, basierend auf der Umlaufzahl des linken und des rechten Hinterrades und/oder basierend auf der Radumlaufzahl und einer um einen Winkel verschwenkbaren Objekterfassungseinrichtung ermittelbar ist; und

    Berechnen einer neuen Relativposition der Objekte bezüglich des Fahrzeugs basierend auf der Relativposition der Objekte und dem Fahrwert des Fahrzeugs und Aktualisieren der in der Objektpositionsspeichereinrichtung gespeicherten Relativposition durch die neue Relativposition der Objekte.






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com