PatentDe  


Dokumentenidentifikation DE102007019491A1 31.10.2007
Titel Fahrzeugumgebungs-Überwachungsvorrichtung, Fahrzeug, Fahrzeugumgebungs-Überwachungsverfahren und Fahrzeugumgebungs-Überwachungsprogramm
Anmelder Honda Motor Co., Ltd., Tokyo, JP
Erfinder Aimura, Makoto, Wako, Saitama, JP;
Hattori, Hiroshi, Wako, Saitama, JP;
Takahashi, Akio, Wako, Saitama, JP
Vertreter Weickmann & Weickmann, 81679 München
DE-Anmeldedatum 25.04.2007
DE-Aktenzeichen 102007019491
Offenlegungstag 31.10.2007
Veröffentlichungstag im Patentblatt 31.10.2007
IPC-Hauptklasse G06K 9/62(2006.01)A, F, I, 20070425, B, H, DE
IPC-Nebenklasse G08G 1/16(2006.01)A, L, I, 20070425, B, H, DE   
Zusammenfassung Erfindungsgemäß wird ein Objekt wie etwa eine Person aus von Kameras (2R, 2L) aufgenommenen Bildern extrahiert, um den vertikalen Symmetriegrad des Objekts zu bestimmen (Schritt 33). Falls der vertikale Symmetriegrad hoch ist, wird bestimmt, dass das Objekt etwas anderes ist als ein lebender Körper (Schritt 33a). Fall der vertikale Symmetriegrad niedrig ist, wird bestimmt, dass das Objekt wahrscheinlich ein lebender Körper ist (Schritt 33b). Falls bestimmt wird, dass es sich wahrscheinlich um einen lebenden Körper handelt, wird ferner, basierend auf dem Bild des Objekts, bestimmt, ob das Objekt eine vorbestimmte Art eines lebenden Körpers (z. B. eine Person) ist oder nicht (Schritte 34 und 35). Dies gestattet eine extrem zuverlässige und einfache Bestimmung davon, ob der Typ des Objekts, das aus dem von der Kamera aufgenommenen Bilds extrahiert ist, ein lebender Körper wie etwa eine Person ist.

Beschreibung[de]

Die Erfindung betrifft eine Fahrzeugumgebungs-Überwachungsvorrichtung, die ein sich in der Umgebung eines Fahrzeugs befindendes Objekt mittels eines von einer Kamera aufgenommenen Bilds erfasst, ein Fahrzeugumgebungs-Überwachungsverfahren dafür, ein mit der Fahrzeugumgebungs-Überwachungsvorrichtung ausgestattetes Fahrzeug sowie ein Fahrzeugumgebungs-Überwachungsprogramm zur Verwendung in der Fahrzeugumgebungs-Überwachungsvorrichtung.

Der Anmelder der vorliegenden Schrift hat in der JP-A-2003-284057 und dem U.S. Patent Nr. 7,130,448 B2 eine Vorrichtung vorgeschlagen, die die Umgebung eines Fahrzeugs auf der Grundlage eines Bilds, das von einer an dem Fahrzeug angebrachten Kamera aufgenommen wurde, überwacht.

Gemäß diesen beiden Schriften nehmen zwei Infrarotkameras Bilder vor dem Fahrzeug auf, und aus einem der zwei aufgenommenen Bilder wird ein Objekt extrahiert. Danach wird die reale Raumposition des Objekts in Bezug auf das Fahrzeug auf der Basis einer Parallaxe zwischen den zwei aufgenommenen Bildern des extrahierten Objekts erfasst. Ferner werden eine Bewegungsrichtung des Objekts, das auf der Basis der realen Raumposition des extrahierten Objekts und Zeitseriendaten des Objekts erkannt wurde, und ein Objekttyp (ob es sich um eine Person oder eine künstliche Struktur handelt) bestimmt. Entsprechend den Ergebnissen dieser Bestimmung wird festgestellt, ob das Objekt als ein Warn-Ziel betrachtet werden sollte (ob ein Kontakt dieses Objekts mit dem Fahrzeug vermieden werden muss). Falls bestimmt wird, dass es als Warnziel betrachtet werden muss, wird an den Fahrer eine Warnung durch einen Ton oder ein Bild ausgegeben. Der Objekttyp wird für ein Objekt bestimmt, das sich tatsächlich angenähert in dem Bereich vor dem Fahrzeug befindet (der Bereich ist etwas breiter als die Fahrzeugbreite). Darüber hinaus wird die Bewegungsrichtung des Objekts für ein außerhalb des Bereichs befindliches Objekt bestimmt.

Unterdessen umfasst das Objekt, das aus dem von der Kamera, etwa einer Infrarotkamera, aufgenommenen Bild extrahiert werden kann, verschiedene Typen von anderen Körpern als der Person, wie etwa ein Tier, ein anderes Fahrzeug, ein Baum, ein Versorgungspfosten und ein Verkaufsautomat, sowie auch die Person. Unter diesen Objekten ist ein Objekt, dessen Kontakt mit dem Fahrzeug vermieden werden will, eine Person oder ein Tier (ein lebender Körper), das eine Person einschließt. Daher ist es erforderlich, den Typ des Objekts zu bestimmen, das aus dem aufgenommenen Bild extrahiert wird, mit Unterscheidung zwischen einem lebenden Körper, einschließlich einer Person, und irgendeinem anderen Typ (einer künstlichen Struktur).

Andererseits wird in den beiden obigen Schriften anhand verschiedener Merkmalswerte (der Luminanzverteilung, der Gestalt, Größe und dergleichen) des Bilds des Objekts (eines dem Objekt entsprechenden Teilbilds) in dem aufgenommenen Bild bestimmt, ob das Objekt wahrscheinlich eine Person (ein Fußgänger) ist. In diesem Fall könnte bestimmt werden, dass ein anderes Objekt als ein Fußgänger wahrscheinlich ein Fußgänger ist. Daher wird die Frage, ob das Objekt eine künstliche Struktur ist, durch weitere Bestimmungen untersucht, ob die Form des Teilbilds des Objekts zu einem vorbestimmten registrierten Muster einer künstlichen Struktur passt, oder ob das Teilbild einen rechtwinkligen Abschnitt oder einen linearen Rand aufweist (durch weitere Bestimmung, ob das Teilbild des Objekts ein Merkmal hat, das sich in einem Fußgänger allgemein nicht finden lässt). Für den Fall, dass das Objekt als vermutlich ein Fußgänger bestimmt wird und nicht als eine künstliche Struktur, als Ergebnis der obigen Bestimmung, wird das Objekt als Fußgänger bestimmt. Der obige Bestimmungsprozess ermöglicht mit hoher Zuverlässigkeit die Bestimmung, ob das Objekt ein Fußgänger (eine Person) ist, oder irgendein anderer Typ von Objekt, wie etwa eine künstliche Struktur.

Andererseits erfordern die in den beiden obigen Schriften offenbarten Techniken die Berechnungen verschiedener Merkmalswerte, oder der Bestimmungsprozess an den Merkmalswerten für den Objekttyp wird durch Unterscheidung zwischen einem Fußgänger und irgendeinem anderen Typ bestimmt. Darüber hinaus erfordern sie die Bestimmung davon, ob das Objekt eine künstliche Struktur ist oder nicht. Der Grund hierfür ist, dass nur die in den beiden obigen Techniken verwendeten Merkmalswerte nicht ausreichen, um zwischen einem Fußgänger und irgendeinem anderen Objekttyp mit hoher Zuverlässigkeit unterscheiden zu können. Ferner ist es für den Fall, dass ein zu vermeidendes Objekt ein lebender Körper ist, der nicht nur einen Fußgänger sondern auch andere Typen von Lebewesen beinhaltet (Hunde, Katzen und andere Tiere, die sich auf dem Boden bewegen können) noch immer erforderlich, zu bestimmen, ob das Objekt zu einem dieser anderen Typen von Lebewesen gehört.

Daher war es erwünscht, eine Technik zu entwickeln, um mit hoher Zuverlässigkeit das Objekt zu bestimmen, mit Unterscheidung zwischen einem lebenden Körper wie etwa einem Fußgänger und einem anderen Objekttyp.

Ferner ist es gemäß den obigen zwei Schriften insbesondere dann, wenn eine Vielzahl von Objekten aus dem aufgenommenen Bild extrahiert werden, notwendig, eine arithmetische Bearbeitung zur Berechnung verschiedener Merkmalswerte und Bestimmungsprozesse an den Merkmalswerten für jedes dieser Objekte durchzuführen. Aus diesem Grund unterliegt die in den beiden obigen Schriften offenbarten Techniken die arithmetische Bearbeitung einer starken Belastung, um definitiv zu bestimmen, ob das Objekt ein Fußgänger ist, und daher gab es den Wunsch, die Rechenlast zu reduzieren.

Aufgabe der Erfindung ist es daher, eine Fahrzeugumgebungs-Überwachungsvorrichtung, ein Fahrzeugumgebungs-Überwachungsverfahren sowie ein Fahrzeug zu bestimmen, die in der Lage sind, den Typ des Objekts, das aus einem von einer Kamera aufgenommenen Bild extrahiert ist, mit hoher Zuverlässigkeit leicht zu bestimmen, insbesondere ob das Objekt ein lebender Körper wie etwa eine Person oder irgendein anderer Objekttyp ist.

Eine andere Aufgabe der Erfindung ist es, eine Fahrzeugumgebungs-Überwachungsvorrichtung anzugeben, die in der Lage ist, die Belastung eines arithmetischen Prozesses zur Bestimmung des Objekttyps zu reduzieren.

Eine noch weitere Aufgabe der vorliegenden Erfindung ist es, ein Fahrzeugumgebungs-Überwachungsprogramm anzugeben, das in der Lage ist, einen Computer zu veranlassen, die Prozesse der Fahrzeugumgebungs-Überwachungsvorrichtung durchzuführen.

Zur Lösung der Aufgabe wird gemäß einem Aspekt der Erfindung eine Fahrzeugbewegungs-Überwachungsvorrichtung angegeben, umfassend: eine Objektextraktionsprozesseinheit, die ein Objekt, das sich in einem Aufnahmebereich einer an einem Fahrzeug angebrachten Kamera befindet, aus einem von der Kamera aufgenommenen Bild extrahiert; eine Objekttyp-Bestimmungsprozesseinheit, die den Typ des extrahierten Objekts basierend auf dem Bild des Objekts in dem aufgenommenen Bild bestimmt; und eine Vertikalsymmetrie-Bestimmungsprozesseinheit, die basierend auf dem Bild des Objekts in dem aufgenommenen Bild bestimmt, ob der vertikale Symmetriegrad des extrahierten Objekts hoch oder niedrig ist, wobei die Objekttyp-Bestimmungsprozesseinheit zumindest eine Erster-Typ-Bestimmungsprozesseinheit enthält, die den Typ des extrahierten Objekts basierend auf dem Bestimmungsergebnis der Vertikalsymmetrie-Bestimmungs-prozesseinheit bestimmt. (Erste Erfindung)

Hierbei bestimmt die Vertikalsymmetrie-Bestimmungsprozesseinheit, ob der Grad der vertikalen Symmetrie des extrahierten Objekts hoch oder niedrig ist. Allgemein hat ein lebender Körper, wie etwa eine Person, und daher dessen von der Kamera aufgenommenes Bild einen niedrigen Symmetriegrad in der vertikalen Richtung, und es ist unwahrscheinlich, dass er einen hohen Symmetriegrad hat. Andererseits haben künstliche Strukturen, wie etwa ein Verkaufsautomat und ein Versorgungspfosten, meist einen hohen Symmetriegrad in der vertikalen Richtung. Daher spiegelt der Grad der vertikalen Symmetrie des Objekts in dem aufgenommenen Bild mit hoher Zuverlässigkeit wieder, ob der Objekttyp ein lebender Körper oder ein anderer Objekttyp ist.

Bevorzugt enthält in der ersten Erfindung die Objekttypbestimmungsprozesseinheit zumindest die Bestimmungsprozesseinheit des ersten Typs, die den Typ des extrahierten Objekts basierend auf dem Bestimmungsergebnis der Vertikalsymmetrie-Bestimmungseinheit bestimmt.

In diesem Fall spiegelt das Bestimmungsergebnis der Vertikalsymmetrie-Bestimmungsprozesseinheit, nämlich der Grad der vertikalen Symmetrie des Objekts, mit hoher Zuverlässigkeit zumindest wieder, ob der Objekttyp ein lebender Körper oder ein anderer Objekttyp ist. Daher kann die Bestimmungsprozesseinheit des ersten Typs zumindest bestimmen, ob der Objekttyp ein lebender Körper oder ein anderer Objekttyp ist (wie etwa eine künstliche Struktur), nur auf der Basis des Bestimmungsergebnisses des vertikalen Symmetriegrads des Objekts.

Daher kann mit der ersten Erfindung basierend auf dem Grad der vertikalen Symmetrie des Objekts mit hoher Zuverlässigkeit leicht bestimmt werden, ob der Objekttyp ein lebender Körper, wie etwa eine Person oder irgendein anderer Objekttyp ist.

In der ersten Erfindung ist insbesondere die Wahrscheinlichkeit sehr niedrig, dass ein lebender Körper ein Objekt ist, dessen vertikaler Symmetriegrad als hoch bestimmt wird (das Objekt ist sehr wahrscheinlich etwas anderes als ein lebender Körper), und daher bestimmt die Bestimmungsprozesseinheit des ersten Typs den Typ des Objekts als einen anderen als einen lebenden Körper, falls durch die Vertikalsymmetrie-Bestimmungsprozesseinheit bestimmt wird, dass der Grad der vertikalen Symmetrie des Objekts hoch ist (zweite Erfindung). Insbesondere kann für den Fall, dass der Grad der vertikalen Symmetrie des Objekts als hoch bestimmt wird, der Typ des Objekts definitiv als etwas anderes bestimmt werden als der lebende Körper.

Daher kann, basierend auf dem Bestimmungsergebnis des Grads der vertikalen Symmetrie, mit hoher Zuverlässigkeit sofort bestimmt werden, dass der Objekttyp etwas anderes ist als ein lebender Körper.

Ferner bestimmt, in der Fahrzeugumgebungs-Überwachungsvorrichtung gemäß der Erfindung, die Objekttypbestimmungsprozesseinheit bevorzugt den Typ des extrahierten Objekts mit Unterscheidung zwischen einer vorbestimmten Art eines lebenden Körpers, einschließlich zumindest einer Person, und anderen Objekttypen. In diesem Fall ist das Objekt, dessen vertikaler Symmetriegrad durch die Vertikalsymmetrie-Bestimmungsprozesseinheit als niedrig bestimmt wird, wahrscheinlich ein lebender Körper, während es in einigen Fällen ein anderes Objekt als ein lebender Körper sein könnte. Andererseits kann der Typ des Objekts, dessen vertikaler Symmetriegrad als hoch bestimmt wird, als etwas anderes als ein lebender Körper betrachtet werden. Daher ist es in dem Fall, wo der Typ des Objekts bei Unterscheidung zwischen einer vorbestimmten Art eines lebenden Körpers und anderen Objekttypen bestimmt wird, nur die Bestimmung für die Objekte erforderlich, die einen niedrigen Grad der vertikalen Symmetrie haben. Daher enthält, in der zweiten Erfindung, die Objekttyp-Bestimmungsprozesseinheit ferner eine Bestimmungsprozesseinheit eines zweiten Typs, die bestimmt, ob das Objekt die vorbestimmte Art des lebenden Körpers ist, basierend auf dem aufgenommenen Bild des Objekts, für andere Objekte als jene, die von der Bestimmungsprozesseinheit des ersten Typs unter den extrahierten Objekten nicht als lebender Körper bestimmt wurden (dritte Erfindung).

Gemäß der dritten Erfindung schließt die Bestimmungseinheit des zweiten Typs die Objekte, die einen hohen vertikalen Symmetriegrad haben, von den extrahierten Objekten aus, und bestimmt, ob das Objekt die vorbestimmte Art des lebenden Körpers ist nur für jede Objekte, deren vertikaler Symmetriegrad als niedrig bestimmt wird. Daher braucht die Bestimmungsprozesseinheit des zweiten Typs nicht für alle extrahierte Objekte zu bestimmen, ob das Objekt die vorbestimmte Art eines lebenden Körpers ist, und sie braucht nur zu bestimmen, ob für die Objekte, die wahrscheinlich lebende Körper sind (einen niedrigen vertikalen Symmetriegrad haben), das Objekt die vorbestimmte Art des lebenden Körpers ist.

Im Ergebnis ist es gemäß der dritten Erfindung möglich, die Belastung des arithmetischen Prozesses zu reduzieren, um zu bestimmen, ob das aus dem von der Kamera aufgenommenen Bilds extrahierte Objekt eine vorbestimmte Art eines lebenden Körpers ist, einschließlich einer Person.

In der Bestimmung durch die Bestimmungsprozesseinheit des zweiten Typs kann basierend auf vorbestimmten Merkmalswerten der Form, Größe, Luminanzverteilung und dergleichen (außer des Merkmalswerts des Grads der vertikalen Symmetrie) des Bilds des Objekts (des Objekts, dessen vertikaler Symmetriegrad als niedrig bestimmt wird), z. B. in dem aufgenommenen Bild, bestimmt werden, ob das Objekt der vorbestimmte Typ des lebenden Körpers ist oder nicht.

In den ersten bis dritten Erfindungen enthält für den Fall, wo die Kamera eine Infrarotkamera ist und das aufgenommene Bild ein Graustufenbild ist, die Objektextraktionsprozesseinheit bevorzugt eine Prozesseinheit, die aus dem aufgenommenen Bild eine Fläche, deren Luminanzwert gleich oder größer als ein vorbestimmter Wert ist, als binäres Objekt extrahiert, sowie eine Prozesseinheit, die eine Fläche, die das binäre Objekt in dem Graustufenbild enthält, als das Bild eines Graustufenobjekts auf der Basis zumindest des binären Objekts und der Luminanzwertdaten des Graustufenbilds extrahiert; und das Objekt, dessen vertikaler Symmetriegrad durch die Vertikalsymmetrie-Bestimmungsprozesseinheit bestimmt wurde, das Graustufenobjekt ist (Vierte Erfindung).

Insbesondere entspricht in dem Graustufenbild, das das von der Infrarotkamera aufgenommene Bild ist, ein Teil mit hoher Luminanz einem Teil mit relativ hoher Temperatur (einem Kopf oder dergleichen) des Objekts, wie etwa einer Person. Daher kann durch Extraktion eines Teils mit einem Luminanzwert, der gleich oder höher als der vorbestimmte Wert ist, das Objekt leicht als ein binäres Objekt extrahiert werden. Das binäre Objekt kann jedoch in einigen Fällen ein Teil (örtlicher Abschnitt) des gesamten Individuum-Objekts sein. Daher extrahiert in der vierten Erfindung die Objektextraktionsprozesseinheit den Bereich, der das binäre Objekt in dem Graustufenbild enthält, als das Bild des Graustufenobjekts. Der Begriff "Bild des Graustufenobjekts" bedeutet das minimale oder nahezu minimale Bild einschließlich des gesamten Individuum-Objekts in dem Graustufenbild. Zum Beispiel ist das Bild, das als das Bild des Graustufenobjekts extrahiert werden kann, ein rechteckiges Bild mit einer Länge und einer Breite, die im wesentlichen gleich oder etwas größer als die vertikale Länge und die horizontale Breite des gesamten Individuum-Objekts des Graustufenbilds ist. Danach wird das Graustufenobjekt in Bezug auf den Wert der vertikalen Symmetrie untersucht. Dies erlaubt eine geeignete Bestimmung des Grads der vertikalen Symmetrie.

Der Grad der vertikalen Symmetrie kann z. B. basierend auf dem Koinzidenzgrad in der Luminanzverteilung zwischen dem oberen Teil und dem unteren Teil des Graustufenobjekts oder dem Koinzidenzgrads des Formprofils dazwischen bestimmt werden.

In den oben beschriebenen Erfindungen (den ersten bis vierten Erfindungen) enthält die Fahrzeugumgebungs-Überwachungsvorrichtung bevorzugt eine Zu-vermeidendes-Objekt-Bestimmungs-Prozesseinheit, die, zumindest basierend auf dem Bestimmungsergebnis der Objekttyp-Bestimmungsprozesseinheit bestimmt, ob das von der Objekt-Extraktionsprozesseinheit extrahierte Objekt ein solches Objekt ist, dessen Kontakt mit dem Fahrzeug vermieden werden muss; und eine Fahrzeugausstattungs-Steuerungsprozesseinheit, die eine am Fahrzeug angebrachte vorbestimmte Ausstattung zumindest gemäß dem Bestimmungsergebnis der Zu-Vermeidendes-Objekt-Bestimmungsprozesseinheit steuert/regelt (Fünfte Erfindung).

Dementsprechend kann in Fällen, wo das zu vermeidende Objekt einer vorbestimmten Bedingung genügt (z. B. für den Fall, dass das Objekt wahrscheinlich mit dem Fahrzeug in Kontakt kommt), wenn das zu vermeidende Objekt einen lebenden Körper wie etwa eine Person beinhaltet, die Fahrzeugausstattung derart geregelt werden, dass der Kontakt zwischen dem zu vermeidenden Objekt und dem Fahrzeug vermieden wird, oder dass die Vermeidung erleichtert wird. Die vorbestimmte Fahrzeugausstattung ist Ausstattung, die Information ausgeben kann (z. B. visuelle Information oder hörbare Information), um die Aufmerksamkeit des Fahrers auf das zu vermeidende Objekt zu erwecken (eine Anzeige, Lautsprecher oder dergleichen), Ausstattung, die das Fahrverhalten des Fahrzeugs beeinflussen kann (z. B. ein Fahrzeuglenksystem, ein Bremssystem, ein Aktuator eines Antriebssystems oder dergleichen), oder beide.

Ferner wird gemäß einem anderen Aspekt der Erfindung eine Fahrzeugumgebungs-Überwachungsvorrichtung mit einem Computer angegeben, wobei der Computer durchführt: einen Objektextraktionsprozess zum Extrahieren eines Objekts, das sich in einem Bildbereich einer an einem Fahrzeug angebrachten Kamera befindet, aus einem von der Kamera aufgenommenen Bild; einen Objekttyp-Bestimmungsprozess zum Bestimmen des Typs des extrahierten Objekts basierend auf dem Bild des Objekts in dem aufgenommenen Bilds; und einen Vertikalsymmetrie-Bestimmungsprozess zum Bestimmen, ob der vertikale Symmetriegrad des extrahierten Objekts hoch oder niedrig ist, basierend auf dem Bild des Objekts in dem aufgenommenen Bild, wobei der vom Computer durchgeführte Objekttypbestimmungsprozess einen Prozess zum Bestimmen des Typs des extrahierten Objekts zumindest basierend auf dem Bestimmungsergebnis der Vertikalsymmetrie-Bestimmungsprozess enthält (Sechste Erfindung).

Gemäß der sechsten Erfindung sind der Prozess der Vertikalsymmetrie-Bestimmungsprozesseinheit und der Prozess der Objekttyp-Bestimmungsprozesseinheit (einschließlich des Prozesses der Bestimmungsprozesseinheit des ersten Typs) in der ersten Ausführung als von dem Computer durchzuführende Prozesse implementieren. Daher kann gemäß der sechsten Erfindung die Frage, ob der Objekttyp ein lebender Körper wie etwa eine Person oder ein anderer Objekttyp ist, auf der Basis des vertikalen Symmetriegrads des Objekts, ähnlich der ersten Erfindung, leicht mit hoher Zuverlässigkeit bestimmt werden.

In der sechsten Erfindung können die gleichen Techniken wie in den zweiten bis fünften Erfindungen angewendet werden.

Ferner ist das erfindungsgemäße Fahrzeug mit der Fahrzeugumgebungs-Überwachungsvorrichtung ausgestattet, die in den ersten bis fünften Erfindungen beschrieben ist (siebte Erfindung). Alternativ kann das Fahrzeug mit der Fahrzeugumgebungs-Überwachungsvorrichtung ausgestattet sein, die in der sechsten Erfindung beschrieben ist (achte Erfindung).

Gemäß dem Fahrzeug der siebten und achten Erfindung wird es möglich, ein Fahrzeug zu bekommen, das die gleichen Effekte hat wie jene der erfindungsgemäßen Fahrzeugumgebungs-Überwachungsvorrichtung.

Gemäß einem noch weiteren Aspekt der Erfindung wird ein Fahrzeugumgebungs-Überwachungsverfahren angegeben, umfassend: einen Schritt zum Extrahieren eines Objekts, das sich in einem Aufnahmebereich einer an einem Fahrzeug angebrachten Kamera befindet, aus einem von der Kamera aufgenommenen Bild; einen Schritt zum Bestimmen des Typs des extrahierten Objekts basierend auf dem Bild des Objekts in dem aufgenommenen Bild; und einem Schritt zur Bestimmung, ob der vertikale Symmetriegrad des extrahierten Objekts hoch oder niedrig ist, basierend auf dem Bild des Objekts in dem aufgenommenen Bild, wobei der Schritt der Bestimmung des Typs des extrahierten Objekts zumindest den Schritt zur Bestimmung des Typs des Objekts basierend auf dem Ergebnis der Bestimmung, ob der vertikale Symmetriegrad hoch oder niedrig ist, enthält (neunte Erfindung).

Gemäß der neunten Erfindung wird es mit hoher Zuverlässigkeit und durch ein einfaches Verfahren allein basierend auf dem Bestimmungsergebnis der vertikalen Symmetrie des Objekts möglich, zumindest zu bestimmen, ob der Objekttyp ein lebender Körper oder irgendein anderer Objekttyp ist (eine künstliche Struktur oder dergleichen, ähnlich der ersten Erfindung oder der sechsten Erfindung.

Im Ergebnis lässt sich, gemäß der neunten Erfindung, mit hoher Zuverlässigkeit auf der Basis des vertikalen Symmetriegrads des Objekts leicht bestimmen, ob der Objekttyp ein lebender Körper wie etwa eine Person oder ein anderer Objekttyp ist.

Gemäß einem noch anderen Aspekt der Erfindung wird ein Fahrzeugumgebungs-Überwachungsprogramm angegeben, das die Funktionen hat, zu veranlassen, dass ein Computer durchführt: einen Prozess zum Extrahieren eines Objekts, das sich in einem Aufnahmebereich einer an einem Fahrzeug angebrachten Bildaufnahmevorrichtung befindet, aus einem von der Bildaufnahmevorrichtung aufgenommenen Bild; einen Prozess zur Bestimmung des Typs des extrahierten Objekts basierend auf dem Bild des Objekts in dem aufgenommenen Bild; einen Prozess zur Bestimmung, ob der vertikale Symmetriegrad des extrahierten Objekts hoch oder niedrig ist, basierend auf dem Bild des Objekts in dem aufgenommenen Bild; und sowie einen Prozess zur Bestimmung des Typs des Objekts zumindest basierend auf dem Bestimmungsergebnis des vertikalen Symmetriegrads (zehnte Erfindung).

Gemäß dem Programm der zehnten Erfindung lässt sich der Computer dazu veranlassen, die Prozesse durchzuführen, die die gleichen Effekte wie in der ersten Erfindung haben.

Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen unter Hinweis auf die beigefügten Zeichnungen beschrieben.

1 ist ein Blockdiagramm der Gesamtkonfiguration einer Fahrzeugumgebungs-Überwachungsvorrichtung gemäß einer Ausführung der Erfindung;

2 zeigt schematisch in Perspektive ein Fahrzeug, das mit der in 1 gezeigten Fahrzeugumgebungs-Überwachungsvorrichtung ausgestattet ist;

3 ist ein Flussdiagramm der Prozesse einer Bildverarbeitungseinheit, die in der in 1 gezeigten Fahrzeugumgebungs-Überwachungsvorrichtung vorgesehen ist;

4 ist ein Flussdiagramm der Prozesse der Bildverarbeitungseinheit, die in der Fahrzeugumgebungs-Überwachungsvorrichtung von 1 vorgesehen ist;

5 ist ein Flussdiagramm der Prozesse von Schritt 17 in 4;

6 ist ein Flussdiagramm der Prozesse von Schritt 33 in 5;

7 ist ein Diagramm zur Erläuterung eines Bereichs zur Verwendung in den Prozessen der Schritte 31 und 32 von 5;

8 ist ein Diagramm zur Erläuterung des Prozesses von Schritt 33 in 5; und

9 ist ein Diagramm zur Erläuterung des Prozesses von Schritt 33 in 5.

Nachfolgend wird eine Ausführung der vorliegenden Erfindung in Bezug auf die 1 bis 9 beschrieben.

Zuerst wird die Systemkonfiguration einer Fahrzeugumgebungs-Überwachungsvorrichtung in dieser Ausführung in Bezug auf die 1 und 2 beschrieben. Ein Teil der Komponenten der Fahrzeugumgebungs-Überwachungsvorrichtung ist in 2 nicht gezeigt.

In Bezug auf die 1 und 2 enthält die Fahrzeugumgebungs-Überwachungsvorrichtung dieser Ausführung eine Bildverarbeitungseinheit 1. Die Bildverarbeitungseinheit 1 ist mit zwei Infrarotkameras 2R und 2L als Kameras, die Bilder an der Front eines Fahrzeugs 10 aufnehmen, verbunden. Ferner ist die Bildverarbeitungseinheit 1 verbunden mit einem Gierratensensor 3, der eine Giergeschwindigkeit des Fahrzeugs 10 erfasst, als Sensor, der den Fahrzustand des Fahrzeugs 10 erfasst, einem Fahrzeuggeschwindigkeitssensor 4, der eine Fahrgeschwindigkeit (Fahrzeuggeschwindigkeit) des Fahrzeugs 10 erfasst, und einem Bremssensor 5, der eine Bremsbetätigung des Fahrzeugs 10 erfasst, (insbesondere, ob ein Bremspedal betätigt wird). Noch weiter ist die Bildverarbeitungseinheit 1 verbunden mit einem Lautsprecher 6 zum Ausgeben hörbarer Information, zum Aufrufen mit einer Stimme oder dergleichen, und mit einem Display 7, zum Anzeigen von Bildern, die von der Infrarotkamera 2R und 2L aufgenommen wurden, sowie von visueller Information, die Aufmerksamkeit hervorruft.

Obwohl hier nicht detailliert dargestellt, ist die Bildverarbeitungseinheit 1 aufgebaut aus einer elektronischen Schaltung einschließlich eines A/D Wandlers, eines Microcomputers (CPU, RAM und ROM) und eines Bildspeichers. Ausgaben (analoge Signale) der Infrarotkameras 2R und 2L des Gierratensensors 3, des Fahrzeuggeschwindigkeitssensors 4 und des Bremssensors 5 werden digitalisiert und in die Bildverarbeitungseinheit 1 über den A/D Wandler eingegeben. Danach führt die Bildverarbeitungseinheit 1 Prozesse durch zum Extrahieren eines Objekts wie etwa einer Person, eines Fußgängers, zur Bestimmung, ob das extrahierte Objekt ein Objekt ist, dessen Kontakt mit dem Fahrzeug vermieden werden muss, und zum Warnen des Fahrers vor dem zu vermeidenden Objekt basierend auf den Eingabedaten mittels des Microcomputers. Diese Prozesse werden von dem Microcomputer durch Ausführung eines Programms durchgeführt, das im ROM des Microcomputers vorinstalliert ist. Das Programm enthält das Fahrzeugumgebungs-Überwachungsprogramm der Erfindung.

Die Bildverarbeitungseinheit 1 enthält eine Objektextraktionsprozesseinheit, eine Objekttyp-Bestimmungsprozesseinheit, eine Vertikalsymmetrie-Bestimmungsprozesseinheit, eine Zu-vermeidendes-Objekt-Bestimmungsprozesseinheit sowie eine Fahrzeugausstattungssteuerungsprozesseinheit in der Erfindung als durch das obige Programm implementierte Funktionen.

Wie in 2 gezeigt, sind die Infrarotkameras 2R und 2L an dem vorderen Teil, dem Teil des Frontgrills in 2 des Fahrzeugs 10 angebracht, um Bilder des Bereichs vor dem Fahrzeug 10 aufzunehmen. In diesem Fall sind die Infrarotkameras 2R und 2L an der rechten Seite und linken Seite in der Mitte des Fahrzeugs 10, jeweils in der Fahrzeugbreitenrichtung betrachtet, angeordnet. Diese Orte sind in Bezug auf die Mitte des Fahrzeugs 10 in der Fahrzeugbreitenrichtung symmetrisch. Die Infrarotkameras 2R und 2L sind an dem vorderen Teil des Fahrzeugs 10 derart befestigt, dass die optischen Achsen der Infrarotkameras 2R und 2L in der Längsrichtung des Fahrzeugs 10 zueinander parallel sind, und dass die optischen Achsen die gleiche Höhe von der Straßenoberfläche haben. Die Infrarotkameras 2R und 2L sind im fernen Infrarotbereich empfindlich. Diese Infrarotkameras 2R und 2L haben jeweils eine derartige Charakteristik, dass, je höher die Temperatur des von der Infrarotkamera aufgenommenen Körpers ist, desto höher der Ausgangssignalpegel des Bilds des Körpers ist (die Luminanz des Bilds des Körpers ist höher).

Das Display 7 enthält in dieser Ausführung ein Head-up-Display 7a (nachfolgend als das HUD 7a bezeichnet), das ein Bild oder andere Information z. B. auch auf der Frontscheibe des Fahrzeugs 10 anzeigt. Das Display kann auch integral an einer Messanzeige angebracht sein, die den Fahrzustand anzeigt, wie etwa die Fahrzeuggeschwindigkeit des Fahrzeugs 10, oder einem Display, das in einem eingebauten Navigationssystem vorgesehen ist, anstelle des HUD 7a oder zusammen mit dem HUD 7a.

Nachfolgend wird der Gesamtbetrieb der Fahrzeugumgebungs-Überwachungsvorrichtung dieser Ausführung in Bezug auf den 3 und 4 gezeigten Flussdiagramme beschrieben. Die detaillierte Beschreibung gleicher Prozesse der in den 3 und 4 gezeigten Flussdiagramme wie in den eingangs genannten Druckschriften JP-A-2003-284057 und US 7,130,488 B2 ist in dieser Beschreibung weggelassen. Insbesondere werden die Prozesse der in den 3 und 4 gezeigten Flussdiagramme durch das Programm implementiert, das durch den Microcomputer der Bildverarbeitungseinheit 1 ausgeführt wird.

Zuerst erhält, in Schritt 1, die Bildverarbeitungseinheit 1 Infrarotbilder, die Ausgangssignale der Infrarotkameras 2R und 2L sind. Dann wandelt, in Schritt 2 die Bildverarbeitungseinheit 1 die jeweiligen Infrarotbilder analog digital um. Ferner speichert in Schritt 3 die Bildverarbeitungseinheit 1 die A/D gewandelten Bilder in den Bildspeicher. Hierdurch werden die von den Infrarotkameras 2R und 2L aufgenommenen Bilder in die Bildverarbeitungseinheit 1 eingegeben und nachfolgend werden das von der Infrarotkamera 2R erhaltene Bild und das von der Infrarotkamera 2L erhaltene Bild jeweils als rechtes Bild bzw. linkes Bild bezeichnet. Sowohl das rechte Bild als auch das linke Bild sind Graustufenbilder.

Anschließend behandelt, in Schritt 4, die Bildverarbeitungseinheit 1 das rechte oder linke Bild als Standardbild und binärisiert das Standardbild. Das Standardbild ist in dieser Ausführung das rechte Bild. Bei dieser Binärisierung wird der Luminanzwert jedes Pixels des Standardbilds mit einem vorbestimmten Luminanzschwellenwert verglichen. Danach setzt die Bildverarbeitungseinheit 1 einen Wert von "1" (weiß) für einen Bereich mit einem Luminanzwert, der gleich oder höher als der vorbestimmte Luminanzschwellenwert ist (relativ heller Bereich), und setzt einen Wert von "0" (schwarz) für einen Bereich, dessen Luminanzwert niedriger ist als der Luminanzschwellenwert (ein relativ dunkler Bereich) für das Standardbild. Nachfolgend wird das durch die Binärisierung erhaltene Bild (Schwarz/Weiß Bild) als binäres Bild bezeichnet. Der in dem binären Bild auf "1" gesetzte Bereich wird als Hochluminanzbereich bezeichnet. Das binäre Bild wird, separat von dem Graustufenbild (dem linken Bild und dem rechten Bild) in den Bildspeicher gespeichert.

Genauer gesagt, die Prozesse der Schritte 1 bis 4 gleichen den Prozessen von S1 bis S4 in 3, die in der JP-A-2003-284057 oder dem U.S. Patent Nr. 7,130,488 B2 gezeigt sind. Nachfolgend führt die Bildverarbeitungseinheit 1 die Prozesse der Schritte 5 bis 7 für das binäre Bild durch und extrahiert ein Objekt (genauer gesagt, einen dem Objekt entsprechenden Bildabschnitt) aus dem binären Bild. In anderen Worten, die Bildverarbeitungseinheit 1 klassifiziert zuerst in Schritt 5 die Pixel, die den Hochluminanzbereich des binären Bilds darstellen, in Linien, die jeweils eine Breite eines Pixels in der vertikalen Richtung (Y-Richtung) des Standardbilds haben und die sich in der horizontalen Richtung (der X-Richtung) davon erstrecken, und wandelt jede Linie in Lauflängendaten um, die die Koordinaten der Position (der zweidimensionalen Dimension in dem Standardbild) und die Länge (die Anzahl der Pixel) enthält. Danach versieht in Schritt 6 die Bildverarbeitungseinheit 1 jede der Liniengruppen, die in der vertikalen Richtung des Standardbilds in den durch die Lauflängendaten repräsentierten Linien überlappen, mit einer Kennung (einem Identifizierer). Ferner extrahiert, in Schritt 7, die Bildverarbeitungseinheit 1 jede der Liniengruppen als Objekt. Das Objekt, das auf diese Weise aus dem binären Bild extrahiert ist, entspricht dem binären Objekt der vorliegenden Erfindung. Danach wird das in Schritt 7 extrahierte Objekt in einigen Fällen als das binäre Objekt bezeichnet.

Das binäre Objekt, das durch die Prozesse der Schritte 5 bis 7 extrahiert ist, enthält allgemein nicht nur einen lebenden Körper, wie etwa eine Person (einen Fußgänger), sondern auch eine künstliche Struktur, wie etwa ein anderes Fahrzeug. Darüber hinaus könnte einer oder mehrere örtliche Abschnitte eines identischen Körpers als binäres Objekt extrahiert werden. Zum Beispiel könnte nur ein Abschnitt in der Umgebung des Kopfs einer Person als binäres Objekt extrahiert werden.

Anschließend berechnet, in Schritt 8, die Bildverarbeitungseinheit 1 den Schwerpunkt (die Position in dem Standardbild) und die Fläche jedes binären Objekts, das wie oben beschrieben extrahiert ist, sowie das Aspektverhältnis eines das binäre Objekt umschreibenden Rechtecks. Der Schwerpunkt des binären Objekts wird berechnet durch Multiplizieren der Koordinaten der Position jeder Linie (der Mittelposition jeder Linie) der Lauflängendaten, die in dem binären Objekt enthalten sind, mit der Länge der Linie, Aufsummieren der Ergebnisse der Multiplikation aller Linien der Lauflängendaten, die in dem binären Objekt enthalten sind, und Dividieren des Ergebnisses der Summierung durch die Fläche des binären Objekts. Alternativ kann der Schwerpunkt (die Mittelposition) des das binäre Objekt umschreibenden Rechtecks berechnet werden, an Stelle des Schwerpunkts des binären Objekts.

Dann verfolgt in Schritt 9 die Bildverarbeitungseinheit 1 die in Schritt 7 extrahierten binären Objekte in Zeitintervallen, d. h. sie erkennt identische Objekte für jede arithmetische Verarbeitungsperiode der Bildverarbeitungseinheit 1. In diesem Prozess sei angenommen, dass ein binäres Objekt A in dem Prozess von Schritt 7 zur Zeit (diskreten Zeit) k innerhalb einer bestimmten arithmetischen Prozessperiode extrahiert wird, und ein binäres Objekt B in dem Prozess von Schritt 7 zur Zeit k + 1 in der nächsten arithmetischen Prozessperiode extrahiert wird, wobei die Identität zwischen den binären Objekten A und B bestimmt wird. Die Identität kann z. B. beruhen auf der Form und Größe der binären Objekte A und B in dem binären Bild und einer Korrelation der Luminanzverteilungen der binären Objekte A und B in dem Standardbild (Graustufenbild) bestimmt werden. Für den Fall, dass die binären Objekte A und B als miteinander identisch bestimmt werden, wird die Kennung (die in Schritt 6 zugeordnete Kennung des binären Objekts B, das zur Zeit k + 1 extrahiert wurde, in die gleiche Kennung wie beim binären Objekt A geändert.

Die Prozesse der Schritte 5 bis 9 sind die gleichen wie jene von S5 bis S9 in 3 der JP-A-2003-284507 bzw. der U.S. 7,130,448 B2.

Dann liest in Schritt 10 die Bildverarbeitungseinheit 1 die Ausgangssignale des Fahrzeuggeschwindigkeitssensors 4 und des Gierratensensors 3 (den erfassten Wert der Fahrzeuggeschwindigkeit und jenen der Giergeschwindigkeit.

In Schritt 10 berechnet die Bildverarbeitungseinheit 1 auch den Drehwinkel (Azimuth) des Fahrzeugs 10 durch integrieren der bereits gelesenen erfassten Werte der Giergeschwindigkeit.

Andererseits führt die Bildverarbeitungseinheit 1 die Prozesse der Schritte 11 bis 13 parallel zu den Prozessen der Schritte 9 und 10 durch einen Time-Sharing-Prozess durch. Die Prozesse der Schritte 11 bis 13 werden durchgeführt, um einen Abstand jedes in Schritt 7 extrahierten Objekts (binären Objekts) von dem Fahrzeug 10 zu berechnen und sind die gleichen wie jene von S11 bis S13 von 3 von JP-A-2003-284057 und U.S. 7,130,448 B2. Wenn man diese Prozesse schematisch beschreibt, so extrahiert die Bildverarbeitungseinheit 1 zuerst in Schritt 11 eine jedem Objekt entsprechende Fläche (z. B. die Fläche des jedes binäres Objekt umschreibenden Rechtecks) als Zielbild R1 in dem rechten Bild (Standardbild).

Dann setzt in Schritt 12 die Bildverarbeitungseinheit ein eine Suchfläche R2 im linken Bild als eine Fläche zum Suchen nach dem gleichen Objekt, wie es im Zielbild R1 des rechten Bilds enthalten ist. Ferner extrahiert im Schritt 12 die Bildverarbeitungseinheit 1 eine Fläche mit der höchsten Korrelation zum Zielbild R1 in der Suchfläche R2, als ein entsprechendes Bild R3, das das dem Zielbild R1 entsprechende Bild ist (das dem Zielbild R1 äquivalente Bild). In diesem Fall extrahiert die Bildverarbeitungseinheit 1 die Fläche, deren Luminanzverteilung am engsten zu der Luminanzverteilung des Zielbilds R1 im rechten Bild passt, aus der Suchfläche R2 des linken Bilds als das entsprechende Bild R3. Der Prozess von Schritt 12 wird anhand der Graustufenbilder (an Stelle der binären Bilder) durchgeführt.

Als nächstes berechnet in Schritt 13 die Bildverarbeitungseinheit 1 die Anzahl der Pixel einer Differenz zwischen der horizontalen Position (der Position in der x Richtung) des Schwerpunkts des Zielbilds R1 im rechten Bild und der horizontalen Position (der Position in der x-Richtung) des Schwerpunkts des entsprechenden Bilds R3 im linken Bild als Parallaxe &Dgr;d. Ferner berechnet, in Schritt 13, die Bildverarbeitungseinheit 1 einen Abstand z (den Abstand in der Längsrichtung des Fahrzeugs 10) des binären Objekts von dem Fahrzeug 10 unter Verwendung der Parallaxe &Dgr;d. Der Abstand z wird durch die folgende Gleichung (1) berechnet: z = (f × D)/(&Dgr;d × p)(1) wobei f die Brennweite der Infrarotkameras 2R und 2L ist, D die Basislänge (der Abstand zwischen den optischen Achsen der Infrarotkameras 2R und 2L ist und p eine Pixelteilung (die Länge eines Pixels) ist.

Das Obige ist der Umriss der Prozesse 11 bis 13. Die Prozesse der Schritte 11 bis 13 werden für jedes im Schritt 7 extrahierte binäre Objekt durchgeführt.

Nach Abschluss der Prozesse der Schritte 10 und 13 berechnet die Bildverarbeitungseinheit 1 anschließend die Realraumposition für jedes binäre Objekt, das ist die Position im realen Raum des Objekts (die relative Position zum Fahrzeug 10) in Schritt 14. Die Realraumposition ist die Position (X, Y, Z) im realen Raumkoordinatensystem (XYZ Koordinatensystem), dessen Mittelpunkt zwischen den Montagepositionen der Infrarotkameras 2R und 2L als Ursprung X, wie in 2 gezeigt. Die X-Richtung und Y Richtung des realen Raumkoordinatensystems sind die Fahrzeugbreitenrichtung bzw. die vertikale Richtung des Fahrzeugs 10. Die X-Richtung und die Y-Richtung sind gleich der x-Richtung (horizontalen Richtung) und y-Richtung (vertikalen Richtung) des rechten Bilds und des linken Bilds. Die Z-Richtung des realen Raumkoordinatensystems ist die Längsrichtung des Fahrzeugs 10. Die Realraumposition (X, Y, Z) des Objekts wird durch die folgenden Gleichungen (2), (3) und (4) berechnet: X = x·z·p/f(2) Y = y·z·p/f(3) Z = z(4) wobei x und y die x Koordinate und die y Koordinate des Objekts in dem Standardbild sind. Anzumerken ist, dass das Koordinatensystem hierbei ein xy Koordinatensystem ist, mit einem Ursprung um die Mitte des Standardbilds herum, obwohl dies hier nicht gezeigt ist. Der Ursprung ist ein vorbestimmter Punkt, so dass die x Koordinate und die y Koordinate im Standardbild des Objekts beide Null sind, wenn sich das Objekt auf der Z Achse des realen Raumkoordinatensystems befindet.

Dann kompensiert in Schritt 15 die Bildverarbeitungseinheit 1 den Effekt der Änderung im Drehwinkel des Fahrzeugs 10 (Änderung der Fahrtrichtung des Fahrzeugs 10), und korrigiert die Position X in der X-Richtung der Realraumposition (X, Y, Z) des Objekts, um die Genauigkeit des Realraumposition des Objekts basierend auf dem durch die Gleichung (2) berechneten Wert gemäß den Zeitseriendaten des in Schritt 10 berechneten Drehwinkels zu erhöhen. Hierbei erhält man letztendlich die Echraumposition des Objekts. In der folgenden Beschreibung bedeutet der Begriff "Realraumposition des Objekts" die wie oben korrigierte Realraumposition des Objekts. Die Realraumposition des Objekts wird für jede vorbestimmte arithmetische Prozessperiode sequenziell berechnet.

Dann bestimmt in Schritt 16 die Bildverarbeitungseinheit 1 einen Bewegungsvektor des Objekts relativ zum Fahrzeug 10. Insbesondere bestimmt sie eine gerade Linie, die an Zeitseriendaten über eine vorbestimmte Dauer hinweg (die Dauer von der gegenwärtigen Zeit bis zu einer Zeit, die eine vorbestimmte Zeitdauer früher liegt: nachfolgend als "Wiederholperiode" bezeichnet) der Realraumposition eines identischen Objekts angenähert ist, und bestimmt dann einen Vektor von der Position (dem Punkt) des Objekts auf der geraden Linie, während der vorausgehenden vorbestimmten Zeitdauer, zu der Position (dem Punkt) des Objekts auf der geraden Linie der gegenwärtigen Zeit als Bewegungsvektor des Objekts. Dieser Bewegungsvektor ist proportional zu einem Relativgeschwindigkeitsvektor des Objekts in Bezug auf das Fahrzeug 10. Die Prozesse der Schritte 14 bis 16 sind die gleichen wie jene von S14 bis S16 in 3 der JP-A-2003-284057 bzw. von U.S. 7,130,448 B2.

Anschließend führt die Bildverarbeitungseinheit 1 einen Zu-vermeidendes-Objekt-Bestimmungsprozess durch, worin bestimmt wird, ob jedes Objekt (binäres Objekt), das in Schritt 7 extrahiert ist, ein Objekt ist, dessen Kontakt mit dem Fahrzeug 10 vermieden werden muss (Schritt 17). Der zu vermeidende Objekt-Bestimmungsprozess wird im Detail später beschrieben. Der Zu-vermeidendes-Bestimmungsprozess in Schritt 17 bildet die Zu-vermeidender-Bestimmungsprozess-Einheit der vorliegenden Erfindung.

Für den Fall, dass in dem Zu-vermeidendes-Objekt-Bestimmungsprozess von Schritt 17 bestimmt wird, dass das Objekt nicht vermieden werden braucht (genauer gesagt für den Fall, dass alle Objekte als nicht zu vermeidend bestimmt werden), wird als Ergebnis der Bestimmung in Schritt 17 NEIN ausgegeben. In diesem Fall endet der Prozess der gegenwärtigen arithmetischen Prozessperiode, und der Prozess von Schritt 1 wird in der nächsten arithmetischen Prozessperiode erneut ausgeführt. Für den Fall, dass in Schritt 17 bestimmt wird, dass das Objekt vermieden werden muss (für den Fall, dass das Objekt als zu vermeidend bestimmt wird), wird in Schritt 17 als Ergebnis der Bestimmung ein JA ausgegeben. In diesem Fall geht die Steuerung zu Schritt 18 weiter, und die Bildverarbeitungseinheit 1 führt einen Warnausgabebestimmungsprozess durch, um zu bestimmen, ob die Warnung des Fahrers des Fahrzeugs 10 vor dem bestimmten Objekt vermieden werden soll. In diesem Warnausgabebestimmungsprozess wird auf der Basis einer Ausgabe des Bremssensors 5 geprüft, ob der Fahrer eine Bremsbetätigung des Fahrzeugs 10 durchführt, und es wird bestimmt, dass die Warnung nicht ausgegeben werden sollte für den Fall, dass die Verzögerung (positiv in der Verzögerungsrichtung der Fahrzeuggeschwindigkeit) des Fahrzeugs 10 größer ist als ein vorbestimmter Schwellenwert (> 0). Für den Fall, dass der Fahrer keine Bremsbetätigung durchführt, oder für den Fall, dass die Verzögerung des Fahrzeugs 10 gleich oder niedriger als der vorbestimmte Schwellenwert ist, obwohl der Fahrer die Bremse betätigt, bestimmt die Bildverarbeitungseinheit 1, dass die Warnung ausgegeben werden sollte.

Für den Fall, dass die Bildverarbeitungseinheit 1 bestimmt, dass die Warnung durchgeführt werden sollte (falls das Bestimmungsergebnis in Schritt 18 JA ist), führt sie in Schritt 19 einen Warnprozess durch, um den Fahrer des Fahrzeugs 10 durch den Lautsprecher 10 und das Display 7 zu warnen. Nach dem Warnprozess endet der Prozess der gegenwärtigen arithmetischen Prozessperiode, und der Prozessabschnitt 1 wird in der nächsten arithmetischen Prozessperiode erneut gestartet. In dem obigen Warnprozess wird z. B. auf dem Display 7 das Standardbild angezeigt, wobei das Bild des zu vermeidenden Objekts im Standardbild optisch hervorgehoben wird. Ferner leitet die Bildverarbeitungseinheit 1 den Fahrer mit einer Stimme vom Lautsprecher 6 an, um den Fahrer über das Vorhandensein des Objekts zu informieren. Dieser weckt die Aufmerksamkeit des Fahrers auf das Objekt. Es besteht auch die Möglichkeit, nur entweder den Lautsprecher 6 oder das Display 7 zu verwenden, um die Aufmerksamkeit des Fahrers zu erwecken. Falls in Schritt 18 bestimmt wird, dass die Warnung nicht durchgeführt werden sollte (falls bestimmt wird, dass die Warnung für irgendein zu vermeidendes Objekt nicht ausgeführt werden sollte, wird in Schritt 18 das Bestimmungsergebnis NEIN. In diesem Fall beendet die Bildverarbeitungseinheit 1 den Prozess der gegenwärtigen arithmetischen Prozessperiode und startet den Prozessabschnitt 1 in der nächsten arithmetischen Prozessperiode erneut.

Darüber hinaus entsprechen das Display 7 und der Lautsprecher 6 dieser Ausführung der vorbestimmten Ausstattung der vorliegenden Erfindung. Für den Fall, dass das Lenksystem, das Bremssystem oder das Antriebssystem des Fahrzeugs 10 mittels eines Aktuators betätigt werden kann (d. h. in einem Fall, wo das Fahrverhalten des Fahrzeugs 10 gesteuert/geregelt werden), besteht auch die Möglichkeit, den Aktuator des Lenksystems, des Bremssystems oder des Antriebssystems des Fahrzeugs 10 zu steuern/zu regeln, um den Kontakt mit dem in Schritt 17 bestimmten zu vermeidenden Objekt zu verhindern oder die Vermeidung zu erleichtern. Zum Beispiel wird der mit dem Gaspedal des Antriebssystem verbundene Aktuator derart angesteuert, dass eine vom Fahrer auf das Gaspedal ausgeübte angeforderte Kraft größer ist als in dem Fall, wo kein Objekt vermieden werden soll (Normalzustand), so dass das Fahrzeug 10 nicht leicht beschleunigen kann. Alternativ wird der mit dem Lenkrad verbundene Aktuator derart angesteuert, dass das erforderliche Drehmoment des Lenkrads in der Kursrichtung des Lenksystems, das zur Kontaktvermeidung zwischen dem zu vermeidenden Objekt und dem Fahrzeug 10 erforderlich ist, niedriger ist als das erforderliche Drehmoment des Lenkrads in der entgegengesetzten Richtung, um die Lenkradbetätigung in der Kursrichtung zu erleichtern. Alternativ wird der Aktuator des Bremssystems derart angesteuert, dass die Zunahmegeschwindigkeit einer Bremskraft des Fahrzeugs 10 in Abhängigkeit vom Betätigungsbetrags eines Bremspedals des Bremssystems höher ist als im Normalzustand. Dies erleichtert die Fahrt des Fahrzeugs 10, um den Kontakt mit dem zu vermeidenden Objekt zu vermeiden.

Für den Fall, das das Lenksystem, das Antriebssystem und das Bremssystem des Fahrzeugs 10 wie oben beschrieben, gesteuert bzw. geregelt werden, entsprechen die Aktuatoren dieser Systeme der vorbestimmten Ausstattung der Erfindung. Darüber hinaus ist es auch möglich, das Lenksystem, das Antriebssystem oder das Bremssystem wie oben beschrieben, parallel zur Warnung durch das Display 7 oder den Lautsprecher 6 zu steuern.

Oben wurde der Gesamtbetrieb der Fahrzeugumgebungs-Überwachungsvorrichtung dieser Ausführung beschrieben.

Insbesondere bilden die Prozesse der Schritte 18 und 19 die Fahrzeugausrüstungssteuerprozesseinheit der Erfindung.

Nachfolgend wird der Zu-vermeidendes-Objekt-Bestimmungsprozess von Schritt 17, worauf sich die Beschreibung bisher bezogen hat, im Detail in Bezug auf die 5 bis 9 beschrieben.

In Bezug auf 5 startet der Zu-vermeidendes-Objekt-Bestimmungsprozess in Schritt 17 die Ausführung eines ersten Projektpositionsbestimmungsprozesses als ersten Bestimmungsprozess der Realraumposition des Objekts, in Schritt 31. Der erste Objektpositionbestimmungsprozess wird durchgeführt, um zu bestimmen, ob der Kontakt zwischen dem Fahrzeug 10 und dem Objekt durch Lenk- oder Bremsbetätigung des Fahrzeugs 10 problemlos vorab vermieden werden kann. Insbesondere wird in dem ersten Objektpositionbestimmungsprozess bestimmt, ob die gegenwärtige Realraumposition (der gegenwärtige Wert der Realraumposition) des Objekts innerhalb des Bereichs liegt, der sich über einen Abstand des von dem Fahrzeug 10 in der Z-Richtung (einem Abstand in der Längsrichtung des Fahrzeugs 10 erstreckt), der gleich oder kleiner als ein vorbestimmter Wert ist (nachfolgend als erster Bereich AR1 bezeichnet), von den Bildbereichen der Infrarotkameras 2R und 2L (Bereichen innerhalb des Blickwinkels der Infrarotkameras 2R und 2L).

Bei dieser Bestimmung wird der vorbestimmte Wert des Abstands von dem Fahrzeug 10 für jedes in 10 extrahierte Objekt (binäres Objekt) gesetzt. Insbesondere wird die Z-Richtungskomponente des Bewegungsvektors durch die Überwachungszeitdauer zur Berechnung des Bewegungsvektors in Schritt 16 dividiert. Dies ermöglicht die Berechnung der durchschnittlichen Geschwindigkeit Vz des Objekts (des Mittelwerts Vz einer Relativgeschwindigkeit des Objekts in der Längsrichtung des Fahrzeugs 10) in der Überwachungsperiode. Nachfolgend wird ein Wert Vz T, der durch multiplizieren der Durchschnittsgeschwindigkeit Vz mit einer vorbestimmten Konstanten T (einer Konstanten in der Zeitdimension) erhalten ist, als der vorbestimmte Wert gesetzt, der die Grenze in der Z-Richtung des ersten Bereichs AR1 definiert.

Der erste Bereich AR1, der auf diese Weise gesetzt wurde, entspricht einer Fläche, die durch ein in 7 gezeigtes Dreieck abc gebildet ist, in Draufsicht des Fahrzeugs 10 bei Betrachtung von oben her. Eine gerade Linie L1, die ein Liniensegment ab enthält und eine gerade Linie L2, die ein Liniensegment ac enthält, sind die linken und rechten Grenzen des Blickwinkels (des Blickwinkels in der horizontalen Richtung) der infrarotkameras 2R und 2L. Der erste Bereich AR1 hat eine vorbestimmte Höhe (z. B. das Doppelte der Höhe des Fahrzeugs 10 oder dergleichen) in der vertikalen Richtung.

Der erste Objektpositionbestimmungsprozess in Schritt 31 wird durchgeführt, um zu bestimmen, ob sich das Objekt in dem ersten Bereich AR1 befindet, der festgelegt ist, so dass er jedem Objekt entspricht, wie oben beschrieben. In dem Bestimmungsprozess wird bestimmt, dass sich das Objekt in dem ersten Bereich AR1 befindet, falls die Z-Richtungsposition der gegenwärtigen Realraumposition des Objekts gleich oder kleiner als Vz T ist und die Y-Richtungsposition gleich oder kleiner als eine vorbestimmte Höhe ist. Für den Fall, dass die Relativgeschwindigkeit Vz des Objekts, das sich in der Längsrichtung des Fahrzeugs 10 befindet, in einer Richtung läuft, die von dem Fahrzeug 10 weg führt, wird bestimmt, dass sich das Objekt nicht in dem ersten Bereich AR1 befindet.

Falls in Schritt 31 bestimmt wird, dass sich das Objekt nicht in dem ersten Bereich AR1 befindet (falls in Schritt 31 das Bestimmungsergebnis NEIN ist, bedeutet dies eine Situation, wo der Kontakt zwischen dem Objekt und dem Fahrzeug vorab durch Längs- oder Bremsbetätigung des Fahrzeugs 10 vermieden werden kann. In diesem Fall bestimmt die Bildverarbeitungseinheit 1 in Schritt 37, dass das Objekt nicht vermieden werden muss und beendet den Zu-Vermeidendes-Objekt-Bestimmungsprozess des Objekts.

Falls andererseits in Schritt 31 bestimmt wird, dass sich das Objekt in dem ersten Bereich AR1 befindet (falls in Schritt 31 das Bestimmungsergebnis JA ist, führt die Bildverarbeitungseinheit 1 einen zweiten Objektposition-Bestimmungsprozess als zweiten Bestimmungsprozess der Realraumposition des Objekts in Schritt 32 aus. Der zweite Objektposition-Bestimmungsprozess wird durchgeführt, um zu bestimmen, ob das Fahrzeug 10 wahrscheinlich mit dem Objekt in Kontakt kommt, unter der Annahme, dass die Realraumposition des Objekts auf der gegenwärtigen Position bleibt (unter der Annahme, dass das Objekt stehen bleibt). Insbesondere wird in dem zweiten Objektposition-Bestimmungsprozess bestimmt, ob sich das Objekt in einem Bereich AR2 (nachfolgend als zweiter Bereich AR2 bezeichnet) zwischen einem Grenzpaar L3 und L4 befindet, das so gesetzt ist, dass es sich in der Längsrichtung des Fahrzeugs 10 an beiden Seiten davon erstreckt (sie erstrecken sich parallel zur Mittellinie der Fahrzeugbreite L0 des Fahrzeugs 10), wie wie in 7 gezeigt.

In dieser Bestimmung werden die linken und rechten Grenzen L3 und L4 des zweiten Bereichs AR2 auf die Positionen gesetzt, die den gleichen Abstand W/2 von der Mittellinie der Fahrzeugbreite L0 des Fahrzeugs 10 an beiden Seiten davon haben, wie in 7 gezeigt, wobei W ein Abstand zwischen den Grenzen L3 und L4 ist. Der Abstand W zwischen den Grenzen L3 und L4 ist etwas breiter gesetzt als die Fahrzeugbreite &agr; des Fahrzeugs 10. Ob sich nun das Objekt in dem zweiten Bereich AR2 befindet, wird in Abhängigkeit davon bestimmt, ob der Wert der X-Richtungskomponente der gegenwärtigen Realraumposition des Objekts zwischen der X-Richtungsposition der Grenze L3 und der X-Richtungsposition der Grenze L4 liegt.

Insbesondere kann die Breite W des zweiten Bereichs AR2 gemäß der Fahrumgebung des Fahrzeugs 10 (der Fahrzeuggeschwindigkeit des Fahrzeugs 10, einem Sicherheitsabstand vor dem vorausfahrenden Fahrzeug und dergleichen) verändert werden.

Falls in Schritt 32 bestimmt wird, dass sie die Realraumposition des Objekts im zweiten Bereich AR2 befindet (falls in Schritt 32 das Bestimmungsergebnis JA ist, wird das Objekt wahrscheinlich mit dem Fahrzeug 10 in Kontakt kommen, unter der Annahme, dass das Objekt in der gegenwärtigen Realraumposition verbleibt. In diesem Fall wird bestimmt, dass das Objekt dringend zu vermeiden ist, dass nämlich das Objekt dieser Ausführung ein Fußgänger (eine Person) ist.

Daher bestimmt, falls in Schritt 32 das Bestimmungsergebnis JA ist, die Bildverarbeitungseinheit 1 zuerst in Schritt 33, ob der Grad der vertikalen Symmetrie jedes Objekts im Standardbild (Graustufenbild) hoch oder niedrig ist (entweder symmetrisch ist oder nicht), um den Typ des Objekts zu bestimmen.

Der Bestimmungsprozess wird so durchgeführt, wie im Flussdiagramm in 6 gezeigt. In Bezug auf 6 wird zuerst in Schritt 51 ein Bild eines Graustufenobjekts, das jedes binäre Objekt enthält, aus dem Standardbild extrahiert.

Der Begriff "Bild des Graustufenobjekts" bedeutet ein Bild, das die minimale oder nahezu minimale Größe hat, die den gesamten Körper des Individuums einschließt (z. B. einer Person) der als Graustufenbild aufgenommen wurde (z. B. ein rechteckiges Bild, das etwas größer ist als der gesamte Körper des Individuums), und in Schritt 7 wird eine Hochluminanzfläche des Bilds als binäres Objekt extrahiert.

Der Prozess von Schritt 51 wird nachfolgend in Bezug auf 8 im Einzelnen beschrieben. 8 zeigt schematisch ein Beispiel des Bilds einer Person im Standardbild (Graustufenbild). Ein schattierter Abschnitt 100 in 8 bezeichnet einen Hochluminanzbereich der Person, in anderen Worten, einen Abschnitt, der in Schritt 7 als binäres Objekt extrahiert ist. In diesem Beispiel wird nur der obere Teil einschließlich des Kopfs der Person als das binäre Objekt 100 extrahiert. Die in 8 gezeigte gestrichelte Linie bezeichnet den gesamten Umriss der Person (Randlinie), die in dem Standardbild (Graustufenbild) erscheint. Ein mit der gestrichelten Linie umschlossener Abschnitt 102 ist das Graustufenobjekt. Danach wird in Schritt 51 ein rechteckiges Bild (das von dem dick linierten Rahmen in 8 umschlossene Bild), einschließlich des Graustufenobjekts, extrahiert.

Im Einzelnen werden im Prozess von Schritt 51 zuerst eine Mehrzahl von Maskenflächen MASK in der vertikalen Richtung an den oberen und unteren Seiten des binären Objekts 100 in dem Standardbild angeordnet, wie in 8 gezeigt. In dieser Darstellung sind drei Maskenflächen MASK an der Oberseite des binären Objekts 100 an dessen Unterende her angeordnet, während fünf Maskenflächen MASK an der Unterseite des binären Objekts 100 von dessen Unterende aus angeordnet sind.

Die jeweiligen Maskenflächen MASK sind rechteckige Flächen gleicher Größe. Die Breite W1 und die Höhe H1 der Maskenfläche werden entsprechend dem in Schritt 13 berechneten Abstand (dem Abstand in der Z-Richtung) von dem Fahrzeug 10 des binären Objekts 100 gesetzt. In anderen Worten, die Breite W1 und die Höhe H1 jeder Maskenfläche MASK werden derart gesetzt, dass die Werte, die durch Umwandeln der Breite W1 und der Höhe H1 der Maskenfläche MASK zu Realraumlängen basierend auf den obigen Gleichungen (2) und (3) erhalten wurden, gleich vorbestimmten Werten sind (vorbestimmten Festwerten). Der Wert, der durch Umwandeln der Breite W1 in die Realraumlänge erhalten ist, ist ein wenig breiter als die Schulterlänge einer durchschnittlichen Person. Die Anzahl der angeordneten Maskenflächen wird so bestimmt, dass der Wert, der durch Umwandeln der Länge vom Oberende der obersten Maskenfläche MASK zum Unterende der untersten Maskenfläche MASK in die Realraumlänge erhalten wurde, und ein gewisses Ausmaß länger ist als die Höhe einer durchschnittlichen Person.

Anschließend wird die minimale rechteckige Bildfläche, die die gesamte Maskenfläche MASK enthält, die den folgenden Bedingungen (A) bis (C) genügt, als Bild des Graustufenobjekts (102) extrahiert:

  • (A) Die Luminanzverteilung der Maskenfläche MASK ist gleich oder größer als ein vorbestimmter Schwellenwert;
  • (B) Der Korrelationsgrad (der Koinzidenzgrad in der Luminanzverteilung) zwischen der Maskenfläche MASK im Standardbild (dem rechten Bild) und der Maskenfläche des ihm entsprechenden linken Bilds ist hoch;
  • (C) Die Parallaxe zwischen der Maskenfläche MASK in dem rechten Bild und der Maskenfläche im ihm entsprechenden linken Bild ist im wesentlichen gleich der Parallaxe des binären Objekts 100 (der Absolutwert der Differenz zwischen diesen Parallaxen ist gleich oder kleiner als ein vorbestimmter Wert).

Die Bedingung (A) bedeutet, dass die Maskenfläche MASK ein Bild einer Person oder irgendeines anderen Körpers und dessen Hintergrundbild enthält. Die Bedingung (B) bedeutet, dass die Maskenfläche MASK im rechten Bild und die Maskenfläche im ihm entsprechenden linken Bild das selbe einzelne Objekt enthalten. Die Bedingung (C) bedeutet, dass der Abstand des in der Maskenfläche MASK enthaltenen Körpers von dem Fahrzeug 10 im wesentlichen gleich dem in der Parallaxe des binären Objekts 100 berechneten Abstand des Objekts von dem Fahrzeug 10 ist.

Der Korrelationsgrad (der Koinzidenzgrad in der Luminanzverteilung) in der Bedingung (B) wird basierend auf einer Summe absoluter Differenzen (sogenannter SAD) bestimmt, die zum Beispiel durch Aufsummieren der Absolutwerte von Differenzen in den Luminanzwerten zwischen allen Pixeln, die einander in der Maskenfläche MASK im rechten Bild und dem Maskenbereich im ihm entsprechenden linken Bild entsprechen, erhalten wird. In anderen Worten, falls der Wert der Summe absoluter Differenzen gleich oder größer als ein vorbestimmter Wert ist, wird bestimmt, dass die Bedingung (B) erfüllt ist. In Bezug auf die Bedingung (C) wird die Parallaxe zwischen der Maskenfläche MASK im rechten Bild und der Maskenfläche im ihm entsprechenden linken Bild zum Beispiel als Parallaxe eines Punkts einer Luminanzveränderung in der horizontalen Richtung (x-Richtung) (einem Punkt, wo die Luminanzveränderung gleich oder größer als ein vorbestimmter Wert ist) in jeder Maskenfläche berechnet. Falls der Absolutwert einer Differenz zwischen der Parallaxe und der Parallaxe des binären Bilds gleich oder kleiner als ein vorbestimmter Wert ist, wird bestimmt, dass die Bedingung (C) erfüllt ist.

Das Bild des Graustufenobjekts, das jedem binären Objekt entspricht, wird durch den oben beschriebenen Prozess von Schritt 51 extrahiert. Im in 8 gezeigten Beispiel wird eine Bildfläche 104, die in 8 mit der dicken Linie angegeben ist, als das Bild des Graustufenobjekts 102 extrahiert. Im Beispiel von 8, erfüllt keine der Maskenfläche MASK oberhalb des binären Objekts 100 eine der Bedingungen (A) bis (C). Ferner erfüllt die untere Maskenfläche MASK der Maskenflächen MASK unterhalb des binären Objekts 100 keine der Bedingungen (A) bis (C), und die zweitunterste Maskenfläche MASK erfüllt alle Bedingungen (A) bis (C). Jede der Maskenflächen MASK oberhalb der zweituntersten Maskenfläche MASK der Maskenflächen MASK unterhalb des binären Objekts 100 erfüllt in einigen Fällen alle Bedingungen (A) bis (C) und erfüllt diese in anderen Fällen nicht.

Zurück zu 6. Nach Extraktion der Bilder der Graustufenobjekte entsprechend den binären Objekten, wie oben beschrieben, setzt in Schritt 52 die Bildverarbeitungseinheit ein symmetrie-Bestimmungsmaskenflächen UMASK und DMASK zur Bestimmung des vertikalen Symmetriegrads des Graustufenobjekts auf das obere Teil und das untere Teil des Bilds. In diesem Fall sind, wie in 9 gezeigt, die symmetrie-Bestimmungsmastenflächen UMASK und DMASK rechteckige Flächen, jeweils mit einer Breite W3, die gleich der Breite W2 ist (= Breite W1 der Maskenfläche MASK) des Bilds 104 des Graustufenobjekts 102, und mit einer vertikalen Länge H3, die ein vorbestimmtes Verhältnis der vertikalen Länge H2 des Bilds 104 des Graustufenobjekts 102 hat (die Länge erhalten durch multiplizieren H2 mit einer positiven Konstanten kleiner 1). Obwohl die vertikale Länge H3 der symmetrie-Bestimmungsmaskenfläche UMASK oder DMASK kleiner als eine Hälfte der vertikalen Länge H2 (= H2/2) des Bilds 104 des Graustufenobjekts 102 in dieser Ausführung ist, kann sie auch gleich H2/2 sein. In anderen Worten, die Flächen, die durch Halbieren des Bilds 104 des Graustufenobjekts 102 in obere und untere Teile erhalten ist, kann als die symmetrie-Bestimmungsmaskenflächen UMASK und DMASK gesetzt werden. Die Breite W3 der symmetrie-Bestimmungsmaskenflächen UMASK und DMASK kann etwas kleiner sein als die Breite W2 des Bilds 104 des Graustufenobjekts 102.

Anschließend bestimmt die Bildverarbeitungseinheit 1 in Schritt 53 den Korrelationsgrad (den Koinzidenzgrad der Luminanzverteilung) der symmetrie-Bestimmungsmaskenflächen UMASK und DMASK. Falls bestimmt wird, dass der Korrelationsgrad hoch ist, bestimmt die Bildverarbeitungseinheit 1 in Schritt 54, dass der Grad der vertikalen Symmetrie des Graustufenobjekts hoch ist. Falls andererseits bestimmt wird, dass der Korrelationsgrad niedrig ist, bestimmt die Bildverarbeitungseinheit 1 in Schritt 55, dass der Grad der vertikalen Symmetrie des Graustufenobjekts niedrig ist. In diesem Fall wird, insbesondere die Bestimmung in Schritt 53 durchgeführt, durch Vergleich der Summe der absoluten Differenz zu der symmetrie-Bestimmungsmaskenflächen UMASK und DMASK mit einem vorbestimmten Schwellenwert. Falls die Summe der absoluten Differenzen gleich oder kleiner als der vorbestimmte Schwellenwert ist, wird bestimmt, dass der Korrelationsgrad hoch ist; und falls die Summe der absoluten Differenzen größer als der vorbestimmte Wert ist, wird bestimmt, dass der Korrelationsgrad niedriger ist.

Oben sind die Details des Prozesses von Schritt 33 beschrieben worden. In diesem Fall ist, wenn das Objekt ein lebender Körper wie etwa eine Person ist, ist der Grad der vertikalen Symmetrie allgemein niedrig. Daher wird durch den Prozess von Schritt 33 bestimmt, dass das Objekt einen niedrigen vertikalen Symmetriegrad hat. Andererseits hat ein anderes Objekt als ein lebender Körper, wie etwa ein Verkaufsautomat oder ein Versorgungspfosten einen hohen vertikalen Symmetriegrad. Daher wird bestimmt, dass der vertikale Symmetriegrad des Objekts hoch ist.

Zurück zum in 5 gezeigten Flussdiagramm. Falls in Schritt 33 bestimmt wird, dass der vertikale Symmetriegrad des Graustufenobjekts als hoch bestimmt wurde, bestimmt die Bildverarbeitungseinheit 1 in Schritt 33a, dass der Typ des Objekts etwas anderes als ein lebender Körper ist (eine künstliche Struktur wie etwa ein Versorgungspfosten). Ferner ist in diesem Fall das Objekt keine Person, und daher bestimmt die Bildverarbeitungseinheit 1 in Schritt 37, dass das Objekt nicht vermieden werden muss.

Falls andererseits in Schritt 33 bestimmt wird, dass der Grad der vertikalen Symmetrie des Graustufenobjekts niedrig ist, bestimmt die Bildverarbeitungseinheit 1 in Schritt 33, dass das Objekt wahrscheinlich ein lebender Körper wie etwa einer Person ist.

Insbesondere ist die Tatsache, dass in Schritt 33 der Grad der vertikalen Symmetrie als hoch bestimmt wird, im wesentlichen gleichwertig damit, dass der Typ des Objekts als etwas anderes als ein lebender Körper bestimmt wird. Ferner ist die Tatsache, dass in Schritt 33 der Grad der vertikalen Symmetrie als niedrig bestimmt wird, im wesentlichen gleichwertig damit, dass der Typ des Objekts als wahrscheinlich lebender Körper bestimmt wird. Daher braucht in der Praxis die Bildverarbeitungseinheit 1 nicht die Prozesse der Schritte 33a und 33b durchzuführen, und daher können die Prozesse der Schritte 33a und 33b weggelassen werden. Die Prozesse der Schritte 33a und 33b sind in dieser Ausführung zur einfacheren Erläuterung vorgesehen.

Obwohl weniger häufig, könnte in Schritt 33 bestimmt werden, dass ein anderes Objekt als ein lebender Körper einen niedrigen vertikalen Symmetriegrad hat. Weil ferner ein Objekt ein anderes Lebewesen als ein Fußgänger ist, wird in Schritt 33 bestimmt, dass der vertikale Symmetriegrad niedrig ist.

Daher führt in dieser Ausführung die Bildverarbeitungseinheit 1 in Schritt 33 einen Fußgängerbestimmungsprozess durch, um in Schritt 34 zu bestimmen, ob das Graustufenobjekt ein Fußgänger (eine Person ist, genauer gesagt, ob das Graustufenobjekt wahrscheinlich ein Fußgänger ist), für ein Objekt, dessen vertikaler Symmetriegrad in Schritt 33 als niedrig bestimmt wurde. Der Fußgängerbestimmungsprozess wird nur für ein solches Objekt durchgeführt, dessen vertikaler Symmetriegrad als niedrig bestimmt wurde. Daher wird der Fußgängerbestimmungsprozess an in Schritt 7 extrahierten Objekten nur für solche andere Objekte ausgeführt, deren vertikaler Symmetriegrad in Schritt 33 als hoch bestimmt wurde (genauer gesagt, Objekt, für die das Bestimmungsergebnis in Schritt 32 JA ist).

Der genauere Prozess des Fußgängerbestimmungsprozesses ist der gleiche wie der Prozess in Schritt 34 von 5 von JP-A-2003-284057 oder U.S. 7,130,448 B2. Daher wird in dieser Beschreibung die detaillierte Beschreibung davon weggelassen. Kurz gesagt, wird in diesem Prozess die Frage, ob das Objekt ein Fußgänger ist, basierend auf mehreren Arten vorbestimmter Merkmalswerte bestimmt (Merkmalswerte außer dem vertikalen Symmetriegrad) wie etwa der Form und Größe des Graustufenobjekts oder des binären Objekts, der Luminanzverteilung (der Luminanz-Varianz oder der durchschnittlichen Luminanz) des Bilds (des Bilds 104 in 8) des Graustufenobjekts und dergleichen. Hierbei wird bestimmt, ob verschiedene Typen von Merkmalswerten notwendigen Bedingungen genügen (Bedingungen, dass der Merkmalswert gleich oder größer als ein vorbestimmter Schwellenwert ist). Danach wird die Frage, ob das Objekt ein Fußgänger ist, unter Berücksichtigung der Bestimmungsergebnisse in verständlicher Weise bestimmt. Darüber hinaus enthält der Prozess von S34 in 5 von JP-A-2003-284057 oder U.S. 7,130,448 B2 den Extraktionsprozess des Bilds des Graustufenobjekts. Jedoch wird in dieser Ausführung das Bild des Graustufenobjekts in Schritt 33 extrahiert. Daher ist es in dieser Ausführung nicht erforderlich, das Bild des Graustufenobjekts in dem Fußgängerbestimmungsprozesse in Schritt 34 zu extrahieren.

Falls in dem Fußgängerbestimmungsprozess in Schritt 34 bestimmt wird, dass das Objekt (das Objekt dessen vertikaler Symmetriegrad niedrig ist) nur unwahrscheinlich ein Fußgänger ist (falls das Bestimmungsergebnis in Schritt 34 NEIN ist), dann bestimmt die Bildverarbeitungseinheit 1 in Schritt 37, dass das Objekt nicht vermieden werden muss.

Falls andererseits in Schritt 34 bestimmt wird, dass das Objekt (dessen vertikaler Symmetriegrad niedrig ist) wahrscheinlich ein Fußgänger ist (falls das Bestimmungsergebnis in Schritt 34 NEIN ist, führt die Bildverarbeitungseinheit 1 in Schritt 35 einen Künstliche-Struktur-Bestimmungsprozess durch, um zu bestimmen, ob das Objekt eine künstliche Struktur wie etwa ein anderes Fahrzeug ist, um die Zuverlässigkeit der Bestimmung zu erhöhen (um definitiv zu bestimmen, ob das Objekt ein Fußgänger ist). Der Künstliche-Struktur-Bestimmungsprozess ist der gleiche wie der Prozess von S35 in 5 von JP-A-2003-284057 und U.S. 7,130,448 B2. Daher wird die detaillierte Beschreibung dieses Prozess hier weggelassen. Kurz gesagt, wird in dem Prozess die Frage, ob das Objekt eine künstliche Struktur ist, basierend auf dem Vorhandensein oder Fehlen eines linearen oder rechtwinkligen Abschnitts des Objekts in dem Graustufenbild, dem Koinzidenzgrads zwischen dem Bild des Objekts und einem vorbestimmten registrierten Muster und dergleichen bestimmt.

Falls hierbei bestimmt wird, dass das Objekt eine künstliche Struktur ist (falls in Schritt 35 das Bestimmungsergebnis JA ist), bestimmt die Bildverarbeitungseinheit 1 in Schritt 37, dass das Objekt nicht vermieden werden muss.

Falls in Schritt 35 bestimmt wird, dass das Objekt keine künstliche Struktur ist (falls in Schritt 35 das Bestimmungsergebnis NEIN ist), wird bestimmt, dass das Objekt definitiv ein Fußgänger ist. In diesem Fall bestimmt die Bildverarbeitungseinheit 1 in Schritt 36, dass das Objekt vermieden werden muss.

Falls andererseits in Schritt 32 bestimmt wird, dass sich das Objekt nicht in dem zweiten Bereich AR2 befindet (falls in Schritt 32 das Bestimmungsergebnis NEIN ist), führt die Bildverarbeitungseinheit 1 in Schritt 38 anschließend einen Annäherungsobjekt-Kontakt-Bestimmungsprozess durch, der sich auf die Bewegungsrichtung des Objekts bezieht. Der Annäherungsobjekt-Kontakt-Bestimmungsprozess wird durchgeführt, um zu bestimmen, ob ein Objekt wahrscheinlich in dem zweiten Bereich AR2 eintritt und mit dem Fahrzeug 10 in Kontakt kommt. Insbesondere sei angenommen, dass der in Schritt 16 berechnete Bewegungsvektor des Objekts so bleibt wie er ist (die relative Bewegungsrichtung des Objekts in Bezug auf das Fahrzeug 10 bleibt wie sie ist), dann bestimmt die Bildverarbeitungseinheit 1 die Position in der X-Richtung des Schnittpunkts zwischen der geraden Linie, die den Bewegungsvektor enthält, und der XY Ebene des Realraumkoordinatensystems am Vorderende des Fahrzeugs 10. Danach wird eine Bedingung gesetzt, dass sich die festgestellte Position in der X-Richtung innerhalb eines vorbestimmten Bereichs (eines Bereichs, der etwas breiter ist als die Fahrzeugbreite des Fahrzeugs 10) um die Position in der X-Richtung der Mittellinie der Fahrzeugbreite L0 des Fahrzeugs 10 befindet (nachfolgend wird die Bedingung als das Annäherungsobjekt-Kontakt-Bedingung bezeichnet), und die Bildverarbeitungseinheit bestimmt, ob die Annäherungs-Kontakt-Bedingung erfüllt ist.

Falls in Schritt 38 das Objekt die Annäherungsobjekt-Kontakt-Bedingung erfüllt (falls in Schritt 38 das Bestimmungsergebnis JA ist), ist es wahrscheinlich, dass das Objekt künftig mit dem Fahrzeug 10 in Kontakt kommt. Daher bestimmt die Bildverarbeitungseinheit 1 in diesem Fall in Schritt 36, dass das Objekt vermieden werden soll und beendet den Zu-Vermeidendes-Objekt-Bestimmungsprozess.

So lange andererseits das Objekt die Annäherungsobjekt-Kontakt-Bedingung in Schritt 38 erfüllt (falls in Schritt 38 das Bestimmungsergebnis NEIN ist, ist es unwahrscheinlich, dass das Objekt mit dem Fahrzeug 10 in Kontakt kommt. Daher bestimmt in diesem Fall die Bildverarbeitungseinheit 1 in Schritt 37, dass das Objekt nicht vermieden werden braucht und beendet den Zu-vermeidendes-Objekt-Bestimmungsprozess.

Oben liegt der detaillierte Zu-vermeidendes-Objekt-Bestimmungsprozess in Schritt 17. Zusätzlich bildet der Prozess von Schritt 33 die Vertikalsymmetrie-Bestimmungsprozesseinheit der Erfindung. Der Prozess, der den Prozess von Schritt 33 und die Prozesse der Schritte 33a und 33b enthält, bildet die Erster-Typ-Bestimmungsprozesseinheit der Erfindung. Wie oben beschrieben, können aber die Prozesse der Schritte 33a und 33b weggelassen werden. Daher kann der Prozess von Schritt 33 auch als ein Prozess betrachtet werden, der sowohl die Funktion der Vertikalsymmetrie-Bestimmungsprozesseinheit als auch der Erster-Typ-Bestimmungsprozesseinheit hat. Ferner bilden die Prozesse der Schritte 33 bis 35 die Objekttyp-Bestimmungsprozesseinheit der Erfindung. In diesem Fall entsprechend die Prozesse der Schritte 34 und 35 der Zweiter-Typ-Bestimmungsprozesseinheit der Erfindung. Ferner bilden die Prozesse der Schritte 1 bis 7 und der Prozess von Schritt 51 die Objektextraktionsprozesseinheit der Erfindung.

Gemäß der oben beschriebenen Ausführung wird in Schritt 33 der Grad der vertikalen Symmetrie des Objekts (des Graustufenobjekts) vor der ausführung des Fußgängerbestimmungsprozesses in Schritt 34 und des Künstliche-Struktur-Bestimmungsprozesses in Schritt 35 bestimmt. Falls bestimmt wird, dass der vertikale Symmetriegrad in dem Objekt hoch ist, wird bestimmt, dass das Objekt etwas anderes ist als ein lebender Körper, einschließlich eines Fußgängers, und es wird in Schritt 37 ferner bestimmt, dass es nicht vermieden werden braucht. In diesem Fall ist es sehr zuverlässig, dass ein Objekt etwas anderes als ein lebender Körper ist, da der Grad der vertikalen Symmetrie in dem Objekt (Graustufenobjekt) hoch ist. Darüber hinaus wird die Bestimmung richtig nur basierend auf dem Grad der vertikalen Symmetrie durchgeführt.

Ferner wird der Fußgängerbestimmungsprozess in Schritt 34 nur für jene Objekte durchgeführt, deren vertikaler Symmetriegrad als niedrig bestimmt wird, nach dem Ausschluss von Objekten, deren vertikaler Symmetriegrad in Schritt 33 als hoch bestimmt wurde. Daher kann insbesondere dann, wenn in Schritt 7 eine Mehrzahl binärer Objekte extrahiert werden und als das Bestimmungsergebnis in Schritt 32 für die binären Objekte JA ausgegeben wird, die Anzahl der Objekte, die in dem Fußgängerbestimmungsprozess bestimmt werden sollen, reduziert werden. In anderen Worten, für jene Objekte, deren vertikaler Symmetriegrad in Schritt 33 als hoch bestimmt wurde, kann der Fußgängerbestimmungsprozess in Schritt 34 und der künstliche Strukturbestimmungsprozess in Schritt 35 weggelassen werden. Dies reduziert die Belastung des arithmetischen Prozesses, der für den Fußgänger-Bestimmungsprozess oder den Künstliche-Struktur-Bestimmungsprozess erforderlich ist.

Die obige Ausführung ist für den Fall beschrieben worden, wo eine Person (ein Fußgänger) der vorbestimmte Typ eines lebenden Körpers ist. Die in Schritt 34 zu bestimmenden Objekte können lebende Körper wie etwa Hunde oder Katzen beinhalten (insbesondere sich auf dem Boden bewegende Tiere). Da ein Objekt, dessen vertikaler Symmetriegrad in Schritt 33 als niedrig bestimmt wurde, wahrscheinlich ein lebender Körper ist, kann alternativ das Objekt direkt als zu vermeidend bestimmt werden, ohne die Prozesse der Schritte 34 und 35 durchzuführen. Alternativ braucht nur der Prozess von Schritt 35 ausgeführt zu werden, ohne den Prozess von Schritt 34, für das Objekt, dessen vertikaler Symmetriegrad als niedrig bestimmt wurde.

Ferner ist der Grad der vertikalen Symmetrie des Graustufenobjekts 2 basierend auf dem Korrelationsgrad (dem Koinzidenzgrad in der Luminanzverteilung) zwischen den oberen und unteren symmetrie-Bestimmungsmaskenflächen UMASK und DMASK des Bilds 104 des Graustufenbilds 103 in dieser Ausführung bestimmt worden. Das Bestimmungsverfahren ist jedoch hierauf nicht beschränkt. Zum Beispiel kann der vertikale Symmetriegrad des Objekts 102 auch basierend auf dem Koinzidenzgrad im Formprofil (der Form der Randlinie) des Graustufenobjekts 102 zwischen den symmetrie-Bestimmungsmaskenflächen UMASK und DMASK bestimmt werden.

Obwohl in dieser Ausführung Infrarotkameras 2R und 2L verwendet werden, können auch Kameras verwendet werden, deren Empfindlichkeit im sichtbaren Lichtbereich liegt. Wenn ferner der relative Abstand oder die Richtung des Objekts zum treffenden Fahrzeug z. B. mittels Radarerfassung bestimmt wird, kann das Fahrzeug auch mit einer einzigen Kamera ausgestattet sein. In diesem Fall können die von der Kamera aufgenommenen Bilder nur zur Bestimmung des Typs des vom Radar erfassten Objekts benutzt werden.

Erfindungsgemäß wird ein Objekt wie etwa eine Person aus von Kameras (2R, 2L) aufgenommenen Bildern extrahiert, um den vertikalen Symmetriegrad des Objekts zu bestimmen (Schritt 33). Falls der vertikale Symmetriegrad hoch ist, wird bestimmt, dass das Objekt etwas anderes ist als ein lebender Körper (Schritt 33a). Falls der vertikale Symmetriegrad niedrig ist, wird bestimmt, dass das Objekt wahrscheinlich ein lebender Körper ist (Schritt 33b). Falls bestimmt wird, dass es sich wahrscheinlich um einen lebenden Körper handelt, wird ferner basierend auf dem Bild des Objekts bestimmt, ob das Objekt eine vorbestimmte Art eines lebenden Körpers (z. B. eine Person) ist oder nicht (Schritte 34 und 35). Dies gestattet eine extrem zuverlässige und einfache Bestimmung davon, ob der Typ des Objekts, das aus dem von der Kamera aufgenommenen Bilds extrahiert ist, ein lebender Körper wie etwa eine Person ist.


Anspruch[de]
Fahrzeugumgebungs-Überwachungsvorrichtung umfassend:

eine Objektextraktionsprozesseinheit (17, S51), die ein Objekt, das sich in einem Aufnahmebereich einer an einem Fahrzeug (10) angebrachten Kamera (2R, 2L) befindet, aus einem von der Kamera (2R, 2L) aufgenommenen Bild extrahiert;

eine Objekttyp-Bestimmungsprozesseinheit (S31, S32, S33, S34, S35), die den Typ des extrahierten Objekts basierend auf dem Bild des Objekts in dem aufgenommenen Bild bestimmt; und

eine Vertikalsymmetrie-Bestimmungsprozesseinheit (S33), die basierend auf dem Bild des Objekts in dem aufgenommenen Bild bestimmt, ob der vertikale Symmetriegrad des extrahierten Objekts hoch oder niedrig ist,

wobei die Objekttyp-Bestimmungsprozesseinheit (S31, S32, S33, S34, S35) zumindest eine Erster-Typ-Bestimmungsprozesseinheit (S33, S33a, S33b) enthält, die den Typ des extrahierten Objekts basierend auf dem Bestimmungsergebnis der Vertikalsymmetrie-Bestimmungsprozesseinheit (S33) bestimmt.
Fahrzeugumgebungs-Überwachungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Erster-Typ-Bestimmungsprozesseinheit (S33, S33a, S33b) bestimmt, dass der Typ des Objekts etwas anderes als ein lebender Körper ist, falls durch die Vertikalsymmetrie-Bestimmungsprozesseinheit (S33) bestimmt wird, dass der vertikale Symmetriegrad des Objekts hoch ist. Fahrzeugumgebungs-Überwachungsvorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass die Objekttyp-Bestimmungsprozesseinheit (S31, S32, S33, S34, S35) den Typ des extrahierten Objekts bestimmt, mit Unterscheidung zwischen einer vorbestimmten Art eines lebenden Körpers einschließlich zumindest einer Person und anderen Objekttypen, und die ferner eine Zweiter-Typ-Bestimmungsprozesseinheit (S34, S35) enthält, die für andere Objekte als jene, die von der Erster-Typ-Bestimmungsprozesseinheit (S33, S33a, S33b) unter den extrahierten Objekten nicht als lebender Körper bestimmt worden sind, basierend auf dem Bild des Objekts in dem aufgenommenen Bilds bestimmt, ob das Objekt die vorbestimmte Art eines lebenden Körpers ist. Fahrzeug-Umgebungs-Überwachungsvorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Kamera (2R, 2L) eine Infrarotkamera (2R, 2L) ist und das aufgenommene Bild ein Graustufenbild ist;

die Objektextraktionseinheit (17, S51) eine Prozesseinheit (1) enthält, die aus dem aufgenommenen Bild eine Fläche, deren Luminanzwert gleich oder größer als ein vorbestimmter Wert ist, als binäres Objekt extrahiert, sowie eine Prozesseinheit (1), die eine Fläche, die das binäre Objekt in dem Graustufenbild enthält, als das Bild eines Graustufenobjekts auf der Basis zumindest des binären Objekts und der Luminanzwertdaten des Graustufenbilds extrahiert; und

das Objekt, dessen vertikaler Symmetriegrad durch die Vertikalsymmetrie-Bestimmungsprozesseinheit (S33) bestimmt wurde, das Graustufenobjekt ist.
Fahrzeugumgebungs-Überwachungsvorrichtung nach einem der Ansprüche 1 bis 4, gekennzeichnet durch:

eine Zu-vermeidendes-Objekt-Bestimmungs-Prozesseinheit (S17), die, zumindest basierend auf dem Bestimmungsergebnis der Objekttyp-Bestimmungsprozesseinheit (S31, S32, S33, S34, S35) bestimmt, ob das von der Objekt-Extraktionsprozesseinheit (17, S51) extrahierte Objekt ein solches Objekt ist, dessen Kontakt mit dem Fahrzeug (10) vermieden werden muss; und

eine Fahrzeugausstattungs-Steuerungsprozesseinheit (S18, S19), die eine am Fahrzeug (10) angebrachte vorbestimmte Ausstattung (6, 7) zumindest gemäß dem Bestimmungsergebnis der Zu-Vermeidendes-Objekt-Bestimmungsprozesseinheit (S17) steuert/regelt.
Fahrzeugumgebungs-Überwachungsvorrichtung mit einem Computer, wobei der Computer durchführt:

einen Objektextraktionsprozess (17, S51) zum Extrahieren eines Objekts, das sich in einem Bildbereich einer an einem Fahrzeug (10) angebrachten Kamera (2R, 2L) befindet, aus einem von der Kamera (2R, 2L) aufgenommenen Bild;

einen Objekttyp-Bestimmungsprozess (S31, S32, S33, S34, S35) zum Bestimmen des Typs des extrahierten Objekts basierend auf dem Bild des Objekts in dem aufgenommenen Bilds; und

einen Vertikalsymmetrie-Bestimmungsprozess (S33) zum Bestimmen, ob der vertikale Symmetriegrad des extrahierten Objekts hoch oder niedrig ist, basierend auf dem Bild des Objekts in dem aufgenommenen Bild,

wobei der vom Computer durchgeführte Objekttypbestimmungsprozess (S31, S32, S33, S34, S35) einen Prozess (S33, S33a, S33b) zum Bestimmen des Typs des extrahierten Objekts zumindest basierend auf dem Bestimmungsergebnis der Vertikalsymmetrie-Bestimmungsprozess (S33) enthält.
Fahrzeug (10), das mit der Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 1 ausgestattet ist. Fahrzeug (10), das mit der Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 6 ausgestattet ist. Fahrzeugumgebungs-Überwachungsverfahren, umfassend:

einen Schritt (S51) zum Extrahieren eines Objekts, das sich in einem Aufnahmebereich einer an einem Fahrzeug (10) angebrachten Kamera (2R, 2L) befindet, aus einem von der Kamera (2R, 2L) aufgenommenen Bild;

einen Schritt (S31, S32, S33, S34, S35) zum Bestimmen des Typs des extrahierten Objekts basierend auf dem Bild des Objekts in dem aufgenommenen Bild; und

einem Schritt (S33) zur Bestimmung, ob der vertikale Symmetriegrad des extrahierten Objekts hoch oder niedrig ist, basierend auf dem Bild des Objekts in dem aufgenommenen Bild,

wobei der Schritt (S31, S32, S33, S34, S35) der Bestimmung des Typs des extrahierten Objekts zumindest den Schritt (S33, S33a, S33b) zur Bestimmung des Typs des Objekts basierend auf dem Ergebnis der Bestimmung, ob der vertikale Symmetriegrad hoch oder niedrig ist, enthält.
Fahrzeugumgebungs-Überwachungsprogramm, das die Funktionen hat, zu veranlassen, dass ein Computer durchführt:

einen Prozess (S51) zum Extrahieren eines Objekts, das sich in einem Aufnahmebereich einer an einem Fahrzeug (10) angebrachten Bildaufnahmevorrichtung (2R, 2L) befindet, aus einem von der Bildaufnahmevorrichtung (2R, 2L) aufgenommenen Bild;

einen Prozess (S31, S32, S33, S34, S35) zur Bestimmung des Typs des extrahierten Objekts basierend auf dem Bild des Objekts in dem aufgenommenen Bild;

einen Prozess (S33) zur Bestimmung, ob der vertikale Symmetriegrad des extrahierten Objekts hoch oder niedrig ist, basierend auf dem Bild des Objekts in dem aufgenommenen Bild; und

sowie einen Prozess (S33, S33a, S33b) zur Bestimmung des Typs des Objekts zumindest basierend auf dem Bestimmungsergebnis des vertikalen Symmetriegrads.






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com