PatentDe  


Dokumentenidentifikation DE102005018361A1 01.12.2005
Titel Vorrichtung zur visuellen Überprüfung der Umgebung eines Fahrzeugs
Anmelder AUTONETWORKS Technologies, LTD., Yokkaichi, Mie, JP;
Sumitomo Wiring Systems, Ltd., Yokkaichi, Mie, JP;
Sumitomo Electric Industries, Ltd., Osaka, JP
Erfinder Yoshimura, Akinobu, Yokkaichi, Mie, JP
Vertreter WINTER, BRANDL, FÜRNISS, HÜBNER, RÖSS, KAISER, POLTE, Partnerschaft, 85354 Freising
DE-Anmeldedatum 20.04.2005
DE-Aktenzeichen 102005018361
Offenlegungstag 01.12.2005
Veröffentlichungstag im Patentblatt 01.12.2005
IPC-Hauptklasse B60R 1/00
IPC-Nebenklasse B60R 1/10   
Zusammenfassung Wenn eine Koordinatentransformation wie eine Standpunktumwandlung für Quellvideodaten von Kameras durchgeführt wird, wird die Umwandlungstabelle für jede der Kameras nicht in einer Bildverarbeitungs-ECU gespeichert. Stattdessen besitzt jede der Kameras die Umwandlungstabelle. In Übereinstimmung damit ist es nicht notwendig, einen teuren nicht flüchtigen Speicher mit großer Kapazität in der Bildverarbeitungs-ECU zu nutzen. Weiterhin kann eine Änderung oder Hinzufügung der Kameras problemlos durchgeführt werden.

Beschreibung[de]
HINTERGRUND DER ERFINDUNG 1. GEBIET DER ERFINDUNG

Die vorliegende Erfindung bezieht sich auf eine Vorrichtung zur visuellen Überprüfung der Umgebung eines Fahrzeugs, um ein Videobild der Umgebung eines Fahrzeugs aufzunehmen und dann das Bild auf einem Anzeigeteil in einer Fahrgastzelle anzuzeigen, und auch auf die zugehörige Technik.

2. ERLÄUTERUNGEN DES STANDES DER TECHNIK

Auf dem Gebiet von Fahrzeugen werden Vorrichtungen zur visuellen Überprüfung der Umgebung eines Fahrzeugs verwendet, mit welchen die Umgebung eines Fahrzeugs bildlich mit einer Kamera aufgenommen wird, die auf der Rückseite, der Vorderseite, einer Seite oder an einer ähnlichen Stelle des Fahrzeugs angebracht ist, so dass das Bild auf einer Anzeigeeinheit wie einer Flüssigkristallanzeige angezeigt wird, die in der Fahrgastzelle eingebaut ist, damit Fahrer beispielsweise einfach Bereiche überprüfen können, die tote Winkel in der Fahrzeugumgebung bilden.

Von diesen Vorrichtungen zur visuellen Überprüfung der Umgebung eines Fahrzeugs werden beispielsweise die nachstehenden zwei Punkte verlangt.

  • (1) Fußgänger, Hindernisse und Ähnliches in der Umgebung des Fahrzeugs können durch ein Videobild einer Kamera geprüft werden.
  • (2) Zur Zeit des Rückwärtsfahrens kann man das Gefühl für den Abstand zu Hindernissen wie einem anderen Fahrzeug oder einer Wand mit einer Genauigkeit im Bereich von 10 cm oder einer ähnlichen Genauigkeit erhalten.

Unter diesen wird Punkt (1) unter Verwendung des Quellvideobildes einer herkömmlichen Kamera erreicht. 5 zeigt ein Beispiel eines Quellvideobildes auf der Rückseite eines Fahrzeugs, das von einer Kamera aufgenommen wurde, die auf der Rückseite des Fahrzeugs angebracht ist. In diesem Quellvideobild ist die installierte Position der Kamera 1 auf der Höhe H gegenüber der Bodenoberfläche wie in 6 gezeigt festgelegt, so dass das Quellvideobild innerhalb des Gebiets der Ansicht 3 der Kamera 1 wie gesehen schräg nach unten von einem Stand- bzw. Befestigungspunkt aus aufgenommen ist.

Zu dieser Zeit unterscheidet sich die installierte Position der Kamera 1 in dem Quellvideobild der 5, das von einem Befestigungspunkt aus schräg nach unten gesehen ist, im allgemeinen von einer visuellen Bestätigungshöhe bzw. Augenhöhe einer Person. Dies und andere Gründe erlauben nicht immer eine einfache Bestätigung des Abstands zwischen einem Hindernis im Umkreis und dem Fahrzeug, unabhängig von der vorstehend erwähnten Forderung (2).

Daher wurde eine Technik der Standpunktsumwandlung wie die Anwendung einer geometrischen Korrektur auf das Bild verwendet, so dass das Quellvideobild, das von einem Standpunkt schräg nach unten gesehen wird, in ein beispielsweise in 7 gezeigtes Videobild mit ebenen Sichtkoordinaten konvertiert wird, so dass das Gefühl für den Abstand wiederhergestellt ist, um das Gefühl für den Abstand zu Hindernissen wie einem anderen Fahrzeug und einer Wand mit der Genauigkeit in der Größenordnung von 10 cm oder einer ähnlichen Größenordnung wie in (2) verlangt, zu erhalten.

KURZE ERLÄUTERUNG DER ERFINDUNG

In dem Fall, dass an jedem einer Vielzahl von Orten an einem Fahrzeug eine Kamera eingebaut ist, so dass abhängig von verschiedenen Situationen des Fahrzeugs, wie der Vorwärts- und Rückwärtsfahrt, zwischen einer Mehrzahl von Kameras umgeschaltet wird, damit ein Bild auf einer Anzeigeeinheit angezeigt wird, muss aufgrund (der Unterschiede) der installierten Position jeder Kamera und unter dem Aspekt der Sichtbarkeit des angezeigten Bildes auf der Anzeigeeinheit eine Umwandlungstabelle für die Koordinatentransformation vorbereitet werden, wenn eine geometrische Korrektur für die Koordinatentransformation in ebene Ansichtskoordinaten wie in 7 gezeigt durchgeführt wird.

Wenn beispielsweise eine Einzelbilder verarbeitende ECU in der Anzeigeeinheit vorgesehen ist, so dass die Umwandlungstabellen vorab in dieser Bildverarbeitungs-ECU gespeichert sind, ist nichtsdestotrotz ein Speicherbereich zum Speichern aller Umwandlungstabellen, welche den Quellvideobildern von einer Vielzahl der Kameras entsprechen, in der Bildverarbeitungs-ECU notwendig. Wenn daher die Anzahl von Kameras wie vorstehend beschrieben steigt, vergrößert sich die Datenmenge für Umwandlungstabellen merklich.

Weiterhin können für das Quellvideobild, das von jeder Kamera aufgenommen wird, die nachstehenden Parameter für die geometrische Umwandlung gelegentlich für jedes Modell oder Ähnliches eines Fahrzeugs, an dem die Kamera montiert ist, notwendig sein.

  • (1) Der Verzerrungskoeffizient des Objektivs (das heißt, die Durchführung der Verzerrungskorrektur für das Objektiv kann gelegentlich vor dem Vorgang der Standpunktsumwandlung notwendig sein; eine solche Verzerrungskorrektur ist für Weitwinkelkameras notwendig);
  • (2) der Einstellwinkel der Kamera relativ zur Bodenoberfläche; und
  • (3) die Einbauhöhe der Kamera relativ zur Bodenoberfläche, das heißt, die Abweichung von der Mitte der Bewegungsrichtung (mit anderen Worten, in vielen Fällen können Kameras aufgrund eines Problems mit dem Design des Fahrzeugs nicht an idealen Orten angebracht sein; die hintere Kamera und Ähnliches wird nämlich in vielen Fällen gegenüber der Mitte des Fahrzeuges verschoben sein).

Somit können gelegentlich drei Parameter für die geometrische Korrektur benötigt werden. Weiterhin muss eine große Anzahl von Umwandlungstabellen vorab vorbereitet werden, wenn verschiedene Arten von Modi der Koordinatentransformation für jede Kamera zu realisieren sind, und wenn verschiedene Umwandlungstabellen für all diese Situationen vorbereitet sein müssen. Dies führt zu der Notwendigkeit, eine große Anzahl von Umwandlungstabellen vorab in der Bildverarbeitungs-ECU zu speichern oder alternativ eine andere Bildverarbeitungs-ECU abhängig von dem Modell oder Ähnlichem des Fahrzeugs einzubauen. Dies verursacht Unannehmlichkeiten.

Weiterhin ist die Datengröße der Umwandlungstabelle als die Adreßdaten mal der Pixelanzahl des Ziels festgelegt. Beispielsweise benötigt QVGA (Quarter Video Graphics Array) eine Datengröße von (9 + 8) Bit × 320 × 240 = 1.305 Mbit, während VGA (Video Graphics Array) (10 + 9) bit × 640 × 480 = 5.836 Mbit benötigt.

Wenn die Umwandlungstabelle verwendet wird, benötigt selbst eine einzelne Umwandlungstabelle an sich eine große Menge an genutztem Speicher. Wenn daher eine Mehrzahl von Umwandlungstabellen zu speichern ist, muss vorab ein nicht flüchtiger Speicher mit großer Kapazität installiert sein. Dies erhöht die Kosten. Weiterhin ist es nutzlos, in einem nicht flüchtigen Speicher vorab eine große Anzahl von Umwandlungstabellen zu speichern, von denen es bei vielen unsicher ist, ob sie tatsächlich für die Koordinatentransformation genutzt werden oder nicht.

Es ist eine Aufgabe der Erfindung, eine Vorrichtung zur visuellen Überprüfung der Umgebung eines Fahrzeugs zu schaffen, in welcher eine nötige Speicherkapazität in einem Speicher in einem Bildverarbeitungsteil verringert ist.

Um das vorstehend erwähnte Problem zu lösen, wird nach einem Aspekt der Erfindung eine Vorrichtung zur visuellen Überprüfung der Umgebung für ein Fahrzeug geschaffen, die Folgendes aufweist: zumindest ein Bildgebungsteil, das ein Bild der Fahrzeugumgebung abbildet; ein Bildverarbeitungsteil, das mindestens eines der Abbildungsteile auswählt, eine vorab bestimmte Koordinatentransformation des Bilds der Umgebung des Fahrzeugs durchführt, das von dem ausgewählten Bildgebungsteil abgebildet ist; und ein Anzeigeteil, das in einer Fahrgastzelle angeordnet ist, und das Bild der Umgebung des Fahrzeugs anzeigt, für das die vorab bestimmte Koordinatentransformation durchgeführt ist, wobei das Bildgebungsteil eine Umwandlungstabelle der vorab bestimmten Koordinatentransformation mit Bezug auf das Bild der Umgebung des Fahrzeugs enthält, und wobei das Bildverarbeitungsteil die Koordinatentransformation auf der Grundlage der Umwandlungstabelle des Bildgebungsteils durchführt, das von dem Bildverarbeitungsteil ausgewählt worden ist.

Wenn für das Quellvideobild eine vorab bestimmte Koordinatentransformation vom Bildgebungsteil durchgeführt wird, besitzt das Bildverarbeitungsteil in diesem Aufbau keine Umwandlungstabelle für jedes Abbildungsteil, während jedes Abbildungsteil die Umwandlungstabelle besitzt, so dass die Koordinatentransformation auf der Grundlage der Umwandlungstabelle durchgeführt wird, die vom ausgewählten Bildaufnahmeteil bereitgestellt ist. In Übereinstimmung damit ist es nicht notwendig, einen teuren nicht flüchtigen Speicher mit großer Kapazität im Bildverarbeitungsteil zu installieren.

Da jedes einzelne Bildgebungsteil die Umwandlungstabelle vorab speichert, ist es weiterhin, selbst wenn das Bildgebungsteil später hinzugefügt oder geändert wird, lediglich notwendig, eine Umwandlungstabelle von dem neuen Abbildungsteil in dem Bildverarbeitungsteil zu empfangen. Selbst wenn ein Abbildungsteil, das neu auf den Markt kommt, mehrere Jahre nachdem ein neues Auto auf den Markt geworfen wurde, hinzugefügt oder ausgewechselt wird, kann daher beispielsweise das Hinzufügen oder der Austausch ohne Probleme durchgeführt werden.

Nach einem anderen Aspekt der Erfindung hält das Abbildungsteil vorab Identifikationsinformation bereit, die das Abbildungsteil identifiziert. Die Identifikationsinformation wird an das Bildverarbeitungsteil übertragen.

In der Vorrichtung zur visuellen Überprüfung der Umgebung eines Fahrzeugs nach dem zweiten Aspekt der Erfindung enthält das Bildgebungsteil vorab Identifikationsinformation, so dass die Identifikationsinformation an das Bildverarbeitungsteil übertragen wird. Dies stellt sicher, dass die Videobilder, die von verschiedenen Abbildungsteilen bereitgestellt werden, über die Koordinatentransformation unter Verwendung der geeigneten Umwandlungstabellen verarbeitet werden.

Nach einem anderen Aspekt der Erfindung speichert das Bildverarbeitungsteil die Umwandlungstabelle, die von dem Abbildungsteil erhalten wurde, und die der Umwandlungstabelle entsprechende Identifikationsinformation in ein vorab bestimmtes flüchtiges Speicherteil. Nur wenn die Identifikationsinformation, die man von dem Abbildungsteil erhält, von der Identifikationsinformation, die in dem flüchtigen Speicherteil gespeichert ist, abweicht, wird die Umwandlungstabelle von dem Abbildungsteil an das Bildverarbeitungsteil übertragen.

Durch diesen Aufbau speichert das Bildverarbeitungsteil die Umwandlungstabelle und die Identifikationsinformation, die vom Abbildungsteil bereitgestellt wird, in einer miteinander verknüpften Weise in das vorab bestimmte flüchtige Speichermedium. Nur wenn die Identifikationsinformation, die vom Bildverarbeitungsteil bereitgestellt wird, von der Identifikationsinformation abweicht, die im flüchtigen Speicherteil gespeichert ist, wird dann die Umwandlungstabelle vom Abbildungsteil an das Bildverarbeitungsteil übertragen. Daher wird die Umwandlungstabelle nur übertragen, wenn die Auswahl des Abbildungsteils geändert wird. Dies verhindert eine unnötige Kommunikation in dem Kommunikationsnetzwerk im Fahrzeug wie einem LAN im Fahrzeug.

Nach einem anderen Aspekt der Erfindung hält das Abbildungsteil Information über die Bildgröße des Bilds der Fahrzeugumgebung bereit, das von dem Abbildungsteil aufgenommen wird. Die Information über die Bildgröße wird an das Bildverarbeitungsteil übertragen.

Durch diesen Aufbau besitzt das Bildgebungsteil die Information über die Bildgröße des Videobilds, das von dem Abbildungsteil aufgenommen wird, so dass die Information über die Bildgröße an das Bildverarbeitungsteil übertragen wird. Daher wird innerhalb des Bildverarbeitungsteils einfach ein Speicherbereich für die zugehörige Umwandlungstabelle und das Quellvideobild bereitgestellt, selbst wenn ein Quellvideobild mit einer anderen Bildgröße übertragen wird.

Nach einem anderen Aspekt der Erfindung umfasst das Abbildungsteil eine Vielzahl von Abbildungsteilen. Das Bildverarbeitungsteil ist dazu fähig, eine Umwandlungstabelle für die Vielzahl von Abbildungsteilen zu speichern.

Mittels dieses Aufbaus kann das Bildverarbeitungsteil die Umwandlungstabelle verschiedener Abbildungsteile speichern. Dies vermeidet ein wiederholtes Herunterladen einer ursprünglichen Umwandlungstabelle, wenn die Auswahl zurück zu einem ursprünglichen Abbildungsteil geändert wird. Dies ermöglicht eine effektive Nutzung eines überschüssigen Speicherbereichs im Bildverarbeitungsteil.

KURZE ERLÄUTERUNG DER ZEICHNUNGEN

1 ist ein Blockschaubild, das eine Kamera einer Vorrichtung zur visuellen Überprüfung der Umgebung eines Fahrzeugs nach einer Ausführungsform der Erfindung zeigt;

2 ist ein Blockschaubild, das eine Vorrichtung zur visuellen Überprüfung der Umgebung eines Fahrzeugs nach einer Ausführungsform der Erfindung zeigt;

3 ist ein Blockschaubild, welches den inneren Aufbau einer Bildverarbeitungs-ECU einer Vorrichtung zur visuellen Überprüfung der Umgebung eines Fahrzeugs nach einer Ausführungsform der Erfindung zeigt;

4 ist ein Ablaufplan, welcher den Betrieb einer Vorrichtung zur visuellen Überprüfung der Umgebung eines Fahrzeugs nach einer Ausführungsform der Erfindung zeigt;

5 ist eine Ansicht, die ein Quellvideobild zeigt, das von einer Kamera aufgenommen ist;

6 ist ein Schaubild, das ein Beispiel einer Einbauposition einer Kamera in einem Fahrzeug zeigt, und

7 ist eine Ansicht, die ein Beispiel eines Videobilds zeigt, in welchem in einer Vorrichtung zur visuellen Überprüfung der Umgebung eines Fahrzeugs nach dem Stand der Technik durch geometrische Korrektur eine Koordinatentransformation in ebene Ansichtskoordinaten durchgeführt wird.

ERLÄUTERUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN <Aufbau>

1 ist ein Blockschaubild, das eine Kamera einer Vorrichtung zur visuellen Überprüfung der Umgebung eines Fahrzeugs nach einer Ausführungsform der Erfindung zeigt. 2 ist ein Blockschaubild, das eine Vorrichtung zur visuellen Überprüfung der Umgebung eines Fahrzeugs zeigt. 3 ist ein Blockschaubild, das eine Bildverarbeitungs-ECU bzw. einen Bildverarbeitungsprozessor zeigt.

Die Vorrichtung zur visuellen Überprüfung der Umgebung eines Fahrzeugs nimmt ein Quellvideobild der Umgebung auf, z.B. hinter dem Fahrzeug, wie beispielsweise in 5 gezeigt, damit eine Besatzung wie ein Fahrer (Nutzer) in einem Fahrgastabteil die Sicherheit der Umgebung prüfen kann. Dann wird das Quellvideobild durch Koordinatentransformation so verarbeitet, dass es visuell einfach durch den Nutzer zu bestätigen ist, wie beispielsweise in 7 gezeigt, und dann auf einer Anzeigeeinheit 15 angezeigt. Zu dieser Zeit besitzt insbesondere jede der Kameras 21, 23, 25 und 27 individuell eine Umwandlungstabelle für die Koordinatentransformation. Dann führt eine Bildverarbeitungs-ECU 31 eine Koordinatentransformation auf der Grundlage der Umwandlungstabelle durch, die von einer ausgewählten Kamera 21, 23, 25 oder 27 bereitgestellt wird.

Insbesondere ist, wie in 2 gezeigt, die Vorrichtung zur visuellen Überprüfung der Umgebung eines Fahrzeugs mit einer Kamera 21, einer Frontkamera 23, einer Seitenkamera 25 und einer anderen Kamera 27 im Fahrzeug gemeinsam mit einem LAN 29 im Fahrzeug verbunden, das als ein Videobildübertragungspfad dient. Dann empfängt die Bildverarbeitungs-ECU (das Bildverarbeitungsteil) 31 über das LAN 29 im Fahrzeug ein Videobild, das von jeder dieser Kameras (einem Abbildungsteil) 21, 23, 25 und 27 aufgenommen ist, und dann wird das Videobild durch die Bildverarbeitungs-ECU 31 so verarbeitet, dass es auf der Anzeigeeinheit (dem Display) 15 angezeigt wird.

Im Aufbau der 2 ist das LAN 29 im Fahrzeug mit einem anderen LAN 35 im Fahrzeug (dem Kommunikationsnetzwerk in der Fahrgastzelle) über eine Schnittstelle 33 verbunden. Dann ist das LAN 35 im Fahrzeug mit Folgendem verbunden: einer ECU verschiedener Körper bzw. Karosserie-ECU 37, um ein Rücksignal 36a, ein Lichtsignal 36b, und Ähnliches zu übertragen und zu empfangen; einer Einheit 39 zur Ausgabe von Fahrzeuginformation mit Bezug auf den Einbau der Kameras 21, 23, 25 und 27; und verschiedenen Sensoren 41 wie einem Geschwindigkeitssensor, einem Lenkwinkelsensor, einem Sonar, einem Fahrzeuginformationssensor und vergleichbaren Dingen.

Wie in 1 gezeigt weist jede der Kameras 21, 23, 25 und 27 Folgendes auf: einen vorab bestimmten Bildaufnahmeabschnitt (Abbildungsvorrichtung) 101 wie ein CCD; einen Speicherabschnitt für eine Umwandlungstabelle, um vorab eine Umwandlungstabelle zu speichern, die in einer Koordinatentransformation eingesetzt wird, welche für ein Videobild durchgeführt wird, das im Bildaufnahmeabschnitt 101 aufgenommen wird, bevor es auf der Anzeigeeinheit 15 angezeigt wird; einen Bildgrößenspeicherabschnitt 105, um vorab die Bildgröße (Auflösung) des Videobilds zu speichern, das von dem Bildaufnahmeabschnitt 101 aufgenommen wird; einen Kamera-ID-Speicherabschnitt 107, um vorab die eigene Identifikationsinformation (Kamera-ID) jeder der Kameras 21, 23, 25 und 27 zu speichern; und einen Verbindungsabschnitt 109, um das Quellvideobild, das in dem Bildaufnahmeabschnitt (einer Bildaufnahmevorrichtung) 101 aufgenommen wurde (5), die Umwandlungstabelle, die im Speicherabschnitt für die Umwandlungstabelle 103 gespeichert ist, die Information über die Bildgröße, die in dem Bildgrößenspeicherabschnitt 105 erfasst ist, und die Identifikationsinformation (Kamera-ID), die in dem Kamera-ID-Speicherabschnitt 107 gespeichert ist, durch das LAN 29 im Fahrzeug an die Bildverarbeitungs-ECU 31 zu übertragen. Bevorzugt werden der Speicherabschnitt 103 für die Umwandlungstabelle, der Bildgrößenspeicherabschnitt 105 und der Kamera-ID-Speicherabschnitt 107 durch dasselbe Speichermedium, beispielsweise einen wiederbeschreibbaren nicht flüchtigen Speicher wie ein EPROM oder ein Flash-ROM realisiert, so dass der Speicherbereich im Speichermedium in die drei Speicherabschnitte 103, 105 und 107 unterteilt ist.

Wie in 3 gezeigt weist die Bildverarbeitungs-ECU 31 Folgendes auf: einen Kommunikations-I/F-Abschnitt 43, der als eine Kommunikationsschnittstelle dient, um über das LAN 29 im Fahrzeug zu kommunizieren; einen Monitor-I/F-Abschnitt 45, der mit der Anzeigeeinheit (der Anzeige) 15 verbunden ist; einen Bildverarbeitungs-ASIC 47, um die Bildverarbeitung zu verwalten; einen flüchtigen Umwandlungstabellenspeicher (ein flüchtiges Speicherteil) 49, um die Umwandlungstabelle zu speichern, die von jeder der Kameras 21, 23, 25 und 27 für die Koordinatentransformation übermittelt wird, die im Bildverarbeitungs-ASIC 47 durchgeführt wird; einen Rahmenspeicher 51 wie ein SDRAM, in welchen der Bildverarbeitungs-ASIC 47 vorübergehend während der Bildverarbeitung das Videobild speichert; eine CPU 53, um den Bildverarbeitungs-ASIC 47 zu steuern; und einen wiederbeschreibbaren nicht flüchtigen Speicher 55, um verschiedene Parameter und Ähnliches für die Bildverarbeitung in dem Bildverarbeitungs-ASIC 47 bereitzustellen.

Hier kann der Rahmenspeicher 51 Daten mit einer größeren Größe als die Daten pro Rahmen des Quellvideobilds speichern.

Der Bildverarbeitungs-ASIC 47 ist mit folgenden Funktionen versehen: Auswählen von beispielsweise einer aus der Vielzahl von Kameras 21, 23, 25 und 27, die mit dem LAN 29 im Fahrzeug verbunden sind; Empfangen (Herunterladen) der Identifikationsinformation aus der unter den Kameras 21, 23, 25 und 27 ausgewählten und anschließendes Speichern der Information in den Umwandlungstabellenspeicher 49; Vergleichen der empfangenen (heruntergeladenen) Identifikationsinformation mit der Identifikationsinformation, die bereits im Umwandlungstabellenspeicher 49 gespeichert ist; Empfangen (Herunterladen) der Bildgröße und der Umwandlungstabelle und anschließendes Speichern der Daten in den Umwandlungstabellenspeicher 49 nur dann, wenn die zwei Stücke von Identifikationsinformation sich voneinander unterscheiden; Speichern des Videosignals des Quellvideobilds, das von der unter den Kameras 21, 23, 25 und 27 ausgewählten übertragen wird, in den Rahmenspeicher 51; Durchführen einer Bildverarbeitung wie einer Koordinatentransformation auf das Quellvideobild, das in dem Rahmenspeicher 51 gespeichert ist, unter Berücksichtigung der Umwandlungstabelle, die in dem Umwandlungstabellenspeicher 49 gespeichert ist, und Anzeigen des bildverarbeiteten Videobilds über den Monitorschnittstellenabschnitt 45 auf der Anzeigeeinheit 15.

Hier wird die Umwandlungstabelle im Umwandlungstabellenspeicher 49 in einer Weise gespeichert, welche zu der Identifikationsinformation der Kamera 21, 23, 25 oder 27 gehört, welche die Umwandlungstabelle bereitgestellt hat. Dann bleibt die vorherige Umwandlungstabelle im Umwandlungstabellenspeicher 49 in der Bildverarbeitungs-ECU 31, wenn die Kamera 21, 23, 25 oder 27 in einem Zustand gewechselt wird, in welchem elektrischer Strom, welcher der Bildverarbeitungs-ECU 31 bereitgestellt wird, erhalten bleibt. Daher wird die Identifikationsinformation, die von der neu ausgewählten aus den Kameras 21, 23, 25 und 27 bereitgestellt wird, mit der Identifikationsinformation verglichen, die bereits im Umwandlungstabellenspeicher 49 gespeichert ist. Wenn die zwei Stücke von Identifikationsinformation miteinander übereinstimmen, werden dann die Datenstücke (die Bildgöße und die Umwandlungstabelle), welche in dem Umwandlungstabellenspeicher 49 verbleiben, auch weiterhin genutzt. Wenn dagegen die zwei Stücke von Identifikationsinformation nicht übereinstimmen, werden die Identifikationsinformation, die Bildgröße und die Umwandlungstabelle, die von der neu ausgewählten unter den Kameras 21, 23, 25 und 27 bereitgestellt werden, in den Umwandlungstabellenspeicher 49 gespeichert und aktualisiert. Bei der Koordinatentransformation bestätigt der Bildverarbeitungs-ASIC 47 auf der Grundlage der Umwandlungstabelle die Bestimmungsadresse jedes Pixels des Videobilds pro Rahmen, der aus dem Rahmenspeicher 51 gelesen wurde, und bewegt dadurch jedes Pixel zu der Adresse, um so die Verarbeitung durchzuführen.

Die Information über die Bildgröße, die von jeder der Kameras 21, 23, 25 und 27 an die Bildverarbeitungs-ECU 31 bereitgestellt wird, wird verwendet, wenn Speicherbereiche für die Umwandlungstabellendaten und die Videobilddaten der Kamera 21, 23, 25 oder 27 jeweils in dem Umwandlungstabellenspeicher 49 und dem Rahmenspeicher 51 in der Bildverarbeitungs-ECU 31 gespeichert werden.

Wenn die Bildverarbeitungs-ECU 31 eine Kamera 21, 23, 25 oder 27 auswählt, wird eine Kamera 21, 23, 25 oder 27 auf der Grundlage vorab bestimmter Information von den verschiedenen Sensoren 41 oder alternativ auf der Grundlage einer Betätigung durch einen Nutzer durch eine vorab bestimmte Betätigungseingabeeinheit entsprechend einer zuvor bestimmten logischen Bedingung ausgewählt, die vorab festgelegt wurde. Wenn beispielsweise der Geschwindigkeitssensor, der als einer der verschiedenen Sensoren 41 dient, eine Rückwärtsfahrgeschwindigkeit unterhalb eines vorab bestimmten Werts erfasst, und wenn der Sonarsensor, der als einer der verschiedenen Sensoren 41 dient, ein Hindernis auf der Rückseite des Fahrzeugs erfasst, wird die Situation auf der Grundlage der Information von dem Geschwindigkeitssensor und dem Sonarsensor bestimmt, so dass die hintere Kamera 21 in Übereinstimmung mit dieser Situation des Fahrzeugs ausgewählt wird. Weiterhin wird eine Kamera 21, 23, 25 oder 27 ebenfalls als Antwort auf eine Betätigung durch einen Nutzer durch die Betätigungseingabeeinheit nach dem Wunsch des Nutzers ausgewählt.

Die Anzeigeeinheit 15 kann mit einer Monitoreinheit in einem Fahrzeugnavigationssystem oder etwas Ähnlichem geteilt werden.

<Betrieb>

Ein Beispiel des Betriebs der Vorrichtung zur visuellen Überprüfung der Umgebung eines Fahrzeugs mit dem vorstehend erläuterten Aufbau wird nachstehend mit Bezug auf den Ablaufplan der 4 beschrieben. Zunächst wird, wie im Schritt S1 in 4 gezeigt, die Vorrichtung zur visuellen Überprüfung der Umgebung eines Fahrzeugs EIN geschaltet und zur gleichen Zeit mit dem Start der Brennkraftmaschine gestartet.

Dann wird in Schritt S2 die Situation des Fahrzeugs auf der Grundlage von Informationen bestimmt, wenn die vorab bestimmten Informationen von den verschiedenen Sensoren 41 bereitgestellt werden. Auf der Grundlage der Situation des Fahrzeugs wird eine aus einer Vielzahl der Kameras 21, 23, 25 und 27 ausgewählt. Wenn beispielsweise der Geschwindigkeitssensor eine Rückwärtsfahrgeschwindigkeit unter einem vorab bestimmten Wert erfasst, und wenn der Sonarsensor ein Hindernis auf der Rückseite des Fahrzeugs erfasst, wird die rückseitige Kamera 21 aus einer Vielzahl der Kameras 21, 23, 25 und 27 ausgewählt. Alternativ wird eine vom Nutzer gewünschte Kamera 21, 23, 25 oder 27 ausgewählt, wenn der Nutzer eine nicht gezeigte Betätigungseingabeeinheit betätigt.

In Schritt S3 wird Identifikationsinformation von der unter den Kameras 21, 23, 25 und 27 ausgewählten empfangen. Dieser Empfangsbetrieb wird in Übereinstimmung mit dem nachstehenden Ablauf durchgeführt. Das heißt, ein Übertragungsanfragesignal für Identifikationsinformation wird von der Bildverarbeitungs-ECU 31 an die (eine ausgewählte) Kamera 21, 23, 25 oder 27 übertragen. Dann wird als Antwort auf diese Anfrage Identifikationsinformation von der Kamera 21, 23, 25 oder 27 übertragen.

Dann wird diese Identifikationsinformation mit der Identifikationsinformation verglichen, die bereits im Umwandlungstabellenspeicher 49 der Bildverarbeitungs-ECU 31 gespeichert ist. Wenn die Stücke von Identifikationsinformation miteinander übereinstimmen, werden die Datenstücke (die Bildgröße und die Umwandlungstabelle), die im Umwandlungstabellenspeicher 49 verbleiben, auch danach weiter genutzt. Dann geht der Ablauf zum später beschriebenen Schritt S5.

Wenn dagegen die von der Kamera 21, 23, 25 oder 27 bereitgestellte Information nicht mit der Identifikationsinformation übereinstimmt, die bereits im Umwandlungstabellenspeicher 49 gespeichert ist, geht der Ablauf zu Schritt S4. Dann empfängt (lädt) die Bildverarbeitungs-ECU 31 die Bildgröße und die Umwandlungstabelle, die von dem nicht flüchtigen Speicher in der neu ausgewählten unter den Kameras 21, 23, 25 und 27 empfangen wird. Dieser Empfangs- (Herunterlade-)Betrieb wird in Übereinstimmung mit dem nachstehenden Ablauf durchgeführt. Das heißt, ein Übertragungsanfragesignal für die Bildgröße und die Umwandlungstabelle wird von der Bildverarbeitungs-ECU 31 an die (eine ausgewählte) Kamera 21, 23, 25 oder 27 übertragen. Als Antwort auf diese Anfrage werden die Bildgröße und die Umwandlungstabelle von der Kamera 21, 23, 25 oder 27 übertragen. Dann speichert die Bildverarbeitungs-ECU 31 die bereits empfangene Identifikationsinformation und die derzeit empfangenen (heruntergeladenen) Bildgrößen und Umwandlungstabellen in aktualisierender Weise (durch Überschreiben des Speichers) in den Umwandlungstabellenspeicher 49, der als der interne flüchtige Speicher dient.

Auf der Grundlage der hier erhaltenen Bildgröße stellt die Bildverarbeitungs-ECU einen Speicherbereich für die Umwandlungstabelle im Umwandlungstabellenspeicher 49 und einen Speicherbereich für die Videobilddaten im Rahmenspeicher 51 bereit. Der Fall der Umwandlungstabelle wird nachstehend als ein Beispiel beschrieben. Diese Umwandlungstabelle besteht aus eindimensionalen Daten und wird in der Form X + Y·XMAX ausgedrückt. Hier werden die Koordinaten als (X, Y) ausgedrückt, während die horizontale Größe durch XMAX bezeichnet ist. Die Werte dieser (X, Y) drücken direkt die Adresse der Pixel aus. Da diese Daten eine sehr große Größe aufweisen, werden durch vorheriges Feststellen der Bildgröße Speicherbereiche in den Speichern 49 und 51 zugewiesen. Dies ermöglicht effizientes Datenspeichern. Jeder Rahmen bzw. jedes Einzelbild des Quellvideobildes, das von der Kamera 21, 23, 25 oder 27 bereitgestellt wird, wird als solcher im Rahmenspeicher 51 gespeichert. Dann geht der Vorgang zu Schritt S5.

In Schritt S5 bezieht sich die Bildverarbeitungs-ECU 31 auf die Umwandlungstabelle in dem Umwandlungstabellenspeicher 49, und dadurch führt sie eine vorab bestimmte Bildverarbeitung wie eine Koordinatentransformation und eine Bildmaßstabsänderung durch. Zu dieser Zeit bestätigt die Bildverarbeitungs-ECU 31 die Bestimmungsadresse jedes Pixels des Videobilds pro Rahmen, der aus dem Rahmenspeicher 51 gelesen wurde, auf der Grundlage der Umwandlungstabelle, und bewegt dadurch jeden Pixel zu der Adresse, um den Vorgang durchzuführen.

Danach wird das Videosignal für jeden Rahmen, der vom Bildverarbeitungs-ASIC 47 bereitgestellt wird, an den Monitorschnittstellenabschnitt 45 ausgegeben. Dann wird, wie in Schritt S6 gezeigt, über den Monitorschnittstellenabschnitt 45 ein Videobild auf der Anzeigeeinheit (der Anzeige) 15 angezeigt.

Als solches empfängt die Bildverarbeitungs-ECU 31 die Umwandlungstabelle nur der ausgewählten Kamera 21, 23, 25 oder 27 und führt dadurch eine Bildverarbeitung wie eine Koordinatentransformation durch. Dies vermeidet die Notwendigkeit des Speicherns von Umwandlungstabellen all der Kameras 21, 23, 25 und 27 in der Bildverarbeitungs-ECU 31. Daher ist es nicht notwendig, einen teuren nicht flüchtigen Speicher mit großer Kapazität als Umwandlungstabellenspeicher 49 in die Bildverarbeitungs-ECU 31 einzubauen.

Weiterhin ist der Umwandlungstabellenspeicher 103 in jeder der Kameras 21, 23, 25 und 27 eingebaut. Daher ist es lediglich notwendig, dass die Bildverarbeitungs-ECU 31 die Umwandlungstabelle von der neuen Kamera zur Zeit der Ausführung der Bildverarbeitung und ähnlicher Vorgänge empfängt (herunterlädt), selbst wenn beispielsweise eine Kamera später hinzugefügt oder ausgewechselt werden soll. Daher kann das Hinzufügen oder Auswechseln ohne Probleme erreicht werden, selbst wenn eine Kamera, die beispielsweise mehrere Jahre nach dem Markteintritt eines neuen Fahrzeugs, das mit einer Bildverarbeitungs-ECU 31 ausgestattet ist, auf den Markt kommt, hinzugefügt oder ausgewechselt werden soll. Weiterhin kann eine Kamera der QVGA-Größe (320 × 240 Pixel), die montiert war, als ein neues Fahrzeug auf den Markt gekommen ist, leicht gegen eine Kamera einer höheren Klasse wie eine VGA (640 × 480) Kamera ausgewechselt werden, die mehrere Jahre danach auf den Markt gekommen ist. Dies ist praktisch.

Weiterhin besitzt jede der Kameras 21, 23, 25 und 27 vorab die Identifikationsinformation (Kamera-ID), so dass die Identifikationsinformation an die Bildverarbeitungs-ECU 31 übertragen wird. Dies stellt sicher, dass die Videobilder, die von einer Mehrzahl der Kameras 21, 23, 25 und 27 bereitgestellt werden, mittels Koordinatentransformation unter Verwendung der geeigneten Umwandlungstabellen verarbeitet werden.

Wenn eine der Kameras 21, 23, 25 oder 27 ausgewählt ist, wird weiterhin die Identifikationsinformation von der ausgewählten unter den Kameras 21, 23, 25 und 27 empfangen (heruntergeladen) und dann in den Umwandlungstabellenspeicher 49 gespeichert. Danach wird diese Identifikationsinformation mit der Identifikationsinformation verglichen, die bereits in dem Umwandlungstabellenspeicher 49 gespeichert ist. Dann wird die Bildgröße und die Umwandlungstabelle nur dann empfangen (heruntergeladen) und dann in den Umwandlungstabellenspeicher 49 gespeichert, wenn sich die zwei Stücke von Identifikationsinformation voneinander unterscheiden. Das heißt, die Information über die Umwandlungstabelle und die Bildgröße wird nur zu der Zeit heruntergeladen, zu der die Auswahl der Kameras 21, 23, 25 oder 27 tatsächlich geändert wird. Dies vermeidet eine unnütze Kommunikation im LAN 29 in dem Fahrzeug.

Weiterhin wird die Bildgröße vorab in jeder der Kameras 21, 23, 25 und 27 gespeichert, so dass die Bildgröße der unter den Kameras 21, 23, 25 und 27 ausgewählten übertragen wird. Daher wird ein Speicherbereich für die zugehörige Umwandlungstabelle leicht im Umwandlungstabellenspeicher 49 in der Bildverarbeitungs-ECU 31 zugewiesen, selbst wenn ein Kamerabild mit einer unterschiedlichen Bildgröße übertragen wird. Weiterhin wird ein Speicherbereich für die Videobilddaten der Kameras 21, 23, 25 und 27 leicht in dem Rahmenspeicher 51 in der Bildverarbeitungs-ECU 31 bereitgestellt.

In der vorstehend erwähnten Ausführungsform wurde nur die Umwandlungstabelle der unter den Kameras 21, 23, 25 und 27 ausgewählten im Umwandlungstabellenspeicher 49 in der Bildverarbeitungs-ECU 31 gespeichert. Eine Mehrzahl von Umwandlungstabellen kann in dem Umwandlungstabellenspeicher 49 gespeichert sein. Dies vermeidet das wiederholte Herunterladen einer ursprünglichen Umwandlungstabelle und erlaubt eine Nutzung der Umwandlungstabelle, die aus dem Umwandlungstabellenspeicher ausgelesen wird, wenn die Auswahl zurück zu einer ursprünglichen unter den Kameras 21, 23, 25 oder 27 gewechselt wird. Dies erlaubt eine effektive Nutzung eines überschüssigen Speicherbereichs im Umwandlungstabellenspeicher 49. In diesem Fall werden die Identifikationsinformation (Kamera-ID), die Bildgröße und die Umwandlungstabelle in einen freien Bereich des Umwandlungstabellenspeichers 49 geschrieben, wenn die Auswahl der Kameras 21, 23, 25 oder 27 tatsächlich wechselt, das heißt, wenn eine Kamera 21, 23, 25 oder 27, die eine solche Identifikationsinformation (Kamera-ID) aufweist, die nicht im Umwandlungstabellenspeicher 49 vorliegt, ausgewählt ist.

Zur Vereinfachung der Beschreibung wurde die vorstehende Ausführungsform als ein Beispiel genommen, in welchem nur eine aus der Vielzahl der Kameras 21, 23, 25 und 27 ausgewählt und dann auf einem Bildschirm angezeigt wird. Abhängig von der Situation des Fahrzeugs kann jedoch eine Mehrzahl aus den Kameras 21, 23, 25 oder 27 gleichzeitig ausgewählt und auf einem Bildschirm als Mehrfachbildanzeige angezeigt werden.

Die vorstehend erwähnte Ausführungsform wurde als ein Beispiel gegeben, in welchem eine Standpunktsumwandlung als ein Beispiel einer Koordinatentransformation durchgeführt wird. Zusätzlich dazu kann jedoch die Erfindung auf jegliche Koordinatentransformation angewendet werden, was auch Vergrößerung, Verkleinerung, Verzerrungskorrektur, Bilddrehung, vertikale Umkehrung und horizontale Umkehrung umfasst.


Anspruch[de]
  1. Vorrichtung zur visuellen Überprüfung der Umgebung eines Fahrzeugs mit:

    mindestens einem Abbildungsteil, das die Umgebung eines Fahrzeugs abbildet;

    einem Bildverarbeitungsteil, das mindestens eines aus den Abbildungsteilen auswählt, eine vorab bestimmte Koordinatentransformation des Bilds der Umgebung des Fahrzeugs durchführt, das von dem ausgewählten Bildgebungsteil abgebildet ist; und

    einem Anzeigeteil, das in einer Fahrgastzelle angeordnet ist, und das Bild der Umgebung des Fahrzeugs anzeigt, für das die vorab bestimmte Koordinatentransformation durchgeführt ist, wobei

    das Bildgebungsteil eine Umwandlungstabelle der vorab bestimmten Koordinatentransformation mit Bezug auf das Bild der Umgebung des Fahrzeugs enthält, und

    wobei das Bildverarbeitungsteil die Koordinatentransformation auf der Grundlage der Umwandlungstabelle des Bildgebungsteils durchführt, das von dem Bildverarbeitungsteil ausgewählt worden ist.
  2. Vorrichtung zur visuellen Überprüfung der Umgebung eines Fahrzeugs nach Anspruch 1, wobei

    das Abbildungsteil vorab Identifizierungsinformation bereit hält, welche das Abbildungsteil identifiziert, und

    wobei die Identifizierungsinformation an das Bildverarbeitungsteil übertragen wird.
  3. Vorrichtung zur visuellen Überprüfung der Umgebung eines Fahrzeugs nach Anspruch 2, wobei das Bildverarbeitungsteil die Umwandlungstabelle, die von dem Abbildungsteil erhalten wurde, und die der Umwandlungstabelle entsprechende Identifizierungsinformation in ein vorab bestimmtes flüchtiges Speicherteil speichert, und wobei nur dann, wenn die Identifizierungsinformation, die von dem Abbildungsteil erhältlich ist, von der Identifizierungsinformation abweicht, die in dem flüchtigen Speicherteil gespeichert ist, die Umwandlungstabelle vom Abbildungsteil an das Bildverarbeitungsteil übertragen wird.
  4. Vorrichtung zur visuellen Überprüfung der Umgebung eines Fahrzeugs nach Anspruch 1, wobei das Abbildungsteil Information über die Bildgröße des Bilds der Fahrzeugumgebung, das von dem Abbildungsteil aufgenommen wird, bereithält, und wobei die Information über die Bildgröße an das Bildverarbeitungsteil übertragen wird.
  5. Vorrichtung zur visuellen Überprüfung der Umgebung eines Fahrzeugs nach Anspruch 1, wobei das Abbildungsteil eine Vielzahl von Abbildungsteilen umfasst, und wobei das Bildverarbeitungsteil dazu fähig ist, jeweils eine Umwandlungstabelle für die Vielzahl von Abbildungsteilen zu speichern.
Es folgen 4 Blatt Zeichnungen






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com