PatentDe  


Dokumentenidentifikation DE102005063199A1 01.03.2007
Titel Vorrichtung und Verfahren zur Erkennung von Straßenmarkierungen
Anmelder Fujitsu Ltd., Kawasaki, Kanagawa, JP
Erfinder Tanji, Jou, Kawasaki, Kanagawa, JP
Vertreter W. Seeger und Kollegen, 81369 München
DE-Anmeldedatum 31.12.2005
DE-Aktenzeichen 102005063199
Offenlegungstag 01.03.2007
Veröffentlichungstag im Patentblatt 01.03.2007
IPC-Hauptklasse G06K 9/62(2006.01)A, F, I, 20051231, B, H, DE
Zusammenfassung Eine Aufgabe dieser Erfindung ist, eine Technik zu schaffen, um Straßenmarkierungen durch eine einfache Verarbeitung korrekt zu erkennen. Dieses Verfahren zur Erkennung von Straßenmarkierungen umfasst: Erhalten von Bilddaten einer Straße und Speichern der Bilddaten in einen Bilddatenspeicher; Detektieren einer ersten Straßenmarkierung in den Bilddaten, die im Bilddatenspeicher gespeichert sind, und Speichern von Positionsdaten der ersten Straßenmarkierung in einen Speicher; Detektieren einer zweiten Straßenmarkierung in den im Bilddatenspeicher gespeicherten Bilddaten und Speichern von Positionsdaten der zweiten Straßenmarkierung in einen Speicher; Beurteilen, basierend auf den im Speicher gespeicherten Positionsdaten, ob eine vordefinierte korrekte wechselseitige Positionsbeziehung zwischen der ersten und zweiten Straßenmarkierung eingerichtet ist oder nicht; und Auswerten eines Vertrauensgrads für das Detektionsergebnis der ersten und zweiten Straßenmarkierung durch Verwenden eines Ergebnisses der Beurteilung. Im Fall der Straßenmarkierungen wie zum Beispiel eines Fußgängerüberwegs und einer Stopplinie müssen beispielsweise die Stopplinie und der Fußgängerüberweg in dieser Reihenfolge angeordnet sein, wenn vom Fahrzeug aus geblickt wird. Eine solche Positionsbeziehung wird bestätigt, um den Vertrauensgrad auszuwerten.

Beschreibung[de]
HINTERGRUND DER ERFINDUNG

USP 5,987,174 offenbart zum Beispiel eine Straßenüberwachungsvorrichtung durch eine Bildverarbeitung, um Änderungen der Intensität und Farbe einer Straße unmittelbar vor ihrem eigenen Fahrzeug zu bewerten oder zu beurteilen, um einen Fahrstreifen von der Straße durch die Intensität und Farbe trennen zu können, wodurch ermöglicht wird, Fahrstreifen sicher zu erkennen. Konkret enthält die Straßenüberwachungsvorrichtung eine Kamera A, um ein Farbbild des Blicks nach vorn in Fahrtrichtung des Fahrzeugs aufzunehmen; eine Anzeigeeinheit B, um das Verarbeitungsergebnis der durch die Kamera A aufgenommenen Bilddaten anzuzeigen, während sie auf den ursprünglichen Bilddaten überlagert werden; eine Extraktionsverarbeitungsschaltung, um Pixel, die eine vorbestimmte Farbbedingung zur Extraktion erfüllen, von einem Bildschirm durch die Bilddaten zu extrahieren; eine Farbabtastschaltung, um Farbdaten von den extrahierten Pixel abzutasten; eine Extraktionsbedingungen bestimmende Einheit, um basierend auf den abgetasteten Farbdaten eine Extraktionsbedingung zu bestimmen. Die Straßenüberwachungsvorrichtung erkennt den Fahrstreifen basierend auf den extrahierten Pixel und beurteilt ferner einen Leuchtzustand der Fahrbahn basierend auf den Farbdaten, die durch die Extraktionsbedingungen bestimmende Einheit abgetastet wurden. Gemäß dem Bewertungs- oder Beurteilungsergebnis werden der Irismechanismus und die Farbumwandlungsverstärkung gesteuert. Diese Veröffentlichung offenbart jedoch keine Stelle, dass Straßenmarkierungen wie zum Beispiel ein Fußgängerüberweg und eine Stopplinie erkannt werden. Selbst wenn die Straßenmarkierung durch die in dieser Publikation beschriebene Technik individuell erkannt wird, kann außerdem häufig eine Fehlerkennung auftreten, weil viele Straßenmarkierungen eine einfache Form haben.

Die Straßenmarkierung kann folglich durch die herkömmliche Technik individuell erkannt werden. Es gibt jedoch Probleme, bei denen die Fehlerkennung häufig auftreten kann oder eine zeitraubende Verarbeitung notwendig ist, um die Fehlerkennung zu verringern. Da das Fahrzeug fährt, wird jedoch, wenn es zu viel Zeit in Anspruch nimmt, einen Frame zu verarbeiten, die Differenz zu einem als nächsten zu verarbeitenden Frame groß. Dies verursacht eine weitere Fehlerkennung und/oder einen Verlust der Erkennung. Außerdem erfordern nahezu alle Anwendungen, die die Erkennung der Straßenmarkierung nutzen, eine Echtzeitverarbeitung.

ZUSAMMENFASSUNG DER ERFINDUNG

Daher ist eine Aufgabe dieser Erfindung, eine Technik, um eine Fehlerkennung oder einen Verlust der Erkennung zu verringern, der auftritt, wenn die Straßenmarkierung erkannt wird, durch eine einfache Verarbeitung zu schaffen, ohne eine zeitraubende Verarbeitung zu nutzen.

Ein Verfahren zur Erkennung von Straßenmarkierungen gemäß dieser Erfindung umfasst die Schritte: Erhalten von Bilddaten einer Straße und Speichern der Bilddaten in einen Bilddatenspeicher; Detektieren einer ersten Straßenmarkierung in den im Bilddatenspeicher gespeicherten Bilddaten und Speichern von Positionsdaten der ersten Straßenmarkierung in einen Speicher; Detektieren einer zweiten Straßenmarkierung in den Bilddaten, die im Bilddatenspeicher gespeichert wurden, und Speichern von Positionsdaten der zweiten Straßenmarkierung in den Speicher; Beurteilen, basierend auf den im Speicher gespeicherten Positionsdaten, ob eine vordefinierte wechselseitige Positionsbeziehung zu einer normalen Zeit zwischen der ersten und zweiten Straßenmarkierung eingerichtet ist oder nicht; und Auswerten eines Vertrauensgrads (engl. degree of confidence) für die Detektionsergebnisse der ersten und zweiten Straßenmarkierung unter Verwendung eines Ergebnisses der Beurteilung.

Im Fall der Straßenmarkierungen wie z.B. eines Fußgängerüberwegs und einer Stopplinie müssen, wenn ein Fahrzeug in eine Einmündung einfährt, die Stopplinie und der Fußgängerüberweg in dieser Reihenfolge angeordnet sein, wenn vom Fahrzeug aus geblickt wird. Wenn das Fahrzeug aus der Einmündung fährt, existiert außerdem die Stopplinie nicht, und nur der Fußgängerüberweg muss sich vor dem Fahrzeug befinden. Falls eine derartige vordefinierte wechselseitige Positionsbeziehung für das Detektionsergebnis nicht eingerichtet ist, besteht daher eine Möglichkeit, dass die Fehldetektion für eine von ihnen oder beide aufgetreten ist. Daher ist es möglich, den Vertrauensgrad einzuschätzen oder auszuwerten (zum Beispiel den Vertrauensgrad erhöhen oder verringern), um zu beurteilen, ob sie beide letztendlich als "erkannt" behandelt werden oder nicht, basierend auf dem Beurteilungsergebnis für eine solche vordefinierte wechselseitige Positionsbeziehung.

Das oben erwähnte Detektieren der ersten Straßenmarkierung kann außerdem beinhalten: Berechnen einer virtuellen Position der ersten Straßenmarkierung aus Fahrzeuggeschwindigkeitsdaten und den letzten Positionsdaten, die im Speicher gespeichert sind; und Auswerten des Vertrauensgrades der ersten Straßenmarkierung aus den aktuellen Positionsdaten und den virtuellen Positionsdaten, welche im Speicher gespeichert sind. Indem die Beurteilung unter Verwendung einer derartigen Kontinuität des Detektionsergebnisses ausgeführt wird, kann die Fehlerkennung vermieden werden. Übrigens kann die gleiche Verarbeitung für das Detektieren der zweiten Straßenmarkierung ausgeführt werden.

Das Verfahren dieser Erfindung kann überdies ferner beinhalten: Erkennen einer Fahrstreifen abgrenzenden weißen Linie in den Bilddaten, die im Bilddatenspeicher gespeichert sind, und Speichern von Positionsdaten der erkannten weißen Linie in den Speicher; und Beschränken einer Verarbeitungszone der Bilddaten basierend auf den Positionsdaten der im Speicher gespeicherten weißen Linie. Somit wird es möglich, die Verarbeitungslast zu reduzieren und die Verarbeitungsgeschwindigkeit zu steigern.

Das oben erwähnte Erkennen der weißen Linie kann außerdem beinhalten: Auswerten eines Vertrauensgrads der weißen Linie aus den Positionsdaten der vorher erkannten weißen Linie und den aktuellen Positionsdaten der weißen Linie, die im Speicher gespeichert sind. Wenn die Positionsdaten der weißen Linie zum Beispiel als eine gerade Linie (Punkt und Neigung) spezifiziert sind, ist es übrigens möglich, zu bestätigen, ob die weiße Linie an der gleichen Position detektiert wird oder nicht, ohne die weiße Linie selbst auf den Bilddaten zu bewegen.

Das Verfahren gemäß dieser Erfindung wird durch ein Programm und eine Computer-Hardware ausgeführt, und dieses Programm ist in einem Speichermedium oder einer Speichervorrichtung wie zum Beispiel einer Diskette, einer CD-ROM, einer optischen Magnetplatte, einem Halbleiterspeicher und einer Festplatte gespeichert. Das Programm kann ferner als digitales Signal über ein Netzwerk verteilt werden. Im übrigen werden Zwischenverarbeitungsergebnisse vorübergehend in einer Speichervorrichtung wie zum Beispiel einem Hauptspeicher gespeichert.

KURZE BESCHREIBUNG DER ZEICHNUNGEN

1 ist ein Funktionsblockdiagramm in einer Ausführungsform dieser Erfindung;

2 ist ein Diagramm, das einen ersten Teil eines Hauptverarbeitungsablaufs in der Ausführungsform dieser Erfindung zeigt;

3 ist ein Diagramm, das ein Beispiel von durch die Kamera aufgenommenen Bilddaten zeigt;

4A ist ein Diagramm, das ein Beispiel von Daten für die linke weiße Linie zeigt, und 4B ist ein Diagramm, das ein Beispiel von Daten für die rechte weiße Linie zeigt;

5 ist ein Diagramm, das ein Beispiel von Daten zeigt, die im Datenspeicher für weiße Linien gespeichert werden;

6 ist ein Diagramm, das ein Beispiel einer detektierten weißen Linie zeigt;

7 ist ein Diagramm, das einen zweiten Teil des Hauptverarbeitungsablaufs in der Ausführungsform dieser Erfindung zeigt;

8A und 8B sind Diagramme, die nachfolgende Verarbeitungszonen in einem Fall zeigen, in dem die weiße Linie erkannt wird;

9 ist ein Diagramm, das einen Verarbeitungsablauf einer Fußgängerüberweg-Verarbeitung zeigt;

10 ist ein Diagramm, um die Zone des Fußgängerüberwegs zu erläutern;

11 ist ein Diagramm, das ein Beispiel von Fußgängerüberweg-Daten zeigt;

12 ist ein Diagramm, das ein zeitlich veränderliches Verhalten der Fußgängerüberweg-Zone zeigt;

13 ist ein Diagramm, das einen Verarbeitungsablauf einer Stopplinien-Verarbeitung zeigt;

14 ist ein Diagramm, das ein zeitlich veränderliches Verhalten der Stopplinien-Zone zeigt;

15 ist ein Diagramm, das ein Beispiel der Stopplinien-Daten zeigt;

16 ist ein Diagramm, das einen Verarbeitungsablauf einer Verarbeitung zur Auswertung von Positionsbeziehungen zeigt; und

17 ist ein Diagramm, um die Gültigkeit der Positionsbeziehung zu erläutern.

DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN

1 zeigt ein Funktionsblockdiagramm einer Vorrichtung zur Erkennung von Straßenmarkierungen gemäß einer Ausführungsform dieser Erfindung. Die Vorrichtung zur Erkennung von Straßenmarkierungen hat eine zum Beispiel in Richtung der Front des Fahrzeugs installierte Kamera 1, einen Bilddatenspeicher 3, um die durch die Kamera 1 aufgenommenen Bilddaten zu speichern, einen Weißlinien-Prozessor 5, um eine Detektion der weißen Linie und dergleichen auszuführen, indem die im Bilddatenspeicher 3 gespeicherten Bilddaten genutzt werden, einen Weißlinien-Datenspeicher 7, um Verarbeitungsergebnisse und dergleichen vom Weißlinien-Prozessor 5 zu speichern, einen Fahrzeuggeschwindigkeits-Datenspeicher 11, einen Straßenmarkierungs-Prozessor 9, um Verarbeitungen unter Ausnutzung der im Bilddatenspeicher 3, im Weißlinien-Datenspeicher 7 und im Fahrzeuggeschwindigkeits-Datenspeicher 11 gespeicherten Daten auszuführen, und einen Straßenmarkierungs-Datenspeicher 13, um Verarbeitungsergebnisse und dergleichen vom Straßenmarkierungs-Prozessor 9 zu speichern. Außerdem enthält der Straßenmarkierungs-Prozessor 9 einen Fußgängerüberweg-Prozessor 91, um eine Detektion des Fußgängerüberwegs und dergleichen auszuführen, einen Stopplinien-Prozessor 92, um eine Detektion der Stopplinie und dergleichen auszuführen, und eine Positionsbeziehungen beurteilende Einheit 93, um die wechselseitige Positionsbeziehung zwischen den detektierten Straßenmarkierungen und dergleichen zu beurteilen.

Als nächstes wird unter Verwendung der 2 bis 17 die Vorrichtung zur Erkennung von Straßenmarkierungen erläutert. Die Kamera 1 nimmt periodisch Bilder auf und speichert die Daten aufgenommener Bilder in den Bilddatenspeicher 3. Eine im Folgenden beschriebene Verarbeitung wird jedes Mal ausgeführt, wenn die Bilddaten neu in den Bilddatenspeicher 3 gespeichert werden. Im übrigen werden, was die Bilddaten anbetrifft, notwendige Indizes zum Beispiel jedes Mal berechnet, wenn das Bild aufgenommen wird, und die Kamera 1 wird basierend auf den Indizes eingestellt. Daher wird angenommen, dass die als nächstes aufgenommenen Bilddaten soweit als möglich so eingestellt sind, dass sie eine angemessene Qualität für die im Folgenden beschriebene Verarbeitung haben.

Der Weißlinien-Prozessor 5 führt als nächstes eine Verarbeitung zur Detektion von weißen Linien unter Verwendung der im Bilddatenspeicher 3 gespeicherten Bilddaten aus (Schritt S1). Die Verarbeitung zur Detektion weißer Linien wird nur für eine Zone c unter einer horizontalen Linie b ausgeführt, indem die horizontale Linie b identifiziert wird, um eine Zone a oberhalb der horizontalen Linie b in einem Fall auszuschließen, in dem die Bilddaten wie in 3 zum Beispiel gezeigt ausgelesen werden. So wird die Verarbeitungslast reduziert. In einem Fall, in dem die horizontale Linie b nicht detektiert werden kann, oder dergleichen können jedoch die ganzen Bilddaten verarbeitet werden. Im übrigen können die spezifischen Inhalte der Verarbeitung zur Detektion weißer Linien die gleichen sein wie die herkömmliche Technik wie z.B. eine Detektion durch die Randdetektion unter Verwendung der Intensitätsdifferenz und der Etikettierung, eine Detektion der geraden Linie durch eine Haugh-Transformation oder ein Detektionsverfahren unter Verwendung verschwindender Punkte. Außerdem erscheinen in dieser Ausführungsform die weißen Linien an beiden Seiten des Fahrzeugs, und die weißen Linien werden individuell detektiert.

Bei der Verarbeitung zur Detektion weißer Linien werden, wenn eine linke weiße Linie p, wie zum Beispiel in 4A gezeigt ist, detektiert wird, die Koordinate x1 eines Schnittpunkts der Bezugslinie r und der weißen Linie p und die Distanz y1 zwischen der Bezugslinie r und der weißen Linie p an einer von der Koordinate x1 um nur die Einheitsdistanz d auf der Bezugslinie r entfernten Position als die Neigung y1 identifiziert. Ähnlich werden, wenn eine rechte weiße Linie q, wie in 4B gezeigt ist, detektiert wird, die Koordinate x2 eines Schnittpunkts der Bezugslinie r und der weißen Linie q und die Distanz y2 zwischen der Bezugslinie r und der weißen Linie q an einer von der Koordinate x2 um nur die Einheitsdistanz d auf der Bezugslinie r entfernten Position als die Neigung y2 identifiziert. Solche Daten werden zuerst in einer Speichervorrichtung wie zum Beispiel einem Hauptspeicher gespeichert.

Im übrigen ist die Definition der Neigung nicht auf in 4A und 4B gezeigte Beispiele beschränkt. Es ist auch möglich, als die Neigung die Distanz zwischen einem Schnittpunkt einer vertikalen Linie und der Bezugslinie r und der Koordinate x1 oder x2 zu übernehmen, wenn die Vertikallinie von einem Schnittpunkt einer geraden Linie, welche zur Bezugslinie r parallel und von der Bezugslinie r um die Einheitsdistanz d in der vertikalen Richtung entfernt ist, und der weißen Linie p oder q zur Bezugslinie r nach unten gezogen wird.

Als nächstes beurteilt der Weißlinien-Prozessor 5, ob irgendeine weiße Linie dieses Mal beim Schritt S1 detektiert werden konnte oder nicht (Schritt S3). Falls die weiße Linie diesmal nicht detektiert werden konnte, beurteilt er, ob Daten irgendeiner schon detektierten weißen Linie in dem Weißlinien-Datenspeicher 7 gespeichert sind oder nicht (Schritt S5). Falls die Daten der schon detektierten weißen Linie existieren, dekrementiert er, da die weiße Linie diesmal verloren ist, einen Vertrauensgrad für die weiße Linie, deren Daten in dem Weißlinien-Datenspeicher 7 gespeichert sind (Schritt S7). Der dekrementierende Wert ist ein vordefinierter Wert. Die Daten, die in dem Weißlinien-Datenspeicher 7 gespeichert sind, werden später ausführlich erläutert. Im übrigen gibt es einen Fall, in dem eine untere Grenze für den Vertrauensgrad gesetzt ist, und in solch einem Fall fällt der Vertrauensgrad nicht unter die untere Grenze. Die obere Grenze kann ähnlich der unteren Grenze gesetzt werden. Die Verarbeitung geht dann über einen Anschlusspunkt A zur Verarbeitung in 7 weiter. Auf der anderen Seite geht in einem Fall, in dem die Daten der schon detektierten weißen Linie in dem Weißlinien-Datenspeicher 7 nicht existieren, die Verarbeitung über den Anschlusspunkt A zur Verarbeitung in 7 weiter.

Falls die weiße Linie bei Schritt S3 diesmal detektiert werden konnte, beurteilt auf der anderen Seite der Weißlinien-Prozessor 5, ob die Daten der schon detektierten weißen Linien in dem Weißlinien-Datenspeicher 7 gespeichert sind oder nicht (Schritt S9). Falls die Daten der schon detektierten weißen Linie in dem Weißlinien-Datenspeicher 7 nicht gespeichert sind, speichert der Weißlinien-Prozessor 5, weil dies bedeutet, dass die weiße Linie erstmals detektiert wird, das Detektionsergebnis in den Weißlinien-Datenspeicher 7 (Schritt S11). Nach dem Schritt S11 geht die Verarbeitung über den Anschlusspunkt A zur Verarbeitung in 7 über.

Die Daten, die im Weißdatenspeicher 7 gespeichert sind, sind Daten, wie sie zum Beispiel in 5 dargestellt sind. Die obere Reihe gibt Daten der linken weißen Linie an und beinhaltet die Koordinate x1 auf der Bezugslinie, die Neigung y1, den Vertrauensgrad und ein Erkennungs-Flag. Die untere Reihe bezeichnet Daten der rechten weißen Linie und umfasst die Koordinate x2 auf der Bezugslinie, die Neigung y2, den Vertrauensgrad und ein Erkennungs-Flag. Im übrigen wurde beim Schritt S11 das Erkennungs-Flag nicht gesetzt, und als der Vertrauensgrad wird bei dem Schritt S11 ein Anfangswert gesetzt.

Falls auf der anderen Seite beurteilt wird, dass die Daten der schon detektierten weißen Linie im Weißlinien-Datenspeicher 7 gespeichert sind, berechnet der Weißlinien-Prozessor 5 die Differenz zwischen der schon detektierten weißen Linie und der aktuell detektierten weißen Linie (Schritt S13); sowohl für die linke als auch die rechte, die Differenz zwischen den x-Koordinaten und die Differenz zwischen den Neigungen y. Zum Beispiel wird auch die Summe der Differenzen berechnet. Anstelle der Summen der Differenzen kann ein Wert einer vordefinierten Funktion, in die die Differenzen substituiert werden, berechnet werden. Außerdem können die beiden Werte separat behandelt werden.

Der Weißlinien-Prozessor 5 beurteilt dann, ob die Differenz kleiner oder gleich einem vorbestimmten Wert ist oder nicht (Schritt S15). Es wird z.B. beurteilt, ob die Summe der Differenzen kleiner oder gleich einem vorbestimmten Wert ist oder nicht, der sich auf die Summe der Differenzen bezieht, oder ob die Differenz zwischen x-Koordinaten kleiner oder gleich einem vorbestimmten Wert ist oder nicht, der sich auf die x-Koordinate bezieht, und die Differenz zwischen den Neigungen kleiner oder gleich einem vorbestimmten Wert ist oder nicht, der sich auf die Neigung bezieht. Wie in 6 gezeigt ist, werden zum Beispiel die schon detektierte linke weiße Linie t1 und die aktuell detektierte linke weiße Linie t2 detektiert, und, wenn sie verglichen werden, wird beurteilt, dass die Differenzen geringer als die vorbestimmten Werte sind. Außerdem werden die schon detektierte rechte weiße Linie u1 und die aktuell detektierte weiße Linie u2 detektiert, und, wenn sie verglichen werden, wird beurteilt, dass die Differenzen die vorbestimmten Werte überschreiten.

Wenn die Differenzen die vorbestimmten Werte überschreiten, wird angenommen, dass die Möglichkeit, dass das Detektionsergebnis eine Fehldetektion ist, hoch ist, und der Weißlinien-Prozessor 5 dekrementiert den Vertrauensgrad für die weiße Linie ohne Ändern des Wertes der x-Koordinate und des Wertes der Neigung der weißen Linie. Der dekrementierende Wert ist ein vorher bestimmter Wert. Die Verarbeitung geht dann über zu Schritt S23. Wenn auf der anderen Seite die Differenzen kleiner oder gleich den vorbestimmten Werten sind, speichert der Weißlinien-Prozessor 5 die Daten der aktuell detektierten weißen Linie (d.h. x-Koordinatenwert und die Neigung y) in den Weißlinien-Datenspeicher 7 (Schritt S19). Außerdem inkrementiert er den Vertrauensgrad für die weiße Linie (Schritt S21).

Als nächstes beurteilt der Weißlinien-Prozessor 5, ob der Vertrauensgrad für die weiße Linie, der im Weißlinien-Datenspeicher 7 gespeichert ist, größer oder gleich einem vordefinierten Wert ist oder nicht (Schritt S23). In einem Fall, in dem der Vertrauensgrad für die weiße Linie geringer als der vordefinierte Wert ist, setzt der Weißlinien-Prozessor 5, weil es noch nicht ausreicht, um zu beurteilen, dass die weiße Linie erkannt wurde, das Erkennungs-Flag im Weißlinien-Datenspeicher 7 AUS (Schritt S25). Die Verarbeitung geht dann über den Anschlusspunkt A zur Verarbeitung in 7 über. Falls auf der anderen Seite der Vertrauensgrad für die weiße Linie größer oder gleich dem vordefinierten Wert ist, setzt der Weißlinien-Prozessor 5 das Erkennungs-Flag im Weißlinien-Datenspeicher 7 AN (Schritt S27). Er gibt dann das Verarbeitungsergebnis an eine die weiße Linie nutzende Funktion aus (Schritt S29). Die Verarbeitung geht über den Anschlusspunkt A zur Verarbeitung in 7 über. Im übrigen werden die linke weiße Linie und die rechte weiße Linie in der vorher erwähnen Verarbeitung individuell verarbeitet.

Unter Ausnutzung der Kontinuität des Detektionsergebnisses für die weiße Linie wird somit die Gültigkeit des Detektionsergebnisses beurteilt, um sie im Vertrauensgrad widerzuspiegeln.

Als nächstes wird die Verarbeitung in 7 erläutert. Der Straßenmarkierungs-Prozessor 9 bestätigt, ob das Erkennungs-Flag in dem Weißlinien-Datenspeicher 7 A'N gesetzt ist oder nicht (Schritt S31). Falls das Erkennungs-Flag AUS gesetzt ist, setzt, weil die weiße Linie nicht erkannt ist, der Straßenmarkierungs-Prozessor 9 die im Bilddatenspeicher 3 gespeicherten gesamten Bilddaten als eine Verarbeitungszone (Schritt S33). Die Verarbeitung geht dann über zu Schritt S37. Falls auf der anderen Seite das Erkennungs-Flag für die weiße Linie AN gesetzt ist, setzt er das Innere der weißen Linien als die Verarbeitungszone (Schritt S35). Wie in 8A gezeigt ist, ist in einem Fall, in dem sowohl die linke als auch rechte weiße Linie erkannt wurden, eine trapezförmige Zone Z1, die von sowohl den weißen Linien als auch der horizontalen Linie umgeben ist, eine Verarbeitungszone. Wie in 8B gezeigt ist, ist außerdem in einem Fall, in dem rechte weiße Linie nicht erkannt ist und nur die linke weiße Linie erkannt wurde, eine trapezförmige Zone Z2, die durch die linke weiße Linie und die horizontale Linie umgeben ist, eine Verarbeitungszone. Natürlich kann links mit rechts vertauscht werden.

Der Fußgängerüberweg-Prozessor 91 des Straßenmarkierungs-Prozessors 9 führt dann eine Fußgängerüberweg-Verarbeitung aus (Schritt S37). Die Fußgängerüberweg-Verarbeitung wird unter Verwendung der 9 bis 12 erläutert. Zuerst führt der Fußgängerüberweg-Prozessor 91 eine Detektionsverarbeitung des Fußgängerüberwegs für die Verarbeitungszone aus (Schritt S51). Zum Beispiel werden die Randdetektion unter Verwendung der Differenz der Intensität und/oder Etikettierung ausgeführt, um Elemente des Fußgängerüberwegs zu extrahieren. Da der Fußgängerüberweg ein monotones Streifenmuster hat, können das Detektionsverfahren, das den Umstand nutzt, dass ein Intervall zwischen den Elementen konstant ist, und/oder ein Umstand, dass die Breite des Elements konstant ist, und der Musterabgleich genutzt werden. Grundsätzlich kann die herkömmliche Technik den Fußgängerüberweg detektieren. Daher wird hier jede weitere Beschreibung weggelassen. Im übrigen ist es nicht notwendig, Daten zu halten, die einzelne Weißlinienabschnitte betreffen, die den Fußgängerüberweg bilden. Wie in 10 gezeigt ist, wird eine Zone M des Fußgängerüberwegs identifiziert. In diesem Fall kann zum Beispiel die Zone M des Fußgängerüberwegs identifiziert werden, wenn die Koordinaten des oberen linken Punktes m1 und die Koordinaten des unteren rechten Punktes m2 gehalten werden. Da der Fußgängerüberweg nicht immer detektiert werden kann und die Position, an der sich der Fußgängerüberweg befindet, beschränkt ist, wird im übrigen eine ID jedes Mal dem Fußgängerüberweg zugeordnet, wenn er nahe der horizontalen Linie detektiert wird, und die ID wird verwaltet, bis er nicht detektiert werden kann.

Als nächstes beurteilt der Fußgängerüberweg-Prozessor 91, ob der Fußgängerüberweg beim Schritt S51 detektiert werden konnte oder nicht (Schritt S53). Falls der Fußgängerüberweg nicht detektiert werden konnte, beurteilt er, ob die Sicht auf den Fußgängerüberweg verloren ist, d.h. ob (später beschriebene) Fußgängerüberweg-Daten, die in dem Straßenmarkierungs-Datenspeicher 13 innerhalb einer vorbestimmten Periode von der Photographierzeit der Bilddaten, die verarbeitet werden, oder einer durch eine Frame-Zahl der zu verarbeitenden Bilddaten identifizierten Zeit gespeichert wurden, existieren oder nicht (Schritt S55). Die vorbestimmte Periode wird unter Verwendung der Geschwindigkeitsdaten des Fahrzeugs berechnet. Das heißt, es ist möglich, auf der Basis der aktuellen Geschwindigkeit des Fahrzeugs, der Distanz vom Fahrzeug zum Begrenzungspunkt, den die Kamera 1 sehen kann, und der Distanz zum aktuelle detektierten Fußgängerüberweg zu beurteilen, aus welchen Frames vorher oder wie lange vorher der aktuell detektierte Fußgängerüberweg durch die Kamera 1 detektiert werden konnte. Falls eine Sicht auf den Fußgängerüberweg nicht verloren ist, d.h. falls der Fußgängerüberweg nicht detektiert wurde, kehrt die Verarbeitung über einen Anschlusspunkt C zur ursprünglichen Verarbeitung zurück. Falls auf der anderen Seite beurteilt wird, dass der Fußgängerüberweg, der in dem Straßenmarkierungs-Datenspeicher 12 innerhalb der vorbestimmten Periode von der Photographierzeit der gerade verarbeiteten Daten oder der durch die Frame-Zahl der gerade verarbeiteten Bilddaten identifizierten Zeit gespeichert wurde, existiert, bedeutet es, dass eine Sicht auf den Fußgängerüberweg verloren ist. Daher dekrementiert der Fußgängerüberweg-Prozessor 91 den Vertrauensgrad für den Fußgängerüberweg. Der dekrementierende Wert ist ein Wert, der vorher bestimmt wurde.

Überdies beurteilt der Fußgängerüberweg-Prozessor 91, ob eine Bedingung, dass die im Straßenmarkierungs-Datenspeicher 13 gespeicherten Fußgängerüberweg-Daten gelöscht werden, erfüllt ist oder nicht, z.B. ob der Fußgängerüberweg während einer vorbestimmten Anzahl von Frames oder mehr (d.h. während einer vorbestimmten Schwellenperiode oder mehr) nicht detektiert werden kann oder nicht (Schritt S59). Falls eine Bedingung, dass die Fußgängerüberweg-Daten gelöscht sind, nicht erfüllt ist, kehrt die Verarbeitung über den Anschlusspunkt C der ursprünglichen Verarbeitung zurück. Falls auf der anderen Seite, die Bedingung, dass die Fußgängerüberweg-Daten gelöscht sind, erfüllt ist, löscht der Fußgängerüberweg-Prozessor 91 die Fußgängerüberweg-Daten in dem Straßenmarkierungs-Datenspeicher 13 (Schritt S61). Die Verarbeitung kehrt dann zur ursprünglichen Verarbeitung zurück.

Falls auf der anderen Seite der Fußgängerüberweg dieses Mal detektiert werden konnte, beurteilt der Fußgängerüberweg-Prozessor 91, ob der schon detektierte Fußgängerüberweg existiert oder nicht, d.h. ob die Fußgängerüberweg-Daten in dem Straßenmarkierungs-Datenspeicher 13 schon gespeichert wurden oder nicht (Schritt S63). Falls die Fußgängerüberweg-Daten in dem Straßenmarkierungs-Datenspeicher 13 noch nicht gespeichert wurden, speichert er Zonendaten des aktuell detektierten Fußgängerüberwegs in den Straßenmarkierungs-Datenspeicher 13 (Schritt S65). Der Straßenmarkierungs-Datenspeicher 13 speichert Daten, die z.B. in 11 dargestellt sind. Wie in 11 gezeigt ist, speichert der Straßenmarkierungs-Datenspeicher 13 eine große ID eines Fußgängerüberwegs, die von Photographierzeit, Koordinaten (x1, y1) des oberen linken Punktes der Zone, Koordinaten x2, y2 des unteren rechten Punktes der Zone, den Vertrauensgrad und das Erkennungs-Flag. Im Übrigen wird die ID dem aktuell detektierten Fußgängerüberweg neu zugeordnet und gespeichert. Der Anfangswert wird auf den Vertrauensgrad gesetzt. Das Erkennungs-Flag ist jedoch beim Schritt S65 nicht gesetzt. Die Verarbeitung kehrt dann zur ursprünglichen Verarbeitung zurück.

Falls der schon detektierte Fußgängerüberweg existiert, geht der Fußgängerüberweg-Prozessor 91 zur Zone des schon detektierten Fußgängerüberwegs, wobei die im Fahrzeuggeschwindigkeits-Datenspeicher 11 gespeicherte aktuelle Geschwindigkeit berücksichtigt wird (Schritt S67). Er berechnet z.B. die Distanz basierend auf der Zeitdifferenz basierend auf der im Straßenmarkierungs-Datenspeicher 13 gespeicherten Zeit und der aktuellen Zeit und der Geschwindigkeit des Fahrzeugs und berechnet, wie lang die Zone des schon detektierten Fußgängerüberwegs auf dem Bild bewegt werden muss, indem die berechnete Distanz und die voreingestellte Anzahl Pixel (oder der voreingestellte Koordinatenwert) pro Einheitsdistanz genutzt werden. Der Fußgängerüberweg-Prozessor 91 bewegt dann die Zone des schon detektierten Fußgängerüberwegs um die berechnete Distanz auf dem Bild. Wie in 12 gezeigt ist, wird, wenn die Zone M0 des schon detektierten Fußgängerüberwegs gemäß der Geschwindigkeit des Fahrzeugs bewegt wird, die Zone M0 zur Zone M0' bewegt, die durch die gestrichelte Linie repräsentiert ist. In 12 ist eine x-Achse in einer horizontalen Richtung des Bildes gelegt, und eine y-Achse ist in einer vertikalen Richtung des Bildes gelegt. Die Zone des Fußgängerüberwegs wird dann in der y-Achsrichtung bewegt.

Danach berechnet der Fußgängerüberweg-Prozessor 91 die Positionsdifferenz e zwischen der Zone M1 des aktuell detektierten Fußgängerüberwegs und der Zone M0' des Fußgängerüberwegs nach einer Bewegung (Schritt S69). Im Beispiel von 12 wird die Differenz e in der y-Achsrichtung berechnet. Der Fußgängerüberweg-Prozessor 91 beurteilt dann, ob die beim Schritt S69 berechnete Differenz e innerhalb eines vordefinierten Wertes liegt oder nicht (Schritt S71). Falls die Differenz e den vordefinierten Wert übersteigt, dekrementiert der Fußgängerüberweg-Prozessor 91 den Vertrauensgrad für den Fußgängerüberweg in dem Straßenmarkierungs-Datenspeicher 13, ohne die Zonendaten des Fußgängerüberwegs zu speichern (Schritt S73). Wenn die Differenz e den vorbestimmten Wert übersteigt, besteht folglich die Möglichkeit, dass eine Fehldetektion auftritt. Daher wird der Vertrauensgrad um den vorbestimmten Wert dekrementiert. Die Verarbeitung kehrt dann zur ursprünglichen Verarbeitung zurück.

Falls auf der anderen Seite die Differenz e innerhalb des vorbestimmten Werts liegt, speichert der Fußgängerüberweg-Prozessor 91 die Zonendaten des aktuell detektierten Fußgängerüberwegs in den Straßenmarkierungs-Datenspeicher 13 (Schritt S75). Er dekrementiert dann den Vertrauensgrad für den Fußgängerüberweg um den vorbestimmten Wert im Straßenmarkierungs-Datenspeicher 13 (Schritt S77). Die Verarbeitung kehrt dann zur ursprünglichen Verarbeitung zurück.

Indem man so verfährt, wird die Gültigkeit des Detektionsergebnisses unter Ausnutzung der Kontinuität des Detektionsergebnisses beurteilt, um sie im Vertrauensgrad widerzuspiegeln.

Kehrt man zur Erläuterung von 7 zurück, führt als nächstes der Stopplinien-Prozessor 92 des Straßenmarkierungs-Prozessors 9 eine Stopplinien-Verarbeitung aus (Schritt S39). Die Stopplinien-Verarbeitung wird unter Verwendung der 13 bis 15 erläutert. Zunächst führt der Stopplinien-Prozessor 92 eine Detektionsverarbeitung der Stopplinie für die Verarbeitungszone aus (Schritt S81). Die Elemente der Stopplinie werden z.B. durch die Randextraktion unter Verwendung der Intensitätsdifferenz und/oder Etikettierung extrahiert. Da die Stopplinie ein einfacher gerader Streifen ist, ist es möglich, ein Verfahren, um die Anzahl von Pixel zu zählen, welche eine größere Intensität als ein vordefinierter Wert haben und geradlinig angeordnet sind, ein Musterabgleichverfahren oder dergleichen zu nutzen. Da die Stopplinie durch die herkömmlichen Verfahren detektiert werden kann, wird hier grundsätzlich eine weitere Erläuterung weggelassen. Um die folgende Verarbeitung zu erleichtern, wird im übrigen, wie in 14 gezeigt ist, eine Zone S der Stopplinie identifiziert. In diesem Fall kann die Zone S der Stopplinie spezifiziert werden, wenn die Koordinaten des oberen linken Punktes s1 und die Koordinaten des unteren rechten Punktes s2 gehalten werden. Im Übrigen kann im Gegensatz zur weißen Linie die Stopplinie nicht immer detektiert werden, und die Positionen, an denen die Stopplinie existiert, sind beschränkt. Daher wird der Stopplinie eine ID zugeordnet, wenn sie zunächst nahe der horizontalen Linie detektiert wird, und wird verwaltet, bis sie nicht detektiert werden kann.

Als nächstes beurteilt der Stopplinien-Prozessor 92, ob die Stopplinie beim Schritt S81 detektiert werden konnte oder nicht (Schritt S83). Falls die Stopplinie nicht detektiert werden konnte, beurteilt der Stopplinien-Prozessor 92, ob die Sicht auf die Stopplinie verloren ist oder nicht, d.h. ob Stoppliniend-Daten (später beschrieben), welche in dem Straßenmarkierungs-Datenspeicher 13 innerhalb einer vorbestimmten Periode von der Photographierzeit der gerade verarbeiteten Bilddaten oder einer durch eine Frame-Anzahl der gerade verarbeiteten Daten identifizierten Zeit gespeichert wurden, existieren oder nicht (Schritt S85). Falls die Sicht der Stopplinie nicht verloren ist, d.h. falls die Stopplinie nicht detektiert wurde, kehrt die Verarbeitung über einen Anschlusspunkt D zur ursprünglichen Verarbeitung zurück. Falls auf der anderen Seite beurteilt wird, dass die Stopplinie, die im Straßenmarkierungs-Datenspeicher 13 innerhalb der vorbestimmten Periode von der Photographierzeit der gerade verarbeiteten Bilddaten gespeichert wurde, existiert, bedeutet dies, dass eine Sicht auf die Stopplinie verloren ist. Daher dekrementiert der Stopplinien-Prozessor 92 den Vertrauensgrad für die Stopplinie (Schritt S87). Der dekrementierende Wert ist ein vorher bestimmter Wert.

Überdies beurteilt der Stopplinien-Prozessor 92, ob eine Bedingung, dass die im Straßenmarkierungs-Datenspeicher 13 gespeicherten Stopplinien-Daten gelöscht werden, erfüllt ist oder nicht, z.B. ob die Stopplinie während einer vorbestimmten Anzahl von Frames oder mehr (d.h. während einer vorbestimmten Schwellenperiode oder mehr) nicht detektiert werden kann oder nicht (Schritt S59). Falls die Bedingung, dass die Stopplinien-Daten gelöscht werden, nicht erfüllt ist, kehrt die Verarbeitung über den Anschlusspunkt D zur ursprünglichen Verarbeitung zurück. Falls auf der anderen Seite die Bedingung, dass die Stopplinien-Daten gelöscht werden, erfüllt ist, löscht der Stopplinien-Prozessor 92 die Stopplinien-Daten in dem Straßenmarkierungs-Datenspeicher 13 (Schritt S91). Die Verarbeitung kehrt dann über den Anschlusspunkt D zur ursprünglichen Verarbeitung zurück.

Falls auf der anderen Seite die Stopplinien-Daten zu dieser Zeit detektiert werden konnten, beurteilt der Stopplinien-Prozessor 92, ob die schon detektierte Stopplinie existiert oder nicht, d.h. ob Daten der Stopplinie in dem Straßenmarkierungs-Datenspeicher 13 schon gespeichert wurden oder nicht (Schritt S93). Falls die Daten der Stopplinie in dem Straßenmarkierungs-Datenspeicher 13 noch nicht gespeichert wurden, speichert er Zonendaten der aktuell detektierten Stopplinie in den Straßenmarkierungs-Datenspeicher 13 (Schritt S95). Der Straßenmarkierungs-Datenspeicher 13 speichert Daten wie beispielsweise in 15 gezeigt. Wie in 15 gezeigt ist, speichert der Straßenmarkierungs-Datenspeicher 13 eine ID der Stopplinie, die Photographierzeit, die Koordinaten (x1, y1) des oberen linken Punktes der Stopplinienzone, die Koordinaten (x2, y2) des unteren rechten Punktes der Zone, den Vertrauensgrad und das Vertrauens-Flag. Im Übrigen wird die ID der aktuell detektierten Stopplinie neu zugeordnet und gespeichert. Der Anfangswert ist auf den Vertrauensgrad eingestellt. Das Erkennungs-Flag ist beim Schritt S95 jedoch nicht gesetzt. Danach kehrt die Verarbeitung zur ursprünglichen Verarbeitung zurück.

Falls die schon detektierte Stopplinie existiert, bewegt der Stopplinien-Prozessor 92 die Zone der schon detektierten Stopplinie, während die aktuelle Geschwindigkeit des Fahrzeugs, die im Fahrzeuggeschwindigkeits-Datenspeicher 11 gespeichert ist, berücksichtigt wird (Schritt S97). Zum Beispiel berechnet er die Distanz basierend auf der Zeitdifferenz zwischen der im Straßenmarkierungs-Datenspeicher 13 gespeicherten Zeit und der Geschwindigkeit des Fahrzeugs und berechnet, wie lang die Zone der schon detektierten Stopplinie auf dem Bild bewegt werden muss, indem die berechnete Distanz und die voreingestellte Anzahl von Pixel (oder der voreingestellte Koordinatenwert) pro Einheitsdistanz genutzt werden. Der Stopplinien-Prozessor 92 bewegt dann die Zone der schon detektierten Stopplinie um die berechnete Distanz auf dem Bild. Wie in 14 gezeigt ist, wird, wenn die Zone S0 der schon detektierten Stopplinie gemäß der Geschwindigkeit des Fahrzeugs bewegt wird, die Zone S0 zu der durch die gestrichelte Linie repräsentierte Zone S0' bewegt. In 14 ist eine x-Achse in einer horizontalen Richtung des Bildes eingerichtet, und eine y-Achse ist in einer vertikalen Richtung des Bildes eingerichtet. Die Zone der Stopplinie wird dann in einer y-Achsrichtung bewegt.

Danach berechnet der Stopplinien-Prozessor 92 die Positionsdifferenz e zwischen der Zone S1 der aktuell detektierten Stopplinie und der Zone S0' der Stopplinie nach einer Zone nach einer Bewegung (Schritt S99). Im Beispiel von 14 wird die Differenz e in der y-Achsrichtung berechnet. Der Stopplinien-Prozessor 92 beurteilt dann, ob die Differenz e, die beim Schritt S99 berechnet wurde, innerhalb eines vordefinierten Wertes liegt oder nicht (Schritt S101). Falls die Differenz e den vordefinierten Wert übersteigt, dekrementiert der Stopplinien-Prozessor 92 den Vertrauensgrad für die Stopplinie in dem Straßenmarkierungs-Datenspeicher 13, ohne die Zonendaten der Stopplinie zu speichern (Schritt S103). Wenn die Differenz e den vorbestimmten Wert übersteigt, besteht daher eine Möglichkeit, dass die Fehldetektion auftritt. Daher wird der Vertrauensgrad um den vorbestimmten Wert dekrementiert. Die Verarbeitung kehrt dann zur ursprünglichen Verarbeitung zurück.

Falls auf der anderen Seite die Differenz e innerhalb des vordefinierten Wertes liegt, speichert der Stopplinien-Prozessor 92 die Zonendaten der aktuell detektierten Stopplinie in den Straßenmarkierungs-Datenspeicher 13 (Schritt S105). Er inkrementiert dann den Vertrauensgrad für die Stopplinie um den vorbestimmten Wert im Straßenmarkierungs-Datenspeicher 13 (Schritt 107). Die Verarbeitung kehrt dann zur ursprünglichen Verarbeitung zurück.

Unter Verwendung der Kontinuität des Detektionsergebnisses wird folglich d ie Gültigkeit des Detektionsergebnisses beurteilt, um sie im Vertrauensgrad widerzuspiegeln.

Zur Erläuterung von 7 zurückkehrend beurteilt als nächstes der Straßenmarkierungs-Prozessor 9, ob andere Markierungen verarbeitet werden sollen oder nicht (Schritt S41). In der obigen Erläuterung sind die Beispiele angegeben, dass die weiße Linie, der Fußgängerüberweg und die Stopplinie verarbeitet werden. Es ist jedoch möglich, die Erkennungsverarbeitung für andere Straßenmarkierungen wie z.B. einen Richtungspfeil und eine Geschwindigkeitsmarkierung auszuführen. Falls eingestellt ist, dass andere Straßenmarkierungen verarbeitet werden, führt der Straßenmarkierungs-Prozessor 9 eine Verarbeitung für solche Straßenmarkierungen aus (Schritt S43). Falls auf der anderen Seite keine anderen Straßenmarkierungen verarbeitet werden, geht die Verarbeitung zu Schritt S45 über.

Als nächstes führt die Positionsbeziehungen beurteilende Einheit 93 des Straßenmarkierungs-Prozessors 9 eine Verarbeitung zur Auswertung von Positionsbeziehungen aus (Schritt S45). Diese Verarbeitung wird unter Verwendung der 16 und 17 erläutert. Die Positionsbeziehungen beurteilende Einheit 93 beurteilt, ob eine Gruppe von Straßenmarkierungen, deren Beziehung vordefiniert ist, detektiert wird oder nicht (Schritt S111). Die Gruppe der Straßenmarkierungen, deren Beziehung vorher definiert wird, ist z.B. eine Gruppe aus der Stopplinie und dem Fußgängerüberweg. Es ist möglich, die Beziehung zwischen anderen Straßenmarkierungen zu definieren, und es ist auch möglich, die Beziehung unter den drei oder mehr Straßenmarkierungen anstelle der beiden Straßenmarkierungen zu definieren. Da es keine Bedeutung hat, ob alle Daten genutzt werden, wird außerdem auch für die Straßenmarkierungen geurteilt, die aus den gleichen Bilddaten oder den nächsten Bilddaten detektiert wurden, d.h. für die Straßenmarkierungen, für die die gleiche Zeit oder die nächste Zeit im Straßenmarkierungs-Datenspeicher 13 registriert ist.

Falls einige der oder alle Straßenmarkierungen, deren Beziehung vorher definiert ist, nicht detektiert werden, kehrt die Verarbeitung zur ursprünglichen Verarbeitung zurück. Falls auf der anderen Seite die Gruppe der Straßenmarkierungen, deren Beziehung vorher definiert ist, detektiert wird, identifiziert die Positionsbeziehungen beurteilende Einheit 93 die Positionsbeziehung unter den Straßenmarkierungen, deren Beziehung vorher definiert wird (Schritt 113). Falls z.B. die Gruppe aus dem Fußgängerüberweg und der Stopplinie besteht und diese beiden detektiert werden, befindet sich die Stopplinie eher als der Fußgängerüberweg an der Fahrzeugseite. Wie in 17 gezeigt ist, wird, falls die Position des Fußgängerüberwegs bei M liegt und die Position der Stopplinie bei S3 liegt, d.h. falls die Stopplinie vom Fahrzeug aus gesehen weiter weg als der Fußgängerüberweg liegt, beurteilt, dass die gültige Positionsbeziehung nicht eingerichtet ist. Falls auf der anderen Seite die Position der Stopplinie bei S4 liegt, ist, weil die Stopplinie in Blickrichtung aus dem Fahrzeug näher als der Fußgängerüberweg liegt, die gültige Positionsbeziehung eingerichtet. Falls im übrigen die x-Achse als parallel zur horizontalen Achse definiert ist und die positive Seite der y-Achse in Richtung auf die Fahrzeugseite definiert ist, sollte der Wert der y-Achse der Stopplinie größer als der Wert der y-Achse des Fußgängerüberwegs sein.

Wie oben beschrieben wurde, beurteilt die Positionsbeziehungen beurteilende Einheit 93, ob die Positionsbeziehungen für die Gruppe der Straßenmarkierungen gültig ist oder nicht (Schritt S115). Falls beurteilt wird, dass die Positionsbeziehung nicht gültig ist, dekrementiert sie die Vertrauensgrade für alle Straßenmarkierungen, die in der Gruppe der Straßenmarkierungen enthalten sind, um den vorbestimmten Wert (Schritt S117). Die Verarbeitung kehrt dann zur ihrer ursprünglichen Verarbeitung zurück. Falls die Detektionsergebnisse Inkonsistenz aufweisen, werden folglich, da es schwierig ist, zu beurteilen, was der Grund ist, die Vertrauensgrade für alle betreffenden Straßenmarkierungen dekrementiert. Falls auf der anderen Seite die Positionsbeziehung gültig ist, inkrementiert sie die Vertrauensgrade für alle Straßenmarkierungen, die in der Gruppe der Straßenmarkierungen enthalten sind, um den vorbestimmten Wert (Schritt S119). Die Verarbeitung kehrt dann zur ursprünglichen Verarbeitung zurück.

Indem die oben erwähnte Verarbeitung ausgeführt wird, kann basierend auf der gegenseitigen Positionsbeziehung der Straßenmarkierungen der Vertrauensgrad neu ausgewertet werden.

Zurückkehrend zur Erläuterung von 7 identifiziert der Straßenmarkierungs-Prozessor 9 die Straßenmarkierung mit dem Vertrauensgrad, der größer oder gleich als eine entsprechende vordefinierte Schwelle ist, unter zu detektierenden Straßenmarkierungen, indem die Vertrauensgrade der zu detektierenden Straßenmarkierungen genutzt werden, welche im Straßenmarkierungs-Datenspeicher 13 gespeichert sind, und gibt das Verarbeitungsergebnis einschließlich des Erkennungsergebnisses der Straßenmarkierungen an andere Funktionen aus, die das Erkennungsergebnis nutzen (Schritt S47). Er setzt außerdem das Erkennungs-Flag für die Straßenmarkierungen mit dem Vertrauensgrad, der größer oder gleich der vordefinierten Schwelle ist, AN und setzt das Erkennungs-Flag für die Straßenmarkierungen mit dem Vertrauensgrad, der kleiner als die vordefinierte Schwelle ist, AUS (Schritt S48).

Danach beurteilt die Vorrichtung, ob die Verarbeitung abgeschlossen werden soll oder nicht (Schritt S49), und wenn die Verarbeitung nicht abgeschlossen wird, kehrt die Verarbeitung über den Anschlusspunkt B zum Schritt S1 von 2 zurück. Wenn die Verarbeitung abgeschlossen ist, ist die Verarbeitung beendet.

Wie oben beschrieben wurde, ist es, was die Detektion der einzelnen Straßenmarkierungen anbelangt, möglich, ein herkömmliches Detektionsverfahren einschließlich eines Extrahierens der Straßenmarkierungen aus dem binären Bild durch die Randextraktion oder dergleichen für die Eingabebilddaten unter Verwendung der Merkmalwerte der Straßenmarkierungen und dergleichen zu verwenden. Da die komplizierte Verarbeitung nicht in dieser Detektionsverarbeitung ausgeführt wird, wird die Verarbeitungszeit verkürzt. Falls die den Fahrstreifen abgrenzende weiße Linie detektiert werden konnte, wird erwartet, dass die für die Detektion anderer Straßenmarkierungen zu verarbeitende Zone begrenzt ist, dass die Verarbeitungsgeschwindigkeit weiter gesteigert wird. Was die Verarbeitung zur Erkennung der weißen Linie anbelangt, wird eine Fehlerkennung unter Ausnutzung der Kontinuität der Detektionspositionen verringert. Was die Erkennungsverarbeitung für die anderen Straßenmarkierungen als die weisse Linie anbelangt, wird überdies die Fehlerkennung verringert, weil beurteilt wird, ob die Straßenmarkierung als "erkannt" behandelt wird oder nicht, indem der Vertrauensgrad ausgewertet wird, während die Kontinuität der detektierten Positionen der detektierten Straßenmarkierung und die Positionsbeziehung mit anderen Straßenmarkierungen berücksichtigt werden.

Obgleich eine Ausführungsform dieser Erfindung oben beschrieben wurde, ist diese Erfindung nicht auf diese beschränkt. Zum Beispiel können die in 1 gezeigten Funktionsblöcke jeweils tatsächlichen Programmmodulen entsprechen. Außerdem kann jede Funktion durch Hardware implementiert sein.

Beispielsweise können überdies die Fußgängerüberweg-Verarbeitung und Stopplinien-Verarbeitung parallel ausgeführt werden. Ferner gibt es Schritte, die parallel ausgeführt werden können oder deren Ausführungsreihenfolge vertauscht werden kann, solange sich das Verarbeitungsergebnis nicht ändert.

Obgleich die vorliegende Erfindung bezüglich einer spezifischen bevorzugen Ausführungsform davon beschrieben wurde, können dem Fachmann verschiedene Änderungen und Modifikationen in den Sinn kommen, und die vorliegende Erfindung soll solche Änderungen und Modifikationen einschließen, soweit sie in den Umfang der beigefügten Ansprüche fallen.


Anspruch[de]
Vorrichtung zur Erkennung von Straßenmarkierungen, mit:

einer Einheit, die Bilddaten einer Straße erhält und die Bilddaten in einem Bilddatenspeicher speichert;

einem ersten Detektor, der eine erste Straßenmarkierung in den in dem Bilddatenspeicher gespeicherten Bilddaten detektiert und Positionsdaten der ersten Straßenmarkierung in einen Speicher speichert;

einem zweiten Detektor, der eine zweite Straßenmarkierung in den in dem Bilddatenspeicher gespeicherten Bilddaten detektiert und Positionsdaten der zweiten Straßenmarkierung in den Speicher speichert;

einer Einheit, die basierend auf den in dem Speicher gespeicherten Positionsdaten beurteilt, ob eine vordefinierte korrekte wechselseitige Positionsbeziehung zwischen der ersten und zweiten Straßenmarkierung eingerichtet ist oder nicht; und

einem Auswerter, der einen Vertrauensgrad für Detektionsergebnisse der ersten und zweiten Straßenmarkierung durch Verwenden eines Resultats der Beurteilung auswertet.
Vorrichtung zur Erkennung von Straßenmarkierungen nach Anspruch 1, worin der erste Detektor umfasst: eine Einheit, die eine virtuelle Position der ersten Straßenmarkierung aus Fahrzeuggeschwindigkeitsdaten und den letzten Positionsdaten berechnet, die im Speicher gespeichert sind; und eine Einheit, die den Vertrauensgrad für die erste Straßenmarkierung aus den aktuellen Positionsdaten und den virtuellen Positionsdaten auswertet, welche im Speicher gespeichert sind. Vorrichtung zur Erkennung von Straßenmarkierung nach Anspruch 1 oder 2, worin der zweite Detektor umfasst: eine Einheit, die eine virtuelle Position der zweiten Straßenmarkierung aus Fahrzeuggeschwindigkeitsdaten und den letzten Positionsdaten berechnet, die im Speicher gespeichert sind, und den Vertrauensgrad für die zweite Straßenmarkierung aus den aktuellen Positionsdaten und den virtuellen Positionsdaten auswertet, welche im Speicher gespeichert sind. Vorrichtung zur Erkennung von Straßenmarkierungen nach Anspruch 1, 2 oder 3 ferner mit:

einer Erkennungsvorrichtung für weiße Linien, die eine weiße Linie, die Fahrstreifen abgrenzt, in den Bilddaten erkennt, die in dem Bilddatenspeicher gespeichert sind, und Positionsdaten der erkannten weißen Linie in den Speicher speichert; und

einer Einheit, die eine Verarbeitungszone der Bilddaten basierend auf den Positionsdaten der weißen Linie begrenzt, die im Speicher gespeichert sind.
Vorrichtung zur Erkennung von Straßenmarkierungen nach Anspruch 4, worin die Erkennungsvorrichtung für weiße Linien eine Einheit umfasst, die einen Vertrauensgrad für die weiße Linie aus den Positionsdaten der letzten erkannten weißen Linie und den aktuellen Positionsdaten der weißen Linie, welche im Speicher gespeichert sind, auswertet. Verfahren zur Erkennung von Straßenmarkierungen, mit den Schritten:

Erhalten von Bilddaten einer Straße und Speichern der Bilddaten in einen Bilddatenspeicher;

Detektieren einer ersten Straßenmarkierung in den Bilddaten, die im Bilddatenspeicher gespeichert sind, und Speichern von Positionsdaten der ersten Straßenmarkierung in einen Speicher; und

Detektieren einer zweiten Straßenmarkierung in den Bilddaten, die im Bilddatenspeicher gespeichert sind, und Speichern von Positionsdaten der zweiten Straßenmarkierung in den Speicher;

Beurteilen, basierend auf den im Speicher gespeicherten Positionsdaten, ob eine vordefinierte korrekte wechselseitige Positionsbeziehung zwischen der ersten und zweiten Straßenmarkierung eingerichtet ist oder nicht; und

Auswerten eines Vertrauensgrads für Detektionsergebnisse der ersten und zweiten Straßenmarkierung durch Verwenden eines Ergebnisses der Beurteilung.
Verfahren zur Erkennung von Straßenmarkierungen nach Anspruch 6, worin das Detektieren der ersten Straßenmarkierung umfasst: Berechnen einer virtuellen Position der ersten Straßenmarkierung aus Fahrzeuggeschwindigkeitsdaten und den letzten Positionsdaten, die im Speicher gespeichert sind; und Auswerten des Vertrauensgrads für die erste Straßenmarkierung aus den aktuellen Positionsdaten und den virtuellen Positionsdaten, welche im Speicher gespeichert sind. Verfahren zur Erkennung von Straßenmarkierungen nach Anspruch 6 oder 7, worin das Detektieren der zweiten Straßenmarkierung umfasst: Berechnen einer virtuellen Position der zweiten Straßenmarkierung aus Fahrzeuggeschwindigkeitsdaten und den letzten Positionsdaten, die im Speicher gespeichert sind; und Auswerten des Vertrauensgrads für die zweite Straßenmarkierung aus den aktuellen Positionsdaten und den virtuellen Positionsdaten, welche im Speicher gespeichert sind. Verfahren zur Erkennung von Straßenmarkierungen nach Anspruch 6, 7 oder 8, ferner mit den Schritten:

Erkennen einer weißen Linie, die Fahrstreifen abgrenzt, in den Bilddaten, die im Bilddatenspeicher gespeichert sind, und Speichern von Positionsdaten der erkannten weißen Linie in den Speicher; und

Begrenzen einer Verarbeitungszone der Bilddaten basierend auf den Positionsdaten der weißen Linie, welche in dem Speicher gespeichert sind.
Verfahren zur Erkennung von Straßenmarkierungen nach Anspruch 9, worin das Erkennen umfasst: Auswerten eines Vertrauensgrads für die weiße Linie aus den Positionsdaten der letzten erkannten weißen Linie und den aktuellen Positionsdaten der weißen Linie, welche in dem Speicher gespeichert sind. Programm zur Erkennung von Straßenmarkierungen, das auf einem Medium ausgebildet ist, mit den Schritten:

Erhalten von Bilddaten einer Straße und Speichern der Bilddaten in einen Bilddatenspeicher;

Detektieren einer ersten Straßenmarkierung in den Bilddaten, die im Bilddatenspeicher gespeichert sind, und Speichern von Positionsdaten der ersten Straßenmarkierung in einen Speicher;

Detektieren einer zweiten Straßenmarkierung in den Bilddaten, die im Bilddatenspeicher gespeichert sind, und Speichern von Positionsdaten der zweiten Straßenmarkierung in den Speicher;

Beurteilen, basierend auf den im Speicher gespeicherten Positionsdaten, ob eine vordefinierte korrekte wechselseitige Positionsbeziehung zwischen der ersten und zweiten Straßenmarkierung eingerichtet ist oder nicht; und

Auswerten eines Vertrauensgrads für Detektionsergebnisse der ersten und zweiten Straßenmarkierung durch Verwenden eines Ergebnisses der Beurteilung.
Programm zur Erkennung von Straßenmarkierungen nach Anspruch 11, worin das Detektieren der ersten Straßenmarkierung umfasst: Berechnen einer virtuellen Position der ersten Straßenmarkierung aus Fahrzeuggeschwindigkeitsdaten und den im Speicher gespeicherten letzten Positionsdaten; und Auswerten des Vertrauensgrads für die erste Straßenmarkierung aus den aktuellen Positionsdaten und den virtuellen Positionsdaten, die im Speicher gespeichert sind. Programm zur Erkennung von Straßenmarkierungen nach Anspruch 11 oder 12, worin das Detektieren der zweiten Strassenmarkierung umfasst: Berechnen einer virtuellen Position der zweiten Straßenmarkierung aus Fahrzeuggeschwindigkeitsdaten und den letzten Positionsdaten, die im Speicher gespeichert sind; und Auswerten des Vertrauensgrads für die zweite Straßenmarkierung aus den aktuellen Positionsdaten und den virtuellen Positionsdaten, die im Speicher gespeichert sind. Programm zur Erkennung von Straßenmarkierungen nach Anspruch 11, ferner mit den Schritten:

Erkennen einer weißen Linie, die Fahrstreifen abgrenzt, in den Bilddaten, die im Bilddatenspeicher gespeichert sind, und Speichern von Positionsdaten der erkannten weißen Linie in den Speicher; und

Begrenzen einer Verarbeitungszone der Bilddaten basierend auf den Positionsdaten der weißen Linie, die in dem Speicher gespeichert sind.
Programm zur Erkennung von Straßenmarkierungen nach Anspruch 14, worin das Erkennen ein Auswerten eines Vertrauensgrads für die weiße Linie aus den Positionsdaten der letzten erkannten weißen Linie und den aktuellen Positionsdaten der weißen Linie umfasst, welche in dem Speicher gespeichert sind.






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com