PatentDe  


Dokumentenidentifikation DE102006024979A1 15.02.2007
Titel Verfahren und Vorrichtung zum Detektieren der Anwesenheit eines Insassen innerhalb eines Fahrzeugs
Anmelder TRW Automotive U.S. LLC, Livonia, Mich., US
Erfinder Luo, Yun, Livonia, Mich., US
Vertreter WAGNER & GEYER Partnerschaft Patent- und Rechtsanwälte, 80538 München
DE-Anmeldedatum 29.05.2006
DE-Aktenzeichen 102006024979
Offenlegungstag 15.02.2007
Veröffentlichungstag im Patentblatt 15.02.2007
IPC-Hauptklasse G06K 9/62(2006.01)A, F, I, 20061012, B, H, DE
IPC-Nebenklasse B60R 21/015(2006.01)A, L, I, 20061012, B, H, DE   
Zusammenfassung Systeme und Verfahren zum Detektieren eines Insassen innerhalb eines Fahrzeugs werden vorgesehen. Ein Bild eines Fahrzeuginneren, das Tiefeninformation für eine Vielzahl von Bildpixeln aufweist, wird bei einem Bildsensor erzeugt. Das Fahrzeuginnere wird in zumindest einen Blob von zusammenhängenden Pixeln unterteilt. Der zumindest eine Blob ist in eine Reihe von Schichten unterteilt, wobei jede aufeinanderfolgende Schicht einen Tiefenbereich innerhalb des Bilds darstellt. Es wird bestimmt, ob der zumindest eine Blob einen Insassen gemäß zumindest einer Charakteristik der Reihe von Schichten darstellt.

Beschreibung[de]
Technisches Gebiet

Die vorliegende Erfindung bezieht sich im Allgemeinen auf Fahrzeuginsassenschutzsysteme und bezieht sich insbesondere auf ein Verfahren und eine Vorrichtung zum Bestimmen der Anwesenheit von Insassen innerhalb eines Fahrzeuginneren.

Hintergrund der Erfindung

Insassenpositionssensoren, die innerhalb von Insassenrückhaltesystemen genutzt werden, sind in der Technik bekannt. Zwei Beispiele sind in den U.S. Patenten Nr. 5,531,472 und Nr. 6,810,133 gezeigt. Diese Systeme verfolgen die Position eines gegebenen Insassen, um die Effektivität eines Insassenrückhaltesystems zu maximieren. Im Allgemeinen sind diese Systeme jedoch nur in Teilen des Fahrzeugs enthalten, in denen eines oder mehrere Insassenrückhaltesysteme implementiert wurden, die durch die von dem System vorgesehenen Daten profitieren können. Ferner sind die Insassenpositionssensoren im Allgemeinen nicht aktiv, wenn das Auto nicht aktiv ist. Demgemäß ist die Insasseninformation nicht Allgemein für das System verfügbar, während der Fahrer das Fahrzeug verlässt, und insbesondere Information bezüglich der Rücksitze des Fahrzeugs. Es kann jedoch erwünscht sein, den Fahrer an irgendwelche Insassen zu erinnern, die im Fahrzeug bleiben, bevor der Fahrer das Fahrzeug verlässt.

Zusammenfassung der Erfindung

Gemäß einem Aspekt der vorliegenden Erfindung wird ein Verfahren zum Detektieren eines Insassen innerhalb eines Fahrzeugs vorgesehen. Ein Abbild eines Fahrzeuginneren, das Tiefeninformation für eine Vielzahl von Bildpixeln enthält, wird bei einem Abbild- bzw. Bildsensor erzeugt. Das Fahrzeuginnere wird in zumindest einen Klumpen bzw. Blob zusammenhängender Pixel unterteilt. Der zumindest eine Blob ist in eine Reihe von Schichten unterteilt, wobei jede aufeinander folgende Schicht einen Tiefenbereich innerhalb des Abbilds repräsentiert. Es wird bestimmt, ob der zumindest eine Blob einen Insassen gemäß zumindest einer Charakteristik der Reihe von Schichten darstellt.

Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird ein System zum Bestimmen, ob ein Insasse in einem Bereich von Interesse anwesend ist, vorgesehen. Ein Bildgenerator erzeugt ein Abbild des Bereich von Interesse, das Tiefeninformation für eine Vielzahl von Bildpixeln enthält. Eine Blobsegmentierungskomponente isoliert zumindest einen Blob zusammenhängender Pixel innerhalb des Abbilds. Eine Schichtensegmentierungskomponente unterteilt den zumindest einen, identifizierten Blob in eine einer Vielzahl von Schichten. Ein vorgegebenes Pixel innerhalb des zumindest einen Blob wird einer gemäß seiner Entfernung von dem Bildgenerator entsprechenden Schicht zugewiesen. Ein Insassenklassierer bestimmt eine Insassenklasse für zumindest einen Blob gemäß zumindest einer Charakteristik der Schichten, die mit dem Blob assoziiert sind.

Gemäß noch einem weiteren Aspekt der vorliegenden Erfindung wird ein Computerprogrammprodukt, das in einem Computer lesbaren Medium implementiert und in einem Datenverarbeitungssystem betriebsfähig ist, zum Bestimmen vorgesehen, ob ein Insasse in einem Bereich von Interesse vorhanden ist, und zwar von einem Abbild des Bereich von Interesse, der Tiefeninformation für eine Vielzahl von Bildpixeln enthält. Eine Blobsegmentierungskomponente isoliert zumindest einen Blob zusammenhängender Pixel innerhalb des Abbilds. Eine Schichtensegmentierungskomponente unterteilt den zumindest einen, identifizierten Blob in Schichten. Eine gegebene Schicht ist mit einem Tiefenbereich innerhalb des Abbilds assoziiert. Ein Insassenklassierer bestimmt eine Insassenklasse für den zumindest einen Blob gemäß zumindest einer Charakteristik der Schichten, die mit dem zumindest einen Blob assoziiert ist.

Kurze Beschreibung der Zeichnungen

Die vorangehenden und andere Merkmale und Vorteile der vorliegenden Erfindung werden für Fachleute auf dem Gebiet, auf das sich die vorliegende Erfindung bezieht, beim Lesen der folgenden Beschreibung mit Bezugnahme auf die begleitenden Zeichnungen offensichtlich werden, in denen zeigt:

1 eine schematische Darstellung einer Stereokameraanordnung zur Verwendung mit der vorliegenden Erfindung;

2 ein beispielhaftes Flugzeitsystem (time of flight system) zum Bestimmen der Entfernung eines Ziels von einem assoziierten Sensor zur Verwendung mit der vorliegenden Erfindung;

3 ein Insassenerinnerungssystem zum Bestimmen der Anwesenheit eines Insassen innerhalb eines Fahrzeuginneren gemäß einem Aspekt der vorliegenden Erfindung;

4 Darstellung einer beispielhaften Methodik zum Bestimmen der Anwesenheit eines Fahrzeuginsassen gemäß einem Aspekt der vorliegenden Erfindung;

5 Darstellung einer Methodik zum Lokalisieren eines Fahrzeugsitzes gemäß einem Aspekt der vorliegenden Erfindung;

6 Darstellung einer beispielhaften Methodik zum Bestimmen der Belegung eines Bereich von Interesses von einem Tiefenbild, welches in eine Vielzahl von Tiefenschichten gemäß einem Aspekt der vorliegenden Erfindung unterteilt ist;

7 Darstellung einer zweiten beispielhaften Methodik zum Bestimmen der Belegung eines Bereich von Interesses gemäß einem Aspekt der vorliegenden Erfindung; und

8 Darstellung eines Computersystems, das eingesetzt werden kann, um Systeme und Verfahren zu implementieren, die hierin beschrieben sind, wie beispielsweise basierend auf Computer ausführbaren Anweisungen, die auf dem Computersystem laufen.

Beschreibung des bevorzugten Ausführungsbeispiels

Bezug nehmend auf 1, ist ein beispielhaftes Ausführungsbeispiel einer Stereo-Vision- bzw. Stereosichtanordnung 10 gemäß der vorliegenden Erfindung dargestellt. Die Stereosichtanordnung 10 umfasst Stereokameras 20 und 22, die beispielsweise an einer Kopfauskleidung eines Fahrzeugs 26 angebracht sind. Die Stereosichtanordnung 10 umfasst eine erste Kamera 20 und eine zweite Kamera 22, die beide mit einer Kamerasteuervorrichtung 28 verbunden sind. Gemäß einem ersten beispielhaften Ausführungsbeispiel der vorliegenden Erfindung sind die Kameras 20, 22 voneinander um ungefähr 35 Millimeter („mm") beabstandet, obwohl andere Zwischenräume verwendet werden können. Die Kameras 20, 22 können parallel zu der Längsachse des Fahrzeugs positioniert werden, obwohl andere Ausrichtungen möglich sind.

Die Kamerasteuervorrichtung 28 kann irgendeine von verschiedenen Formen annehmen, wie beispielsweise einen Mikrocomputer, eine diskrete Schaltung, eine anwendungsspezifische integrierte Schaltung (ASIC = Application Specific Integrated Circuit) etc. Die Kamerasteuervorrichtung 28 kann mit einer Systemsteuervorrichtung (nicht gezeigt) verbunden sein und ein Signal an die Steuervorrichtung liefern, um Daten zu liefern, die sich auf verschiedene Bildcharakteristika des abgebildeten Insassensitzbereichs beziehen, die von einem unbelegten Sitz, einem Gegenstand auf dem Sitz, zu einem menschlichen Insassen etc. reichen können. Im Folgenden werden Bilddaten des Sitzbereichs allgemein als Insassendaten bezeichnet, die sämtliche lebenden und nicht lebenden Objekte umfassen, die den Insassensitzbereich belegen können.

Die Kameras 20 und 22 können irgendeine der verschiedenen bekannten Bauarten besitzen. Beispielsweise können die Kameras CCD-Vorrichtungen (CCD = Charge-Coupled Device) oder komplementäre Metall-Oxid-Halbleiter-Vorrichtungen (CMOS = Complementary Metal-Oxide Semiconductor) sein. Vorzugsweise nehmen die Kameras 20 und 22 zweidimensionale Graustufenbilder von einem oder mehreren Rücksitzen des Fahrzeugs. In einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung sind die Kameras 20 und 22 Kameras mit Breitspektrumsansprechen, die die sichtbaren und nahen Infrarotspektren abdecken.

Die Kameras 20 und 22 sind voneinander beabstandet, um es zu ermöglichen, dass die Kameras zum Bestimmen einer Entfernung von den Kameras zu einem Objekt verwendet werden, die auch als „Reichweite" bezeichnet wird. Das Objekt ist schematisch in 1 gezeigt und ist mit dem Bezugszeichen 20 bezeichnet. Die Entfernung zwischen den Kameras 20 und 22 und dem Objekt 30 kann durch Verwendung von Dreiecksvermessung bzw. Triangulation bestimmt werden. Die Kameras 20 und 22 besitzen unterschiedliche Ansichten des Fahrgastabteils, dadurch dass die Position des Objekts 30 relativ zu jeder Kamera 20 und 22 unterschiedlich ist. Infolgedessen ist das Objekt 30 bei einer unterschiedlichen Position in dem Bild gelegen, das durch die Kamera 20 erhalten wird als in dem Bild das durch die Kamera 22 erhalten wird. Der Unterschied in der Position des Objekts 30 in den Bildern wird als „Disparität" bezeichnet. Um eine geeignete Disparität zwischen den Bildern zum Durchführen der Triangulation zu erhalten, ist es erwünscht, dass die Kameras 20 und 22 so positioniert werden, dass das Objekt 30 innerhalb des Horopters der Kameras überwacht werden kann.

Die Kamera 20 umfasst eine Linse 42 und eine Pixelanordnung 44. Ebenso umfasst die Kamera 22 eine Linse 46 und eine Pixelanordnung 48. Da die Kameras 20 und 22 bei unterschiedlichen Positionen relativ zu dem Objekt 30 positioniert sind, unterscheidet sich ein Abbild des Objekts 30, das auf der Pixelanordnung 44 der Kamera 20 gebildet wird, von einem Abbild des Objekts 30, das auf der Pixelanordnung 48 der Kamera 22 gebildet wird. Die Entfernung zwischen den Standpunkten der Kameras 20 und 22 (d.h. die Entfernung zwischen den Linsen 42 und 46) wird in 1 mit „b" bezeichnet. Die Brennweite der Linsen 42 und 46 der Kameras 20 und 22 wird in 1 mit „f' bezeichnet. Die Linsen 42 und 46 der Kameras 20 und 22 der 1 besitzen die gleichen Brennweiten. Die horizontale Entfernung von der Bildmitte auf der Pixelanordnung 44 und dem Abbild des Objekts 30 auf der Pixelanordnung 44 der Kamera 20 wird in 1 mit „dl" bezeichnet. Die horizontale Entfernung von der Bildmitte auf der Pixelanordnung 48 und dem Abbild des Objekts 30 auf der Pixelanordnung 48 für die Kamera 22 wird in

1 mit „dr" bezeichnet. Vorzugsweise sind die Kameras 20 und 22 derart angebracht, dass sie sich in der gleichen Bildebene befinden. Die Differenz zwischen dl und dr wird als „Bilddisparität" bezeichnet und steht in direkter Beziehung zu der Entfernung, die als „r" in 1 bezeichnet ist, zu dem Objekt 30, wobei die Entfernung r senkrecht zu der Bildebene der Kameras 20 und 22 von einer Position v auf der Bildebene aus gemessen wird. Es wird erkannt werden, dass: r = bf/d, wobei d = dl – dr(Gleichung 1)

Aus Gleichung 1 kann die Entfernung r zu dem Objekt 30 als eine Funktion der Disparität der Bilder von Kameras 20 und 22 bestimmt werden. Es sollte erkannt werden, dass die Entfernung r eine inverse Funktion der Disparität ist.

2 stellt ein beispielhaftes Flugzeitsystem 50 zum Bestimmen der Entfernung eines Ziels 52 von einem assoziierten Sensor 54 dar. Das dargestellte Flugzeitsystem 50 kann genutzt werden, um einen Tiefenwert für jeden einer Vielzahl von Pixeln innerhalb eines Videobilds zu bestimmen. Licht, beispielsweise Infrarotlicht, wird auf das Ziel 52 von einer modulierten, aktiven Lichtquelle 56, wie beispielsweise einem Laser oder einer LED, projiziert. Das Licht wird bei einer Modulationsfrequenz fm moduliert, so dass das emittierte Licht als eine Sinuswelle, sin(2&pgr;fmt), modelliert werden kann. Das reflektierte Licht hat bei dem Sensor eine doppelte Entfernung d zu dem Ziel zurückgelegt, und demgemäß eine Phasenverschiebung &psgr; erlangt, die eine Funktion der zurückgelegten Entfernung ist. Es wird erkannt werden, dass die Lichtquelle 56 und der Sensor 54 räumlich nahe liegend sein können, so dass die Entfernung zwischen der Lichtquelle 56 und dem Sensor 54 vernachlässigbar ist, wenn sie mit der Entfernung d zu dem Ziel verglichen wird.

Es kann angenommen werden, dass das reflektierte Licht eine Amplitude R besitzt, so dass das reflektierte Licht als eine phasenverschobene Sinuswelle, Rsin[2&pgr;fm(t – &psgr;)], modelliert werden kann. Ein Signal, welches das reflektierte Licht repräsentiert, kann dann an eine Sensorsteuerung 60 geliefert werden, wo es bei entsprechenden Mischvorrichtungen 62 und 64 bewertet wird. Jede Mischvorrichtung 62 und 64 vermischt das Signal mit einem Sinus- oder Kosinusreferenzsignal 66 und 68, welches die Modulation des emittierten Lichts darstellt. Die resultierenden Signale enthalten jeweils konstante oder langsam variierende Werte, die den Sinus und Kosinus des additiv Inversen der Phasendifferenz darstellen, ebenso wie zeitabhängige Komponenten. Die zeitabhängigen Komponenten können an Tiefpassfiltern 70 und 72 beseitigt werden, um jeweils den Sinus und den Kosinus des additiv Inversen der Phasendifferenz zu isolieren.

Diese Werte können an eine Phasenberechnungsvorrichtung 74 geliefert werden, die die Phase des Signals aus den gelieferten Komponenten berechnet. In einer beispielhaften Implementierung teilt die Phasenberechnungsvorrichtung 74 den Sinuswert durch den Kosinuswert, nimmt das additiv Inverse des Quotienten, und bestimmt den Arcus-Tangens des Ergebnisses, um einen geeigneten Phasendifferenzwert zu finden. Die Entfernung d kann aus der Phasendifferenz &psgr; gemäß der folgenden Gleichung bestimmt werden:

Bezug nehmend auf 3 wird ein Insassenerinnerungssystem 80 vorgesehen, um die Anwesenheit eines Insassen innerhalb eines Fahrzeuginneren zu bestimmen. Es wird erkannt werden, dass einer oder mehrere Teile des Systems 80 als eine Computersoftware auf einem Allzweckprozessor implementiert werden kann. Das System 80 umfasst einen Bildgenerator 82, der ein Abbild des Fahrzeugabteils erzeugt, das Tiefeninformation für eine Vielzahl von Bildpixeln enthält. Beispielsweise kann der Bildgenerator 82 zwei oder mehr Sensoren umfassen, die in der Kopfauskleidung des Fahrzeugs eingebettet sind, und die konfiguriert sind, um entsprechende Bilder des Rücksitzbereichs des Fahrzeugs zu erhalten. Der Bildgenerator 82 erzeugt eine Stereodisparitätskarte aus den Ausgangsgrößen der zwei oder mehr Sensoren. Alternativ kann der Bildgenerator 82 Tiefeninformation über eine Flugzeitberechnung für jedes Pixel erhalten. Während der Bilderzeugung können das Bild oder die Bilder von dem Sensor vorverarbeitet werden, um die assoziierte dynamische Reichweite der Bilder zu erhöhen und die statischen Hintergrundelemente zu entfernen.

Die Ausgabe des Bildgenerators 82 wird an eine Blobsegmentierungskomponente 84 geliefert. Die Blobsegmentierungskomponente 84 identifiziert und isoliert einzelne Bereiche des belegten Raums innerhalb des Bilds, um den belegten Raum in einzelne Blob aufzubrechen. Jeder Blob repräsentiert einen Insassenkandidaten innerhalb des Bereichs von Interesse. Beispielsweise kann die Blobsegmentierungskomponente 84 Blob von benachbarten Pixeln innerhalb des Bereichs von Interesse identifizieren, die eine Schwellenwertgröße überschreiten. Es wird verstanden werden, dass anspruchsvollere Segmentierungsalgorithmen gemäß einem Aspekt der vorliegenden Erfindung verwendet werden können.

Die segmentierten Blob werden an eine Schichtsegmentierungskomponente 86 geliefert. Die Schichtsegmentierungskomponente 86 unterteilt die Blob des Fahrzeugabteils effektiv in eine Anzahl von horizontalen Schichten. Beispielsweise können fünf Schichten in Bezug auf den Fahrzeugsitz definiert werden, so dass die Indentifizierung eines Objekts innerhalb einer oder mehrerer Schichten anzeigend für seine vertikale Position relativ zu dem Sitz ist. Die Schichtsegmentierungskomponente 86 kann jede Schicht als eine zweidimensionale Karte bzw. einen zweidimensionalen Plan des belegten Raums innerhalb der Schicht darstellen.

Die Schichtinformation für jeden Blob wird dann an ein Insassenklassifizierungssystem 88 geliefert. Das Insassenklassifizierungssystem 88 bestimmt aus der Schichtinformation, ob der Blob einen Insassen darstellt. Das Insassenklassifizierungssystem 88 kann geeignete Komponenten oder Software zum Identifizieren von Blob, die Insassen darstellen, enthalten und optional eine assoziierte Insassenklasse für den Blob (z.B. Erwachsener, Kind, nicht belegter rückwärts weisender Kindersitz, belegter rückwärts weisender Kindersitz, nicht belegter vorwärts weisender Kindersitz und belegter, vorwärts weisender Kindersitz) bestimmen.

Das Insassenklassifizierungssystem 88 kann Statistiken für eine oder mehrere Schichten als Klassifikationsmerkmale basierend auf der mit dem Blob assoziierten Schichtinformation erzeugen. Beispielsweise kann der Prozentsatz des gesamten Blobbereichs, der mit jeder Schicht des Bilds assoziiert ist, berechnet werden. Andere Merkmale können Momente erster und zweiter Ordnung der Pixel aufweisen, die jede Schicht des Blob umfassen, sowie Tiefenwerte in einem verkleinerten Insassenbereichsbild, das den Blob als eine kleine Anzahl von Pixeln mit gemittelten Tiefenwerten für einen größeren Bereich des Blobs, den sie repräsentieren, darstellt. Diese Merkmale können dann an ein Klassifizierungssystem geliefert werden. In einer Implementierung weist das Klassifizierungssystem einen regelbasierten Klassierer auf, der eine Insassenklasse gemäß einem Satz logischer Regeln bestimmt. Beispielsweise können die berechneten Prozentsätze der belegten Pixel für jede Schicht des Blob mit Schwellenwerten in einer oder mehreren Schichten verglichen werden, um eine Klasse für den Insassenkandidaten zu bestimmen, der durch den Blob dargestellt wird.

Alternativ kann das Klassifizierungssystem 88 einen Support Vector Machine („SVM") Algorithmus oder einen Lernalgorithmus eines künstliches neuronales Netzwerks („ANN" = Artificial Neural Network) aufweisen, um eine Insassenklasse für den Insassenkandidaten zu bestimmen. Ein SVM-Klassierer kann eine Vielzahl von Funktionen verwenden, die als Hyperebenen bezeichnet werden, um konzeptionell Grenzen in einem N-dimensionalen Merkmalsraum zu unterteilen, wobei jede der N Dimensionen ein Merkmal (z.B. Schichtcharakteristik) darstellt, das an den SVM-Klassierer geliefert wird. Die Grenzen definieren einen Bereich von Merkmalswerten, die mit jeder Klasse assoziiert sind. Demgemäß kann eine Ausgabeklasse für eine gegebene Eingabe gemäß ihrer Position in dem Merkmalsraum relativ zu ihren Grenzen bestimmt werden.

Ein ANN-Klassierer weist eine Vielzahl von Knoten auf, die eine Vielzahl von Verbindungen besitzen. Die Schichtcharakteristikwerte werden an eine Vielzahl von Eingabeknoten geliefert. Jeder dieser Eingabeknoten liefern diese Eingabewerte an Schichten von einem oder mehreren Zwischenknoten. Ein gegebener Zwischenknoten empfängt einen oder mehrere Werte von den vorangehenden Knoten. Die empfangenen Werte werden gemäß einer Reihe von Gewichten gewichtet, die während des Trainings des Klassierers festgelegt werden. Ein Zwischenknoten übersetzt seine empfangenen Werte in eine einzelne Ausgabe gemäß einer Transferfunktion bei dem Knoten. Beispielsweise kann der Zwischenknoten die empfangenen Werte aufsummieren und die Summe einer Binärschrittfunktion unterziehen. Diese Ausgabe kann wiederum an zusätzliche Zwischenschichten geliefert werden, bis eine Ausgabeschicht erreicht wird. Die Ausgabeschicht weist eine Vielzahl von Ausgaben auf, die Ausgabeklassen des Systems darstellen. Die Ausgabeklasse, die den besten Wert (z.B. größten, kleinsten oder dichtesten an einem Zielwert) besitzt, wird als Ausgabeklasse für das System ausgewählt.

In einem alternativen Ausführungsbeispiel kann das Klassifizierungssystem 88 Objektkandidaten innerhalb jeder Schicht der Blob identifizieren. Beispielsweise können die Objektekandidaten Formen innerhalb des Blobs besitzen, die Teile des menschlichen Körpers darstellen, sowie Objekte, die anzeigend für die Anwesenheit eines Insassen sind, wie beispielsweise Kindersitze. Die vorliegende Erfindung kann irgendeine Anzahl von Algorithmen zur Identifizierung und Segmentierung potentieller Objekte innerhalb eines Bilds nutzen. Sobald die Objektkandidaten identifiziert sind, werden sie mit den Objektvorlagen bzw. -templates abgeglichen, die mit dem System verbunden sind. Die Objektvorlagen können Objekte von Interesse darstellen, die mit einem Fahrzeuginsassen verbunden sind. Es wird erkannt werden, dass die Objektvorlagen, die für eine gegebene Schicht verwendet werden, variieren können, um die Prävalenz bzw. das Vorhandensein des Objekttyps bei dieser Tiefe und das Erscheinen des Objekts für den Bildsensor bei einer gegeben Tiefe zu berücksichtigen. Demgemäß kann jede einzelne Schicht ihren eigenen Satz von damit assoziierten Vorlagen für Objekte aufweisen, von denen erwartet wird, dass sie bei dieser Schicht auftreten.

Beispielsweise kann eine obere Schicht des Systems Vorlagen zum Lokalisieren eines Kopfes eines Insassen enthalten (z.B. eines Kopfes eines Erwachsenen oder des Kopfes eines stehenden Kindes). Da die obere Schicht des Fahrzeugs klar durch den Bildsensor abgebildet werden kann, kann eine einfach runde oder elliptische Form als eine Kopf-Vorlage verwendet werden. Objektkandidaten, die mit den Vorlagen zusammenpassen, können als Kopfkandidaten angesehen werden. Andere Verarbeitungsschritte und bereits aufgezeichnete bzw. historische Daten über das Objekt können verwendet werden, um sicherzustellen, dass das Objekt einen menschlichen Kopf darstellt, und um zu bestimmen, ob es der Kopf eines sitzenden Erwachsenen oder eines stehenden Kindes innerhalb des Fahrzeugs ist.

Andere Vorlagen können auf die unteren Schichten innerhalb des Fahrzeugs angewendet werden. Beispielsweise können Vorlagen für den Rumpf, die Beine und den Kopf eines Erwachsenen oder Kindes über verschiedene Positionen (z.B. stehend, sitzend, auf dem Sitz liegend) hinweg bei verschiedenen unteren Schichten genutzt werden, wobei die Vorlagen dafür ausgelegt ist, um das wahrscheinliche Aussehen der Form bei dem Bildsensor, gegeben die damit verbundene Tiefe der Schicht, zu reflektieren. In ähnlicher Weise können Vorlagen für Kinder- und Säuglingssitze bei der unteren Ebene umfasst sein. Diese Vor agen können Sitze variierender Form und Konkavität umfassen, um zu bestimmen, ob der Sitz belegt und ob der Sitz vorwärts weisend oder rückwärts weisend ist.

In einer alternativen Implementierung können Bilder über eine Zeitperiode hinweg genommen werden; um Bewegung innerhalb jeder der Bildschichten zu detektieren. Es wird erkannt werden, dass Bewegung innerhalb des Bereich von Interesse allgemein anzeigend für die Anwesenheit eines Insassen ist, aber dass die Bewegung quantifiziert und bei einem Klassierer bewertet werden kann, um falsche Alarme zu beseitigen. In der einfachsten Form kann der Klassierer einen regelbasierten Klassierer umfassen, der bestimmt, ob die Bewegung einen Schwellenversetzungswert über eine bestimmte Zeitperiode hinweg überschreitet. Anspruchsvollere Klassifizierungsalgorithmen können angewendet werden, um Alarme aufgrund von Luftzirkulation und anderen externen Faktoren innerhalb des Fahrzeugs zu beseitigen. Selbst wo die Bewegung innerhalb des Fahrzeugs nicht direkt für die Insassendetektion und -klassifizierung verwendet wird, kann historische Information, die vergangene Bildrahmen darstellt, beim Klassifizieren und Bestätigen der Klasse eines gegebenen Insassenkandidaten genutzt werden.

Es wird erkannt werden, dass die oben in Bezug auf das Insassenklassifizierungssystem 88 beschriebenen Techniken weder sich aneinander ausschließend noch abschließend darstellend sind. Mehrere Techniken von denen die oben beschrieben wurden, können gemeinsam genutzt werden, um zuverlässig die Belegung des Bereich von Interesse zu klassifizieren. Andere Techniken, die nicht zur Nutzung der Schichtinformation zur Bestimmung der Belegung des Fahrzeugs beschrieben wurden, werden durch einen Fachmann des Gebiets angesichts der Lehren der vorliegenden Erfindung erkannt werden.

Angesichts der vorangehenden strukturellen und funktionalen Merkmale, die oben beschrieben wurden, werden Methodiken gemäß verschiedener Aspekte der vorliegenden Erfindung besser mit Bezugnahme auf die 47 verstanden werden. Während der Einfachheit der Erklärung halber die Methodiken der 47 als seriell ausgeführt gezeigt und beschrieben werden, sollte verstanden und erkannt werden, dass die vorliegende Erfindung nicht durch die dargestellte Reihenfolge beschränkt ist, da einige Aspekte gemäß der vorliegenden Erfindung in unterschiedlichen Reihenfolgen und/oder gleichzeitig mit anderen Aspekten als den hierin gezeigten und beschriebenen auftreten könnten. Darüber hinaus können nicht alle dargestellten Merkmale erforderlich sein, um eine Methodik gemäß einem Aspekt der vorliegenden Erfindung zu implementieren.

4 stellt eine beispielhafte Methodik 100 zum Bestimmen des Vorhandenseins eines Fahrzeuginsassen gemäß einem Aspekt der vorliegenden Erfindung dar. Die Methodik 100 beginnt bei Schritt 110, wo ein Tiefenbild eines Fahrzeugsitzes erzeugt wird. Es wird erkannt werden, dass mehrere Kameras verwendet werden können, um Bilder eines gemeinsamen Gegenstands von mehreren Perspektiven aus zu erzeugen, um die Erzeugung einer Stereodisparitätskarte aus den erzeugten Bildern zu ermöglichen. Alternativ kann ein Flugzeitsystem genutzt werden, um die Tiefeninformation für das Bild zu erhalten. Bei Schritt 120 sind eine oder mehrere Sitzrücklehnen innerhalb des Bilds gelegen, und entsprechende Bereiche von Interesse sind um die Sitzrücklehne herum definiert. Sobald die Sitzrücklehne in dem Bild lokalisiert wurde, kann das Bild bei Schritt 150 bearbeitet werden, um die Sitzrücklehne und die Kopfstütze zu entfernen. Bei Schritt 160 wird das Bild in eine Vielzahl von Objektblob unterteilt, die Insassenkandidaten innerhalb des Bilds darstellen. Dies kann durch Isolieren von Gruppen zusammenhängender Pixel innerhalb des Bilds bewerkstelligt werden.

Die Methodik schreitet dann zu Schritt 170 voran, wo die Blob in eine Vielzahl von Tiefenschichten unterteilt werden. Es wird erkannt werden, dass ein gegebenes Bild eine zweidimensionale Ebene besitzt, in der Tiefeninformation, die eine dritte Dimension darstellt, für jedes Pixel auf der Ebene dargestellt ist. Die Vielzahl von Schichten kann als parallel zu der zweidimensionalen Ebene des Bildsensors definiert werden, wobei jede Schicht Pixel enthält, die einen assoziierten Tiefenbereich repräsentieren. Beispielsweise kann jede aufeinanderfolgende Schicht eine erhöhte Entfernung von dem Bildsensor relativ zu den vorangehenden Schichten in der Reihung darstellen.

Bei Schritt 180 wird zumindest eine Charakteristik, die mit den Tiefenschichten für jeden Blob verbunden ist, bestimmt. Beispielsweise kann ein Prozentsatz der belegten Pixel der Schicht für jede Schicht bestimmt werden. Zusammengefasst kann für eine gegebene Tiefenschicht dieser Prozentsatz den Prozentsatz von Pixeln bei einer gegebenen Schicht oder darunter anzeigen. Andere Charakteristika, die beim Klassifizieren des Bilds verwendet werden, können die ersten und zweiten Momente jeder Schicht des Blob, einen Grad an Bewegung der insgesamt und in jeder Schicht detektiert wird, und durchschnittliche Tiefenwerte für bestimmte Bereiche des Blobs umfassen. Beispielsweise kann ein gegebener Blob in ein kleineres Bild mit Pixeln verkleinert werden, die Bereiche des Blobs darstellen. Der Tiefenwert eines jeden Pixels, der einen durchschnittlichen Tiefenwert für seinen assoziierten Bereich darstellt, kann als ein Merkmal zur Klassifizierung genutzt werden.

Bei Schritt 190 werden die bestimmten Werte verwendet, um eine Insassenklasse für den Insassenkandidaten, der durch einen gegebenen Blob dargestellt wird, zu bestimmen. Gemäß der vorliegenden Erfindung können die Blob in eine einer Vielzahl von potentiellen Klassen, wie beispielsweise eine Erwachsenenklasse, eine Kinderklasse, eine Klasse eines besetzten, rückwärts weisenden Säuglingssitzes, eine Klasse eines nicht besetzten, rückwärts weisenden Säuglingssitzes, eine Klasse eines besetzten, vorwärts weisenden Säuglingssitzes, eine Klasse eines nicht besetzten, vorwärts weisenden Säuglingssitzes, und eine nicht belegte Klasse klassifiziert werden. Diese Klassen sind nur zu Beispielszwecken gegeben, und weniger oder mehr Klassen können genutzt werden, ebenso wie unterschiedliche von den oben aufgelisteten Klassen. Der Klassifizierungsprozess kann irgendeines einer Anzahl von intelligenten Systemen nutzen, die für die Klassifizierung eines Eingabebildes geeignet sind.

5 stellt eine Methodik 120 zum Lokalisieren eines Fahrzeugsitzes gemäß einem Aspekt der vorliegenden Erfindung dar. Der Prozess beginnt bei Schritt 122, wo ein Konturabbild von dem Bild generiert wird. Dies kann durch irgendein geeignetes Mittel zum Detektieren abrupter Intensitätsveränderungen über ein Bild hinweg vorgenommen werden, wie beispielsweise einem Canny-Edge-Detektor. Es wird erkannt werden, dass das Konturabbild Tiefeninformation enthalten kann, so dass das Konturabbild eine dreidimensionale Darstellung von einer oder mehreren Konturen vorsieht, die durch die Bilder dargestellt werden. Bei Schritt 124 wird ein dreidimensionales Sitzkonturmodell aus einer Vielzahl von verfügbaren Sitzkonturmodellen zur Analyse ausgewählt. Jedes Konturmodell stellt die Kontur des Sitzes aus einer Überkopfsicht dar, wenn sich der Sitz in einer gegebenen Position befindet, und zwar gemäß einer oder mehrerer Bewegungsreichweiten, die mit dem Sitz assoziiert sind. Es wird erkannt werden, dass die Konturmodelle sowohl zweidimensionale Positionsdaten innerhalb der Ebene des Bilds als auch Tiefeninformation enthalten, die mit der gegeben Sitzposition verbunden ist. Die Konturmodelle können in einer vorbestimmten Reihenfolge ausgewählt oder gemäß einer Rückkopplung von einem Insassenschutzsystem ausgewählt werden.

Bei Schritt 126 wird das ausgewählte Konturmodell mit einem Konturbild verglichen, das einen Fahrzeugsitz abbildet. Beispielsweise kann die Position der Pixel in dem Konturmodell entsprechenden Stellen innerhalb eines Koordinatensystems zugewiesen werden, welches durch das Konturbild definiert wird, um den Vergleich der Pixelpositionen über das Konturmodell und das Konturbild hinweg zu ermöglichen. Es wird erkannt werden, dass die Konturmodelle unter Verwendung der gleichen Perspektive wie die Konturbilder erzeugt werden können, die für die Analyse eines gegebenen Fahrzeugs vorgesehen sind, so dass die Übereinstimmung zwischen den Pixelpositionen auf dem Konturmodell und dem Konturbild unmittelbar ist.

Das Konturmodell kann eine Anzahl von Referenzpunkten aufweisen, entsprechend ausgewählten, repräsentativen Pixeln innerhalb des Konturmodells. Bei Schritt 128 wird ein Referenzpunkt in dem ausgewählten Modell gewählt. Die Pixel können in einer vorbestimmten Reihenfolge, die mit dem Konturmodell verbunden ist, ausgewählt werden. Bei Schritt 130 wird ein „nächster Nachbar" zu dem ausgewählten Referenzpunkt aus den Referenzpunkten ausgewählt, die das Konturbild aufweist. Dies kann durch irgendeinen einer Anzahl von Suchalgorithmen für den nächsten Nachbar bewerkstelligt werden, die in der Technik bekannt sind. Bei Schritt 132 wird bestimmt, ob der bestimmte nächste Nachbar sich innerhalb eines definierten Suchfensters befindet. Das Suchfenster kann definiert werden, um zu verhindern, dass ein benachbartes Pixel eine Schwellenwertentfernung von dem ausgewählten Referenzpunkt in irgendeiner der Koordinatendimensionen überschreitet. Wie erkannt werden wird, können die Koordinatendimensionen die Breiten- und Höhendimensionen in einem zweidimensionalen Bild, sowie eine dritte Dimension umfassen, die die Tiefeninformation in dem Bild darstellt.

Wenn sich das benachbarte Pixel innerhalb des definierten Suchfensters befindet (J), wird die Entfernung zwischen dem ausgewählten Referenzpunkt und dem benachbarten Pixel bei Schritt 134 berechnet. Es wird erkannt werden, dass irgendeine einer Anzahl von Entfernungsmaßen genutzt werden kann, einschließlich euklidischen und Manhatten-Entfernungen. Die Methodik schreitet dann zu Schritt 138 voran. Wenn sich das benachbarte Pixel nicht in dem definierten Suchfenster befindet (N), wird eine Voreinstellungsentfernung, die größer als der maximale Bereich des Suchfensters ist, bei Schritt 136 zugewiesen, und die Methodik schreitet zu Schritt 138 voran.

Bei Schritt 138 wird bestimmt, ob sämtliche Referenzpunkte innerhalb des Konturmodells bewertet wurden. Wenn nicht (N), kehrt die Methodik zu Schritt 128 zurück, wo ein weiterer Referenzpunkt ausgewählt wird. Sobald sämtliche Referenzpunkte ausgewählt wurden (J), schreitet die Methodik zu Schritt 140 voran, wo die Quadrate der bestimmten Entfernungswerte für die Vielzahl der Referenzpunkte innerhalb der Kontur aufsummiert werden, um einen Gesamtentfernungswert zu bilden. Der Gesamtwert wird dann gemäß der Größe (z.B. dem Bereich, dem Volumen oder der Anzahl der repräsentativen Referenzpunkte) des Konturmodells bei Schritt 142 normalisiert. Geeignete Normalisierungswerte für jedes Konturmodell können bestimmt werden, wenn die Konturmodelle erzeugt werden. In einer Implementierung umfasst die Normalisierung das Dividieren der Summe der quadrierten Entfernungen durch die Anzahl der Referenzpunkte in dem Konturmodell.

Bei Schritt 144 wird bestimmt, ob die Vielzahl der Konturmodelle bewertet wurde. Wenn nicht (N), kehrt die Methodik zu Schritt 124 zurück, wo ein weiteres Modell ausgewählt wird. Sobald sämtliche Modelle bewertet wurden (J), schreitet die Methodik zu Schritt 146 voran, wo das Modell mit der kleinsten normalisierten Gesamtentfernung ausgewählt wird. Die Methodik 120 endet dann.

6 stellt eine beispielhafte Methodik 200 zum Bestimmen der Belegung eines Bereichs von Interesse aus einem Tiefenbild dar, welches in eine Vielzahl von Tiefenschichten gemäß einem Aspekt der vorliegenden Erfindung unterteilt ist. Zu diesem Zweck können die Schichten der dargestellten Methodik 200 definiert werden als eine erste Schicht, die einen Bereich oberhalb der Lehne des Fahrzeugsitzes aufweist, eine zweite Schicht, die einen Bereich gerade unterhalb der unbelegten Sitzlehne aufweist, eine dritte Schicht, die einen Bereich zur Mitte der Fahrzeuglehne hin aufweist, eine vierte Schicht, die einen Bereich gerade oberhalb des Sitzbodens aufweist, und eine fünfte Schicht, die einen Bereich unterhalb des Sitzbodens aufweist. Die Pixel in der fünften Schicht werden im Allgemeinen vernachlässigt, da sie wenig Information über die An- oder Abwesenheit eines Insassen liefern. Die Methodik 200 nutzt einen regelbasierten Klassierer gemeinsam mit einem Vorlagenabgleichsystem, um eine Insassenklasse eines Insassenkandidaten zu bestimmen, der als ein Blob in dem Tiefenbild dargestellt ist, und zwar gemäß einer oder mehrerer Charakteristika.

Die Methodik 200 beginnt bei Schritt 202, wo bestimmt wird, ob ein Prozentsatz der GesamtBlobpixel, die mit der ersten Schicht des Blob verbunden sind, einen ersten Schwellenwert überschreitet. Ein signifikanter Prozentsatz von Pixeln in der ersten Schicht zeigt im Allgemeinen an, dass sich der Kopf eines Insassen in den Bereich oberhalb der Sitzlehne erstreckt, was wiederum die Anwesenheit eines sitzenden Erwachsenen anzeigt. Demgemäß, wenn der Prozentsatz den Schwellenwert überschreitet (J), schreitet die Methodik zu Schritt 204 voran, in welcher der Insasse als ein sitzender Erwachsender klassifiziert wird. Die Methodik schreitet dann zu Schritt 206 voran.

Wenn der Prozentsatz nicht den Schwellenwert in Schritt 202 überschreitet (N), schreitet die Methodik zu Schritt 208 voran, wo der Prozentsatz der GesamtBlobpixel, die mit der ersten, zweiten und dritten Schicht verbunden sind, mit einem zweiten Schwellenwert verglichen wird. Eine kleine Anzahl von Pixeln in der ersten, zweiten und dritten Schicht des Blob, gekoppelt mit einem großen PixelBlob in der vierten Schicht, zeigt im Allgemeinen einen liegenden Insassen an, da sich wahrscheinlich nur ein geringer Teil eines liegenden Insassen in den Mittelbereich der Sitzlehne erstreckt. Demgemäß, wenn der Prozentsatz nicht den Schwellenwert überschreitet (N), schreitet die Methodik zu Schritt 210 voran, in dem der Insasse als ein liegender Insasse klassifiziert wird. Die Methodik schreitet dann zu Schritt 206 voran.

Wenn der Prozentsatz den Schwellenwert in Schritt 208 übersteigt (J), schreitet die Methodik zu Schritt 212 voran, wo Objektkandidaten aus jeder Schicht des Blobs extrahiert werden. Die Objektkandidaten können Formen innerhalb des Blobs enthalten, die Teile des menschlichen Körpers darstellen können, sowie Objekte, die anzeigend für die Anwesenheit eines Insassen sind, wie beispielsweise Säuglingssitze. Die vorliegende Erfindung kann irgendeinen einer Anzahl von Algorithmen nutzen, um Objektkandidaten innerhalb eines Bilds zu identifizieren und zu segmentieren. Die Methodik schreitet dann zu Schritt 214 voran, wo die Objektkandidaten mit Objektvorlagen abgeglichen werden, die mit den verschiedenen Tiefenschichten assoziiert sind. Beispielsweise können die erste und zweite Schicht des Systems runde oder elliptische Vorlagen enthalten, die verwendet werden, um einen Kopf eines Insassen zu lokalisieren. Vorlagen für Autositze und Teile von Autositzen können mit der dritten oder vierten Tiefenschicht des Blobs verbunden sein. Ein Fachmann des Gebiets wird erkennen, dass andere Vorlagen nützlich beim Bestimmen einer assoziierten Objektklasse des Insassen angesichts der Lehren der vorliegenden Erfindung sein können.

Bei Schritt 216 wird bestimmt, ob ein Objektkandidat, der mit einem Autositz oder einem Teil eines Autositzes assoziiert ist, detektiert wurde. Wenn nicht (N), schreitet die Methodik zu Schritt 218 voran, wo der Insasse gemäß den passenden Objektkandidatenvorlagen klassifiziert wird. Jede Vorlage kann eine oder mehrere assoziierte Insassenklassen besitzen und Konfidenz für ihre assoziierten Klassen vorsehen. Diese Konfidenz kann durch eine geeignete Kombinationsregel aggregiert werden, bis ein Schwellenkonfidenzniveau, das mit einer gegebenen Insassenklasse verbunden ist, erreicht wird. Beispielsweise können eine passende Kopfvorlage in dem vierten Bereich und zwei kleine Beinvorlagen, die in denvierten Bereich passen, genügend Konfidenz vorsehen, um anzuzeigen, dass der Blob ein Kind oder einen kleinen Erwachsenen repräsentiert. Andere derartige Kombinationen werden einem Fachmann des Gebiets angesichts der Lehren der vorliegenden Erfindung offensichtlich sein. Die Methodik schreitet dann zu Schritt 206 weiter.

Wenn der Blob bei Schritt 216 Vorlagen enthält, die mit einem Säuglingssitz verbunden sind (J), schreitet die Methodik zu Schritt 220 voran, wo die Ausrichtung des Säuglingssitzes bestimmt wird (d.h. rückwärts weisender Säuglingssitz oder vorwärts weisender Säuglingssitz). Dies kann beispielsweise durch Vergleichen der Durchschnittstiefen der vorwärts und rückwärts weisenden Enden des Sitzes erreicht werden. Vorwärts weisende Sitze besitzen im Allgemeinen ein hinteres Ende mit einer größeren Höhe als die Höhe des vorderen Endes. Sobald der Typ des Sitzes bestimmt wurde, kann der Sitzboden und der Innenbereich des Säuglingssitzes mit relativer Leichtigkeit gemäß ihrer Position relativ zu den Vorder- und Hinterenden des Sitzes bestimmt werden. Bei Schritt 222 wird bestimmt, ob der Sitz belegt ist. Wenn die Ausrichtung des Sitzes bekannt ist, ist es möglich, über den gesamten Bereich des Sitzes von einem ersten Ende zu einem zweiten Ende zu scannen, um zu bestimmen, wie sich die Tiefe des Sitzes innerhalb des Innenbereichs verändert. Wenn der Innenbereich konkav ist, ist der Säuglingssitz unbelegt. Wenn der Innenbereich konvex ist, wird der Säuglingssitz als belegt angesehen. Die Methodik schreitet dann zu Schritt 206 voran.

Bei Schritt 206 werden historische Daten des Bilds herangezogen, um Insassenbewegung zu detektieren und um das Ergebnis zu bestätigen. Beispielsweise kann beständige Bewegung, die über die Zeit detektiert wird, als Bestätigung angesehen werden, dass ein Insasse anwesend ist. Zusätzlich kann das Ergebnis selbst mit vorangehenden Ergebnissen zur Konsistenz abgeglichen werden. Beispielsweise ist es relativ einfach, einen sitzenden Erwachsenen und ein stehendes Kind während der Klassifizierung zu verwechseln, aber die beiden Klassen können durch Verfolgen der Höhe des Kopfes des Insassen über eine Zeitperiode hinweg unterschieden werden. Das Ergebnis wird an den Fahrer bei Schritt 224 übermittelt. Beispielsweise kann ein visueller oder auditiver Alarm ansprechend auf einen detektierten Insassen auf dem Rücksitz oder den -sitzen des Fahrzeugs betätigt werden. In einer beispielhaften Implementierung kann die Beschaffenheit des Alarms gemäß der assoziierten Insassenklasse des Insassen variiert werden.

7 stellt eine zweite beispielhafte Methodik 300 zum Bestimmen der Belegung eines Bereichs von Interesse gemäß einem Aspekt der vorliegenden Erfindung dar. Die Methodik 300 nutzt einen Mustererkennungsklassierer, um eine Insassenklasse eines Insassenkandidaten zu bestimmen, der als ein Blob in einem Tiefenbild gemäß einer oder mehrerer Charakteristika dargestellt ist. Der Blob kann in eine Vielzahl von Schichten unterteilt werden, die Tiefen innerhalb eines Bereichs von Interesse darstellen. Die Methodik beginnt bei Schritt 302, in der Merkmale aus jeder der Vielzahl von Schichten extrahiert werden können. Beispielsweise kann der Prozentsatz jeder Schicht, der in dem Bild belegt ist, als ein Merkmal berechnet werden, ebenso wie die Momente erster und zweiter Ordnung jeder Schicht. In einer Implementierung kann das Bild in ein verkleinertes Bild komprimiert werden, welches den Bereich von Interesse als eine kleine Anzahl von Pixeln mit gemittelten Tiefenwerten für den Bildbereich, den sie repräsentieren, darstellt. Die Tiefenwerte für einen oder mehrere dieser Pixel können als Merkmale verwendet werden.

Bei Schritt 304 werden die extrahierten Merkmale verwendet, um den Insassenkandidaten, der durch den Blob dargestellt ist, bei einem Mustererkennungsklassierer zu klassifizieren. Im einfachsten Fall kann der Klassierer für eine Vielzahl von Blobbildern ausgelegt sein, wobei er sowohl Situationen detektiert, in denen der Blob einen Insassen darstellt, als auch Situationen, in denen der Blob keinen Insassen darstellt. Eine komplexere Klassifizierung kann durch Erzeugen von Blobbildern unterschiedlicher Insassenklassen (z.B. sitzender Erwachsener, liegender Erwachsener, stehendes Kind, sitzendes Kind, liegendes Kind, belegter, rückwärts weisender Säuglingssitz, unbelegter; rückwärts weisender Säuglingssitz, belegter, vorwärts weisender Säuglingssitz; unbelegter, und vorwärts weisender Säuglingssitz ) und Trainieren des Klassierers für diese Bilder, erreicht werden. Der Klassierer kann irgendeinen geeigneten Klassierer zum Unterscheiden zwischen der Vielzahl der Insassenklassen aufweisen. Beispielsweise kann die Klassifizierung durch eine künstliches neurales Netzwerk oder eine Support Vector Maschine ausgeführt werden.

Bei Schritt 306 werden historische Daten auf dem Bild herangezogen, um Insassenbewegung zu detektieren und um das Ergebnis zu bestätigen. Beispielsweise, wenn die Klassifizierung eine geringe Konsidenz besitzt, kann die Anwesenheit eines Insassen angenommen werden, wenn es einen signifikanten Bewegungsbetrag (z.B. Veränderung zwischen zeitlich nahe liegenden Bildern) in dem aufgezeichneten Bild gibt. Zusätzlich kann das Ergebnis selbst mit vorangehenden Ergebnissen zur Konsistenz abgeglichen werden. Beispielsweise ist es während der Klassifizierung relativ schwierig, einen sitzenden Erwachsenen von einem stehenden Kind zu unterscheiden. Eine derartige Unterscheidung kann jedoch durch verfolgen der Höhe des Kopfes des Insassen über eine Zeitperiode hinweg gemacht werden. Das Ergebnis wird an den Fahrer bei Schritt 308 übermittelt. Beispielsweise kann ein visueller oder auditiver Alarm ansprechend auf einen detektierten Insassen auf dem Rücksitz oder den -sitzen des Fahrzeugs betätigt werden. In einer beispielhaften Implementierung kann die Beschaffenheit des Alarms gemäß der assoziierten Insassenklasse des Insassen variiert werden.

Es wird erkannt werden, dass Betätigung des Alarms von zusätzlichen Fahrzeugsensoreingaben abhängen kann. Genau gesagt kann es erwünscht sein, den Alarm nur zu betätigen, wenn bestimmt wurde, dass der Fahrer davor stehen könnte, das Fahrzeug zu verlassen, so dass der Fahrer auf die Anwesenheit von Insassen im Heck des Fahrzeugs aufmerksam gemacht wird, bevor er oder sie das Fahrzeug verlässt. Beispielsweise kann ein Öffnungssensor der Fahrzeugfahrertür verwendet werden, um zu bestimmen, ob es sich eignet, den Alarm zu betätigen. Andere Sensoren können verwendet werden, wie beispielsweise Gewichtssensoren im Fahrersitz oder einen Maschinensichtsensor zum Lokalisieren und Identifizieren des Fahrers.

8 stellt ein Computersystem 400 dar, dass eingesetzt werden kann, um die hierin beschriebenen Systeme und Verfahren zu implementieren, und zwar basierend auf computerausführbaren Anweisungen, die auf dem Computersystem laufen. Das Computersystem 400 kann auf einem oder mehreren Mehrzwecknetzwerkcomputersystemen, eingebetteten Computersystemen, Routern, Schaltern, Servereinrichtungen, Clienteinrichtungen, verschiedenen Zwischeneinrichtungen/knoten und/oder Stand-alone-Computersystemen implementiert werden. Zusätzlich kann das Computersystem 400 als Teil der computergestützter Berechnungswerkzeuge (CAE = Computer Aided Engineering), die computerausführbare Anweisungen laufen lassen, implementiert werden, um ein Verfahren, wie es hierin beschrieben wurde, auszuführen.

Das Computersystem 400 umfasst einen Prozessor 402 und einen Systemspeicher 404. Ein Systembus 406 koppelt verschiedene Systemkomponenten, einschließlich des Systemspeichers 404, mit dem Prozessor 402. Dualmikroprozessoren und andere Multiprozessorbauweisen können ebenfalls als Prozessor 402 verwendet werden. Der Systembus 406 kann als irgendeiner von verschiedenen Typen von Busstrukturen implementiert werden, einschließlich eines Speicherbus oder einer Speichersteuervorrichtung, eines peripheren Bus, und eines lokalen Bus, unter der Verwendung irgendeines einer Vielzahl von Busbauweisen. Der Systemspeicher 404 umfasst einen Lesespeicher (ROM) 408 und einen Arbeitsspeicher (RAM) 410. Ein Basisdatenaustauschsystem (BIOS) 412 kann sich in dem ROM 408 befinden, welches im Allgemeinen die Grundprogrammroutinen enthält, welche helfen die Information zwischen Elementen innerhalb des Computersystems 400, wie beispielsweise ein Rücksetzen oder Hochfahren, zu übertragen.

Das Computersystem 400 kann ein Festplattenlaufwerk 414, ein Magnetplattenlaufwerk 416 (z.B. um von einer herausnehmbaren Platte 418 zu lesen oder auf diese zu schreiben) sowie ein optisches Plattenlaufwerk 420 (z.B. zum Lesen einer CD-ROM oder DVD 422 oder zum Lesen oder Beschreiben von anderen optischen Medien) umfassen. Das Festplattenlaufwerk 414, das Magnetplattenlaufwerk 416 und das optische Plattenlaufwerk 420 sind mit dem Systembus 406 durch eine Festplattenlaufwerksschnittstelle 424, eine Magnetplattenlaufwerksschnittelle 426, bzw. eine optische Laufwerksschnittstelle 434 verbunden. Die Laufwerke und ihre assoziierten computerlesbaren Medien sehen eine nicht flüchtige Speicherung der Daten, Datenstrukturen und computerausführbarer Anweisungen für das Computersystem 400 vor. Obwohl sich die Beschreibung der computerlesbaren Medien oben auf eine Festplatte, eine herausnehmbare Magnetplatte und eine CD bezieht, können andere Typen von Medien, die durch einen Computer lesbar sind, ebenfalls verwendet werden. Beispielsweise können die computerausführbaren Anweisungen zur Implementierung der hierin beschriebenen Systeme und Verfahren auch in Magnetkassetten, Flash-Speicherkarten, digitalen Bildplatten und Ähnlichem gespeichert werden.

Eine Anzahl von Programmmodulen kann ebenfalls in einem oder mehreren der Laufwerke ebenso wie in dem RAM 410 gespeichert werden, einschließlich eines Betriebssystems 430, einer oder mehrerer Anwendungsprogramme 432, anderer Programmmodule 434 und Programmdaten 436.

Ein Benutzer kann Befehle und Information in das Computersystem 400 durch die Benutzereingabevorrichtung 440, wie beispielsweise eine Tastatur und ein Zeigegerät (z.B. eine Maus) eingeben. Andere Eingabevorrichtungen können ein Mikrofon, einen Joystick, ein Game-Pad, einen Scanner, einen Touch-Screen, oder Ähnliches umfassen. Diese und andere Eingabevorrichtungen sind oft mit dem Prozessor 402 durch eine entsprechende Schnittstelle oder Bus 442 verbunden, der mit dem Systembus 406 gekoppelt ist. Derartige Eingabevorrichtungen können alternativ mit dem Systembus 406 durch andere Schnittstellen, beispielsweise einen parallelen Anschluss, einen seriellen Anschluss oder einen universellen seriellen Bus (USB) verbunden sein. Eine oder mehrere Ausgabevorrichtungen) 444, wie beispielsweise eine visuelle Anzeigevorrichtung oder ein Drucker, können ebenfalls mit dem Systembus 406 über eine Schnittstelle oder einen Adapter 446 verbunden sein.

Das Computersystem 400 kann in einer Netzwerkumgebung arbeiten, die logische Verbindungen 448 zu einem oder mehreren dezentralen bzw. entfernten Computern 450 nutzt. Der entfernte Computer 448 kann ein Arbeitsplatzrechner bzw. eine Workstation, ein Computersystem, ein Router, ein Peer Device oder andere gemeinsame Netzwerkknoten sein, und kann typischerweise viele oder sämtliche Elemente umfassen, die in Bezug auf das Computersystem 400 beschrieben wurden. Die logischen Verbindungen 448 können ein lokales Netzwerk (LAN) und ein Weitverkehrsnetzwerk (WAN) umfassen.

Wenn eine LAN-Netzwerkumgebung verwendet wird, kann das Computersystem 400 mit einem lokalen Netzwerk durch eine Netzwerkschnittstelle 452 verbunden sein. Wenn eine WAN-Netzwerkumgebung verwendet wird, kann das Computersystem 400 ein Modem (nicht gezeigt) umfassen oder kann mit einem Datenkommunikationsserver über ein LAN verbunden sein. In einer Netzwerkumgebung können die Anwendungsprogramme 432 und Programmdaten 436, die relativ zu dem Computersystem 400 dargestellt sind, oder Teile von diesen im Speicher 454 des entfernten Computers 450 gespeichert werden.

Aus der obigen Beschreibung der Erfindung werden Fachleute des Gebiets Verbesserungen, Veränderungen und Modifikationen wahrnehmen. Derartige Verbesserungen, Veränderungen und Modifikationen innerhalb des Fachkönnens sollen durch die beigefügten Ansprüche abgedeckt werden.


Anspruch[de]
Ein Verfahren zum Detektieren eines Insassen innerhalb eines Fahrzeugs, das Folgendes aufweist:

Erzeugen bei einem Bildsensor eines Bilds bzw. Abbilds eines Fahrzeuginneren, das Tiefeninformation für eine Vielzahl von Bildpixeln enthält;

Unterteilen des Bilds des Fahrzeuginneren in zumindest einen Blob von zusammenhängenden Pixeln;

Unterteilen des zumindest einen Blob in eine Reihe von Schichten, wobei jede Schicht in der Reihe von Schichten einen Tiefenbereich innerhalb des Bilds darstellt; und

Bestimmen, ob der zumindest eine Blob einen Insassen gemäß zumindest einer Charakteristik der Reihe von Schichten darstellt.
Verfahren gemäß Anspruch 1, wobei der Schritt des Bestimmens ob zumindest ein Blob einen Insassen gemäß zumindest einer Charakteristik der Serie von Schichten darstellt, folgende Schritte aufweist:

Erzeugen von Statistiken für jede Schicht gemäß zumindest einer assoziierten Charakteristik; und

Bestimmen, ob der zumindest eine Blob einen Insassen gemäß der erzeugten Statistiken darstellt.
Verfahren gemäß Anspruch 2, wobei der Schritt des Erzeugens von Statistiken für jede Schicht den Schritt des Berechnens des Prozentsatzes der Gesamtpixel innerhalb des zumindest einen Blobs umfasst, die einen Tiefenwert aufweisen, der mit der Schicht assoziiert ist. Verfahren gemäß Anspruch 3, wobei der Schritt des Bestimmens, ob der zumindest eine Blob einen Insassen darstellt, den Schritt des Vergleichens des berechneten Prozentsatzes für eine gegebene Schicht mit einem Schwellenwert, der mit der Schicht assoziiert ist, umfasst. Verfahren gemäß Anspruch 2, wobei der Schritt des Bestimmens, ob der zumindest eine Blob einen Insassen darstellt, die folgenden Schritte aufweist:

Liefern einer erzeugten Statistik für jede Schicht an einen Mustererkennungsklassierer; und

Bestimmen der Insassenklasse für den zumindest einen Blob bei dem Mustererkennungsklassierer.
Verfahren gemäß Anspruch 1, wobei der Schritt des Bestimmens, ob der zumindest eine Blob einen Insassen gemäß zumindest einer Charakteristik der Reihe von Schichten darstellt, die folgenden Schritt aufweist:

Identifizieren von Objektkandidaten innerhalb jeder der Reihe von Schichten; und

Abgleichen der Objektkandidaten mit zumindest einem Satz von Vorlagen, wobei eine gegebene Vorlage in dem zumindest einen Satz von Vorlagen mit entweder einem Autositz oder einem Teil eines menschlichen Körpers assoziiert ist.
Verfahren gemäß Anspruch 6, wobei jede der Reihe von Schichten einen assoziierten Satz von Vorlagen aus dem zumindest einen Satz von Vorlagen besitzt, und der Schritt des Abgleichens der Objektkandidaten den Schritt des Abgleichens der identifizierten Objektkandidaten innerhalb einer gegebenen Schicht mit dem Satz von Vorlagen aufweist, die mit der Schicht verbunden sind. Verfahren gemäß Anspruch 1, wobei der Schritt des Bestimmens, ob der zumindest eine Blob einen Insassen gemäß zumindest einer Charakteristik der Schichten darstellt, die folgenden Schritte aufweist:

Detektieren der Bewegung innerhalb zumindest einer Schicht der Reihe von Schichten über eine Zeitperiode hinweg; und

Bestimmen, ob der zumindest eine Blob gemäß der detektierten Bewegung einen Insassen darstellt.
Verfahren gemäß Anspruch 1, das ferner den Schritt des Entfernens eines Fahrzeugsitzes aus dem Bild aufweist. Verfahren gemäß Anspruch 1, das ferner den Schritt des Aufmerksammachens eines Fahrers des Fahrzeugs über einen Alarm aufweist, wenn der zumindest eine Blob einen Insassen darstellt. Verfahren gemäß Anspruch 10, das ferner die folgenden Schritte aufweist:

Klassifizieren des zumindest einen Blob, um eine assoziierte Insassenklasse zu bestimmen; und

Variieren des Alarms gemäß der assoziierten Insassenklasse des zumindest einen Blob.
Verfahren gemäß Anspruch 1, wobei der Schritt des Bestimmens, ob der zumindest eine Blob einen Insassen darstellt, die folgenden Schritte aufweist:

Klassifizieren des zumindest einen Blob, um eine assoziierte Insassenklasse zu bestimmen; und

Vergleichen der bestimmten Insassenklasse des zumindest einen Blob mit zumindest einer Insassenklasse, die für den zumindest einen Blob in einem vorangehenden Bild des Fahrzeuginneren bestimmt wurde.
Verfahren gemäß Anspruch 1, wobei der Bildsensor in einer Kopfauskleidung des Fahrzeuginneren angeordnet ist. Ein System zum Bestimmen, ob ein Insasse in einem Bereich von Interesse innerhalb eines Fahrzeuginneren anwesend ist, das Folgendes aufweist:

einen Bildgenerator, der ein Abbild bzw. Bild eines Bereichs von Interesse erzeugt, das Tiefeninformation für eine Vielzahl von Bildpixeln enthält;

eine Blobsegmentierungskomponente, die zumindest einen Blob zusammenhängender Pixel innerhalb des Bilds isoliert;

eine Schichtsegmentierungskomponente, die den zumindest einen identifizierten Blob in eine Vielzahl von Schichten segmentiert, wobei ein gegebenes Pixel innerhalb des zumindest einen Blob einer entsprechenden Schicht gemäß seiner Entfernung von dem Bildgenerator zugewiesen wird; und

einen Insassenklassierer, der eine Insassenklasse für zumindest einen Blob gemäß einer Charakteristik der Schichten bestimmt, die mit dem zumindest einen Blob assoziiert sind.
System gemäß Anspruch 14, wobei der Insassenklassierer betriebsbereit ist, um Objektkandidaten zu identifizieren, die mit jeder Schicht des zumindest einen Blob assoziiert sind und um einen gegebenen identifizierten, Objektkandidaten mit einem Satz von Vorlagen für die assoziierte Schicht des Objektkandidaten abzugleichen. System gemäß Anspruch 14, wobei der Insassenklassierer einen Mustererkennungsklassierer aufweist, der den zumindest einen Blob gemäß einer Vielzahl von Merkmalen klassifiziert, die mit den Schichten, die den zumindest einen Blob aufweisen, assoziiert sind. System gemäß Anspruch 16, wobei der Insassenklassierer betriebsbereit ist, um ein Bild des zumindest einen Blob in ein verkleinertes Bild zu komprimieren, das eine Vielzahl von Pixeln aufweist, in welchem jedes Pixel des verkleinerten Bilds einen Tiefenwert besitzt, der einen Durchschnittswert für einen definierten Bereich von Pixeln innerhalb des zumindest einen Blob darstellt, wobei die Vielzahl von Merkmalen die Tiefenwerte der Pixel aufweist, die das verkleinerte Bild aufweisen. System gemäß Anspruch 14, wobei jede der Vielzahl von Schichten parallel zu einem Boden eines Sitzes innerhalb des Fahrzeuginneren verläuft. System gemäß Anspruch 14, wobei der Bildgenerator betriebsbereit ist, um Tiefeninformation für das Bild über ein Flugzeitsystem zu erzeugen. System gemäß Anspruch 14, wobei der Bildgenerator ein Stereosichtsystem aufweist, das betriebsbereit ist, um eine Stereodisparitätskarte des Fahrzeuginneren zu erzeugen. Ein Computerprogrammprodukt, das in einem Computer lesbaren Medium implementiert und in einem Datenverarbeitungssystem betriebsbereit ist, zum Bestimmen, ob ein Insasse in einem Bereich von Interesse anwesend ist, und zwar aus einem Bild des Bereichs von Interesse, welches Tiefeninformation für eine Vielzahl von Bildpixeln enthält, und wobei dieses Folgendes aufweist:

eine Blobsegmentierungskomponente, die zumindest einen Blob von zusammenhängenden Pixeln innerhalb des Bilds isoliert;

eine Schichtsegmentierungskomponente, die den zumindest einen Blob in eine Vielzahl von Schichten segmentiert, wobei eine gegebene Schicht mit einem Tiefenbereich innerhalb des Bilds assoziiert ist; und

einen Insassenklassierer, der eine Insassenklasse für den zumindest einen Blob gemäß zumindest einer Charakteristik der Schichten bestimmt, die mit dem zumindest einen Blob assoziiert sind.
Computerprogrammprodukt gemäß Anspruch 21, wobei der Insassenklassierer einen regelbasierten Klassierer aufweist, und wobei die zumindest eine Charakteristik einen Prozentsatz der Gesamtpixel aufweist, einschließlich des zumindest einen Blob, die mit einer gegebenen Schicht des zumindest einen Blob assoziiert sind. Computerprogrammprodukt gemäß Anspruch 21, wobei der Insassenklassierer ein künstliches neuronales Netzwerk und/oder eine Support Vector Maschine aufweist, sowie die zumindest eine Charakteristik, die erste und zweite Momente der Pixel aufweist, die eine gegebene Schicht des zumindest einen Blob aufweist. Computerprogrammprodukt gemäß Anspruch 21, wobei die zumindest eine Charakteristik eine detektierte Bewegung innerhalb jeder Schicht des zumindest einen Blob aufweist.






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

  Patente PDF

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com