PatentDe  


Dokumentenidentifikation DE102006054571A1 14.06.2007
Titel Generator für Virtuelle Realitäts-Szenen zur Erzeugung von Trainingsbildern für einen Mustererkennungs-Klassifikator
Anmelder TRW Automotive U.S. LLC, Livonia, Mich., US
Erfinder Luo, Yun, Livonia, Mich., US
Vertreter Prinz und Partner GbR, 80335 München
DE-Anmeldedatum 20.11.2006
DE-Aktenzeichen 102006054571
Offenlegungstag 14.06.2007
Veröffentlichungstag im Patentblatt 14.06.2007
IPC-Hauptklasse G06K 9/62(2006.01)A, F, I, 20070306, B, H, DE
Zusammenfassung Systeme und Verfahren zur Generierung von Trainingsproben für ein Klassifikationssystem, das einem Fahrzeuginsassenschutzsystem zugeordnet ist, werden bereitgestellt. Eine dreidimensionale virtuelle Realitätsszene wird aus einem Cockpitmodell generiert (138), das einen Satz von wenigstens zwei benutzerkonfigurierbaren Parametern (132) aufweist, und einem Insassenmodell, das einen Satz von wenigstens zwei benutzerkonfigurierbaren Parametern und eine Vielzahl von Gelenkknoten (134) aufweist. Eine Vielzahl von Trainingsproben wird aus dem virtuellen Modell (142) generiert. Jede aus der Vielzahl von Trainingsproben hat einen ersten Satz von Parametern, die mit dem Cockpitmodell verknüpft sind, einen zweiten Satz von Parametern, die mit dem Insassenmodell verknüpft sind, und eine Insassenpose, die gemäß den Gelenkknoten, die mit dem Insassenmodell verknüpft sind, definiert ist.

Beschreibung[de]
TECHNISCHES GEBIET

Die vorliegende Erfindung betrifft allgemein Mustererkennungs-Klassifikatoren und speziell ein Verfahren und eine Vorrichtung zur Generierung von Trainings- und Verifikationsproben für einen Mustererkennungs-Klassifikator.

HINTERGRUND DER ERFINDUNG

Auslösbare Insassenrückhaltesysteme mit einem aufblasbaren Gassack in Fahrzeugen sind bekannt. Solche Systeme, die in Reaktion darauf gesteuert werden, ob der Sitz besetzt ist, ein Objekt auf dem Sitz lebendig oder unbelebt ist, ein rückwärts gerichteter Kindersitz auf dem Sitz vorhanden ist und/oder in Reaktion auf die Position, das Gewicht, die Größe usw. des Insassen, werden als intelligente Rückhaltesysteme bezeichnet. Ein Beispiel für ein intelligentes auslösbares Rückhaltesystem ist in US-Patent 5,330,226 offenbart.

Zu Mustererkennungssystemen gehören Systeme, die nach einer Vielzahl von unterscheidenden Kennzeichen oder Merkmalen, die mit den Klassen verknüpft sind, zwischen Klassen von Reizen der reellen Welt unterscheiden können. Es sind etliche Mustererkennungssysteme bekannt, darunter verschiedene Klassifikatoren mit neuronalen Netzwerken, Stützvektormaschinen und Bayes'sche Klassifikationsmodelle. Ein Mustererkennungssystem zu trainieren erfordert eine große Anzahl von Proben, um annehmbare Genauigkeitsraten zu erhalten. Bei manchen Anwendungen ist keine genügende Anzahl von Proben für manche oder alle der Ausgabeklassen verfügbar. Selbst dort, wo Proben in genügender Anzahl verfügbar sind, kann das Sammeln und Aufbereiten der Proben einen signifikanten Aufwand darstellen, vor allem, wenn sich die Ausgabeklassen für eine bestimmte Anwendung häufig ändern. Außerdem ist das Trainieren eines Mustererkennungs-Klassifikators ein zeitintensiver Prozeß, der mit dem Hinzufügen jeder neuen Ausgabeklasse wiederholt werden muß.

ZUSAMMENFASSUNG DER ERFINDUNG

Gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung ist ein Verfahren vorgesehen, um Trainingsproben für ein Klassifikationssystem zu generieren, das einem Fahrzeuginsassenschutzsystem zugeordnet ist. Eine dreidimensionale virtuelle Realitäts-Szene wird aus einem Cockpitmodell generiert, das einen Satz von wenigstens zwei benutzerkonfigurierbaren Parametern hat, und einem Insassenmodell, das einen Satz von wenigstens zwei benutzerkonfigurierbaren Parametern und eine Vielzahl von Gelenkknoten hat. Eine Vielzahl von Trainingsproben wird aus der virtuellen Realitäts-Szene generiert. Jede der Vielzahl von Trainingsproben hat einen ersten Satz von Parametern, die mit dem Cockpitmodell verknüpft sind, einen zweiten Satz von Parametern, die mit dem Insassenmodell verknüpft sind, und eine Insassenpose, die gemäß den mit dem Insassenmodell verknüpften Gelenkknoten definiert ist.

Gemäß einer anderen beispielhaften Ausführungsform der vorliegenden Erfindung wird ein System bereitgestellt, um eine Vielzahl von Trainingsbildern zu generieren. Ein Cockpitmodell, das gemäß einer Vielzahl von Parametern konfigurierbar ist, simuliert einen Fahrzeuginnenraum in einem dreidimensionalen Raum. Ein Insassenmodell, das gemäß einer Vielzahl von Parametern konfigurierbar ist, simuliert einen Fahrzeuginsassen. Ein Konstruktor für Szenen einer virtuellen Realität vereinigt das Insassenmodell und das Cockpitmodell, um eine dreidimensionale virtuelle Realitäts-Szene zu bilden. Ein Bildgenerator generiert ein Bild der dreidimensionalen virtuellen Realitäts-Szene aus einer ausgewählten Kameraperspektive.

Gemäß noch einer anderen beispielhaften Ausführungsform der vorliegenden Erfindung ist ein in einem Datenverarbeitungssystem wirkendes Computerprogrammerzeugnis vorgesehen, das auf einem computerlesbaren Medium abgespeichert ist, um wenigstens ein Kennzeichen eines Fahrzeuginsassen zu bestimmen. Das Computerprogrammerzeugnis enthält eine Komponente, um einen Satz von Verifikationsproben für den Mustererkennungs-Klassifikator zu generieren, die eine bekannte Klassenzugehörigkeit haben. Diese Komponente umfaßt ein Cockpitmodell, das gemäß einer Vielzahl von Parametern konfigurierbar ist und das einen Fahrzeuginnenraum in einem dreidimensionalen Raum simuliert, und ein Insassenmodell, daß gemäß einer Vielzahl von Parametern konfigurierbar ist und das einen Fahrzeuginsassen simuliert. Die Komponente enthält außerdem einen Probengenerator, der aus dem Cockpitmodell und dem Insassenmodell eine Probe für den Klassifikator generiert. Das Computerprogrammerzeugnis enthält außerdem einen Mustererkennungs-Klassifikator, der so ausgeführt werden kann, daß er den Satz von Verifikationsproben klassifiziert, aus dem Satz von Verifikationsproben einen Satz von wenigstens einer Verifikationsprobe identifiziert, die nicht richtig klassifiziert wurde, und den identifizierten Satz von wenigstens einer Verifikationsprobe in einen Satz von Trainingsdaten, die mit dem Klassifikator verknüpft sind, aufnimmt.

KURZE BESCHREIBUNG DER ZEICHNUNGEN

Die vorangehenden und weitere Merkmale und Vorteile der vorliegenden Erfindung werden für den Fachmann auf dem Gebiet, das die vorliegende Erfindung betrifft, aus der folgenden Beschreibung mit Bezug zu den beigefügten Zeichnungen ersichtlich, in denen:

1 eine schematische Darstellung eines auslösbaren Rückhaltesystems gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung ist;

2 eine schematische Darstellung einer Stereokameraanordnung zur Verwendung mit der vorliegenden Erfindung ist;

3 eine Methodik zur Generierung virtueller Trainingsproben für einen Mustererkennungs-Klassifikator für ein Fahrzeuginsassenschutzsystem gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung zeigt;

4 eine beispielhafte Methodik der vorliegenden Erfindung zur Generierung virtueller Trainingsproben für einen Mustererkennungs-Klassifikator für ein Fahrzeuginsassenschutzsystem zeigt;

5 eine Methodik für ein Endlosschleifentraining für einen Mustererkennungs-Klassifikator gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung zeigt;

6 ein Blockschaltbild eines Systems zur Generierung virtueller Realitätsbilder gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung zeigt; und

7 ein Computersystem zeigt, das dazu verwendet werden kann, die hier beschriebenen Systeme und Verfahren umzusetzen.

BESCHREIBUNG EINER BEVORZUGTEN AUSFÜHRUNGSFORM

Mit Bezug auf 1 enthält eine beispielhafte Ausführungsform eines auslösbaren Insassenrückhaltesystems 20 gemäß der vorliegenden Erfindung eine Gassackgruppe 22, die in einer Öffnung eines Armaturenbretts oder einer Instrumententafel 24 eines Fahrzeugs 26 angebracht ist. Die Gassackgruppe 22 enthält einen Gassack 28, der im Inneren eines Gassackgehäuses 30 gefaltet und aufbewahrt ist. Eine Abdeckung 32 bedeckt den aufbewahrten Gassack und ist so ausgebildet, daß sie sich beim Aufblasen des Gassacks 28 leicht öffnet.

Die Gassackgruppe 22 enthält außerdem einen Gassteuerbereich 34, der in Wirkverbindung mit dem Gassack 28 steht. Der Gassteuerbereich 34 kann eine Vielzahl von Gasquellen (nicht gezeigt) und Entlüftungsventilen (nicht gezeigt) zur Steuerung des Aufblasens des Gassacks enthalten, wenn diese individuell angesteuert werden, z.B. bezüglich Timing, Gasfluß, Sackprofil in Abhängigkeit von Zeit, Gasdruck usw.. Einmal aufgeblasen, kann der Gassack 28 helfen, einen Insassen 40 zu schützen, wie etwa einen Beifahrer, der auf einem Fahrzeugsitz 42 sitzt. Die beispielhafte Ausführungsform der 1 wird zwar hinsichtlich eines Beifahrersitzes beschrieben, die vorliegende Erfindung ist aber auch auf Fahrzeug-Fahrersitze und -Rücksitze und deren zugeordnete auslösbare Rückhaltesysteme anwendbar. Die vorliegende Erfindung ist auch auf die Steuerung von auslösbaren Seitenrückhaltevorrichtungen und auslösbaren Vorrichtungen, die in Reaktion auf Überrollereignisse entfaltet werden, anwendbar.

Eine Gassacksteuerung 50 steht in Wirkverbindung mit der Gassackgruppe 22, um den Gassteuerbereich 34 und damit das Aufblasen des Gassacks 28 zu steuern. Die Gassacksteuerung 50 kann z.B. als Mikrocomputer, als eigenständige Schaltung, als anwendungsspezifische integrierte Schaltung („ASIC") oder in anderer Form ausgebildet sein. Die Steuerung 50 ist außerdem mit einem Fahrzeugcrashsensor 52 verbunden, wie etwa einem oder mehreren Fahrzeugcrash-Beschleunigungsmessern. Die Steuerung überwacht das oder die Ausgangssignal(e) des Crashsensors 52 und bestimmt gemäß einem Gassacksteueralgorithmus unter Verwendung eines Entfaltungssteueralgorithmus, ob ein Entfaltungsereignis stattfindet, d.h., ein Ereignis, bei dem es wünschenswert wäre, den Gassack 28 zu entfalten. Es gibt mehrere bekannte Entfaltungssteuerungsalgorithmen, die auf Entfaltungsereignissignal(e) reagieren, die als Teil der vorliegenden Erfindung eingesetzt werden können. Sobald die Steuerung 50 z.B. durch die Verwendung eines ausgewählten Unfallanalysealgorithmus feststellt, daß ein Entfaltungsereignis auftritt, und wenn bestimmte andere Insassenkennzeichenbedingungen erfüllt sind, steuert die Steuerung 50 das Aufblasen des Gassacks 28 unter Verwendung des Gassteuerbereichs 34, z.B. bezüglich des Timings, der Gasflußrate, des Gasdrucks, des Sackprofils abhängig von der Zeit, usw..

Der mit der Steuerung 50 verknüpfte Gassacksteueralgorithmus kann sensitiv auf vorbestimmte Kennzeichen des Fahrzeuginsassen 40 ausgelegt sein. Es hat beispielsweise keinen Zweck, den Gassack während eines Crashereignisses auszulösen, wenn die vorbestimmten Kennzeichen anzeigen, daß der Insasse 40 ein Gegenstand ist, wie etwa eine Einkaufstüte, und kein menschliches Wesen. Demgemäß kann die Gassacksteuerung 50 eine Mustererkennungs-Klassifikator-Gruppe 54 enthalten, die so ausgeführt werden kann, daß zwischen einer Vielzahl von Insassenklassen unterschieden wird, die auf den bestimmten Kennzeichen basieren, und eine ausgewählte Insassenklasse kann dann jeweils verwendet werden, um den Gassack zu steuern. Es versteht sich, daß der Klassifikator 54 als eigenständiges Modul implementiert sein kann, das mit der Gassacksteuerung 50 in Verbindung steht oder, alternativ, in die Gassacksteuerung 50 integriert sein kann.

Entsprechend enthält das Gassackrückhaltesystem 20 gemäß der vorliegenden Erfindung außerdem eine Anordnung von Gewichtssensoren 82, die die Gewichtsverteilung auf dem Fahrzeugsitz 42 anzeigen, und/oder eine Stereosichtgruppe 60. Die Gewichtsensoren können so über die Oberfläche des Sitzes verteilt sein, daß sie eine zweidimensionale Darstellung des durch die Anwesenheit des Insassen auf den Sitz ausgeübten Drucks liefern. Die Ausgabe jedes der Sensoren in der Anordnung 82 kann der Gassacksteuerung 50 übermittelt werden und als Eingang für den Mustererkennungs-Klassifikator 54 verwendet werden.

Die Stereosichtgruppe 60 kann Stereokameras 62 enthalten, die vorzugsweise am Dachhimmel 64 des Fahrzeugs 26 angebracht sind. Die Stereosichtgruppe 60 enthält eine erste Kamera 70 und eine zweite Kamera 72, die beide mit einer Kamerasteuerung 80 verbunden sind. Gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung sind die Kameras 70, 72 etwa 35 Millimeter (mm) beabstandet, obwohl auch andere Abstände verwendet werden können. Die Kameras 70, 72 sind parallel zur von vorne nach hinten verlaufenden Achse des Fahrzeuges angeordnet, obwohl auch andere Ausrichtungen möglich sind.

Die Kamerasteuerung 80 kann z.B. als Mikrocomputer, als eigenständiger Schaltkreis, als ASIC oder in anderer Form ausgeführt sein. Die Kamerasteuerung 80 ist mit der Gassacksteuerung 50 verbunden und liefert ein Signal an die Gassacksteuerung 50, das auf die verschiedenen Bildkennzeichen des Insassensitzbereichs bezogene Daten liefert, die von einem leeren Sitz bis zu einem Gegenstand auf dem Sitz oder einen menschlichen Insassen usw. reichen können. Hier werden Bilddaten des Sitzbereichs allgemein als Insassendaten bezeichnet, die alle lebendigen und unbelebten Objekte, die den Insassensitzbereich belegen können, umfassen. Es versteht sich, daß der Klassifikator 54 neben der Anordnung der Gewichtsensoren 82 und der Kamerasteuerung 80 weitere Eingaben verwenden kann. 2 ist eine schematische Darstellung der Kameras 70 und 72 der Stereosichtgruppe 60. Die Kameras 70 und 72 können jedem bekannten Typ angehören. Zum Beispiel können die Kameras ladungsgekoppelte Speicher (CCD) oder komplementäre Metalloxidhalbleiter-Baugruppen (CMOS-Baugruppen) sein. Vorzugsweise nehmen die Kameras 70 und 72 zweidimensionale Graustufenbilder des Fahrgastraum des Fahrzeugs 26 auf. In einer beispielhaften Ausführungsform der vorliegenden Erfindung sind die Kameras 70 und 72 Kameras mit einer breiten Spektralempfindlichkeit, die das sichtbare und nahe Infrarotspektrum abdecken.

Die Kameras 70 und 72 sind voneinander beabstandet angeordnet, damit die Kameras zur Bestimmung eines Abstands, auch „Entfernung" genannt, von den Kameras zu einem Objekt verwendet werden können. Das Objekt ist schematisch in 2 gezeigt und ist mit dem Bezugszeichen 94 bezeichnet. Der Abstand zwischen den Kameras 70 und 72 und dem Objekt 94 kann durch Triangulation bestimmt werden. Die Kameras 70 und 72 haben eine unterschiedliche Sicht des Fahrgastraums, da die Position des Objekts 94 relativ zu jeder Kamera 70 und 72 unterschiedlich ist. Daher befindet sich das Objekt 94 im von der Kamera 70 erhaltenen Bild an einer anderen Stelle als in dem von der Kamera 72 erhaltenen Bild. Der Unterschied in den Positionen des Objekts 94 in den Bildern wird als „Disparität" bezeichnet. Um eine korrekte Disparität zwischen den Bildern zur Durchführung einer Triangulation zu erhalten, ist es wünschenswert, daß die Kameras 70 und 72 so angeordnet sind, daß das zu überwachende Objekt 94 im Horopter der Kameras liegt.

Die Kamera 70 enthält eine Linse 100 und eine Pixelmatrix 110. Ebenso enthält die Kamera 72 eine Linse 102 und eine Pixelmatrix 112. Da die Kameras 70 und 72 relativ zum Objekt 94 an verschiedenen Orten angeordnet sind, unterscheidet sich ein Bild des Objekts 94, das auf der Pixelmatrix 110 der Kamera 70 ausgebildet wird, von einem Bild des Objekts 94, das auf der Pixelmatrix 112 der Kamera 72 ausgebildet wird. Der Abstand zwischen den Blickpunkten der Kameras 70 und 72, d.h. der Abstand zwischen den Linsen 100 und 102 ist in 2 mit „b" bezeichnet. Die Brennweite der Linsen 100 und 102 der Kameras 70 und 72 ist in 2 mit „f" bezeichnet. Die Linsen 100 und 102 der Kameras 70 und 72 in 2 haben die gleiche Brennweite. Der horizontale Abstand zwischen der Bildmitte der Pixelmatrix 110 und dem Bild des Objekts 94 auf der Pixelmatrix 110 der Kamera 70 ist in 2 mit „dl" bezeichnet. Der horizontale Abstand zwischen der Bildmitte der Pixelmatrix 112 und dem Bild des Objekts 94 auf der Pixelmatrix 112 für die Kamera 72 ist in 2 mit „dr" bezeichnet. Vorzugsweise sind die Kameras 70 und 72 so angebracht, daß sie in derselben Bildebene liegen. Die Differenz zwischen dl und dr wird als „Bilddisparität" bezeichnet und steht in direkter Beziehung zum Abstand, bezeichnet mit „r" in 2, zum Objekt 94, wobei der Abstand r senkrecht zur Bildebene der Kameras 70 und 72 von einer Stelle v in der Bildebene gemessen wird. Es versteht sich, daß r = bf/d, wobei d = dl – dr ist.(Gleichung 1)

Aus Gleichung 1 kann der Abstand r zum Objekt 94 als Funktion der Disparität der Bilder der Kameras 70 und 72 bestimmt werden. Es sollte sich verstehen, daß der Abstand r eine inverse Funktion der Disparität ist.

3 stellt eine Methodik 130 zum Generieren virtueller Trainings- und Verifikationsproben für einen Mustererkennungs-Klassifikator für ein Fahrzeuginsassen-Schutzsystem gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung dar. Der Einfachheit der Erklärung halber weist die Methodik 130 aufeinanderfolgend ausgeführt gezeigte und beschriebene Schritte auf, es ist jedoch einleuchtend und versteht sich, daß die vorliegende Erfindung nicht auf die dargestellte Reihenfolge beschränkt ist, da manche der Schritte in anderer Reihenfolge und/oder gleichzeitig mit anderen als den hier gezeigten und beschriebenen Schritte erfolgen könnten.

Die Methodik 130 beginnt in Schritt 132, wo ein Exemplar eines Cockpitmodells gemäß einer Vielzahl von Parametern generiert wird. Die Parameter können zufällig aus einer Reihe von vordefinierten Verteilungen generiert werden oder von einem Benutzer bereitgestellt werden. Die mit dem Cockpitmodell verknüpften Parameter können z.B. die Abmessungen, die Konfiguration und die empfundene Farbe und Textur einer oder mehrerer Oberflächen im Cockpit definieren. Es versteht sich, daß das Cockpitmodell gezielt an ein gegebenes Modell des Fahrzeugs 26 angepaßt werden kann, das mit dem Fahrzeuginsassen-Schutzsystem 20 verknüpft ist.

In Schritt 134 wird ein Exemplar eines Sitzmodells gemäß einer Vielzahl von Parametern generiert. Wie bei den Cockpitparametern können die Sitzparameter zufällig aus einer Reihe von vordefinierten Verteilungen generiert werden oder von einem Benutzer bereitgestellt werden. Die mit dem Sitzmodell verknüpften Parameter können z.B. die horizontale Stellung, den Rückenlehnenwinkel des Sitzes, die vertikale Position von hinteren und vorderen Kanten des Sitzes, die Position der Kopfstütze und die empfundene Farbe und Textur der Sitzoberfläche definieren. Es versteht sich, daß das Sitzmodell auch gezielt an ein vorgegebenes Modell des Fahrzeugs angepaßt sein kann, und daß der Bereich der verfügbaren Parameter und sämtlicher Wahrscheinlichkeitsverteilungen von Parametern, die mit Parametern verknüpft sind, von den ausgewählten Cockpitparametern abhängig sein können.

In Schritt 136 wird ein Exemplar eines Insassenmodells gemäß einer Vielzahl von Parametern konfiguriert. Die Insassenparameter können zufällig aus einer Reihe von vordefinierten Verteilungen generiert werden oder von einem Benutzer bereitgestellt werden. Es versteht sich, daß das durch das Insassenmodell generierte Insassenbild nicht zwangsläufig einen menschlichen Insassen darstellt, und daß Bilder von Baby- und Kindersitzen, anderen Gegenständen (z.B. Einkaufstüten, Koffern usw.) und sogar einem Nullinsassen, der einen leeren Sitz repräsentiert, als Exemplar des Insassenmodells bereitgestellt werden können. Sind mehrere Insassentypen dargestellt, kann ein geeigneter Insassentyp als Teil des Konfigurationsprozesses ausgewählt werden. Mit dem Insassenmodell verknüpfte Parameter können im Beispiel eines menschlichen Insassen Größe, Gewicht, Pose, Hautfarbe, Lichtabsorptions- und Lichtreflexionseigenschaften und Kleidung definieren. Es versteht sich, daß ähnliche Parametersätze für andere Insassentypen bereitgestellt werden können (z.B. Baby- und Kindersitze). Der Bereich verfügbarer Parameter und alle mit Parametern verknüpfte Wahrscheinlichkeitsverteilungen von Parametern können von den ausgewählten Sitz- und Cockpitparametern abhängig sein.

In Schritt 138 werden die Exemplare des Cockpitmodells, des Sitzmodells und des Insassenmodells kombiniert, so daß ein dreidimensionales Bild einer virtuellen Realität erzeugt wird. Die dreidimensionalen Bilder, die durch die verschiedenen Exemplare der Modelle dargestellt sind, werden in logischer Weise integriert, so daß eine Darstellung eines in einem Fahrzeuginnenraum sitzenden Insassen geschaffen wird. Zum Beispiel können Oberflächen im Cockpitexemplar oder im Sitzexemplar, die aufgrund der Anwesenheit des Insassen nicht sichtbar wären, durch neue Oberflächen, die vom Insassenexemplar definiert werden, ersetzt werden. Das endgültige Bild der virtuellen Realität liefert eine dreidimensionale Ansicht des Cockpits, die aus jedem aus einer Vielzahl von Winkeln abgebildet werden kann, um ein realistisches zweidimensionales virtuelles Bild des Innenraums zu liefern. Außerdem können Tiefenwerte direkt aus dem Bild entnommen werden, da das Bild der virtuellen Realität in drei Dimensionen wiedergegeben wird. Daher kann das System verwendet werden, um Systeme, die die Position (z.B. den Abstand vom Fahrzeugvorderende) von Gegenständen und Insassen im Fahrzeug verfolgen, zu trainieren.

In Schritt 140 werden gegebenenfalls Beleuchtungskennzeichen für das Trainingsbild konfiguriert. Es versteht sich, daß bei manchen Anwendungen (z.B. dem Training einer Anordnung von Gewichtssensoren) die Bestimmung der Beleuchtungskennzeichen der Szene nicht notwendig ist. Die Beleuchtung kann durch eine Vielzahl von Parametern definiert werden, die die Quelle (z.B. Sonnenlicht oder künstliches Licht), die Richtung und die Intensität der Lichtquelle darstellen. Die Insassenparameter können zufällig aus einer Reihe von vordefinierten Verteilungen generiert werden oder durch einen Benutzer bereitgestellt werden. Es versteht sich, daß die zulässigen Bereiche und Wahrscheinlichkeitsverteilungen teilweise vom Ort der künstlichen Beleuchtung im Fahrzeug 26 abhängen.

Bei 142 wird wenigstens eine Trainings- oder Verifikationsprobe aus der virtuellen Realitäts-Szene gemäß wenigstens einer Sensorperspektive generiert. Die Lage des Sensors, die mit einer gegebenen Perspektive verknüpft ist, kann so bestimmt werden, daß sie einen aus einer Vielzahl von im Fahrzeug 26 verfügbaren Sensoren darstellt. Bei der Generierung der Trainings- oder Verifikationsprobe wird die virtuelle Szene, die das Cockpitmodell, das Sitzmodell und das Insassenmodell enthält, dazu verwendet, die Eingabe eines Sensors je nach seiner Lage, eines oder mehrere Kennzeichen des Insassen, des Cockpits oder des Sitzes und eines oder mehrere Kennzeichen des Sensors zu emulieren. Mehrfache Sensorablesungen können aus einer gegebenen Szene vorgenommen werden, wenn dies gewünscht ist. Die erzeugten Proben können einer Vielzahl von Trainingsproben oder einem Satz von Verifikationsproben für den Klassifikator hinzugefügt werden.

Die offenbarte Umgebung kann verwendet werden, um verschiedene Sensorsysteme zu simulieren, zu trainieren und zu testen. Zum Beispiel kann das virtuelle Cockpit zusammen mit einem Kamera- und Beleuchtungsmodell zur Generierung von Trainingsbildern für ein kameragestütztes System verwendet werden. Alternativ können das Cockpit-, das Sitz- und das Insassenmodell kombiniert werden, um die Gewichtsverteilung der Insassenmasse bei jeder beliebigen Fahrzeugdynamik und Insassenbewegung als Teil eines gewichtbasierten Mustererkennungssystems zu simulieren.

4 stellt eine Beispielmethodik 115 zur Generierung virtueller Trainingsproben für einen Mustererkennungs-Klassifikator für ein Fahrzeuginsassenschutzsystem gemäß der vorliegenden Erfindung dar. Die Methodik 150 beginnt bei Schritt 152, in dem ein Ursprung und ein Koordinatensystem im Cockpitmodell festgelegt werden. Der festgelegte Ursprung und die Koordinaten dienen als globales Koordinatensystem, das einen Bezug für jedes in der Methodik verwendete lokale Koordinatensystem liefert, wie etwa lokale Koordinatensysteme, die zur Bestimmung der Position des Insassen und des Sitzes verwendet werden.

In Schritt 154 wird ein Sitz im Cockpit positioniert und in eine Pose gebracht. In einer beispielhaften Umsetzung können Position und Pose des Sitzes entlang mehrerer Bewegungsbereiche variieren. Zum Beispiel kann die Sitzposition entlang einer Längsachse des Fahrzeugs variieren, und der Neigungswinkel der Rückenlehne kann entlang eines vorbestimmten Bereich variieren. Außerdem kann die vertikale Lage sowohl der vorderen als auch der hinteren Kante des Sitzes zusammen mit der Stellung des Kopfhörers entlang des durch die Neigung der Rückenlehne definierten Winkels eingestellt werden. Die Parameter, die die Position des Sitzes entlang jedes Bewegungsbereichs definieren, können von einem Benutzer ausgewählt werden, für jeden Parameter gemäß einer vorbestimmten Liste zugewiesen werden oder zufällig aus damit verknüpften Wahrscheinlichkeitsverteilungen ausgewählt werden. Sofern der Parameter zufällig gewählt wird, versteht es sich, daß die Wahrscheinlichkeit der verschiedenen Werte der Parameter vom Fahrzeugmodell abhängig sein kann.

In Schritt 156 kann eines aus einer Vielzahl von Insassenmodellen ausgewählt werden, und das Insassenmodell kann im Cockpit angeordnet werden. Gemäß einer beispielhaften Umsetzung können die Insassenmodelle erwachsene Menschen mit unterschiedlicher Statur umfassen, einschließlich 95%-, 50%- und 5%-Erwachsener sowohl bezüglich Größe als auch Gewicht, Kinder unterschiedlichen Alters (z.B. 3 und 6 Jahre alt), einen Sitzaufsatz, einen rückwärts gerichteten Babysitz, einen vorwärts gerichteten Kindersitz, und verschiedene andere Gegenstände, die auf dem Sitz liegen können, so wie eine Handtasche, eine Tüte oder ein Wäschekorb. Sobald das Insassenmodell ausgewählt wurde, kann die Position des Insassen auf dem Sitz als Satz von einem oder mehreren Parametern ausgewählt werden. Es versteht sich, daß die verfügbaren Positionen auf dem Sitz mit dem Typ und der Größe des ausgewählten Insassenmodells variieren.

In Schritt 158 kann die Pose des Insassen ausgewählt werden. Je nach gewähltem Insassenmodell kann die Komplexität der Insassenpose variieren. Zum Beispiel kann im Fall einer Einkaufstüte die Insassenpose einfach durch die Auswahl eines aus einer begrenzten Zahl von Winkeln festgelegt werden, die der Tüte angesichts der Position der Tüte auf dem Sitz und der Position der Rückenlehne möglich sind. Im Fall eines menschlichen Insassen kann die Bestimmung der Pose jedoch recht komplex sein. Der menschliche Körper kann sich auf viele verschiedene Arten bewegen, und ein Modell eines menschlichen Insassen enthält idealerweise alle Hauptgelenkknoten, die mit einem echten menschlichen Körper verknüpft sind. Für jeden Gelenkknoten kann ein zugelassener Bereich definiert werden, und die Pose des Insassen entlang dieses Bereichs kann von einem Benutzer ausgewählt werden, gemäß anderen, zuvor generierten Parametern ausgewählt werden oder zufällig gemäß einer damit verknüpften Wahrscheinlichkeitsverteilung generiert werden. Es versteht sich, daß der zulässige Bereich und/oder die Wahrscheinlichkeitsverteilungen der verschiedenen Posenparameter voneinander genauso wie von der Position des Sitzes und den Abmessungen des Fahrzeugs abhängen können.

Die Anzahl an möglichen Posen ist in geringem Umfang durch die Stellung des Insassen in einem umschlossenen Fahrzeugcockpit begrenzt, aber im allgemeinen kann das Modell Arm- und Handbewegung eines Insassen entlang jeder aus einer Vielzahl von gängigen Posen berücksichtigen, einschließlich einer Verdrehung oder Neigung von Kopf und Hals, Bewegung oder Neigung des Torsos in drei Dimensionen (z.B. nach innen, nach außen, vorwärts, rückwärts und nach unten gekrümmt), Verdrehung des Torsos, Beinbewegung des Insassen, und Posen, die mit dem Halten von Objekten verknüpft sind, wie etwa Zeitungen, Büchern, Karten, Einkaufstüten und anderen gängigen Gegenständen. Es versteht sich, daß eine Anzahl anderer Posen in das Modell eingebunden werden kann, um eine vollständige oder nahezu vollständige Verkörperung aller verfügbaren Bewegungen innerhalb der Grenzen des Cockpits zu schaffen.

In Schritt 160 können Form und Größe des Insassen abgestimmt werden. Es versteht sich, daß sich die Art und das Maß der Form- und Größenänderung mit dem Typ des Insassenmodells ändert, wobei die Modelle der menschlichen Insassen das größte Maß an Änderung zulassen. Zum Beispiel kann das Insassenmodell so abgeändert werden, daß es Insassen von größerer oder geringerer Körpergröße oder Gewicht als das ursprüngliche Insassenmodell darstellt. Dementsprechend können die Insassenmodelle nicht nur die Körperformen darstellen, die durch die Modelle vorgegeben werden, sondern auch Körperformen, die zwischen den verfügbaren Modellen liegen.

Hautmaterial wird der Insassenoberfläche in Schritt 182 zugeteilt. Im dargestellten Beispiel ist eine Vielzahl von verschiedenen Hautoberflächen für ein gegebenes Insassenmodell verfügbar, die jeweils eine damit verknüpfte Farbe sowie unterschiedliche Absorptions- und Reflexionseigenschaften in verschiedenen in Frage kommenden Wellenlängenbanden haben. Es versteht sich, daß das Wort „Haut" hier im weiten Sinn verwendet wird, um die Oberflächen von menschlichen und nicht menschlichen Insassen zu beschreiben. Zahl und Variation der Hautmaterialien variieren mit dem Insassentyp.

In Schritt 184 können Kleidung und andere Accessoireobjekte zu einem Insassen hinzugefügt werden. Im Beispiel eines menschlichen Insassen können Kleidung, Mützen, Zeitungen, Winterjacken und andere Gegenstände dem Insassenmodell hinzugefügt werden. Nicht menschliche Insassenmodelle können andere Accessoires enthalten. Zum Beispiel kann eine Decke hinzugefügt werden, die einen Teil eines Insassenmodells bedeckt, das einen Kindersitz darstellt. Eine Vielzahl von Gegenständen kann für jedes Insassenmodell zur Verfügung gestellt werden, von denen jeder damit verknüpfte Absorptions- und Reflexionseigenschaften bei verschiedenen in Frage kommenden Wellenlängen und verknüpfte Oberflächenfarben hat.

In Schritt 186 werden den sichtbaren Oberflächen im Cockpit Materialien zugewiesen. Gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung kann die Zuweisung von Materialien zu den Cockpitoberflächen auf Oberflächen beschränkt sein, die im Gesichtsfeld von einer oder mehreren mit dem Fahrzeug verknüpften Kameras liegen. Es versteht sich, daß die für die Anwendung auf die Cockpitoberflächen zur Verfügung stehenden Oberflächen durch die Art der sichtbaren Oberflächen und das Fahrzeugmodell beschränkt sein können. Jede Oberfläche hat eine zugeordnete Farbe, genauso wie verschiedene Absorptions- und Reflexionseigenschaften in verschiedenen in Frage kommenden Wellenlängenbanden.

In Schritt 188 wird ein Beleuchtungsmodell als eine Gruppe von einer oder mehreren Lichtquellen erstellt. Jede Lichtquelle kann durch eine Vielzahl von Parametern definiert werden, die die Quelle (z.B. Sonnenlicht oder künstliches Licht), die Richtung und die Intensität der Lichtquelle darstellen. Die Intensität und die Richtung der Lichtquelle können zufällig aus einer Reihe vordefinierter Verteilungen generiert werden oder von einem Benutzer bereitgestellt werden. Es versteht sich, daß die zulässigen Bereiche und Wahrscheinlichkeitsverteilungen teilweise vom Ort der künstlichen Beleuchtung im Fahrzeug abhängen.

In Schritt 190 wird ein Bild der virtuellen Szene erfaßt, die das Cockpitmodell, das Sitzmodell und das Insassenmodell enthält, unter Berücksichtigung einer bekannten Kameraperspektive und dem eingestellten Beleuchtungsmodell. Die virtuelle Szene wird gemäß der Kameraperspektive zugeschnitten, und nur die sichtbaren Oberflächen der virtuellen Szene werden beibehalten. Der endgültige Wert für jedes Pixel wird als Funktion der 3d-Geometrie der Szene, der normalen Farbe bzw. Helligkeit der Szene, des ausgewählten Oberflächenmaterials, der Beleuchtung und allen bekannten Eigenschaften der Kameralinse berechnet. Gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung können mehrere Bilder von einer gegebenen Szene gemacht werden, einschließlich eines Farbbilds, eines Graustufenbilds und eines Satzes von Bildern, die zur Generierung einer Stereodisparitätskarte verwendet werden. Das generierte Bild kann von äußerlichen Kameraparametern wie der Position und Ausrichtung der Kamera sowie von intrinsischen Kameraparametern wie dem Gesichtsfeld der Linse, Verzeichnung, Rauschen im Bildgeber und ähnlichen Eigenschaften abhängen. Die erzeugten Bilder können einer Vielzahl von Trainingsproben für den Klassifikator hinzugefügt werden.

5 stellt eine Methodik 200 für ein Endlosschleifentraining eines Mustererkennungs-Klassifikators gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung dar. In Schritt 202 wird eine Vielzahl von virtuellen Trainingsbildern mit bekannten Ausgabeklassen generiert. In Frage kommende Merkmale können aus jedem Bild als numerische Werte extrahiert werden, um einen mit dem Bild verknüpften Merkmalsvektor zu erzeugen. In Schritt 204 wird ein Mustererkennungs-Klassifikator an den Bildern trainiert, um ihm zu ermöglichen, zwischen einer Vielzahl von durch das Bild dargestellten Ausgabeklassen zu unterscheiden. Aus den Trainingsdaten kann der Mustererkennungs-Klassifikator einen oder mehrere Parameter berechnen, die verwendet werden können, um unbekannte Proben in eine aus der Vielzahl der Trainingsproben einzuordnen.

Zum Beispiel kann ein als Stützvektormaschine umgesetzter Mustererkennungs-Klassifikator aus verknüpften Trainingsbildern extrahierte Daten so verarbeiten, daß Funktionen erzeugt werden, die Grenzen in einem durch die verschiedenen in Frage kommenden Merkmale definierten Merkmalsraum abbilden. Die abgegrenzte Region jeder Klasse definiert einen Bereich von Merkmalswerten, die mit jeder aus der Vielzahl von Klassen verknüpft sind. Der Ort des das Eingangsbild in Bezug auf diese Grenzen darstellenden Merkmalsvektors kann verwendet werden, um die Klassenzugehörigkeit des Eingangsbildes und den damit verknüpften Vertrauenswert zu bestimmen.

Alternativ enthält ein Mustererkennungs-Klassifikator, der als künstliches neuronales Netzwerk ausgeführt ist, eine Vielzahl von Knoten, die eine Vielzahl von Verbindungen aufweisen. Jede aus der Vielzahl der Verbindungen hat eine zugeordnete Gewichtung, die auf numerische Daten angewandt werden kann, die entlang der Verbindung von Knoten zu Knoten übergeben werden. Die mit den Trainingsbildern verknüpften Merkmalsvektoren werden dem System zusammen mit ihrer verknüpften Klasse zugeführt, um die mit den Verbindungen verknüpften Gewichtungen auf passende Werte abzustimmen, um zwischen der Vielzahl von Ausgabeklassen unterscheiden zu können.

In Schritt 206 wird eine Vielzahl virtueller Verifikationsbilder mit bekannten Ausgabeklassen generiert. In Schritt 208 wird die Vielzahl virtueller Verifikationsbildern im Klassifikator klassifiziert. Die Ergebnisse werden in Schritt 210 ausgewertet, um zu bestimmen, ob die Leistung des Klassifikators ausreichend ist. In diesem Schritt können die vom Klassifikator zurückgewiesenen oder fehlklassifizierten Verifikationsbilder in den Speicher geschrieben werden, und die Gesamtgenauigkeits- und Zurückweisungsrate des Systems kann bestimmt werden. Gemäß einer beispielhaften Umsetzung kann eine Fitnessmetrik für den Klassifikator in Abhängigkeit von der Genauigkeit und/oder der Zurückweisungsrate, die mit dem Klassifikator verbunden sind, bestimmt werden. Die Fitnessmetrik kann mit einem Schwellenwert verglichen werden, um zu bestimmen, ob die Leistung des Klassifikators ein gewünschtes Niveau erreicht.

Ist die Klassifikatorleistung nicht ausreichend (N) schreitet die Methodik 200 zu Schritt 212 fort, in dem die zurückgewiesenen und fehlklassifizierten Bilder in den Trainingssatz aufgenommen werden. Die Methodik kehrt dann zu Schritt 204 zurück, in dem der Klassifikator an dem überarbeiteten Trainingssatz erneut trainiert wird, und ein weiterer Satz von Verifikationsbildern wird generiert, um die Klassifikatorleistung zu überprüfen. Ist die Leistung des Klassifikators ausreichend (Ja), wird der Klassifikator in Schritt 214 angenommen und die Methodik endet.

6 stellt ein Blockschaltbild eines Systems 250 zur Generierung von Bildern einer virtuellen Realität gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung dar. Die Generierung der virtuellen Bilder beginnt mit der Zuweisung von einem oder mehreren Parametern zum Cockpitmodell 252, das ein Sitzmodell 254 und ein Innenraummodell 256 enthält. Eine Vielzahl von Parametern kann für das Cockpitmodell ausgewählt werden, um ein Exemplar des Cockpitmodells zu erzeugen, das einen Satz von mit den Parametern verknüpften Kennzeichen aufweist. Die Parameter können z.B. die Abmessungen des Cockpits, die Konfiguration des Cockpits, die Position und Ausrichtung des Sitzes und die wahrgenommene Farbe und Textur einer oder mehrerer Oberflächen, die mit dem Cockpit und dem Sitz verknüpft sind, definieren.

Eine zweite Komponente der virtuellen Szene wird von einem oder mehreren Insassenmodellen 258 geliefert, die jeweils unterschiedliche Insassentypen darstellen. Die Insassenmodelle können erwachsene Menschen verschiedener Größe, Kinder verschiedenen Alters, Kindersitze und andere gewöhnliche Objekte, die sich auf dem Sitz befinden können, enthalten. Eine Vielzahl von Parametern sind zur Generierung eines Exemplars des Insassenmodells 258 einem ausgewählten Insassenmodell 258 zugeordnet. Die Vielzahl von Parametern beinhaltet einen oder mehrere Parameter, die auf ein Größen- und Formmodell 260 bezogen sind, und einen oder mehrere Parameter, die auf ein Posenmodell 262 bezogen sind. Parameter, die mit dem Insassenmodell verknüpft sind, können im Beispiel eines menschlichen Insassen die Größe, das Gewicht, die Pose, die Hautfarbe, die Lichtabsorptions- und Lichtreflexionseigenschaften und die Kleidung des Insassen definieren. Es versteht sich, daß ähnliche Sätze von Parametern für andere Insassentypen bereitgestellt werden können.

In einer Ausführungsform kann die Insassenbewegung 263 so modelliert sein, daß eine Reihe von dynamischen Trainingsbildern erzeugt werden kann. Das Insassenbewegungsmodell 263 kann zum Beispiel eine Vielzahl von gewöhnlichen Insassenbewegungen (z.B. Armbewegungen, Torsobewegungen) umfassen, die als eine zeitliche Abfolge einer Reihe von Bildern oder als Videoproben simuliert werden können. Diese Bilderfolgen können verwendet werden, um dynamische Merkmale zur Klassifikation zu bestimmen oder können die Auswertung einer kontinuierlichen Bildsequenz zur Verfolgung des Kopfs eines menschlichen Insassen gestatten. Außerdem können die Videobilder verwendet werden, um verschiedene Ereignisse (z.B. Crash- oder Pre-Crash-Ereignisse, Fahrbedingungen, usw.) zu simulieren.

Eine dritte Komponente des virtuellen Bilds enthält ein Beleuchtungsmodell 264. Ein Exemplar des Beleuchtungsmodells 264 kann durch eine Vielzahl von Parametern definiert werden, die eine oder mehrere Lichtquellen, die Richtung der Lichtquellen und die Intensität der Lichtquellen darstellen. In einer Umsetzung kann das Beleuchtungsmodell 264 ein dynamisches Beleuchtungsmodell 265 enthalten, das Veränderungen der Beleuchtung über einen Zeitraum simuliert. Hierdurch kann die Genauigkeit der Generierung von Bildfolgen und Videoproben für einen damit verknüpften Klassifikator erhöht werden. Schließlich kann eine Kameraperspektive als Exemplar eines Kameramodells 266 ausgewählt werden. Das Kameramodell 266 liefert sowohl einen Kamerawinkel als auch ein Gesichtsfeld zur Generierung eines Bildes des Fahrzeuginnenraums. Es versteht sich, daß die verfügbaren mit dem Kameramodell 266 verknüpften Gesichtsfelder und Kamerawinkel auf dem Ort einer oder mehrerer Kameras im Fahrzeuginneren basieren können.

Das System 250 zur Generierung von Bildern einer virtuellen Realität kann auch ein dynamisches Fahrzeugmodell 267 enthalten, das zeitliche Veränderungen am empfundenen Fahrzeuginnenraums simuliert. Zum Beispiel können sich zur Simulation einer abrupten Bewegung des Fahrzeugs, wie sie eine Pre-Crash-Bedingung oder eine scharfe Kurve verursachen könnte, Gegenstände im Hintergrund verlagern. Das generierte Exemplar des Cockpitmodells 252, des Insassenmodells 258, des Beleuchtungsmodells 264, des Kameramodells 266 und des dynamischen Fahrzeugmodells 267 werden einem Konstruktor 270 für Szenen der virtuellen Realität zugeführt. Der Konstruktor 270 für Szenen der virtuellen Realität vereinigt die dreidimensionalen Bilder, die durch die verschiedenen Exemplare der Modelle dargestellt werden, in einer logischen Weise so, daß eine Darstellung eines in einem Fahrzeuginnenraum sitzenden Insassen erzeugt wird. Zum Beispiel werden Oberflächen im Cockpit-Exemplar oder im Sitzexemplar, die aufgrund der Anwesenheit eines Insassen nicht sichtbar wären, durch neue Oberflächen ersetzt, die durch das Insassenexemplar definiert sind. Ein endgültiger Wert für jedes Pixel wird in Abhängigkeit von der 3d-Geometrie der Szene, der normalen Farbe oder Helligkeit der Szene, des ausgewählten Oberflächenmaterials, der Beleuchtung und allen bekannten Eigenschaften der Kameralinse berechnet. Das endgültige virtuelle Realitätsbild liefert eine dreidimensionale Ansicht des Cockpits, das aus jedem von einer Vielzahl von Winkeln so abgebildet werden kann, daß ein realistisches zweidimensionales Bild des virtuellen Innenraums entsteht.

Eine Vielzahl von Bildern und Bildfolgen des Fahrzeuginnenraums kann aus der ausgewählten Kameraperspektive in den jeweiligen Bildgeneratoren 271, 272, 274 und 276 generiert werden. Die Bildgeneratoren können einen dynamischen Bildgenerator 271 enthalten, der eine Abfolge von Bildern als Videoprobe erzeugt, einen Graustufenbildgenerator 272, einen Farbbildgenerator 274 und einen Stereodisparitätsbildgenerator 276. In jedem Bildgenerator 271, 272, 274 und 276 wird die virtuelle Szene gemäß der Kameraperspektive zugeschnitten, und nur die sichtbaren Oberflächen der virtuellen Szene werden beibehalten. Die generierten Bilder werden den jeweiligen Merkmalsextraktoren 279, 280, 282 und 284 zugeführt. Jeder der Merkmalsextraktoren 279, 280, 282 und 284 extrahiert eine Vielzahl von numerischen Merkmalswerten aus dem ihm zugeordneten Bild oder Bildsequenz als Merkmalsvektor gemäß einer Vielzahl von quantifizierbaren Kennzeichen. Es versteht sich, daß die mit jedem der Merkmalsextraktoren verknüpften Kennzeichen unterschiedlich sein können, um eindeutige Kennzeichen der ihm zugeordneten Bilder oder Bildfolgen auszunutzen. Beispielhafte Kennzeichen können u.a. eine Verschiebung eines identifizierten Punkts während der Bildfolge, ein durchschnittlicher Helligkeitswert des Bildes oder eines oder mehrerer Bereiche des Bildes, ein oder mehrere durchschnittliche Farbsättigungswerte des Bildes oder eines oder mehrerer Bereiche des Bildes oder ein oder mehrere durchschnittliche Tiefenwerte des Bildes oder eines oder mehrerer Bildbereiche sein.

Die in der Vielzahl von Merkmalsextraktoren 279, 280, 282 und 284 generierten Merkmalsvektoren werden in einer Merkmalsvereinigungskomponente 286 zu einem zusammengesetzten Merkmalsvektor kombiniert. Der zusammengesetzte Merkmalsvektor kann einen oder mehrere Merkmalswerte aus jedem der generierten Merkmalsvektoren sowie einen oder mehrere Merkmalswerte enthalten, die abhängig von einem Satz von einem oder mehreren Merkmalswerten aus den generierten Merkmalsvektoren bestimmt werden. Der zusammengesetzte Merkmalsvektor kann dann einem Mustererkennungs-Klassifikator 290 als Trainingsprobe oder Verifikationsprobe übergeben werden. Der Mustererkennungs-Klassifikator 290 ist so ausgelegt, daß er wenigstens ein Kennzeichen des Insassen identifiziert. Zum Beispiel kann der Klassifikator 290 einen verknüpften Insassentyp (z.B. Erwachsener, Kind, Kindersitz usw.) bestimmen. Alternativ kann der Klassifikator 290 verwendet werden, um zwischen einer Vielzahl von Kopfkandidaten als Teil eines Kopfverfolgungssystems zu unterscheiden.

Gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung kann der Mustererkennungs-Klassifikator 290 an einer Vielzahl von Trainingsproben trainiert werden, die von der Merkmalsvereinigungskomponente 286 geliefert werden, die verwendet werden, um einen bereitgestellten Satz von Verifikationsproben zu klassifizieren, die eine bekannte Klassenzugehörigkeit haben. Es versteht sich, daß der Klassifikator 290 eventuell eine oder mehrere der Trainingsproben fehlklassifiziert oder zurückweist. Die Leistung des Klassifikators 290 kann über die Häufigkeit dieser fehlklassifizierten bzw. zurückgewiesenen Proben bestimmt werden, und der Klassifikator kann an den fehlklassifizierten bzw. zurückgewiesenen Proben trainiert werden, sofern die Klassifikatorleistung ein gewünschtes Niveau nicht erreicht. Dies kann iterativ fortgesetzt werden, wobei die Merkmalsvereinigungskomponente 286 neue Sätze von Verifikationsproben an den Klassifikator 290 übergibt, bis der Klassifikator ein gewünschtes Leistungsniveau erreicht.

7 stellt ein Datenverarbeitungssystem 300 dar, das in ein Fahrzeug integriert werden kann und die hier beschriebenen Systeme und Verfahren umsetzt, wie etwa solche, die auf computerausführbaren Befehlen basieren, die auf dem Datenverarbeitungssystem laufen. Das Datenverarbeitungssystem 300 kann als ein oder mehrere universal einsetzbare, vernetzte Computersysteme ausgeführt sein, als eingebettete Computersysteme, Wegewähler, Netzwerkumschalter, Servergeräte, Arbeitsstationen, verschiedene zwischengeschaltete Geräte/Knoten und/oder eigenständige Computersysteme. Außerdem kann das Datenverarbeitungssystem 300 als Teil eines rechnergestützten Entwicklungsdienstprogramms (CAE, computer-aided engineering) umgesetzt sein, das rechnerausführbare Befehle verarbeitet, um ein hier beschriebenes Verfahren auszuführen.

Das Datenverarbeitungssystem 300 enthält einen Prozessor 302 und einen Systemspeicher 304. Ein Systembus 306 verbindet verschiedene Systemkomponenten, einschließlich einer Verbindung des Systemspeichers 304 mit dem Prozessor 302. Duale Mikroprozessoren bzw. andere Multiprozessorarchitekturen können auch als Prozessor 302 verwendet werden. Der Systembus 306 kann als beliebiger von verschiedenen Typen von Busstrukturen ausgeführt sein, einschließlich eines Speicherbusses oder Speicherkontrollers, eines Peripheriebusses oder eines Lokalbusses, die jede beliebige aus verschiedenen Busarchitekturen verwenden können. Der Systemspeicher 304 enthält einen Festwertspeicher (ROM) 308 und einen Direktzugriffsspeicher (RAM) 310. Ein Basic Input/Output System (BIOS) 312 kann sich im ROM 308 befinden und enthält allgemein die grundlegenden Routinen, die den Informationstransfer zwischen den Elementen des Computersystems 300 unterstützen, wie ein Zurücksetzen oder ein Anschalten.

Das Computersystem 300 kann einen Langzeitspeicher 314 enthalten, z.B. eine magnetische Festplatte, ein optisches Laufwerk, Magnetbänder oder eine oder mehrere Flash-Speicherkarten. Der Langzeitspeicher 314 kann computerausführbare Befehle zur Umsetzung hier beschriebener Systeme und Verfahren enthalten. Eine Anzahl von Programmodulen kann auch im Langzeitspeicher genauso wie im RAM 310 gespeichert sein, einschließlich eines Betriebssystems 330, eines oder mehrerer Anwendungsprogramme 332, anderer Programmodule 334 und Programmdaten 336.

Das Datenverarbeitungssystem 300 kann über eine Schnittstelle oder einen Adapter 342 an einen Fahrzeugbus 340 angeschlossen sein, so daß es mit einem oder mehreren Fahrzeugsystemen kommunizieren kann. Außerdem kann das Datenverarbeitungssystem 300 über eine logische Verbindung 346 mittels einer externen Steuerschnittstelle 348 mit einem entfernten Rechner 344 zu Konfigurations- oder Diagnosezwecken verbunden sein. Der entfernte Rechner 344 kann ein Arbeitsplatzrechner, ein Computersystem, ein Wegewähler, ein Endpunktgerät oder ein anderer gängiger Netzwerkknoten sein und enthält normalerweise viele oder alle der mit Bezug auf das Computersystem 300 beschriebenen Elemente. Diagnoseprogramme 352 und Konfigurationsdaten 354 können im Speicher 356 des entfernten Rechners 344 gespeichert sein.

Aus der obigen Beschreibung der Erfindung ergeben sich für den Fachmann Verbesserungen, Änderungen und Modifikationen. Derartige fachmännische Verbesserungen, Änderungen und Modifikationen sollen unter die nachfolgenden Ansprüche fallen.


Anspruch[de]
Verfahren zum Generieren von Trainingsproben für ein Klassifikationssystem, das einem Fahrzeuginsassenschutzsystem zugeordnet ist, mit den Schritten:

Generieren einer dreidimensionalen virtuellen Realitätsszene aus einem Cockpitmodell, das einen Satz von wenigstens zwei benutzerkonfigurierbaren Parametern aufweist, und einem Insassenmodell, das einen Satz von wenigstens zwei benutzerkonfigurierbaren Parametern und eine Vielzahl von Gelenkknoten aufweist; und

Generieren einer Vielzahl von Proben aus der virtuellen Realitätsszene, wobei jede aus der Vielzahl von Trainingsproben einen ersten Satz von Parametern aufweist, die mit dem Cockpitmodell verknüpft sind, einen zweiten Satz von Parametern, die mit dem Insassenmodell verknüpft sind, und eine Insassenpose, die gemäß den mit dem Insassenmodell verknüpften Gelenkknoten definiert ist.
Verfahren nach Anspruch 1, mit dem weiteren Schritt, eine Vielzahl von Verifikationsproben aus der virtuellen Szene zu generieren, wobei jede aus der Vielzahl der Verifikationsproben einen ersten Satz von Parametern aufweist, die mit dem Cockpitmodell verknüpft sind, einen zweiten Satz von Parametern, die mit dem Insassenmodell verknüpft sind, und eine Insassenpose, die gemäß den mit dem Insassenmodell verknüpften Gelenkknoten definiert ist. Verfahren nach Anspruch 2, mit den weiteren Schritten:

Trainieren eines Mustererkennungs-Klassifikators an der Vielzahl von Trainingsproben;

Klassifizieren der Vielzahl von Verifikationsproben im Mustererkennungs-Klassifikator; und

Bestimmen einer Fitneßmetrik für den Mustererkennungs-Klassifikator in Abhängigkeit von einer Genauigkeits- und/oder einer Zurückweisungsrate, die mit dem Klassifikator verknüpft ist, gemäß bekannter Klassenzugehörigkeiten der Vielzahl von Verifikationsproben.
Verfahren nach Anspruch 3, mit den weiteren Schritten:

Identifizieren eines Satzes von wenigstens einer aus der Vielzahl der Verifikationsproben, die von dem Mustererkennungs-Klassifikator nicht korrekt klassifiziert wurde; und

Trainieren des Mustererkennungs-Klassifikators am identifizierten Satz von Verifikationsproben, wenn die Fitneßmetrik für den Mustererkennungs-Klassifikator einen Schwellenwert nicht erreicht.
Verfahren nach Anspruch 3, mit den weiteren Schritten:

Vornehmen einer Sensormessung des Fahrzeuginnenraums in einem Sensor, der im Fahrzeug angeordnet ist;

Klassifizieren der Sensormessung im Mustererkennungs-Klassifikator in eine ausgewählte aus einer Vielzahl von Ausgabeklassen; und

Ansteuern des Fahrzeuginsassenschutzsystems gemäß der gewählten Ausgabeklasse.
Verfahren nach Anspruch 1, bei dem der Schritt der Generierung einer dreidimensionalen virtuellen Realitätsszene eines Fahrzeugs die folgenden Schritte enthält:

Zuweisen von Werten für den Satz von wenigstens zwei Parametern, die mit dem Cockpitmodell verknüpft sind, zur Generierung eines Exemplars des Cockpitmodells, das wenigstens ein gewünschtes Kennzeichen aufweist;

Zuweisen von Werten für den Satz von wenigstens zwei Parametern, die mit dem Insassenmodell verknüpft sind, zur Generierung eines Exemplars des Insassenmodells, das wenigstens ein gewünschtes Kennzeichen aufweist; und

Vereinigen des generierten Exemplars des Cockpitmodells und des generierten Exemplars des Insassenmodells zur Erzeugung der dreidimensionalen Szene der virtuellen Realität.
Verfahren nach Anspruch 1, bei dem der Schritt der Generierung einer Vielzahl von Trainingsproben aus der virtuellen Szene das Generieren eines Farbbildes, eines Graustufenbildes und eines Stereodisparitätsbildes aus wenigstens einer Kameraperspektive enthält. Verfahren nach Anspruch 7, mit den weiteren Schritten:

Extrahieren eines ersten Satzes von numerischen Merkmalen aus dem Farbbild;

Extrahieren eines zweiten Satzes von numerischen Merkmalen aus dem Graustufenbild;

Extrahieren eines dritten Satzes von numerischen Merkmalen aus dem Stereodisparitätsbild; und

Erstellen eines zusammengesetzten Merkmalsvektors, um einen Mustererkennungs-Klassifikator aus dem ersten Satz numerischer Merkmale, dem zweiten Satz numerischer Merkmale und dem dritten Satz numerischer Merkmale zu trainieren.
Verfahren nach Anspruch 1, bei dem der Schritt des Generierens einer Vielzahl von Trainingsproben den Schritt enthält, eine zeitliche Abfolge von Bildern zu generieren und/oder den Schritt, eine Ausgabe aus einer Anordnung von Gewichtssensoren zu simulieren. System zur Generierung einer Vielzahl von Proben, bei dem die Proben als Trainings- und Verifikationsproben für einen Mustererkennungs-Klassifikator verwendet werden können, mit:

einem Cockpitmodell, das gemäß einer Vielzahl von Parametern konfigurierbar ist und das einen Fahrzeuginnenraum in einem dreidimensionalen Raum simuliert,

einem Insassenmodell, das gemäß einer Vielzahl von Parametern konfigurierbar ist und das einen Fahrzeuginsassen simuliert;

einem Konstruktor von Szenen einer virtuellen Realität, der das Insassenmodell und das Cockpitmodell unter Bildung einer dreidimensionalen virtuellen Realitätsszene vereinigt; und

einem Bildgenerator, der ein Bild der dreidimensionalen virtuellen Realitätsszene aus einer ausgewählten Kameraperspektive generiert.
System nach Anspruch 10, bei dem das Cockpitmodell ein Sitzmodell enthält, das einen Fahrzeugsitz gemäß einer Vielzahl von Parametern simuliert, wobei wenigstens einer aus der Vielzahl von mit dem Sitzmodell verknüpften Parametern die Position des Sitzes im Cockpit definiert. System nach Anspruch 11, bei dem die Vielzahl von Parametern, die mit dem Sitzmodell verknüpft ist, wenigstens einen Parameter enthält, der die Ausrichtung des Sitzes entlang wenigstens eines Bewegungsbereichs enthält. System nach Anspruch 10, bei dem die Vielzahl von Parametern, die mit dem Insassenmodell verknüpft ist, wenigstens einen Parameter enthält, der eine Pose des Insassen entlang wenigstens eines Gelenkknotens definiert. System nach Anspruch 10, bei dem der Bildgenerator so ausgelegt ist, daß er eine Vielzahl von Bildern der virtuellen Szene generiert, wobei die zugeordneten Kameraperspektiven der Vielzahl von Bildern so ausgewählt sind, daß eine Stereodisparitätskarte aus der Vielzahl von Bildern erzeugt werden kann. System nach Anspruch 10, bei dem das System eine Vielzahl von Insassenmodellen aufweist, die jeweils einen zugeordneten Insassentyp darstellen, und bei dem eines aus der Vielzahl der Insassenmodelle zur Verwendung in der virtuellen Realitätsszene ausgewählt wird. System nach Anspruch 15, bei dem das ausgewählte Insassenmodell einen erwachsenen Menschen darstellt und wenigstens einer aus der Vielzahl von Parametern, die mit dem Insassenmodell verknüpft sind, eine Größe und ein Gewicht des Insassen definiert. System nach Anspruch 10, bei dem die Vielzahl von Parametern, die mit dem Insassenmodell verknüpft ist, wenigstens einen Parameter enthält, der wenigstens eine chromatische Eigenschaft der Oberfläche des Insassen definiert. Computerprogrammerzeugnis, das auf einem computerlesbaren Medium umgesetzt und in einem Datenverarbeitungssystem ausführbar ist, zur Bestimmung wenigstens eines Kennzeichens eines Fahrzeuginsassen, mit:

einer Komponente zur Generierung eines Satzes von Verifikationsproben für den Mustererkennungs-Klassifikator, die eine bekannte Klassenzugehörigkeit haben, mit:

einem gemäß einer Vielzahl von Parametern konfigurierbaren Cockpitmodell, das einen Fahrzeuginnenraum in einem dreidimensionalen Raum simuliert;

einem gemäß einer Vielzahl von Parametern konfigurierbaren Insassenmodell, das einen Fahrzeuginsassen simuliert;

einem Probengenerator, der aus dem Cockpitmodell und dem Insassenmodell eine Probe für den Klassifikator generiert; und

einem Mustererkennungs-Klassifikator, der so ausführbar ist, daß er den Satz von Verifikationsproben klassifiziert, einen Satz von wenigstens einer Verifikationsprobe aus dem Satz von Verifikationsproben identifiziert, die nicht richtig klassifiziert wurde, und den identifizierten Satz von wenigstens einer Verifikationsprobe in einen Satz von mit dem Klassifikator verknüpften Trainingsdaten eingliedert.
Computerprogrammerzeugnis nach Anspruch 18, bei dem die Komponente zur Generierung eines Satzes von Verifikationsproben so ausführbar ist, daß sie einen neuen Satz von Verifikationsproben für den Mustererkennungs-Klassifikator erzeugt, wenn ein Fitneßparameter, der mit dem Mustererkennungs-Klassifikator verknüpft ist, einen Schwellenwert nicht erreicht. Computerprogrammerzeugnis nach Anspruch 18, bei dem die Vielzahl von Parametern, die mit dem Insassenmodell verknüpft ist, wenigstens einen Parameter enthält, der die Pose des Insassen entlang wenigstens eines Gelenkknotens definiert. Computerprogrammerzeugnis nach Anspruch 18, bei dem die Komponente zur Generierung eines Satzes von Verifikationsproben einen Konstruktor für Szenen einer virtuellen Realität enthält, der das Insassenmodell und das Cockpitmodell unter Bildung einer dreidimensionalen virtuellen Realitätsszene vereinigt, wobei der Bildgenerator so ausführbar ist, daß wenigstens eine zweidimensionale Darstellung der dreidimensionalen virtuellen Realitätsszene gemäß einer damit verknüpften Kameraperspektive generiert wird.






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com