PatentDe  


Dokumentenidentifikation DE69513124T2 17.08.2000
EP-Veröffentlichungsnummer 0704782
Titel Videokontrollverfahren zur Fernsteuerung von Maschinen insbesondere von Fahrzeugen und Vorrichtung zur Durchführung des Verfahrens
Anmelder Société M5, Salbris, FR
Erfinder Bailly, Michel, F-92402 Courbevoie Cedex, FR
Vertreter Prinz und Kollegen, 81241 München
DE-Aktenzeichen 69513124
Vertragsstaaten DE, ES, FR, GB, IT
Sprache des Dokument Fr
EP-Anmeldetag 22.09.1995
EP-Aktenzeichen 954021333
EP-Offenlegungsdatum 03.04.1996
EP date of grant 03.11.1999
Veröffentlichungstag im Patentblatt 17.08.2000
IPC-Hauptklasse G05D 1/00

Beschreibung[de]

Die vorliegende Erfindung betrifft ein Verfahren zur Videofernsteuerung von Maschinen, insbesondere von Fahrzeugen, sowie eine Vorrichtung zur Durchführung dieses Verfahrens.

Zur Fernsteuerung von Fahrzeugen wie einer Baumaschine muß die Umgebung dieses Fahrzeugs wenigstens so vollständig zu sehen sein, wie sie der Fahrer sehen würde, wenn er am Steuerstand dieses Fahrzeugs wäre.

Eine erste bekannte Lösung für dieses Visualisierungsproblem besteht darin, ein ferngesteuertes Fahrzeug mit mehreren Videokameras auszustatten, die unterschiedlich orientiert sind und/oder unterschiedliche Brennweiten haben, und ihre Videosignale sequentiell auf einem HF-Kanal zu übertragen. Eine solche Lösung ist zwar für ein Fahrzeug zufriedenstellend, das steht oder mit sehr niedriger Geschwindigkeit fährt, kann aber nicht für ein Fahrzeug ins Auge gefaßt werden, das schnell fährt und/oder Geräte aufweist (Schaufellader, Bedienungshebel...), die mit sehr niedriger Reaktionszeit gesteuert werden müssen.

Eine Variante dieser ersten Lösung besteht darin, die Videosignale mehrere Kameras derart zu gruppieren (beispielsweise in Gruppen von 4), daß ein einziges Bild entsteht, das in mehrere (bei dem obengenannten Beispiel vier) Zonen unterteilt ist, von denen jede dem von einer der Kameras gelieferten Bild entspricht, wobei dieses einzige Bild auf einem einzigen Übertragungskanal übertragen und beim Empfang mit eben diesen Zonen visualisiert wird. Eine solche Lösung verringert nicht nur die Größe der verschiedenen Teilbilder, sondern ist auch schwierig zu interpretieren, da die Anordnung der Teilbilder (die jeweils einen Quadranten des Anzeigebildschirms einnehmen) nicht der Anordnung der Kameras entspricht.

Aus den Dokumenten US-A-3 564 134, DE-C1-3 928 244 und US-A-5 170 352 sind Verfahren zur Videofernsteuerung von Maschinen bekannt, aber keines von ihnen ermöglicht die Übertragung der Videosignale einer großen Anzahl von Kameras auf einem herkömmlichen Videoübertragungskanal.

Der Gegenstand der vorliegenden Erfindung ist ein Verfahren zur Fernsteuerung von Maschinen, insbesondere von Fahrzeugen, das die Visualisierung der Umgebung dieser Maschinen so realistisch wie möglich in Echtzeit zuläßt, wobei nur ein einziger Videoübertragungskanal zwischen einer Maschine und ihrem entfernten Steuerstand verwendet wird.

Der Gegenstand der vorliegenden Erfindung ist auch eine Vorrichtung zur Durchführung dieses Verfahrens, die kostengünstig, leicht in praktisch jeden Maschinentyp einzubauen und robust sein soll.

Das Verfahren nach der Erfindung, bei dem mehrere in der fernzusteuernden Maschine angeordnete Kameras, die verschieden orientiert sind und/oder verschiedene Brennweiten haben, und ein entfernter Steuerstand verwendet werden, wobei die Verbindung zwischen dem Steuerstand und der Maschine über Draht oder Funkwellen hergestellt wird, besteht darin, in der Maschine selbst die von den verschiedenen Kameras stammenden Videosignale nach Art der Videomischung zu mischen, wie sie in Studios durchgeführt wird, das resultierende Signal auf einem einzigen Übertragungskanal zu dem Steuerstand zu übertragen, in dem Steuerstand die derart gemischten Bilder auf einer oder mehrerer Anzeigeeinrichtungen zu visualisieren und von dem Steuerstand aus die verschiedenen Fernsteuerbefehle für die Maschine und die verschiedenen Kameras auf dem gleichen Kanal oder auf einem anderen Kanal zu übertragen.

Die Vorrichtung nach der Erfindung weist in einem Fernsteuerzentrum einen Sender für Fernsteuerdaten, einen Video- und Audioempfänger und wenigstens einen Videomonitor und in der fernzusteuernden Maschine einen Video- und Audiosender und einen Fernsteuerempfänger sowie mehrere Vidoekameras auf, und sie ist dadurch gekennzeichnet, daß die Maschine eine Videomischeinrichtung aufweist. Ist die Maschine Vibrationen unterworfen, dann sind die Kameras und gegebenenfalls die empfindlichen elektronischen Einrichtungen, die sie aufweist, vorteilhaft mit Einrichtungen ausgestattet, die die Vibrationen dämpfen, die zu ihnen übertragen werden könnten.

Die vorliegende Erfindung ist leichter aus der Lektüre der detaillierten Beschreibung einer beispielhaften, nicht einschränkenden Ausführungsform zu verstehen, die durch die beigefügte Zeichnung veranschaulicht ist, deren einzige Figur ein Blockdiagramm einer bevorzugten Ausführungsform der Erfindung ist.

Die Vorrichtung der Erfindung, die in der einzigen Figur der Zeichnung schematisch dargestellt ist, weist im wesentlichen einen Steuerstand 1, der allgemein festgelegt ist (aber auch mobil sein kann), und einen Fernsteuerstand 2 auf, der an einer Maschine angeordnet ist, die mobil und/oder Vibrationen unterworfen ist. Diese Maschine kann beispielsweise eine Baumaschine (Schaufellader, Bagger...), ein Teleoperator, ein Militärfahrzeug oder ein Raumfahrzeug... sein.

Der Steuerstand 1, in dem sich der Bediener befindet, der die Maschine mit dem Stand 2 fernsteuert, weist im wesentlichen eine Fernsteuereinrichtung 3 auf, die mit einem Sender 4 und einem Videoverwaltungsgehäuse 5 verbunden ist. Der Sender 4 ist beispielsweise ein Funksender und in diesem Fall mit einer Sendeantenne 6 verbunden (falls die Verbindung zwischen dem Steuerstand und der Maschine über Funkwellen hergestellt wird), kann aber auch ein Kabeladapter sein, wenn die Verbindung über Draht hergestellt wird. Das Gehäuse 5 weist im wesentlichen die versetzten Steuerungen der (unten beschriebenen) Mischeinheit des Stands 2 auf. Diese versetzten Steuerungen sind beispielsweise die Auswahl der verschiedenen Kameras des Stands 2, die Überlagerung von Detailansichten und Gesamtansichten...

Der Steuerstand 1 weist auch mehrere Visualisierungsmonitore 7A, 7B... auf. Jeder dieser Monitore hat die Aufgabe, einen mehr oder weniger wichtigen Teil der Szene anzuzeigen, die um die Maschine abläuft, und zwar in allen erforderlichen Richtungen und möglicherweise in ihrer Kabine. Bei dem in der Zeichnung dargestellten Beispiel weist der Stand 1 einen Hauptmonitor 7A auf, der in der Lage ist, die von den Frontkameras (beispielsweise drei Kameras) der Maschine erfaßten Bilder gleichzeitig und in Echtzeit darzustellen. Diese Bilder werden auf an sich bekannte Weise in dem Stand 2 gemischt, so daß sie auf einem einzigen Bildschirm angezeigt werden können. Die Mischung kann beispielsweise darin bestehen, daß die Bilder von Kameras mit angrenzenden Feldern nebeneinander angeordnet werden, um ein resultierendes Bild mit großem horizontalen Feld zu erhalten, oder ein Hauptbild mit großem Feld mit einem oder mehreren Detailbildern (die von Kameras mit hoher Brennweite erhalten wurden) oder von Zonen von Interesse zu überlagern. Diese Zonen von Interesse können beispielsweise von Sensoren 8 für die Position des Kopfs des Bedieners bestimmt werden.

Außer dem Hauptmonitor 7A weist der Stand 1 einen oder mehrere andere Monitor wie den Monitor 7B, der die Aufgabe hat, das hintere Feld der Maschine zu visualisieren, und die Monitore 7C, 7D auf, die die Aufgabe haben, die seitlichen Felder der Maschine zu visualisieren. Selbstverständlich ist die Maschine mit entsprechenden Kameras ausgestattet, die diese verschiedenen Felder erfassen. So wird die visuelle Umgebung der Maschine, wie sie ein Bediener an Bord der Maschine sehen würde, so realistisch wie möglich wiedergegeben (oder sogar besser, falls man auf Kameras mit sehr großem Feld oder hoher Brennweite zurückgreift). Der Stand 1 weist vorteilhaft einen Lautsprecher 9 und/oder einen Kopfhörer 10 auf (die beispielsweise mit dem Monitor 7A verbunden sind), die den Schalleindruck an Bord der Maschine und/oder um sie herum wiedergeben.

Die verschiedenen Monitore des Stands 1 sind mit einem Video- und Audioempfänger 11 verbunden, der mit einer Antenne 12 versehen ist. Im Falle einer Drahtverbindung zwischen den Ständen 1 und 2 ist der Empfänger 11 durch einen Kabelanschluß ersetzt. Die Monitore des Stands 1 können auch mit anderen Informations quellen wie einem GPS-Empfänger 13 oder einer Umgebungskamera 14 verbunden sein (die beispielsweise die Umgebung des Steuerstands 1 filmt).

Der Stand 2 weist mehrere Kameras auf, die insgesamt mit 15 bezeichnet sind. Diese Kameras sind in verschiedenen Richtungen (Höhenwinkel und/oder Seitenwinkel) orientiert, um die gesamte gewünschte Umgebung der Maschine zu erfassen, die den Stand 2 aufweist. Ebenso kann eine oder mehrere dieser Kameras ins Innere der Maschine orientiert sein (Überwachung von Bordinstrumenten, von Maschinen...). Jede dieser Kameras oder ein Teil von ihnen weist eine Einrichtung D zum Steuern der Brennweite (Zoom), möglicherweise der Schärfe und der Orientierung (Höhenwinkel und/oder Seitenwinkel) auf. Diese verschiedenen Steuereinrichtungen sind mit einer zentralen Steuereinrichtung 16 verbunden, die ihrerseits mit einem Fernsteuerempfänger 17 verbunden ist, der mit einer Empfangsantenne 18 ausgestattet ist. Dieser Empfänger 17 ist auch mit einer Schnittstelleneinrichtung 19 verbunden, die Servoventile und gegebenenfalls weitere elektrohydraulische, elektromechanische oder elektrische Steuereinrichtungen aufweist, die die Steuerung der verschiedenen Organe oder Untereinheiten der Maschine (Steuerung von Motoren, Hydraulikschaufeln, der Lenkung, ... Scheinwerfer, der Hupe) ermöglichen.

Die Videoausgänge der Kameras 15 sind mit einer Echtzeitmischeinheit 20 verbunden, deren Steuereingang mit dem Empfänger 17 verbunden ist. Diese Einheit 20 ist vom Typ der "Mischpulte", die gewöhnlich in Fernsehstudios oder bei Simulatoren verwendet werden, um insbesonderre Überlagerungen von Bildern zu realisieren, die aus verschiedenen Quellen stammen (im Gegensatz zum Multiplexing, das darin besteht, daß Signale, die von mehreren Quellen stammen, sequentiell auf einem einzigen Kanal übertragen werden.

Die Einheit 20 führt auch die Digitalisierung der Videosignale der Kameras 15 und die bildweise Synchronisation ihrer Videosignale durch.

So kann die Einheit 20 beispielsweise ein Hintergrundbild mit großem optischen Feld (im Höhenwinkel und/oder Seitenwinkel) mit allgemein schwacher oder mittlerer Auflösung auswählen, das sie mit einem oder mehreren Bildern (Zonen von Interesse) mit kleinem optischen Feld und besserer Auflösung überlagert, deren Position bezüglich des Hintergrundbildes vorteilhaft beispielsweise in Abhängigkeit von der Orientierung der Maschine oder des Kopfs des Bedieners des Stands 1 variabel ist, wenn der Stand 1 wie oben angegeben einen Positionssensor 8 aufweist. Anstelle der Überlagerung eines Hintergrundbildes mit kleinen Bildern kann man auch Bilder nebeneinander anordnen, die von Kameras stammen, die auf angrenzende Bereiche des Umgebungsraums der Maschine gerichtet sind, um ein Panoramabild (mit sehr großem optischen Feld) zu bilden. Der Ausgang der Einheit 20 ist mit einem mit einer Antenne 22 ausgestatteten Sender 21 und vorteilhaft mit einem oder mehreren Mikrophonen 23 verbunden, die die Schallumgebung im Inneren und/oder außerhalb der Maschine und gegebenenfalls die von speziellen Geräten der Maschine erzeugten Geräusche erfassen (beispielsweise um nach dem Gehör die korrekte Funktionsweise zu überwachen).

Der Sender 21 ist auch vorteilhaft mit einer Lokalisierungseinrichtung 24 vom Typ GPS verbunden. Selbstverständlich entsprechen die Merkmale der Empfänger 11 und 17 denjenigen der Sender 21 bzw. 4. Im Falle einer Drahtverbindung sind der Empfänger 17 und der Sender 21 durch geeignete Kabelanschlüsse ersetzt.

Die Kameras 15, die Einheit 20 und die elektronischen Einrichtungen am Stand 2 sind vorteilhaft auf an sich bekannte Weise gegenüber den Vibrationen der Maschine "abgehärtet", falls natürlich in der Maschine Vibrationen entstehen können. Im Falle von Baumaschinen muß die Abhärtung ermöglichen, daß die derart geschützten Einrichtungen Vibrationen bis zu 10 G aushalten.


Anspruch[de]

1. Verfahren zur Videofernsteuerung einer Maschine, insbesondere eines Fahrzeugs, das die Visualisierung der Umgebung dieser Maschine in Echtzeit ermöglicht und bei dem mehrere in der Maschine angeordnete Kameras und ein entfernter Steuerstand verwendet werden, wobei die Verbindung zwischen dem Steuerstand und der Maschine über Draht oder Funkwellen hergestellt wird, dadurch gekennzeichnet, daß es darin besteht, in der Maschine selbst die von den verschiedenen Kameras stammenden Videosignale zu mischen, das resultierende Signal auf einem einzigen Übertragungskanal zu dem Steuerstand zu übertragen, in dem Steuerstand die derart gemischten Bilder auf einer oder mehrerer Anzeigeeinrichtungen zu visualisieren und von dem Steuerstand aus die verschiedenen Fernsteuerbefehle für die Maschine und die verschiedenen Kameras zu übertragen.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Mischen darin besteht, wenigstens eine Überlagerung eines Bildes in einem anderen durchzuführen.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß das Mischen darin besteht, wenigstens zwei Bilder nebeneinander anzuordnen, um ein Bild mit großem Feld zu erhalten.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Fernsteuerbefehle für die Kameras Steuerungen ihrer Höhen- und/oder Seitenwinkelorientierung umfassen.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Fernsteuerbefehle für die Kameras Steuerungen ihrer Brennweite umfassen.

6. Vorrichtung zur Videofernsteuerung einer Maschine, insbesondere eines Fahrzeugs, die die Visualisierung der Umgebung dieser Maschine in Echtzeit ermöglicht, und die in einem Fernsteuerzentrum (1) einen Sender (4) für Fernsteuerdaten, einen Video- und Audioempfänger (11) und wenigstens einen Videomonitor (7A bis 7D) und in der fernzusteuernden Maschine einen Video- und Audiosender (21) und einen Fernsteuerempfänger (17) sowie mehrere Videokameras (15) aufweist, dadurch gekennzeichnet, daß die fernzusteuernde Maschine eine Videomischeinrichtung (20) aufweist.

7. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, daß die empfindlichen elektronischen Anlagen, die an Bord der Maschine angeordnet sind, mit Einrichtungen ausgestattet sind, die die Vibrationen dämpfen, die zu ihnen übertragen werden könnten.

8. Vorrichtung nach einem der Ansprüche 6 oder 7, dadurch gekennzeichnet, daß wenigstens ein Teil der Kameras Einrichtungen (D, 16) zum Steuern der Orientierung und/oder zum Steuern der Brennweite aufweist, die mit dem Fernsteuerempfänger an Bord der Maschine verbunden sind.

9. Vorrichtung nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, daß der Sender an Bord der Maschine (21) mit wenigstens einem Mikrophon (23) verbunden ist.

10. Vorrichtung nach einem der Ansprüche 6 bis 9, dadurch gekennzeichnet, daß der Sender an Bord der Maschine mit einer Lokalisierungseinrichtung (24) vom Typ GPS verbunden ist.







IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com