PatentDe  


Dokumentenidentifikation DE3828908C2 18.12.1997
Titel Verfahren zur digitalen Bildübertragung
Anmelder The General Electric Co., p.l.c., Wembley, GB
Erfinder Whalley, Jonathan, Wembley, GB
Vertreter Dipl.-Ing. W. Reichel, Dipl.-Ing. H. Lippert, Patentanwälte, 60322 Frankfurt
DE-Anmeldedatum 26.08.1988
DE-Aktenzeichen 3828908
Offenlegungstag 23.03.1989
Veröffentlichungstag der Patenterteilung 18.12.1997
Veröffentlichungstag im Patentblatt 18.12.1997
IPC-Hauptklasse H04N 7/48
IPC-Nebenklasse H03M 7/30   

Beschreibung[de]

Die vorliegende Erfindung betrifft ein Verfahren zur digitalen Bildübertragung unter Ausnutzung der Übereinstimmung von Elementen im Bildrahmen für die Codierung und Decodierung.

Bildübertragungssysteme zum Videoconferencing und zur Videotelephonie erfordern die Übermittlung von Bildinformation mit geringer Bitrate, die typischerweise bei 64 kbits/s liegt. Die über derartige Systeme übertragene Bildinformation muß eine akzeptable Auflösung von Bilddetails sowie eine akzeptable Frequenz bei der Aktualisierung und Aufbereitung, dem sogenannten Updating beim Empfänger ermöglichen. Aus diesem Grund können zu übertragende Bilder so dargestellt werden, daß sie zur Codierung als Aufeinanderfolge von Bildübertragungsrahmen, die jeweils aus 288 Zeilen von 360 Pixeln oder Pels (picture elements = Bildelementen) aufgebaut sind, mit einer Rate von zehn Rahmen pro Sekunde geeignet sind. Wenn die Helligkeit (Leuchtdichte) und Farbe jedes dieser Pixel überhaupt genau wiedergegeben werden sollen und wiederherstellbar sein sollen, würde eine volle Codierung der Aufeinanderfolge von Bildrahmen die Notwendigkeit einer Datenrate von 10 Mbit/s oder mehr bedingen. Es ist klar, daß nur ein sehr geringer Bruchteil dieser Daten über einen Kanal mit 64 kbit/s übertragen werden könnte.

Die Reduktion der Datenrate kann durch Ausnutzung von räumlicher oder örtlicher Redundanz innerhalb der individuellen Rahmen und zeitlicher Redundanz zwischen aufeinanderfolgenden Rahmen erzielt werden. Eine Art der vorteilhaften Nutzung der zeitlichen Redundanz besteht darin, jeden laufenden Rahmen in Blöcken von 8 × 8 Pixeln zu zerlegen und bezüglich jedes derartigen Blockes in einem Bereich des darauffolgenden Rahmens in einem "Suchfenster" von beispielsweise ± 7 auf dem unter Prüfung stehenden Block zentrierten Pixeln nach einem ähnlichen Block zu suchen, um irgendeine Bewegung der Bildelemente zwischen den Rahmen zu identifizieren. Dann kann ein Bewegungsvektor, der jeden Block auf den ähnlichen Block im darauffolgenden Rahmen abbildet (Mapping Vektor), mit jedem Block assoziiert werden, d. h. jedem Block zugeordnet werden. Diesem Schema folgend ist es möglich, den darauffolgenden Rahmen durch Translation von Blöcken vom augenblicklichen Rahmen entsprechend den assoziierten oder verknüpften Bewegungsvektoren zu rekonstruieren.

Diese gattungsgemäße Technik ist beispielsweise von S. Kappagantula und K.R. Rao in IEEE Transactions on Communications, Volume Com-33, Nr. 9, September 1985, Seiten 1011 bis 1015 beschrieben worden.

Bei einer existierenden Strategie zur Wiederherstellung (d. h. zur Fehlerbehebung) von Bildinformation für den Fall, daß eine Fehlerübertragungsrate einen vorgegebenen Schwellwert überschritten hat, besteht die Wiederherstellung typischerweise darin, daß die Decodiereinrichtung die Codiereinrichtung durch Setzen eines Kennzeichens dazu veranlaßt, die Übertragung mit dem ersten neuen, im Intramode codierten Rahmen wieder zu beginnen. Die Decodiereinrichtung hält den letzten fehlerfreien Rahmen, bis der neue Rahmen empfangen und decodiert worden ist. Damit jedoch mit dieser Wiederherstellungsstrategie eine subjektiv akzeptable Bildqualität verarbeitet werden kann, muß die Fehlerbitrate des Kanals gering sein.

Ist beispielsweise aufgrund von Einschränkungen bezüglich des Datenkanals die Datenrate gering, so weist diese existierende Fehlerbehebungsstrategie insofern Nachteile auf, daß ein einziger im Intramode codierter Rahmen oder Übertragungsblock im Vergleich zu im Intermode codierten Rahmen subjektiv schlecht ist. In Kombination mit einer niedrigen Rahmenrate bedingt dies eine schlechte Sequenzrekonstruktion während der Fehlerbehebung bzw. -handhabung.

In der EP 0 154 125 A2 wird dagegen ein spezielles Interpolationsverfahren angegeben, mit dem zwei übertragene Fernsehbilder oder Rahmen, die zwischengespeichert werden, in stationäre Anteile, bewegte Anteile und bewegungsbedingt sichtbar werdenden und überdeckten Hintergrund zerlegt werden, und dann diese vierfach differenzierte Segmentinformation zur Einstellung der Filterkoeffizienten eines bewegungsadaptiven Filters verwendet wird, das ein nicht übertragenes Bild durch Interpolation erzeugt.

In Proceedings of the IEEE, Bd. 73, Nr. 4, April 1985, Seiten 523 bis 548 ist eine Intra-Frame Prädiktionscodierung beschrieben. Dieses Verfahren ist auf einen einzelnen Prädiktions-Bezugsrahmen festgelegt. Der übertragene Rahmen (pel) wird mit Bezugnahme auf Information codiert, die aus mehreren vorhergehenden Frames (pels) derart codiert wird, daß die codierte Differenz dazu verwendet wird, einen Prädiktions-Bezugsrahmen am Sender zu erzeugen. Dabei liegt die resultierende Differenzinformation bezüglich dieses einzigen Prädiktions-Bezugsrahmens vor, und es werden sämtliche vorhergehenden Rahmen oder pels als isolierte Einheiten ignoriert. Dabei erfolgt die Prädiktion sowohl auf der Sender- als auch auf der Empfängerseite auf der Grundlage rekonstruierter Abtastwerte.

Im Gegensatz zum aufgezeigten Stand der Technik mit Prädiktions-Codierung und Interpolationstechnik betrifft die Erfindung ein Codier/Decodier-Verfahren, in dem die Übereinstimmung von Elementen in Bildrahmen für die Codierung sowie auch die Decodierung ohne Prädiktion und ohne Interpolation direkt ausgenutzt werden. Bei diesem Stand der Technik gemäß dem Oberbegriff des Patentanspruchs 1 wird stets der vorhergehende Rahmen zum gegenwärtigen Rahmen in Beziehung gesetzt und der bestabgestimmte Teilblock als Anzeige für eine Bewegung von Rahmen zu Rahmen herangezogen und auch für die Codierung der Information benutzt. Wie jedoch dargelegt wurde, ergeben sich bei solchen Systemen Schwierigkeiten bei der Fehlerbehebung.

Der Erfindung liegt die Aufgabe zugrunde, ein gattungsgemäßes Verfahren anzugeben, mit dem diese Schwierigkeiten vermeidbar sind und das eine zufriedenstellende Codierung und Decodierung ermöglicht.

Diese Aufgabe wird durch den Gegenstand des Patentanspruchs 1 gelöst. Eine vorteilhafte Weiterbildung ist im Unteranspruch definiert.

Erfindungsgemäß ist ein Verfahren zur digitalen Codierung von Bildelementbewegungen in Videosignalen zwischen Übertragungsrahmen angegeben, bei dem diese Bewegung mit Bezug auf einen oder mehrere von mehreren vorhergehenden Rahmen (Frames) erfolgt.

Im erfindungsgemäßen Verfahren wird die Bewegung von Bildelementen zwischen Übertragungsrahmen so aufbereitet, daß sie in codierten Signalen zur Übertragung unter Bezug auf einen oder mehrere mehrerer vorhergehender Rahmen dargestellt wird, so daß, wenn sich die Bildinformation innerhalb des Zeitintervalls, das durch die mehreren Rahmen dargestellt wird, wiederholt, diese Information nicht wieder, d. h. wiederholt, codiert zu werden braucht.

Die erfindungsgemäße Codierung und Decodierung nutzt eine "ausgeweitete Suche", wobei beispielsweise als vorbestimmte Anzahl acht vorhergehende Rahmen auf eine Übereinstimmung von Elementen in den Bildrahmen untersucht werden, wobei dann bezüglich einem oder auch mehreren dieser vorhergehenden Rahmen gefundene Übereinstimmungen für die Codierung zur Übertragung ausgenutzt werden. Hierdurch wird eine effektivere und auch vollständigere Codierung möglich. Darüber hinaus werden ebenfalls am Empfänger die Rahmen dieser vorbestimmten Anzahl vorhergehender Bildinformation gespeichert und es erfolgt eine Decodierung bezüglich ausgewählter Rahmen, wobei das Auswahlkriterium für einen oder mehrere solcher ausgewählter Rahmen die bereits gefundene Übereinstimmung im Codierer ist. Ein spezielles Element wird z. B. aus dem vierten vorhergehenden Rahmen decodiert, wenn im Codierer gefunden wurde, daß ein Element im gerade vorliegenden Rahmen bereits vier Rahmen zuvor vorgelegen hat. Auf diese Weise ist es möglich, Bewegung sowohl auf der Codierer- als auch auf der Decodiererseite bei Haltung der Datenrate innerhalb akzeptierbarer Grenzen effektiv vollständig zu codieren und zu decodieren.

Darüber hinaus ermöglicht das Codier- und Decodierverfahren der Erfindung, daß auch die Fehlerbehebung bei einem Rahmenübertragungsverlust gegenüber dem Stand der Technik deutlich verbessert ist. So ist, wie weiter unten ausgeführt, im gattungsgemäßen Stand der Technik bisher von der Decodiereinrichtung der letzte fehlerfreie Rahmen so lange gehalten worden, bis ein neuer im Intramode codierter Rahmen empfangen und decodiert worden war. Erfindungsgemäß wird für eine Fehlerbehebung anders vorgegangen, indem die Codiereinrichtung abhängig davon, welche der vorhergehenden Rahmen im Speicher der Decodiereinrichtung erfolgreich gespeichert wurden, ihren Codiervorgang, d. h. den Rahmenelementenvergleich usw. ausführt. Mit anderen Worten ermöglicht das erfindungsgemäße Verfahren der Codierung und Decodierung mit Speicherung jeweils einer vorbestimmten Anzahl von vorhergehenden Rahmen in der Codiereinrichtung und Decodiereinrichtung, so daß die Codiereinrichtung für die Fehlerbehebung eine Auswahl in den in einem Speicher der Decodiereinrichtung gespeicherten Rahmen treffen kann und einen neuen ("frischen") Rahmen unter Bezug auf einen oder mehrere dieser Rahmen codieren kann. Hierdurch wird das Fehlerbehebungsverfahren im Vergleich zum bekannten, oben aufgezeigten Verfahren deutlich verbessert und kann auch höhere Fehlerbitraten im Kanal bewältigen.

Im folgenden wird die Erfindung an Hand der bei liegenden Figur, die die Funktionsweise des erfindungsgemäßen Systems schematisch darstellt, näher erläutert.

Vorhandene Auslegungen gemäß dem Oberbegriff des Patentanspruchs 1 von Codier/Decodier-Anordnungen (Codex) erzielen Codiereinsparungen durch Codieren der Unterschiede zwischen aufeinanderfolgenden Rahmen von Bildinformation, und darüber hinaus wird das Differenzsignal weiterhin reduziert, indem jede mögliche Bewegung von Bildelementen, die zwischen aufeinanderfolgenden Rahmen erfaßt wird, durch sogenannte "side information" in Form von Bewegungsvektoren dargestellt oder wiedergegeben wird. Jeder Rahmen ist in Teilblöcke von beispielsweise 8 × 8 Pixel oder Pels aufgeteilt, und es wird eine Suche nach dem bestpassendsten oder abgestimmten Teilblock im vorhergehenden Rahmen innerhalb eines Suchfensters von beispielsweise 22 × 22 Pixeln oder Pels durchgeführt. Der am besten passende Teilblock liefert dann eine Anzeige jeglicher Bewegung von Rahmen zu Rahmen.

In der Erfindung wird die Suche nach dem bestpassendsten oder abgestimmten Teilblock in jedem von acht vorhergehenden Rahmen, die in einem Speicher 1 festgehalten bzw. gespeichert werden, durchgeführt. Diese ausgeweitete Suche ergibt zweierlei Vorteile. Zunächst kann jedes Bildinformationselement im gerade vorliegenden Rahmen, welches eine Wiederholung eines Elements irgendeines der vorhergehenden acht Rahmen darstellt, effektiver codiert werden. Beispielsweise kann ein Element im gerade vorliegenden Rahmen bereits vier Rahmen zuvor vorgelegen haben, jedoch nicht in irgendeinem der dazwischenliegenden Rahmen. Somit kann dieses Element einfacher im Decodierprozeß aus dem vierten zurückliegenden Rahmen wiedergewonnen werden, als daß es erforderlich ist, dieses Element wiederum zu codieren. Der zweite Vorteil liegt darin, daß Bewegungen eines Bruchteil s eines Pels oder Pixels ebenfalls effizienter codiert werden können, denn, wenn eine Bewegung mit einer Geschwindigkeit von einem halben Pel oder Pixel pro Rahmen vorliegt, so wird die Bildinformation des gerade vorliegenden Rahmens zwei Rahmen zuvor oder zurück vorgelegen haben, selbst wenn sie sich nicht im unmittelbar vorhergehenden Rahmen befand. Auf diese Weise kann zuvor nicht zugreifbare Bildinformation codiert werden und dazu verwendet werden, das Bild beim Decodieren zu erweitern und zu verbessern, oder die Codierung mit völliger Decodierbarkeit kann effizienter ausgeführt werden, um die Datenrate innerhalb akzeptierbarer Grenzen zu halten.

Die Bewegungsvektorinformation in der vorliegenden Anordnung ist insofern dreidimensional, als daß sie Horizontal-Vertikal- und zeitliche Komponenten aufweist, und zwar wegen der Hinzufügung von drei Bit (Dreibitwort) als gültige Zeitwertinformation, (die einen von acht Rahmen anzeigt). Aus diesem Grund kann die Informationsmenge, die zu übertragen ist, signifikant reduziert werden, wenn eine gute Anpassung oder Übereinstimmung für einen Block von Pels oder Pixeln in irgendeinem der acht vorhergehenden Rahmen gefunden werden kann. Die verwendete Suchstrategie besteht in einer logarithmischen (3-stufigen oder 3-Schritt-) Suche in jedem der acht Rahmen, gefolgt von einer Entscheidung bezüglich der besten Anpassung oder Abstimmung von jedem Rahmen. Das Korrelationskriterium für die Teilblockabstimmung (Subblock-Matching) ist der mittlere Absolutfehler (MAE = Mean Absolute Error).

Zur Wiederherstellung bzw. Fehlerbehebung am Empfänger setzt die Decodiereinrichtung der Codiereinrichtung ein Kennzeichen (Flag), um anzuzeigen, welcher Rahmen verlorengegangen ist, und die Codiereinrichtung bestimmt daraufhin, welchen der vorhergehenden Rahmen, die in einem Speicher 2 festgehalten, d. h. gespeichert werden, falls überhaupt geeignete Rahmen vorhanden sind, sie zur Wiederherstellung bzw. Fehlerbehebung verwenden kann. Die Anzahl von vorhergehenden Rahmen, die verwendet werden können, hängt von der Schleifenverzögerung ab, die wiederum selbst von der Übertragungsweg- oder Pfadverzögerung und den Verzögerungen der Codiereinrichtungs- und Decodiereinrichtungshardware und -software abhängt. Je größer die Schleifenverzögerung, um so größer ist die Anzahl von Rahmen, die am Decodierer verlorengehen werden.

Die Wiederherstellung nach Fehlern in der Übertragung kann unter Bezugnahme auf den zuletzt empfangenen ungestörten Rahmen der acht Rahmen ausgeführt werden.

Mit dem beschriebenen Verfahren können quantitative Signal/Rausch-Gewinne (-Verstärkungen) erzielt werden und insbesondere für Mund- und Armbewegungen subjektive Verbesserungen gewonnen werden.


Anspruch[de]
  1. 1. Verfahren zur digitalen Bildübertragung unter Ausnutzung der Übereinstimmung von Elementen in Bildrahmen für die Codierung und Decodierung, dadurch gekennzeichnet, daß für die Codierung zu übertragender Bildinformation eines Rahmens Elemente dieses Rahmens mit Elementen jedes einer vorbestimmten Anzahl vorhergehender aufeinanderfolgender, hierzu gespeicherter Rahmen verglichen wird und daß bezüglich einem oder mehreren dieser vorhergehenden Rahmen gefundene Übereinstimmungen für die Codierung zur Übertragung aus genutzt werden, und daß die derart codierte übertragene Bildinformation in bezug auf einen oder mehrere, abhängig von der gefundenen Übereinstimmung ausgewählte Rahmen dieser vorbestimmten Anzahl, hierzu auch am Empfänger gespeicherter Rahmen decodiert wird.
  2. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß bei einem Rahmenübertragungsverlust bei der Codierung im Speicher des Empfängers fehlende Rahmen für den Rahmenelementvergleich nicht berücksichtigt werden.






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com