PatentDe  


Dokumentenidentifikation DE4336101A1 27.04.1995
Titel Standbild-Codierer mit einem Bewegtbild-Codierer als Codiereinheit
Anmelder Philips Patentverwaltung GmbH, 20097 Hamburg, DE
Erfinder Demmer, Walter, Dipl.-Ing., 90411 Nürnberg, DE;
Vogel, Peter, Dipl.-Ing., 91227 Leinburg, DE;
Krupa, Burghard, Dipl.-Ing., 91336 Heroldsbach, DE
DE-Anmeldedatum 22.10.1993
DE-Aktenzeichen 4336101
Offenlegungstag 27.04.1995
Veröffentlichungstag im Patentblatt 27.04.1995
IPC-Hauptklasse H04N 1/417
IPC-Nebenklasse H04N 7/32   
IPC additional class // H04N 7/14  
Zusammenfassung Es wird eine Standbild-Codierer beschrieben, der als Bewegtbild-Codierer einen H.261-Codierer enthält. Auch ein entsprechender Standbild-Decodierer wird erläutert.
Der Standbild-Codierer codiert Standbilder mit hoher Auflösung dadurch,
daß Mittel (2, 5, 6, 7) dafür vorgesehen sind, die Bildpunktdaten des Standbildes mit hoher Auflösung derart linear so zu mitteln, daß sich ein Bild mit einem Format ergibt, das für die Codierung durch den Bewegtbild-Codierer (3) geeignet ist,
und daß Mittel (2, 5, 7) dafür vorgesehen sind, das Standbild mit hoher Auflösung durch horizontale und vertikale Unterabtastung in Teilbilder mit einem Format zu zerlegen, das ebenfalls für die Codierung durch den Bewegtbild-Codierer (3) geeignet ist,
und daß schließlich Mittel (2, 7) dafür vorgesehen sind, das linear gemittelte Bild als erstes Bild zu codieren und zu übertragen.

Beschreibung[de]

Die Erfindung betrifft einen Standbild-Codierer mit einem Bewegtbild-Codierer als Codiereinheit und einen entsprechenden Standbild-Decodierer.

Im CCITT-Standard H.261 (im folgenden mit D1 zitiert) sind unter anderem die wesentlichsten funktionellen Merkmale eines Bewegtbild-Codierers angegeben, bei dem es darauf ankommt, die Daten für die einzelnen Bilder einer Videobildsequenz derart zu codieren, daß bei gegebener Übertragungsbitrate von p*64 kbit/s (p=1,2,3 . . . ) die Bildsequenz auf der Empfängerseite mit möglichst hoher Bildqualität rekonstruierbar ist (vgl. hierzu z. B.: Draft Revision of Recommendation H.621: Video Codec for Audiovisual Services at p×64 kbit/s. Signal Processing: Image Communication 2(1990) 221-239. Elsevier).

In D1 ist vorgesehen, daß die zu codierenden Bilder zunächst auf das Common Intermediate Format (CIF) oder auf das Quarter Common Intermediate Format (QCIF) gebracht werden müssen, bevor sie weiteren Transformationen und Veränderungen unterworfen werden.

Bilder im CIF-Format bestehen aus 352 Bildelementen pro Zeile und aus 288 Zeilen pro Bild. Bilder im QCIF-Format bestehen aus 176 Bildelementen pro Zeile und aus 144 Zeilen pro Bild.

Für Standbilder und Graphiken mit hoher Bildqualität - also mit hoher Auflösung - sind die beiden angegebenen Formate jedoch unzureichend. Für solche Bilder ist zum Beispiel das Studio-Format wesentlich geeigneter, d. h. ein Format mit 720 Bildelementen pro Zeile und 576 Zeilen pro Bild (vergleiche hierzu: CCIR Rec.601).

Es gibt drei auf der Hand liegende Möglichkeiten, im Studioformat vorliegende Standbilder oder Graphiken mit einem Bewegtbild-Codierer nach D1 zu codieren und nach der Übertragung zu rekonstruieren:

  • 1. Das im Studioformat vorliegende Standbild wird durch Unterabtastung in vier Teilbilder vom CIF-Format zerlegt; diese vier Teilbilder werden - wie eine Sequenz von Bewegtbildern - dem Bewegtbild-Codierer nacheinander zur Codierung zugeführt.
  • 2. Das im Studioformat vorliegende Standbild wird durch Unterabtastung in vier Teilbilder vom CIF-Format zerlegt; jedes Teilbild wird dem Bewegtbild-Codierer so oft zugeführt, bis die Abweichung zwischen dem zugeführten Teilbild und dem auf der Senderseite decodierten Teilbild eine vorgegebene Grenze unterschreitet.
  • 3. Das im Studioformat vorliegende Standbild wird derart in vier CIF-Teilbilder zerlegt, daß das erste Teilbild aus dem oberen linken Viertel, das zweite aus dem unteren linken Viertel, das dritte aus dem oberen rechten Viertel und das vierte aus dem unteren rechten Viertel des ursprünglichen Bildes besteht; jedes Teilbild wird dem Bewegtbild-Codierer so oft zugeführt, bis die Abweichung zwischen dem zugeführten Teilbild und dem auf der Senderseite decodierten Teilbild eine vorgebene Grenze unterschreitet.


Bei der ersten Möglichkeit wird - entsprechend der Funktionsweise des Bewegtbild-Codierers - das erste Teilbild im sogenannten INTRA-Modus codiert, d. h. ohne Bezug auf die vorangegangenen (oder nachfolgenden) Bilder. Das auf der Senderseite rekonstruierte Teilbild mit mehr oder weniger guter Bildqualität wird dann als Prädiktionsbild für das zweite Teilbild verwendet und so fort bis zum vierten Teilbild. Ab dem zweiten Teilbild arbeitet der Bewegtbild-Codierer im sogenannten INTER-Modus, in dem die Differenz zwischen dem zu codierenden und dem rekonstruierten (Teil-)Bild codiert wird. Da die Prädiktionsbilder in der Regel wenig mit den nachfolgenden Teilbildern korreliert sind, ergibt diese Möglichkeit - wegen der groben Einstellung des Quantisierers im Bewegtbild-Codierer - Bilder mit entsprechend schlechter Qualität auf der Empfängerseite.

Bei den Möglichkeiten 2 und 3 wird dieser Nachteil vermieden, und zwar durch das mehrfache Zuführen des gleichen Teilbildes. Der Bewegtbild-Codierer verändert automatisch bei der Codierung des wieder angebotenen Teilbildes die Einstellung seines Quantisierers zu einer feineren Quantisierung hin. Als Prädiktionbild für den im INTER-Modus arbeitenden Bewegtbilcodierer wird also das gleiche Teilbild verwendet, das jedoch mit gröberer Quantisierung codiert wurde. Damit wird die Qualität des rekonstruierten Teilbildes bei jedem Durchlauf verbessert. Die Möglichkeit 3 ist außerdem diejenige, bei der die Korrelation zwischen den Bildelementen eines Teilbildes am größten ist. Daher ist die flächenhafte Kosinus-Transformation, die mit den Daten der Bildpunkte (Bildelemente) vorgenommen wird, auch am wirksamsten. Unter Wirksamkeit wird in diesem Zusammenhang die Darstellbarkeit des gesamten Bildinhaltes durch nur wenige Transformationskoeffizienten verstanden.

Nachteil der dritten Möglichkeit ist, daß Teilnehmer, die nicht über eine Ausrüstung verfügen, um die unter Punkt 3 aufgezählten Maßnahmen durchzuführen - also nur über einen Bewegtbild-Codierer verfügen - nicht einmal Standbilder schlechter Qualität empfangen können, im Gegensatz zu den beiden anderen Möglichkeiten. Mit anderen Worten, eine Vorrichtung nach Punkt 3 ist nicht rückwärtskompatibel.

Der Erfindung liegt die Aufgabe zugrunde, einen Standbildcodierer mit einem Bewegtbild-Codierer nach dem H.261- Standard als Codiereinheit anzugeben, der sich durch eine gute Codiereffizienz und durch eine Rückwärtskompatibilität mit guter Bildqualität auszeichnet.

Diese Aufgabe wird mit Mitteln gelöst, die dafür vorgesehen sind,

  • a) die Bildpunktdaten eines Standbildes mit hoher Auflösung derart linear zu mitteln, daß sich ein Bild mit einem Format ergibt, das für die Codierung durch den Bewegtbild- Codierer geeignet ist,
  • b) das Standbild mit hoher Auflösung durch horizontale und vertikale Unterabtastung in Teilbilder mit einem Format zu zerlegen, das für die Codierung durch den Bewegtbild-Codierer geeignet ist,
  • c) das linear gemittelte Bild als erstes Bild zu codieren und zu übertragen.


Ein entsprechender Standbild-Decodierer ist gekennzeichnet durch

  • a) Mittel, die dafür vorgesehen sind, Mittelwerte eines empfangenen und decodierten Standbildes hoher Auflösung sowie Teilbilder dieses Standbildes, die durch horizontale und vertikale Unterabtastung entstanden sind, getrennt abzuspeichern,
  • b) Mittel (6, 7), die dafür vorgesehen sind, aus den abgespeicherten Mittlewerten und den abgespeicherten Teilbildern ein weiteres Teilbild des Standbildes mit hoher Auflösung zu bestimmen.


Vorteilhafte Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.

Anhand von Ausführungsbeispielen und Figuren soll die Erfindung nun näher erläutert werden. Es zeigen:

Fig. 1 einen erfindungsgemäßen Standbild-Codierer,

Fig. 2 einen erfindungsgemäßen Standbild-Decodierer,

Fig. 3 bis Fig. 5 Flußdiagramme, die die Übertragung von Standbildern erläutern.

Hauptbestandteil der in Fig. 1 gezeigten Anordnung ist ein H.261-Bewegtbild-Codierer 3, in der Figur auch als "H.261 Encoder-Kern" bezeichnet. Einige Bestandteile dieses Codierers sind durch Beschriftung hervorgehoben, nämlich die Einheiten "Intra Switch", "Bildspeicher" und "Bildspeichererweiterung". Für die Bewegtbildübertragung ist ein Videoeingang a1 vorgesehen. Diesem Eingang werden Videodaten im Studioformat (CCIR Rec. 601) zugeführt und an einen Wandler 1 weitergereicht, der die Daten vom Studioformat in das CIF-Format umwandelt und über eine Leitung b1 an einen Multiplexer 2 weitergibt. Es gelangt über eine Leitung b4 an den H.261-Bewegtbild-Codierer, falls die Einstellung des Multiplexers 2 entsprechend gewählt ist.

In diesem Fall verläuft die Bewegtbild-Codierung und Übertragung entsprechend den Vorschriften nach D1.

Sollen Standbilder codiert und übertragen werden, werden diese zunächst über einen Grafikeingang a2 im Studioformat einem Grafikbildspeicher 5 zugeführt und dort abgespeichert. Eine erweiterte Steuerung 7 steuert die Schreib- und Lesevorgänge des Grafikbildspeichers 5, die Stellung des Multiplexers 2, die Betriebsarten des H.261-Bewegtbild-Codierers 3. Außerdem gibt sie diese Steuerdaten - soweit sie für die Decodierung eines übertragenen Standbildes erforderlich sind - an eine Einheit 4 weiter, die diese Daten H.261-compatibel in das Sendesignal einfügt.

Die Standbildcodierung beginnt damit, daß die erweitere Steuerung 7 die Übertragung des im Grafikspeicher 5 eingespeicherten Bildes an einen Mittelwertbildner 6 veranlaßt. Der Mittelwertbildner 6 mittelt die Daten von jeweils 4 benachbarten Bildpunkten linear und ungewichtet und überträgt die Mittelwerte über eine Leitung b2 an den Multiplexer 2. Die Steuerung 7 schaltet den Multiplexer derart, daß das gemittelte Signal über die Leitung b4 an den Bewegtbild-Codierer 3 weitergegeben wird und dort wie das erste Bild einer Bewegtbildsequenz codiert und an einen Empfänger übertragen wird.

Durch die Mittelung über jeweils vier Bildpunkte durch den Mittelwertbildner 6 entsteht auf der Leitung b2 ein Bild im CIF-Format. Danach erfolgt die Übertragung von drei weiteren Teilbildern, die sich aus dem im Grafikspeicher 5 eingespeicherten Gesamtbild durch horizontale und vertikale Unterabtastung ergeben. Die hierzu erforderlichen Adressen werden von der erweiterten Steuerung 7 erzeugt.

Das gemittelte Bild und die drei Teilbilder werden vom Bewegtbild-Codierer 3 behandelt wie eine Bewegtbildfolge bestehend aus vier Bildern. Alle hierfür nötigen Steuerzeichen werden ebenfalls von der erweiterten Steuerung 7 erzeugt.

Um die Vorgänge formelhaft darzustellen, seien x, y, z und w jeweils die Bildpunktdaten eines der vier bildpunktfremden Teilbilder im CIF-Format, die aus einem Bild im Studioformat durch Unterabtastung gewonnen werden können. Dann wird als erstes Bild im CIF-Format ein Bild übertragen, dessen Bildpunktdaten a sich schreiben lassen als

a= (x+y+z+w) /4. (1)

Für die drei weiteren übertragenen Teilbilder mit den Bildpunktdaten b, c und d gilt

b = y, c = z und d = w. (2)

Aus den übertragenen Daten a, b, c und d lassen sich auf der Empfängerseite die Originaldaten x, y, z und w wegen der Beziehungen (1) und (2) elementar zurückgewinnen.

Fig. 2 zeigt einen Standbild-Decodierer, der ebenfalls als zentralen Baustein einen H.261-Bewegtbild-Decodierer 3 enthält. Aus den übertragenen Daten werden durch eine Funktionseinheit 4 die Steuerdaten extrahiert und an eine erweiterte Steuerung 7 weitergegeben.

Das Empfangssignal wird nach dessen Decodierung über eine Leitung b4 an einen Demultiplexer 2 übertragen und je nach dessen Stellung auf Leitungen b1, b2 oder b3 weitergegeben. Die Leitung b1 ist für den üblichen Betrieb nach den H.261-Vorschriften vorgesehen. Die decodierten Bilder im CIF-Format werden durch einen Wandler 1 in Bilder mit Studioformat umgewandelt und auf einen Videoausgang a1 gegeben.

Werden Standbilder übertragen, so wählt die erweiterte Steuerschaltung 7 für das Bild nach (1) - also für das gemittelte Bild - die Leitung b2 und stellt entsprechend den Demultiplexer 2 ein. Dieses Bild wird in einen Grafikbildspeicher 5 eingeschrieben und dort unverändert festgehalten, bis über eine Leitung b3 die restlichen Teilbilder ebenfalls übertragen, decodiert und in den Grafikspeicher 5 eingeschrieben worden sind. Danach werden die Daten des gemittelten Bildes mit den Daten des ersten Teilbildes überschrieben. Diese ergeben sich - mit der in Formel (1) und (2) verwendeten Symbolik - aus den Daten der bisher übertragenen Teilbilder durch die Beziehung:

x = 4*a - b - c - d. (3)

Die Werte x ermittelt eine Recheneinheit 6.

Das im Grafikbildspeicher 5 abgespeicherte Bild kann bei Bedarf (im Studioformat) an einen Bildschirm weiter übertragen werden.

Die Bausteine, die erforderlich sind, um Standbilder in dem beschriebenen Sinne zu codieren und übertragen, nämlich beim Sender den Grafikspeicher 5, den Mittelwertbildner 6, den Multiplexer 2 und die erweiterte Steuerung 7 und beim Empfänger den Demultiplexer 2, den Grafikspeicher 5, den Rechner 6 und die erweiterte Steuerung 7 ermöglichen den Bildtelefonteilnehmern eine hochauflösende Grafik-Option. Kommunizieren zwei Teilnehmer miteinander, die beide über eine hochauflösende Grafik-Option verfügen, so erfordert das auf beiden Seiten Funktionsabläufe, die in den Fig. 3 und 4 dargestellt sind.

Die Fig. 3 zeigt die Funktionsabläufe auf der Sendeseite eines Teilnehmer mit hochauflösender Grafikoption. Die einzelnen Teilfunktionen bedeuten:

301 Verbindungsaufbau

302 Aushandeln eines Satzes gemeinsamer Leistungsmerkmale mit der Gegenstelle

303 Audio-Verbindung mit der Gegenstelle auf Basis der gemeinsamen Codieroption

304 Anfordern oder bestätigen einer von der Gegenstelle angeforderten Bildverbindung

305 Verfügt die Gegenstelle über Bildoptionen gemäß H.261?

Falls Nein, springe nach 316

306 Bewegtbild-Verbindung mit der Gegenstelle

(Mux in Stellung b1)

307 Vorbereiten einer Grafik-Übertragung durch Ablegen eines Bildes im Grafik-Bildspeicher

308 Auslösen der Grafik-Übertragung

309 Verfügt die Gegenstelle über kompatible Grafik-Option?

Falls Nein:

310 Bildung eines CIF-Bildes mit Interpolation zwischen 4 benachbarten Pixeln (Bildpunkten)

311 Übertragung des CIF-Bildes als "eingefrorenes Bild"

(Mux in Stellung b2)

312 Abbrechen der Grafik-Übertragung

Falls Ja:

313 Bildung eines CIF-Bildes mit Interpolation zwischen vier benachbarten Pixeln

314 Übertragung des CIF-Bildes als "eingefrorenes Bewegtbild"

315 Übertragung von drei weiteren "CIF-formatigen" Teilbildern

(Mux in Stellung b3)

316 Verbindungsabbau

Fig. 4 zeigt die entsprechenden Abläufe, wenn der Teilnehmer bei einem Bewegtbilddecoder über eine hochauflösender Grafikoption verfügt. Die einzelnen Funktionsschritte bedeuten:

401 Verbindungsaufbau

402 Aushandeln eines Satzes gemeinsamer Leistungsmerkmale mit der Gegenstelle

403 Audio-Verbindung mit der Gegenstelle auf Basis der gemeinsamen Codieroption

404 Anfordern oder bestätigen einer von der Gegenstelle angeforderten Bildverbindung

405 Verfügt die Gegenstelle über Bildoptionen gemäß H.261?

Falls Nein, springe nach 411

406 Bewegtbild-Verbindung mit der Gegenstelle

(Mux in Stellung b1)

407 Gegenstelle löst Grafik-Übertragung aus

408 Decodieren des interpolierten Teilbildes

(Mux in Stellung b2)

409 Decodieren von drei weiteren "CIF-formatigen" Teilbildern

(Mux in Stellung b3)

410 "Rückwärtsberechnung" des "fehlenden" Teilbildes und Ablage im Grafik Bildspeicher

411 Verbindungsabbau

Verfügt ein Teilnehmer über einen Decoder ohne Grafikoption, so sind folgende Teilschritte erforderlich:

501 Verbindungsaufbau

502 Aushandeln eines Satzes gemeinsamer Leistungsmerkmale mit der Gegenstelle

503 Audio-Verbindung mit der Gegenstelle auf Basis der gemeinsamen Codieroption

504 Anfordern oder bestätigen einer von der Gegenstelle angeforderten Bildverbindung

505 Verfügt die Gegenstelle über Bildoptionen gemäß H.261?

Falls Nein, springe nach 507

506 Bewegtbild-Verbindung mit der Gegenstelle

507 Verbindungsabbau

Wie die Beispiele erkennen lassen, ist die Übertragung von Standbildern auch an Teilnehmer möglich, die nur über einen H.261-Decoder verfügen, jedoch nicht über eine erfindungsgemäße Grafik-Option. Verfügt der Empfänger über keine Grafik-Option, erhält er das gemittelte Bild mit den Bilddaten a nach (1). Dieses Bild gibt den Informationsgehalt des Originalbildes wesentlich deutlicher wieder als jedes andere Teilbild.

Ein anderes Ausführungsbeispiel besteht darin, die zusätzliche Steuerung so auszugestalten, daß bei der Codierung der drei folgenden Teilbilder y, z und w das gemittelte Bild mit den Bildpunktdaten a immer als Prädiktionsbild verwendet wird. Dazu dient die Speichererweiterung des Bewegtbild-Codierers 3, in der das Prädiktionsbild bis zum Ende der Standbildübertragung abgespeichert werden muß.

Desweiteren kann jedes (Teil)-Bild dem Bewegtbild-Codierer 3 mehrmals - das heißt mit einer vereinbarten Anzahl von Wiederholungen - zum Codieren zugeführt werden. Das erhöht die Qualität der übertragenen Teilbilder (zur Begründung siehe weiter oben). Wird auch in diesem Falle das gemittelte Bild als Prädiktionsbild verwendet, so geschieht dies nur bei der erstmaligen Zuführen eines Teilbildes an den Bewegtbild-Codierer 3.

Da das mit der höchsten Anzahl von Wiederholungen codierte Teilbild das mit der besten Qualität ist, wird auf der Empfängerseite auch nur dieses Teilbild für die Zusammensetzung zum Standbild mit hoher Auflösung verwendet.


Anspruch[de]
  1. 1. Standbild-Codierer mit einem Bewegtbild-Codierer (3) als Codiereinheit, gekennzeichnet durch
    1. a) Mittel (2, 5, 6, 7), die dafür vorgesehen sind, die Bildpunktdaten eines Standbildes mit hoher Auflösung derart linear zu mitteln, daß sich ein Bild mit einem Format ergibt, das für die Codierung durch den Bewegtbild-Codierer (3) geeignet ist,
    2. b) Mittel (2, 5, 7), die dafür vorgesehen sind, das Standbild mit hoher Auflösung durch horizontale und vertikale Unterabtastung in Teilbilder mit einem Format zu zerlegen, das für die Codierung durch den Bewegtbild-Codierer (3) geeignet ist,
    3. c) Mittel (2, 7), die dafür vorgesehen sind, das linear gemittelte Bild als erstes Bild zu codieren und zu übertragen.
  2. 2. Standbild-Decodierer mit einem Bewegtbild-Decodierer (3) als Decodiereinheit, gekennzeichnet durch
    1. a) Mittel (2, 5, 7), die dafür vorgesehen sind, Mittelwerte eines empfangenen und decodierten Standbildes hoher Auflösung sowie Teilbilder dieses Standbildes, die durch horizontale und vertikale Unterabtastung entstanden sind, getrennt abzuspeichern,
    2. b) Mittel (6, 7), die dafür vorgesehen sind, aus den abgespeicherten Mittelwerten und den abgespeicherten Teilbildern ein weiteres Teilbild des Standbildes mit hoher Auflösung zu bestimmen.
  3. 3. Standbild-Codierer nach Anspruch 1, dadurch gekennzeichnet, daß der Bewegtbild-Codierer (3) eine Bildspeicher-Erweiterung enthält, die dafür vorgesehen ist, die linear gemittelten Bildpunktdaten des Standbildes mit hoher Auflösung für alle nachfolgenden Teilbilder als Prädiktionsdaten zu verwenden.
  4. 4. Standbild-Decodierer nach Anspruch 2, dadurch gekennzeichnet, daß der Bewegtbild-Decodierer (3) eine Bildspeicher-Erweiterung enthält, die dafür vorgesehen ist, die linear gemittelten Bildpunktdaten des Standbildes mit hoher Auflösung für alle nachfolgenden Teilbilder als Prädiktionsdaten zu verwenden.
  5. 5. Standbild-Codierer nach Anspruch 1 oder 3, gekennzeichnet durch Mittel (5, 7), die dafür vorgesehen sind, die gemittelten Bildpunktdaten des Standbildes mit hoher Auflösung und die nachfolgenden Teilbilder dem Bewegtbild-Codierer (3) mit einer vereinbarten Anzahl von Wiederholungen zur Codierung und zur Übertragung zuzuführen.
  6. 6. Standbild-Decodierer nach Anspruch 2 oder 4, gekennzeichnet durch Mittel (5, 7), die dafür vorgesehen sind, bei wiederholter Codierung gemittelter Bildpunktdaten des Standbildes mit hoher Auflösung sowie bei wiederholter Codierung von Teilbildern dieses Standbildes nur das übertragene und decodierte Teilbild der letzten Wiederholung abzuspeichern.






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com