Die vorliegende Erfindung bezieht sich auf ein Verfahren nach dem Oberbegriff des Anspruchs 1. US 4.736.248 beschreibt, wie Wiedergabebilder erzeugt werden sollen durch Interpolation zwischen Quellenbildpaare. Der Transformationsalgorithmus wird von Punktpaaren hergeleitet, die in den beiden aufeinander folgenden Quellenbildern auftreten. Die Interpolation benutzt dieselbe Transformation für andere Pixelpaare, die in diesen beiden Quellenbildern auftreten. Manchmal ist ein bestimmtes Quellenpixel in nur einem Bild der zwei Quellenbildern vorhanden, so dass nur für dieses bestimmte Quellenpixel Extrapolation effektuiert werden muss. Das oben genannte Patent beabsichtigt die Bildrenderung in einer dynamischen Luftbildvermessung zu verbessern.

Ein anderer Anwendungsbereich betrifft weitgehend interaktive Computerspiele und ähnliche Multimediaumgebungstypen. In diesem Bereich ist es wichtig, über eine hohe Bildrate verfügen zu können, so dass wiedergegebene Bewegung möglicht geschmeidig ist. Im Grunde wird dies auch eine minimale Latenz zwischen vom Benutzer ausgelösten Ereignissen und damit verbundener sichtbarer Rückkopplung ergeben. Dies ist besonders wichtig für Navigationssteuerung, wie in Flugsimulationsspielen. Es wurde bereits vorgeschlagen, die Bildrate auf einen Wert zu steigern, der vergleichbar ist mit der Wiedergabeerneuerungsrate, die 60-72 Hz sein kann. Weiterhin hat es sich herausgestellt, dass Virtual Reality (VR) Systeme eine niedrige Latenz brauchen um einen Benutzer vor Bewegungskrankheit zu schützen. Der allgemeine Gebrauch aber von Interpolation nach dem Bezugsmaterial wird eine zusätzliche Latenz einführen, weil die jeweiligen Interpolarisationsparameter nur nach Empfang des späteren Quellenbildes bekannt sein wird, sogar, wenn unter allen Pixeln bestimmte Wiedergabebildpixel nur von vergangenen Quellenbildpixeln abhängig sein wird.

Es ist nun u. a. eine Aufgabe der vorliegenden Erfindung, die Latenzzunahme, verursacht durch die Gesamtinterpolation, zu vermeiden. Dazu ist nach einem der Aspekte die vorliegende Erfindung gekennzeichnet entsprechend dem kennzeichnenden Teil des Anspruchs 1. Der Z-Puffer wird während der Renderung der Quellenbilder erzeugt, was kein Teil der vorliegenden Erfindung ist. Der Z-Puffer kann zum Umwandeln der 2-D-Bilder in 3-D-Raum benutzt werden, so dass Änderungen in Perspektive sowie beliebige 3-D Kameradrehungen und geradlinige Verlagerungen implementiert werden können (Gleichung 8). Diese zwei Transformationstypen sind die Hauptursachen für die Änderung einer Szene.

Ein spezifisches Problem, verursacht durch Extrapolation, ist, dass ein Szenenteil, der in einem früheren Quellenbild verdunkelt wurde, danach in einem extrapolierten Bild enthüllt wird, weil das verdunkelnde Objekt auf eine transversale Weise gegenüber dem verdunkelten Teil sich verlagert hat. Eine Lösung wird erreicht durch eine laterale Extrapolation von benachbarten Pixeln, die in dem vorhergehenden Quellenbild nicht einer Verdunklung ausgesetzt worden sind. Die Extrapolation kann zusammen mit der oder entgegen die Abtastrichtung stattfinden. Wenn die Extrapolation auf ein Hintergrundmuster oder eine andere Entität mit einer groben Körnigkeit angewandt wird, ist das Ergebnis meistens effektiv oder nahezu effektiv. Andererseits wird der Effekt eines kleinen Items, das plötzlich von hinter einem verdunkelnden Objekt aufgedeckt wird, ignoriert, bis das nächste Quellenbild eintrifft. Meistens ist der Effekt dieser Vortäuschung zulässig. Im Gegensatz zu dem Obenstehenden würde eine Beschränkung der Extrapolation auf eine 2-D-affine Transformation oft unangemessene Verzerrungen in den extrapolierten Bildern schaffen, weil ein bisheriger verdunkelnder aber verlagerter Teil nun um einen großen Teil erweitert wird. Dieses Problem wird dadurch gelöst, dass die Extrapolation speziell von der Tiefe (zv2) abhängig gemacht wird, ausgedrückt in den Sichtkoordinaten der Gleichung 12.

Eine Wiedergabesequenz kann aus den Quellenbildern zusammen mit Zwischenbildern bestehen. Auf alternative Weise können alle oder bestimmte Quellenbilder unbenutzt bleiben, unter der Bedingung aber, dass die Zwischenbilder oft genug auftreten. Die erfindungsgemäße Technologie hält die Bildlatenz klein. Andererseits kann das Wiedergeben von Wiedergabebildern oft die Latenz auf einen unerwünschten Betrag steigern.

Die vorliegende Erfindung bezieht sich auch auf eine bildbasierte Anordnung zum Praktizieren des genannten Verfahrens. Weitere vorteilhafte Aspekte der vorliegenden Erfindung sind in den Unteransprüchen definiert.

Die vorliegende Erfindung ermöglicht die Berechnung von Pixelverlagerungen zum Bilden von Zwischenbildern zwischen Bildern, die von der 3-D Renderungspipeline selber erzeugt worden sind. Die Verlagerungen können während der Abtastumwandlung der Quellenbilder zunehmend berechnet werden, und zwar durch eine konsistente Verwendung von Ergebnissen, erreicht für ein unmittelbar angrenzendes Pixel längs der Abtastlinie. Dies erfordert für das nächste Pixel nur eine geringe Anzahl arithmetischer Berechnungen auf Basis früher behandelter Pixel.

Die vorliegende Erfindung ermöglicht die Verwendung bekannter Kamerabewegung in Bezug auf ein jüngstes Quellenbild zum Erzeugen augenblicklicher Kohärenz zwischen Pixeln dieses Quellenbildes und Pixeln eines unmittelbar nachfolgenden synthetisierten Wiedergabebildes nach der Gleichung 9.

Ausführungsbeispiele der vorliegenden Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:

1A–1C drei ein Wiedergabebild erzeugende Verfahren;

2 eine schaubildliche Übersicht der Erzeugung;

3 Beziehungen zwischen Anordnungs- und Sehkoordinaten;

4 dasselbe in Perspektive gesehen,

5 eine Anordnung zum Implementieren der vorliegenden Erfindung,

Tabelle 1 gibt mehrere mathematische Ausdrücke.

1A zeigt ein erstes Verfahren zum Steigern der Wiedergaberate. Die obere Reihe hat eine Zeitsequenz räumlich einheitlich verteilter Quellenbilder "a". Zwischen jedes Paar aneinander grenzender Quellenbilder wird ein zusätzliches Bild "b" interpoliert, wie durch Pfeile angegeben. Durch Verwendung der beiden ursprünglichen "a" Bilder sowie der interpolierten "b" Bilder als Wiedergabebilder, wird die Rate verdoppelt. Die Latenz ist beträchtlich, weil ein b Bild nicht erzeugt werden kann, bevor das nächste a Bild verfügbar geworden ist.

1B zeigt ein zweites Verfahren zur Steigerung der Wiedergabebildrate. Zwischen jedes Paar aneinander grenzender Quellenbilder wird eine zusätzliches Bild "c" extrapoliert, das ausschließlich auf dem letzten vorhergehenden "a" Bild basiert, was durch Pfeile angegeben ist. Um sie als Wiedergabebilder zu verwenden, werden die ursprünglichen "a" Bilder und die interpolierten "c" Bilder die Rate verdoppeln. Die Latenz ist kleiner als in 1A, weil ein "c" Bild unmittelbar erzeugt werden kann, wenn ein vorhergehendes "a" Bild verfügbar geworden ist.

1C zeigt ein drittes Verfahren zur Steigerung der Wiedergabebildrate. Zwischen jedes Paar zwischen liegender aneinander grenzender Quellenbilder wird ein zusätzliches "d" Bild extrapoliert, und zwar ausschließlich basiert auf das letzte vorhergehende "a" Bild, wie durch Pfeile angegeben. Im Gegensatz zu 1B ist die Verzögerung zwischen einem Quellenbild und dem extrapolierten "d" Bild nicht einheitlich. Die Verwendung der Hälfte der ursprünglichen "a" Bilder sowie der interpolierten "d" Bilder wird die Rate um einen Faktor von 50% steigern. Die Latenz ist kleiner als in 1A, weil ein "d" Bild unmittelbar erzeugt werden kann, wenn das vorhergehende "a" Bild verfügbar geworden ist.

2 zeigt eine schaubildliche Übersicht der Erzeugungsumgebung, wie auf einem XYZ-Koordinatensystem basiert. Die wirkliche Kameraposition Informationssignal im Original mit der Sehachse in der negativen Z-Richtung; die Kamera hat eine "aufwärts" Richtung längs der Y-Achse.

3 zeigt geometrische Beziehungen zwischen Anordnung und Sehkoordinaten. Die Kamera ist wieder in dem Ursprung mit der Achse in der negativen Z-Richtung. Die horizontale Achse in der Figur ist die X_view Achse, die Y_view Achse ist senkrecht zu der Zeichenebene. Das Objekt OBJ ist projiziert zur Wiedergabe an dem Schirm mit der x Koordinate x_s. Wie dargestellt hat die Figur eine perspektivische oder zentrale Projektion. Eine parallele Projektion ist eine denkbare Alternative.

4 zeigt diese Geometrie in einem dreidimensionalen Raum. Ganz links ist der Augenpunkt der Kameraposition. Die Fernbegrenzungsebene fcp auf der rechten Seite und die Nahbegrenzungsebene ncp in der Mitte stehen senkrecht auf der Sehachse, und zusammen begrenzen sie ein Sehwinkelkegelstumpf. Ähnliche Begrenzungsebenen erstrecken sich in der x- und in der y-Richtung. In der Projektionsebene sind die mit einem Vorzeichen versehene Abstände oben, unten, links und rechts angegeben. Weiterhin sind die Abstände nah und fern zwischen dem Ursprung und der Projektionsebene und der Objektebene angegeben. Auch der Höhenwinkel fi ist dargestellt.

5 zeigt eine Anordnung zum Implementieren der vorliegenden Erfindung. Der Aufsatz zentriert sich um den Kommunikationsbus 20 und den Hauptspeicher 30 herum. Die zu verarbeitende Information wird dem Speicher entnommen und den Verarbeitungsmodulen 22, 24, 26 zugeführt, die in Reihe geschaltet sind um aufeinander folgende Vorgänge zu symbolisieren, wie diese in den nachfolgenden Tabellen aufgereiht sind. Die Verarbeitungsmodule können kollektiv auf gemeinsamer Hardware, wie einer CPU, abgebildet werden. Nach Verarbeitung und möglicherweise einer erreichen die aufeinander folgenden Wiedergabebilder das Subsystem 34 zur Wiedergabe an einen Benutzer. Das gesamte Steuersystem 28 ist über Steuerleitungen 23, 25, 27 mit den Verarbeitungsmodulen verbunden, was über den Bus 20 laufen kann. Auf diese Weise können die Daten in der CPU in ein Bild umgesetzt werden. Das Steuersystem 28 kann Steuer- und Datensignale von mehreren Quellen empfangen, wie manuelle oder andere Eingaben 32 von einem wirklichen Benutzer, externe Signale von anderen Benutzern in einer interaktiven Umgebung, oder von Kameras oder weiteren Subsystemen, die der Kürze wegen nicht dargestellt sind.

Im Allgemeinen kann durch Kameradrehung, -translation oder Zoombewegungen der komplette Bildinhalt sich mit der Zeit ändern. Wenn die geometrischen Beziehungen zwischen der vorhergehenden Kameraposition und -richtung und der neuen Kameraposition und -richtung bekannt sind, wird die Kohärenz zwischen den Pixeln des alten Quellenbildes und des neuen zu extrapolierenden zwischen liegenden Wiedergabebildes auch bekannt sein. Die Tabelle 1 gibt mehrere mathematische Ausdrücke, einschließlich Beziehungen zwischen mehreren Koordinaten, wie Sehraumkoordinaten, Projektionskoordinaten, normalisierten Anordnungskoordinaten und Schirm-Raumkoordinaten.

Zunächst ist die Gleichung (1) die schaubildliche Projektionsmatrix. Sie definiert die jeweiligen Größen nah, fern, oben, unten links und rechts in Bezug auf Ebenenpositionen des in 4 dargestellten Sehstumpfes; es kann aber auch ein asymmetrischer Stumpf verwendet werden. Danach definieren die Gleichungen (3) die Verwendung des Höhenwinkels fi und das Seitenverhältnis "a" um weiterhin den Sehkegel zu spezifizieren. Die Gleichung (4) drückt die Beziehungen zwischen den Projektionskoordinaten (postscript p) und homogenen Sehkoordinaten (postscript v) über die Projektionsmatrix P. Andere Projektionen, wie orthogonal sind auch denkbar. Die Gleichung (5) gibt normalisierte Anordnungskoordinaten (subscript n). Zum Schluss gibt die Gleichung (6) die Schirmkoordinaten (postscript s). Eine eindeutige Einfügung leitet die endgültigen Beziehungen zwischen Schirmkoordinaten und Sehkoordinaten her, wie in (7) gegeben. Unter Verwendung von {xv1, yv1, zv1} und {xs1, ys1} als die Koordinaten in dem Quellenbild lässt sich {xv1, yv1} entsprechend der Gleichung (8) schreiben.

Die Matrixtransformation der Sehkoordinaten durch Kamerabewegung und/oder Objektänderungen ist in (9) gegeben. Die Gleichung (10) gibt die Koordinaten in dem extrapolierten Bild, so dass die Ausdrücke für (xs2, ys2) eindeutig gefunden werden können, wie in (11) gegeben. Weiterhin ist (12) der Ausdruck für zv2. Nun ist fz linear auf die Schirmkoordinaten xs1 und ys1 bezogen, und fz kann nun zunehmend während der Abtastung berechnet werden durch Hinzufügung eines konstanten Deltas, d.h. der Zeitabgeleiteten der Bewegung. Folglich erfordert die Berechnung zv Folgendes:

• – Hinzufügen von Delta zu fz
• – Multiplizieren mit zv1
• – Hinzufügen von m23.

Weiterhin können xs2 und ys2 entsprechend dem Ausdruck (13) geschrieben werden. Auch fx und fy beziehen sich linear zu den Schirmkoordinaten xs1 und ys1, so dass sie auch zunehmend durch Hinzufügung eines konstanten Deltas berechnet werden können. Deswegen erfordert die zunehmende Berechnung von xs2 und ys2 Folgendes, und zwar zusätzlich zu der Berechnung von zx2:

• – Berechnen von zv2 reziprok (d.h. 1 teilen durch zv2)
• – Hinzufügen von Delta zu fy
• – Multiplizieren der beiden Ergebnisse mit zv1
• – Hinzufügen der beiden Produkte zu h·k·m03/2 und h·k·m13/2
• – Multiplikation der beiden Ergebnisse mit dem Reziprokwert von zv2
• – Hinzufügen zu w/2 und h/2.

Das Obenstehende fügt bis zu acht Additionen, fünf Multiplikationen und eine Division hinzu.

Weiterhin werden viele Spielapplikationen ein oder mehrere Objekte am Schirm präsentieren, was ein dynamisches Verhalten bietet, das unabhängig von der Kamerabewegung ist. Dieses Verhalten kann durch eine relative Transformation in Bezug auf die Kamera für jedes derartige Objekt dargestellt werden, das meistens als ein einziger starrer Körper dargestellt wird, oder als Zusammensetzung bestehend aus mehreren mit einander verbundenen starren Körpern. Objektbewegung kann durch Multiplikation der Kameratransformationsmatrix M_cam mit der Starrkörpertransformation M_obj für alle Pixel des betreffenden Objektes. Daraufhin werden die oben beschriebenen Verlagerungsfunktionen die Bewegungsvektoren der jeweiligen Pixel berechnen. Jedes Pixel soll einen Identifizierer des Objektes haben, zu dem es gehört, wobei diese Identifikation weiterhin auf die schlussendliche Transformationsmatrix M = M_cam·M_obj dieses Objektes in dem Sehraum des jüngsten gerenderten Quellenbildes zeigt. Dies kann durch Einführung einer zusätzlichen Beschreibungsebene eingeführt werden, die Objekt- oder Matrixzeiger enthält. Meistens wird die Anzahl der artiger Körper in einer Szene kleiner sein als 256, so dass ein zusätzliches Byte je Pixel ausreichen dürfte. Die Objektebene kann auf effiziente Weise durch Lauflängencodierung RLE komprimiert werden, da die Ebene meistens große Gebiete einheitlich bewerteter Pixel enthalten, die zu einem einzigen starren Körper gehören.

Symmetrischer Sehrkegelstumpf, gegeben durch: b = –t; l = –r(2)

Verwendung des Höhenwinkels fi und des Seitenverhältnisses a zum Spezifizieren des Kegelstumpfes: k = 1/Tan[2 fi] a = w/h; t = n/k; r = ta;(3)

• {xp, yp, zp, wp} = P·{xv, yv, zv, 1};(4)

• {xn, yn} = {xp, yp}/wp;(5)

• {xs, ys} = {121 w(xn + 1), 122h(yn + 1)};(6)

Was durch Substitution der nachfolgenden Gleichung entspricht:

Folglich kann unter Verwendung von {xv1, yv1, zv1} und {xs1, ys1} als die Koordinaten in dem Quellenbild, {xv1, yv1} wie folgt geschrieben werden:

Die Matrixtransformation der Sehkoordinaten durch die Kamera- und/oder Objektänderungen:

Koordinaten in dem Zwischenbild: {xv2, yv2, zv2, wv2} = M·{xv1, yv1, zv1, 1};(10)

Folglich:

fz ist linear bezogen auf die Schirmkoordinaten xc1 und ys1, so dass fz zunehmend berechnet werden kann, durch Hinzufügung einer konstanten Delta während der Abtastumwandlung. Folglich erfordert die zunehmende Berechnung von zv2:

• – Hinzufügung von Delta zu fz
• – Multiplikation mit zv1
• – Hinzufügung zu m23

Auch fx und fy sind linear auf die Schirmkoordinaten xs1 ud ys1 bezogen, so dass sie zunehmend berechnet werden können, und zwar durch Hinzufügung einer konstanten Delta. Auf diese Weise erfordert die zunehmende Berechnung von xs2 und ys2 Folgendes: (zusätzlich zu der Berechnung von xv2):

• – Berechnung von zv2 reziprok (1 teilen durch zv2)
• – Hinzufügung von Delta zu fx und Hinzufügung von Delta zu fy
• – Multiplikation der beiden Ergebnisse mit zv1
• – Hinzufügen zu h k m03/2 und h k m13/2,
• – Multiplizieren der beiden Ergebnisse mit dem Reziprokwert zv2
• – Hinzufügen zu w/2 und h/2.

• Insgesamt gibt es: 1 Teilung, 5 Multiplikationen, and 8 Additionen!