Die Erfindung betrifft insbesondere ein Verfahren und eine Vorrichtung zum Korrigieren der ursprünglichen Farbe eines digitalen, digitalisierten bzw. elektronischen ursprünglichen Bildes, das mehrere Bildpunkte aufweist, mindestens ein Objekt abbildet und eine lineare oder nichtlineare Beleuchtung aufweist, um ein erzeugtes Bild mit zumindest einer realistischeren oder gar naturgetreuen Farbe des Objekts zu erhalten.

Das visuelle System des Menschen ist in der Lage, die Farbe von Objekten unabhängig von der Beleuchtung zu bestimmen. Dieser Mechanismus wird als Farbkonstanz bezeichnet. Die Farbe der Objekte hängt von der Reflektanz der Oberfläche ab. Die Reflektanz gibt den Anteil des reflektierten Lichts in Abhängigkeit von der Wellenlänge an. Das visuelle System des Menschen ist also in der Lage, die Reflektanz der Oberflächen anhand des reflektierten Lichts zu schätzen. Analoge oder digitale Kameras dagegen messen das reflektierte Licht. Das reflektierte Licht hängt jedoch in hohem Maße von der Art der Beleuchtung ab. Wenn z.B. eine Lampe mit einem gelblichen Lampenschirm zur Beleuchtung eines Raumes mit weißen Wänden verwendet wird, so erscheinen die weißen Wände auf einem Foto gelblich. Der Fotograf dagegen nimmt die Wände als weiß wahr.

Es existieren bereits eine Vielzahl von Algorithmen zur Farbkonstanz, die diesen Mechanismus des visuellen Systems des Menschen nachbilden sollen. Land und McCann (1971) entwickelten die sog. Retinex Theorie (siehe auch Land (1974, 1983, 1986, 1986a)). Die Retinex Theorie wurde von anderen Wissenschaftlern ergänzt und erweitert (Brainard und Wandell 1992, Brill und West 1981, Funt und Drew 1988, Horn 1974, 1986, Rahman et al. 1999). Weitere Algorithmen zur Farbkonstanz sind sog. Gamut-Constraint Methoden (Barnard et al. 1997, Forsyth 1988, 1992), perspektivische Farbkonstanz (Finlayson 1996), Farbe durch Korrelation (Barnard et al. 2000, Finlayson et al. 1997), die Annahme, daß die Welt im Mittel grau ist (Buchsbaum 1980, Gershon et al. 1987), Bestimmung von Koeffizienten von Basis-Funktionen (Funt et al. 1991, Ho et al. 1992, Maloney und Wandell 1986), Helligkeitsadaption in Verbindung mit Augenbewegungen (D'Zmura und Lennie 1992), Neuronale Netzwerke (Courtney et al. 1995, Dufort und Lumsden 1991, Funt et al. 1996, Herault 1996, Moore et al. 1991, Novak und Shafer 1992), Minimierung einer Energiefunktion (Usui und Nakauchi 1997), Umfassende Farbnormierung (Finlayson et al. 1998), Farbcluster-Rotation (Paulus et al. 1998), Komitee-basierte Methoden, die die Berechnungen mehrerer Algorithmen zur Farbkonstanz zusammenfassen (Cardei und Funt 1999), die Verwendung von genetischer Programmierung (Ebner 2001), die Kombination der Graue-Welt-Hypothese mit dem Retinex Algorithmus (Ebner 2003a), die Filterung von Regionen, die mit einem angenommenem Farbmodell nicht in Einklang stehen (Risson 2003) oder die Berechnung sog. intrinsischer Bilder (Tappen et al. 2002, Finlayson et al. 2004). Eine Software zur Farbkorrektur von Bildern wird von Digital Arts GmbH, Köln, vertrieben (Digital Arts, 2003).

Der Offenbargungsgehalt der genannten Druckschriften bzw. Veröffentlichungen ist hiermit in den Offenbarungsgehalt dieser Beschreibung einbezogen.

Es ist die Aufgabe der vorliegenden Erfindung ein verbessertes Verfahren, eine verbesserte Vorrichtung, ein verbessertes System, ein verbessertes Computerprogrammen mit einer Programmcode Einrichtung, ein verbessertes Computerprogrammenprodukt, ein verbessertes Datenverarbeitungssystem und/oder entsprechende Verwendungen, Einrichtungen, wie einen CCD-Chip, eine CMOS-Chip, eine Digitalkamera, einen Flachbildschirm, ein Flachbildfernsehgerät, ein TFT-Display usw. zum Korrigieren der ursprünglichen Farbe eines digitalen, digitalisierten bzw. elektronischen ursprünglichen Bildes, das mehrere Bildpunkte aufweist und mindestens ein Objekt mit linearer oder nicht-linearer Beleuchtung abbildet, um ein erzeugtes Bild mit zumindest einer realistischeren oder gar naturgetreuen Farbe des Objekts zu erhalten, bereitzustellen.

Diese Aufgabe wird mit den Merkmalen der entsprechenden Ansprüche gelöst.

Die Erfindung betrifft insbesondere ein Verfahren und eine entsprechende Vorrichtung zum Korrigieren der ursprünglichen Farbe eines digitalen, digitalisierten bzw. elektronischen ursprünglichen Bildes, das mehrere Bildpunkte aufweist und mindestens ein Objekt mit linearer oder nichtlinearer Beleuchtung abbildet, um ein erzeugtes Bild mit zumindest einer realistischeren Farbe des Objekts zu erhalten, insbesondere mit den folgenden Schritten:

• – Ermitteln mindestens der ursprünglichen Farbe von jeweils mehreren zu untersuchenden Bildpunkten des ursprünglichen Bildes,
• – Gleichmäßiges Mitteln der durchschnittlichen lokalen Farbe von benachbarten Bildpunkten für jeden untersuchten Bildpunkt,
• – Hinzufügen der ermittelten ursprünglichen Farbe jedes Bildpunktes zu der gleichmäßig gemittelten Farbe von benachbarten Bildpunkten, um die durchschnittliche lokale Farbe mindestens dieses Bildpunktes zu erhalten,
• – Bestimmung der Richtung der Beleuchtungsänderung anhand der durchschnittlichen lokalen Farbe des Bildpunktes sowie der durchschnittlichen lokalen Farbe benachbarter Bildpunkte,
• – Mitteln der orientierten durchschnittlichen lokalen Farbe von benachbarten Bildpunkten in einer Richtung orthogonal zur Beleuchtungsänderung,
• – Hinzufügen der ermittelten ursprünglichen Farbe jedes Bildpunktes zu der gemittelten orientierten durchschnittlichen lokalen Farbe, um die orientierte durchschnittliche lokale Farbe mindestens dieses Bildpunktes zu erhalten.
• – Korrigieren der Farbe eines untersuchten Bildpunktes anhand der ursprünglichen Farbe des Bildpunktes und der erhaltenen orientierten durchschnittlichen lokalen Farbe des Bildpunktes.

Vorzugsweise wird dann im wesentlichen die senkrecht auf dem Grauvektor stehende Komponente der orientierten durchschnittlichen lokalen Farbe eines Bildpunktes von der ursprünglichen Farbe des Bildpunktes subtrahiert, um die Farbe des Bildpunktes zu korrigieren.

Weiter bevorzugt erfolgt das Korrigieren der Farbe eines Bildpunktes im wesentlichen durch die folgenden Schritte:

• – Skalieren der ursprünglichen Farbe eines Bildpunktes und der orientierten durchschnittlichen lokalen Farbe eines Bildpunktes auf die Ebene r + g + b = 1 des RGB-Farbraumes,
• – Subtrahieren der Komponente der orientierten durchschnittlichen lokalen Farbe eines Bildpunktes, die senkrecht auf dem Grauvektor steht, von der ursprünglichen Farbe des Bildpunktes zum Erhalten der korrigierten Farbe des Bildpunktes und
• – Skalieren der korrigierten Farbe eines Bildpunktes auf die Länge der ursprünglichen Farbe des Bildpunktes.

Alternativ kann das Korrigieren der Farbe eines Bildpunktes auch durch Division mit der orientierten durchschnittlichen lokalen Farbe erfolgen. Bevorzugt wird durch zweimal der orientierten durchschnittlichen lokalen Farbe dividiert.

Es ist ebenfalls eine Unterkombination der genannten Merkmale oder Schritte der Erfindung zur Verwirklichung der Farbkorrektur möglich.

Weiter bevorzugt wird erfindungsgemäß ein Gitter aus Prozessorelementen bereitgestellt, insbesondere bevorzugt für jeden Bildpunkt ein Prozessorelement. Dabei ist jedes Prozessorelement derart ausgebildet, daß es auf die gemessene Farbe des zugehörigen Bildpunktes zugreifen kann und zusätzlich zwei weitere Farben, die durchschnittliche lokale Farbe und die orientierte durchschnittliche lokale Farbe speichern kann. Die Prozessorelemente können auf den Speicherinhalt der benachbarten vier Prozessorelemente zugreifen. Es ist auch ein alternativer oder zusätzlicher Zugriff auf die schräg benachbarten Prozessorelemente möglich. Die Prozessorelemente am Rand des Gitters haben je nach Position entsprechend weniger Nachbarelemente.

Der Gegenstand der Erfindung betrifft vorzugsweise ein paralleles Verfahren zur Lösung des Problems der Farbkonstanz. Das Verfahren berechnet die durchschnittliche lokale Farbe und die orientierte durchschnittliche lokale Farbe mit Hilfe eines Gitters aus einfachen Prozessorelementen. Die orientierte durchschnittliche lokale Farbe wird zur Farbkorrektur eingesetzt. Damit wird eine wesentliche Verbesserung im Vergleich zu einem früheren Verfahren erreicht. Die früheren Verfahren sind in (Ebner 2002, 2003a, 2003b, 2004a, 2004b) beschrieben. Das erfindungsgemäße Verfahren kann auch bei einer nicht-linearen Änderung der Beleuchtung eingesetzt werden.

Die Erfindung bzw. bevorzugte Ausführungsformen werden nachfolgend anhand der beiliegenden Figuren beispielhaft beschriebenen. Es zeigen:

1 Ein Gitter mit 8×8 Prozessorelementen mit Vierer-Nachbarschaft ist links dargestellt. Rechts ist ein 8×8 Gitter mit Achter-Nachbarschaft dargestellt.

2 Lineare Änderung der Beleuchtung von links nach rechts. Die rechte Grafik zeigt den Verlauf der Beleuchtung. Die durchschnittliche lokale Farbe, die von einem Prozessorelement auf der linken Seite berechnet wird, ist kleiner als die durchschnittliche lokale Farbe des aktuellen Prozeßorelements. Die durchschnittliche lokale Farbe, die von einem Prozessorelement auf der rechten Seite berechnet wird, ist größer als die des aktuellen Prozessorelements. Werden die beiden Werte gemittelt, so gleichen sich diese Unterschiede exakt aus. Es entstehen vertikale Streifen.

3 Nicht-lineare Änderung der Beleuchtung von links nach rechts. Die rechte Grafik zeigt den Verlauf der Beleuchtung. Die durchschnittliche lokale Farbe, die von dem Prozessorelement auf der linken Seite berechnet wird, ist deutlich kleiner, als die des aktuellen Elements. Die durchschnittliche lokale Farbe, die von dem Prozessorelement auf der rechten Seite berechnet wird, ist nur geringfügig größer, als die des aktuellen Elements. Bei der Mittelung der beiden Werte erhalten wir daher einen Wert, der kleiner ist, als die Beleuchtung an diesem Punkt.

4 Eine nichtlineare Änderung der Beleuchtung kann näherungsweise als linear betrachtet werden, falls der Bereich, für den die durchschnittliche lokale Farbe berechnet wird, klein genug ist (links). In der Regel berechnen wir die durchschnittliche lokale Farbe aber über einen großen Bereich. Andernfalls wäre die Annahme, daß die Welt im Mittel grau ist, nicht korrekt. Daher ist davon auszugehen, daß sich der Bereich, für den die durchschnittliche lokale Farbe berechnet wird, sich auch über Nichtlinearitäten ausdehnt. In diesem Fall wäre die durchschnittliche lokale Farbe eine schlechte Schätzung der Beleuchtung (rechts).

5 Nicht-lineare Änderung der Beleuchtung. Die Pfeilrichtung zeigt die Richtung des Gradienten. Die Iso-Beleuchtungslinie verläuft senkrecht zur Richtung des Gradienten.

6 Lokales Koordinatensystem, das in Richtung des Gradienten gedreht ist. Die Richtungen vorne/hinten weisen in Richtung des Gradienten. Die Richtungen links/rechts weisen entlang der Iso-Beleuchtungslinie.

7 Zwei Interpolationsmethoden: (a) Die Farbe am Punkt P wird durch Interpolation der Farben an den Punkten A und B berechnet. (b) Falls auch diagonal Verbindungen vorhanden sind, können wir die bilineare Interpolation einsetzen. In diesem Fall wird die Farbe am Punkt P durch Interpolation der Farben der Punkte A, B, C und D berechnet.

8 Prozessorelemente am Rand des Bildes bedürfen einer besonderen Beachtung. Die Farbe der Bildpunkte, die außerhalb des Bildes liegen, ist nicht bekannt. Um die Berechnungen nicht zu verfälschen, sollten über diese Punkte keine Annahmen gemacht werden. Daher werden nur die Daten des aktuellen Elements und der Wert entlang der Iso-Beleuchtungslinie innerhalb des Bildes gemittelt.

9 Falls die Iso-Beleuchtungslinie gekrümmt ist, muß die Krümmung der Line berücksichtigt werden. Sonst werden Daten gemittelt, die nicht auf der Iso-Beleuchtungslinie liegen.

10 Um Werte entlang der Iso-Beleuchtungslinie zu mitteln, müssen wir zunächst die Schnittpunkte des Einheitskreises mit dem Kreis um das Krümmungszentrum berechnen. Wir nehmen für die Berechnung an, daß das Krümmungszentrum an der Position (0, r) liegt, wobei r der Krümmungsradius ist. Es seien P₁ und P₂ die beiden Schnittpunkte. Daher müssen wir die Werte an den Punkten P₁ und P₂ durch Interpolation bestimmen.

11 Die Realisation eines Verfahrens zur Farbkonstanz bestehend aus 4 Stufen. Die ursprüngliche Farbe des Bildpunktes wird in Stufe 1 bereitgestellt, die durchschnittliche lokale Farbe wird in Stufe 2 berechnet. Die orientierte durchschnittliche lokale Farbe wird in Stufe 3 berechnet. Die korrigierte Farbe wird in Stufe 4 berechnet.

Das erfingsgemäße Verfahren arbeitet auf einem Gitter aus Prozessorelementen, wobei für jeden Bildpunkt ein Prozessorelement bereitgestellt wird. Jedes Prozessorelement kann auf die gemessene Farbe an diesem Bildpunkt zugreifen. Es sei c_i(x, y) die gemessene Intensität des Farbkanals i mit i ∊ {r, g, b} an der Position (x, y) im Gitter. Es sei c(x, y) = [c_r(x, y), c_g(x, y), c_b(x, y)] die gemessene Farbe an der Position (x, y) im Gitter. Zusätzlich hat das Prozessorelement Zugriff auf die Daten der vier direkt benachbarten Prozessorelemente. Ein Zugriff auf die vier diagonalen Nachbarn ist entweder alternativ oder zusätzlich möglich. Im letzteren Fall hat ein Prozessorlement acht Nachbarn (1). Die Prozessorelemente am Rand des Gitters haben je nach Position entsprechend weniger Nachbarelemente. Die Nachbarschaftsbeziehung sei durch N(x, y) = {(x', y')|(x', y') ist Nachbarelement von Element (x, y)} definiert. Die durchschnittliche lokale Farbe wird iterativ durch Mittelung der Daten benachbarter Elemente berechnet. Hierzu nehmen wir an, daß a_i(x, y) mit i ∊ {r, g, b} die bisher ermittelte durchschnittliche lokale Farbe am Punkt (x, y) des Gitters ist. In der ersten Iteration kann dieser Wert beliebig gewählt werden. Ferner sei p ein kleiner Wert größer Null. Die folgenden Schritte werden vorzugsweise in ausreichender Zahl, weiter bevorzugt quasi endlos (permanente Verarbeitung solange die entsprechende Vorrichtung im Betrieb ist), wiederholt:

Im ersten Schritt wird vorzugsweise die bisher berechnete durchschnittliche lokale Farbe der benachbarten Prozessorelemente gemittelt. Alternativ können wir auch den berechneten Wert des aktuellen Elements bei der Mittelung berücksichtigen. In diesem Fall wird

Die Berechnung der durchschnittlichen lokalen Farbe ist äquivalent zur Faltung des Eingangsbildes mit der Funktion e–|r|&sgr; wobei

In 2 ist eine nicht-uniforme Beleuchtung der Szene dargestellt, bei der sich die Beleuchtung linear von einer Seite des Bildes zur anderen ändert. Ein Prozessorelement mittelt die durchschnittliche lokale Farbe der vier benachbarten Prozessorelemente. Betrachten wir den Fall, daß die Mittelwerte bereits konvergiert sind. Der Mittelwert, der von dem Prozessorelement auf der linken Seite berechnet wurde, wird etwas kleiner sein und der Mittelwert des Prozessorelements auf der rechten Seite wird etwas höher als der aktuelle Mittelwert sein. Dagegen werden die Mittelwerte der Prozessorelemente über und unter dem aktuellen Element den gleichen Wert besitzen. Wenn nun der Durchschnitt der vier benachbarten Prozessorelemente berechnet wird, so gleicht sich der etwas niedrigere Wert des linken Prozessorelements mit dem etwas höheren Wert des rechten Prozessorelements aus. Dies ist auf der rechten Seite von 2 dargestellt. Der neue Mittelwert ist identisch mit dem zuvor berechneten Mittelwert. Auf diese Weise entstehen eine Reihe von vertikalen Streifen. Das eingangs beschriebene Verfahren, ist also in der Lage, bei einer linearen Änderung der Beleuchtung diese zu schätzen.

Wir nehmen nun an, daß die Änderung der Beleuchtung nicht-linear ist. Dies ist in 3 dargestellt. Die Beleuchtung variiert wieder von links nach rechts. Der Mittelwert, der von den Prozessorelementen über und unter dem aktuellen Element berechnet wird, ist wieder identisch mit dem Mittelwert des aktuellen Elements. Dagegen wird der Mittelwert des linken Prozessorelements deutlich kleiner sein als der Mittelwert des aktuellen Elements. Der Mittelwert des rechten Prozessorelements wird dagegen nur geringfügig größer sein. In diesem Fall gleichen sich die Mittelwerte der linken und rechten Seite nicht mehr aus. Für den hier dargestellten Fall wird der berechnete Mittelwert kleiner sein als tatsächlich. Dies ist auf der rechten Seite von 3 dargestellt. Das bisher beschriebene Verfahren kann also nicht für eine nicht-lineare Änderung der Beleuchtung verwendet werden.

Eine nichtlineare Änderung der Beleuchtung kann näherungsweise als linear betrachtet werden, wenn der Bereich für den die durchschnittliche lokale Farbe berechnet wird, klein genug ist. Der Bereich, für den die durchschnittliche Farbe berechnet wird, wird durch den Parameter p definiert. Damit die Graue-Welt-Hypothese erfüllt ist, müssen wir einen kleinen Wert für den Parameter p verwenden. D.h., wir berechnen die durchschnittliche lokale Farbe für einen relativ großen Bereich. Dies bedeutet aber gleichzeitig, daß evtl. vorhandene Nichtlinearitäten im Bild von allen Bereichen überdeckt werden. Dies ist in 4 dargestellt.

Eine genauere Schätzung der Beleuchtung können wir erhalten, indem wir die Daten, nicht wie zuvor beschrieben, gleichmäßig mitteln. Solch eine nicht-uniforme Glättung der Daten wird häufig zur Segmentierung von Bildern eingesetzt und ist unter dem Namen anisotropische Diffusion bekannt (Weickert 1997, Weickert et al. 1998). Nehmen wir an, daß wir eine nichtlineare Beleuchtungsänderung haben, die von links nach rechts verläuft. Die Beleuchtung ist in diesem Fall konstant entlang der Vertikalen. Wir nennen diese Linie die Iso-Beleuchtungslinie. Jedes Prozessorelement hat eine eigene Iso-Beleuchtungslinie. Für diesen einfachen Fall verläuft die Iso-Beleuchtungslinie für alle Prozessorelemente vertikal. Wenn wir nur die Werte von den über und unter dem aktuellen Element liegenden Prozessorelementen mitteln, so können wir die Beleuchtung entlang der Iso-Beleuchtungslinie schätzen, wenn die Szene entlang dieser Linie ausreichend komplex ist, so daß die Graue-Welt-Hypothese erfüllt ist. D.h., die Zahl der Farben, über die entlang der Iso-Beleuchtungslinie gemittelt wird, muß ausreichend groß sein. Falls die Iso-Beleuchtungslinie vertikal oder horizontal verläuft, so können wir die Daten entweder nur entlang der Vertikalen oder nur entlang der Horizontalen mitteln. In der Praxis ist ein horizontaler oder vertikaler Verlauf der Iso-Beleuchtungslinie aber nicht unbedingt gegeben. Die Iso-Beleuchtungslinie kann eine beliebige Orientierung besitzen. Tatsächlich muß es sich nicht um eine gerade Linie handeln. Die Linie kann auch gekrümmt sein. Dies kann bei einer lokalen Beleuchtung, wie z.B. einem Strahler, der Fall sein.

Gekrümmte Iso-Beleuchtungslinien behandeln wir weiter unten. Zunächst müssen wir die Richtung der Iso-Beleuchtungslinie berechnen. 5 zeigt den diagonalen Verlauf einer nichtlinearen Beleuchtung. Der Pfeil markiert die Richtung des Gradienten. Die Iso-Beleuchtungslinie verläuft senkrecht zum Gradienten. Wenn wir die Werte entlang der Iso-Beleuchtungslinie mitteln, erhalten wir eine Schätzung der Beleuchtung entlang dieser Linie, die nicht durch die Nichtlinearität verfälscht wird. Das Ergebnis ist in diesem Fall näherungsweise unabhängig von dem Parameter p, der den Bereich definiert, für den die durchschnittliche lokale Farbe berechnet wird. Wir müssen also bei einer nicht-linearen Beleuchtungsänderung entlang einer Vorzugsrichtung mitteln.

Um die Richtung der Iso-Beleuchtungslinie zu bestimmen, berechnen wir den Gradienten der Beleuchtung. Die Beleuchtung ist aber nicht bekannt. Wir verwenden die durchschnittliche lokale Farbe als Approximation der Beleuchtung. Die durchschnittliche lokale Farbe wird wie oben beschrieben berechnet. Es sei a_i(x, y) die durchschnittliche lokale Farbe am Punkt (x, y) für den Farbkanal i. Der Gradient der durchschnittlichen lokalen Farbe berechnet sich dann wie folgt:

Die Berechnung der durchschnittlichen lokalen Farbe sollte in allen drei Farbkanälen gleichmäßig erfolgen. Daher müssen die Gradienten der einzelnen Farbkanäle in geigneter Weise zu einem einzigen Gradienten kombiniert werden. Es sei (dx, dy) der kombinierte Gradient. Bei der Kombination der Gradienten haben wir mehrere Möglichkeiten. Wir können z.B. den Mittelwert der Gradienten berechnen:

Alternativ können wir auch den Farbkanal wählen, in dem der Gradient maximal ist:

Eine weitere Möglichkeit ist die Gradienten der Farbkanäle entsprechend ihres Betrags gewichtet zu mitteln

Die Richtung &agr; des Gradienten (dx, dy) ist durch

Wir definieren nun ein lokales Koordinatensystem, das von der Richtung des Gradienten der Lichtquelle abhängt. Die Richtungen vorne/hinten weisen in Richtung des Gradienten. Die Richtungen links/rechts sind orthogonal zum Gradienten orientiert. Dies wird in 6 illustriert. Um die Daten innerhalb dieses Koordinatensystems zu mitteln, müssen wir die Werte, die wir von den benachbarten vier bzw. acht Prozessorelementen erhalten, in geeigneter Weise interpolieren. Zur Interpolation können wir entweder eine Vierer- oder eine Achter-Nachbarschaft verwenden. Beispiele für unterschiedliche Interpolationsmethoden sind in 7 dargestellt.

Die erste Interpolationsmethode (a) berechnet die Farbe des Bildpunktes c(P) am Punkt P, indem die Daten der Punkte der Positionen A und B interpoliert werden. Es sei c(A) und c(B) die Farbe der Bildpunkte an den Positionen A und B. Ferner sei &agr; die Richtung des Gradienten des aktuellen Prozessorelements. Dann wird die Farbe an der Position P wie folgt berechnet c(P) = (1 – s)c(A) + sc(B), wobei s = 2&agr;&pgr; definiert wird. Anstatt den Winkel anhand des Gradienten zu berechnen, was die Verwendung einer trigonometrischen Operation notwendig macht, können wir auch folgende Interpolationsmethode verwenden.

Diese Interpolationsmethode hat fast den gleichen Effekt. Die Differenz zwischen den beiden Varian

Die zweite Variante bietet sich besonders dann an, wenn die Verwendung trigonometrischer Operationen zu aufwendig ist.

Sind die Prozessorelemente auch entlang der Diagonalen verbunden, d.h., wir haben eine Achter-Nachbarschaft, so können wir die bilineare Interpolation verwenden (b). Es seien c(A), c(B), c(C), c(D) die Farben, die an den angrenzenden Elementen gespeichert sind. Dann wird die Farbe an der Position P wie folgt berechnet. c(P) = (1 – u)c(E) + uc(F)

Dabei ist c(E) = (1 – &ngr;)c(C) + &ngr;c(B) und c(F) = (1 – &ngr;)c(A) + c(D), u = cos(&agr;) und &ngr; = sin(&agr;). Hier wird also zunächst entlang der Vertikalen und dann entlang der Horizontalen interpoliert.

Es seien ă(vorne), ă(hinten), ă(links), und ă(rechts) die interpolierten Farben des gedrehten Koordinatensystems. Ferner sei c(x, y) die gemessene Farbe des aktuellen Prozessorelements. Wir können nun die orientierte durchschnittliche lokale Farbe ă_i für den Farbkanal i berechnen, indem wir die Daten von links und von rechts in unserem lokalen Koordinatensystem entlang der Iso-Beleuchtungslinie mitteln.

Dabei ist p wieder eine kleine Zahl größer als Null. Die Daten entlang der beiden Richtungen vorne/hinten, können auch hinzugezogen werden. Wir führen hierzu einen zusätzlichen Parameter &ohgr; mit &ohgr; ∊ [0, 0.25] ein.

Falls &ohgr; gleich Null ist, werden nur die Daten entlang der Iso-Beleuchtungslinie gemittelt. Für kleine Werte von &ohgr; wird die Mittelung hauptsächlich entlang der Iso-Beleuchtungslinie durchgeführt. Zusätzlich fließt ein kleiner Anteil auch entlang der beiden Richtungen vorne/hinten in Richtung des aktuellen Prozessorelements.

Alternativ können wir auch das aktuelle Element in die Mittelung einbeziehen. Wir können eine der beiden vorgenannten Operationen zur Mittelung der Daten verwenden, um ă'_i zu berechnen und dann den berechneten Wert des aktuellen Elements hinzufügen.

Nun fügen wir die gemessene Farbe des Eingangsbildes langsam zur orientierten durchschnittlichen lokalen Farbe hinzu. ă_i(x, y) = ă''_i(x, y)·(1 – p) ± c_i(x, y)·p

Wenn wir diesen Vorgang oft genug iterieren, erhalten wir ein Bild, bei dem jeder Bildpunkt die orientierte durchschnittliche lokale Farbe entlang der Iso-Beleuchtungslinie zeigt.

Die bisher beschriebene Mittelung entlang der Iso-Beleuchtungslinie ist nur für Prozessorelemente durchführbar, die sich nicht am Rand des Gitters aus Prozessorelementen befinden. Für die Elemente am Rand des Bildes muß das erfindungsgemäße Verfahren leicht abgewandelt werden. Es reicht nicht aus, die Bildpunkte am Rand zu duplizieren. Dies würde das Ergebnis verfälschen. Nehmen wir an, daß sich das Licht diagonal über das Bild ändert. Wenn wir nun die Bildpunkte am Rand duplizieren, so würde ein S-förmiger Verlauf des Lichts entstehen. Dies kommt dadurch zustande, daß wir die durchschnittliche lokale Farbe für einen großen Bereich berechnen. Es werden kleine Werte für p verwendet. Somit beeinflussen die Punkte am Rand des Bildes, die von allen Prozessorelementen berechnete, durchschnittliche lokale Farbe. Daher ist es sinnvoll, keine Annahmen über Bildpunkte zu machen, die sich außerhalb des Bildes befinden. Daher mitteln wir die Daten für den Bereich des Bildes, der bekannt ist. Dies ist in 8 dargestellt. In dem gezeigten Beispiel werden nur die Werte des aktuellen Prozessorelements und der interpolierte Wert entlang der Iso-Beleuchtungslinie gemittelt.

Bisher haben wir nur Beleuchtungen berücksichtigt, die in einer beliebigen Richtung gerade über das Bild verlaufen. Die Iso-Beleuchtungslinie kann aber auch gekrümmt sein. In diesem Fall muß die Krümmung der Linie mitberücksichtigt werden, da sonst Daten interpoliert würden, die nicht auf der Iso-Beleuchtungslinie liegen. Dies ist in 9 dargestellt. Wir berechnen daher die Krümmung der Intensität der Lichtquelle für jedes Prozessorelement. Ist die Krümmung der Intensität der Lichtquelle bekannt, so können wir die Werte auch entlang einer gekrümmten Iso-Beleuchtungslinie mitteln. Die Krümmung K eines Punktes (x, y) auf einer Oberfläche F(x, y) ist wie folgt definiert (Bronstein und Semendjajew 1989):

Der Radius r ist daher durch

Nachdem das Zentrum der Krümmung bekannt ist, können wir die Schnittpunkte zwischen dem Krümmungskreis und dem Einheitskreis um das aktuelle Element berechnen. Dies ist in 10 dargestellt. Zur Berechnung der Schnittpunkte nehmen wir an, daß das Zentrum der Krümmung am Punkt (0, r) liegt. Dies vereinfacht die Berechnung der Schnittpunkte. Wir berechnen nun die Schnittpunkte P₁ und P₂. Der Einheitskreis und der Kreis um das Krümmungszentrum sind durch die folgenden beiden Gleichungen beschrieben. x² + y² = 1 (x – r)² + y² = r²

Wir setzen die erste Gleichung in die zweite Gleichung ein und lösen dann nach x auf.

Die beiden y-Koordinaten erhalten wir dann aus x² + y² = 1.

Liegt das Zentrum der Krümmung nicht entlang der Y-Achse, so müssen die berechneten Schnittpunkte noch in geeigneter Weise gedreht werden. Wir können nun die Daten an den Schnittpunkten (x, y_1/2) mit einem der oben beschriebenen Interpolationsverfahren extrahieren. Falls nur die Daten entlang der Iso-Beleuchtungslinie berücksichtigt werden, führen wir folgende Berechnungen durch. Es sei ă_i(x, y) mit i ∊ {r, g, b} die bisher ermittelte orientierte durchschnittliche lokale Farbe am Punkt (x, y) des Gitters.

Die Daten entlang der beiden Richtungen vorne/hinten, können auch hinzugezogen werden

Schließlich wird die Farbe des aktuellen Elements c_i hinzugefügt. ă_i(x,y) = ă''_i(x,y)·(1 – p) + c_i(x,y)·p

Dabei ist p wieder eine kleine Zahl größer als Null. Diese Schritte werden vorzugsweise in ausreichender Zahl, weiter bevorzugt quasi endlos (permanente Verarbeitung solange die entsprechende Vorrichtung im Betrieb ist) wiederholt. Mit dem erfindungsgemäßen Verfahren können wir also die Bildpunkte auch dann entlang der Iso-Beleuchtungslinie mitteln, wenn diese gekrümmt ist. Dies ist z.B. dann der Fall, wenn die Beleuchtung durch lokale Lichtquellen (Strahler) gegeben ist.

Nachdem wir nun die Beleuchtung durch Ermittelung der orientierten durchschnittlichen lokalen Farbe entlang der Iso-Beleuchtungslinie geschätzt haben, können wir diese zur Korrektur der gemessenen Farbe verwenden. Es sei ă_i die orientierte durchschnittliche lokale Farbe entlang der Iso-Beleuchtungslinie für den Farbkanal i. Nach der Grauen-Welt-Hypothese kann mit Hilfe der durchschnittlichen lokalen Farbe die Beleuchtung geschätzt werden (Ebner 2001, 2002, 2004b). Hier verwenden wir die orientierte durchschnittliche lokale Farbe zur Approximation der Beleuchtung. Die Beleuchtung L_i mit i ∊ {r, g, b} wird durch L_i(x, y) = 2ă_i(x, y) approximiert. Nachdem nun die Farbe der Lichtquelle für jeden Bildpunkt bekannt ist, kann die Reflektanz R_i für den Farbkanal i an dem Bildpunkt berechnet werden.

Daher berechnen wir den korrigierten Farbwert als

• Barnard, K., Finlayson, G., and Funt, B. (1997). Color constancy for scenes with varying illumination. Computer Vision and Image Understanding, 65(2):311-321.
• Barnard, K., Martin, L., and Funt, B. (2000). Colour by correlation in a three dimensional colour space. In Vernon, D., editor, Proceedings of the 6th European Conference on Computer Vision, Dublin, Ireland, pages 375-389, Berlin. Springer-Verlag.
• Brainard, D. H. and Wandell, B. A. (1992). Analysis of the retinex theory of color vision. In Healey, G. E., Shafer, S. A., and Wolff, L. B., editors, Color, pages 208-218, Boston. Jones and Bartlett Publishers.
• Brill, M. and West, G. (1981). Contributions to the theory of invariance of color under the condition of varying illumination. Journal of Mathematical Biology, 11:337-350.
• Bronštein, I. N. and Semendjajew, K. A. (1989). Taschenbuch der Mathematik. Verlag Harri Deutsch, Thun und Frankfurt/Main, vierundzwanzigste edition.
• Buchsbaum, G. (1980). A spatial processor model for object colour perception. Journal of the Franklin Institute, 310(1):337-350.
• Cardei, V. C. and Funt, B. (1999). Committee-based color constancy. In Proceedings of the IS&T/SID Seventh Color Imaging Conference: Color Science, Systems and Applications, Scottsdale, Arizona, pages 311-313.
• Digital Arts GmbH (2003). Xe847.com.http://www.xe847.com.
• Courtney, S. M., Finkel, L. H., and Buchsbaum, G. (1995). A multistage neural network for color constancy and color induction. IEEE Transactions on Neural Networks, 6(4):972-985.
• Dufort, P. A. and Lumsden, C. J. (1991). Color categorization and color constancy in a neural network model of v4. Biological Cybernetics, 65:293-303.
• D'Zmura, M. and Lennie, P. (1992). Mechanisms of color constancy. In Healey, G. E., Shafer, S. A., and Wolff, L. B., editors, Color, pages 224-234, Boston. Jones and Bartlett Publishers.
• Ebner, M. (2001). Evolving color constancy for an artificial retina. In Miller, J., Tomassini, M., Lanzi, P. L., Ryan, C., Tettamanzi, A. G. B., and Langdon, W. B., editors, Genetic Programming: Proceedings of the Fourth European Conference, EuroGP 2001, Lake Como, Italy, April 18-20, pages 11-22, Berlin. Springer-Verlag.
• Ebner, M. (2002). A parallel algorithm for color constancy. Technical Report 296, Universität Würzburg, Lehrstuhl für Informatik II, Am Hubland, 97074 Würzburg, Germany.
• Ebner, M. (2003a). Combining white-patch retinex and the gray world assumption to achieve color constancy for multiple illuminants. In Michaelis, B. and Krell, G., editors, Pattern Recognition, Proceedings of the 25th DAGM Symposium, Magdeburg, Germany, pages 60-67, Berlin. Springer-Verlag.
• Ebner, M. (2003b). Verfahren und Vorrichtung zur Farbkorrektur von Bildern. Deutsche Patentanmeldung, Anmeldenr. 14302756, 28 Seiten, 6. Oktober.
• Ebner, M. (2004a). Color constancy using local color shifts. In European Conference on Computer Vision, 2004.
• Ebner, M. (2004b). A parallel algorithm for color constancy. Journal of Parallel and Distributed Computing, 64(1):79-88.
• Finlayson, G. D. (1996). Color in perspective. IEEE Transactions on Pattern Analysis and Machine Intelligence, 18(10):1034-1038.
• Finlayson, G. D., Hubel, P. M., and Hordley, S. (1997). Color by correlation. In Proceedings of IS&T/SID. The Fifth Color Imaging Conference: Color Science, Systems, and Applications, Nov 17-20, The Radisson Resort, Scottsdale, AZ, pages 6-11.
• Finlayson, G. D., Schiele, B., and Crowley, J. L. (1998). Comprehensive colour image normalization. In Burkhardt, H. and Neumann, B., editors, Fifth European Conference on Computer Vision (ECCV '98), Freiburg, Germany, pages 475-490, Berlin. Springer-Verlag.
• Finlayson, G. D., Drew, M. S., and Lu, C. (2004). Intrinsic Images by Entropy Minimization. In Pajdla, T. and Matas, J., editors, Proceedings of the 8th European Conference on Computer Vision, Part III, Prague, Czech Republic, May, pages 582-595, Berlin. Springer-Verlag.
• Forsyth, D. A. (1988). A novel approach to colour constancy. In Second international Conference on Computer Vision (Tampa, FL, Dec. 5-8), pages 9-18. IEEE Press.
• Forsyth, D. A. (1992). A novel algorithm for color constancy. In Healey, G. E., Shafer, S. A., and Wolff, L. B., editors, Color, pages 241-271, Boston. Jones and Bartlett Publishers.
• Funt, B., Cardei, V., and Barnard, K. (1996). Learning color constancy. In Proceedings of the IS&T/SID Fourth Color Imaging Conference, pages 58-60, Scottsdale.
• Funt, B. V. and Drew, M. S. (1988). Color constancy computation in near-mondrian scenes using a finite dimensional linear model. In Jain, R. and Davis, L., editors, Proceedings of the Computer Society Conference on Computer Vision and Pattern Recognition, Ann Arbor, Mi, pages 544-549. Computer Society Press.
• Funt, B. V., Drew, M. S., and Ho, J. (1991). Color constancy from mutual reflection. International Journal of Computer Vision, 6(1):5-24.
• Gershon, R., Jepson, A. D., and Tsotsos, J. K. (1987). From [R,G,B] to surface reflectance: Computing color constant descriptors in images. In McDermott, J. P., editor, Proceedings of the Tenth International Joint Conference on Artificial Intelligence, Milan, Italy, volume 2, pages 755-758. Morgan Kaufmann.
• Gonzalez, R. C. and Woods, R. E. (1992). Digital Image Processing. Addison-Wesley Publishing Company, Reading, Massachusetts.
• Herault, J. (1996). A model of colour processing in the retina of vertebrates: From photoreceptors to colour opposition and colour constancy phenomena. Neurocomputing, 12:113-129.
• Ho, J., Funt, B. V., and Drew, M. S. (1992). Separating a color signal into illumination and surface reflectance components: Theory and applications. In Healey, G. E., Shafer, S. A., and Wolff, L. B., editors, Color, pages 272-283, Boston. Jones and Bartlett Publishers.
• Horn, B. K. P. (1974). Determining lightness from an image. Computer Graphics and Image Processing, 3:277-299.
• Horn, B. K. P. (1986). Robot Vision. The MIT Press, Cambridge, Massachusetts.
• Land, E. H. (1974). The retinex theory of colour vision. Proc. Royal Inst. Great Britain, 47:23-58.
• Land, E. H. (1983). Recent advances in retinex theory and some implications for cortical computations: color visioonsn and the natural image. Proc. Natl. Acad. Sci. USA, 80:5163-5169.
• Land, E. H. (1986a). An alternative technique for the computation of the designator in the retinex theory of color vision. Proc. Natl. Acad. Sci. USA, 83:3078-3080.
• Land, E. H. (1986b). Recent advances in retinex theory. Vision Res., 26(1):7-21.
• Land, E. H. and McCann, J. J. (1974). Lightness and retinex theory. Journal of the Optical Society of America, 61(1):1-11.
• Maloney, L. T. and Wandell, B. A. (1986). Color constancy: a method for recovering surface spectral reflectance. Journal of the Optical Society of America A3, 3(1):29-33.
• Moore, A., Allman, J., and Goodman, R. M. (1991). A real-time neural system for color constancy. IEEE Transactions on Neural Networks, 2(2):237-247.
• pervised color constancy for machine visioNovak, C. L. and Shafer, S. A. (1992). Sun. In Healey, G. E., Shafer, S. A., and Wolff, L. B., editors, Color, pages 284-299, Boston. Jones and Bartlett Publishers.
• Paulus, D., Csink, L. and Niemann, H. (1998). Color Cluster Rotation. In Proceedings of the International Conference on Image Processing (ICIP), pages 161-165, 1998.
• Rahman, Z., Jobson, D. J., and Woodell, G. A. (1999). Method of improving a digital image. United States Patent No. 5,991,456.
• Risson, V. J. (2003). Determination of an illuminant of digital color image by segmentation and filtering. United States Patent Application, Pub. No. US 2003/0095704 A1.
• Tappen, M. F., Freeman, W. T., and Adelson, E. H. (2002). Recovering Intrinsic Images from a Single Image. Massachusetts Institute of Technology, Artificial Intelligence Laboratory, AI Memo 2002-015, Sept.
• Usui, S. and Nakauchi, S. (1997). A neurocomputational model for colour constancy. In Dickinson, C., Murray, I., and Carden, D., editors, John Dalton's Colour Vision Legacy. Selected Proceedings of the International Conference, pages 475-482, London. Taylor & Francis.
• Weickert, J. (1997). A Review of Nonlinear Diffusion Filtering. In ter Haar Romeny, B., Florack L., Koenderink, J., Viergever, M., editors, Scale-Space Theory in Computer Vision, pages 3-28, Berlin. Springer-Verlag.
• Weickert, J., ter Haar Romeny, B., Viergever, M. A. (1998). Efficient and Reliable Schemes for Nonlinear Diffusion Filtering. In IEEE Transactions on Image Processing, 7(3):398-410.