PatentDe  


Dokumentenidentifikation DE102004061978A1 13.07.2006
Titel Verfahren und Vorrichtung zum Ersetzen defekter Pixel in Focal Plane Array Kameras
Anmelder LFK-Lenkflugkörpersysteme GmbH, 85716 Unterschleißheim, DE
Erfinder Assel, Michael, Dr., 86438 Kissing, DE;
Barth, Jochen, Dr., 85764 Oberschleißheim, DE
DE-Anmeldedatum 23.12.2004
DE-Aktenzeichen 102004061978
Offenlegungstag 13.07.2006
Veröffentlichungstag im Patentblatt 13.07.2006
IPC-Hauptklasse H04N 1/40(2006.01)A, F, I, 20051017, B, H, DE
IPC-Nebenklasse H04N 1/00(2006.01)A, L, I, 20051017, B, H, DE   H04N 5/225(2006.01)A, L, I, 20051017, B, H, DE   H04N 5/217(2006.01)A, L, I, 20051017, B, H, DE   H04N 3/15(2006.01)A, L, I, 20051017, B, H, DE   
Zusammenfassung Als Verfahren zum Ersetzen defekter Pixel in Focal-Plane-Array(FPA)-Kameras, wobei zeitlich aufeinanderfolgende Frames zur Gewinnung von Bildinformationen ausgewertet werden, wird vorgeschlagen, daß die Informationen zur Defektpixelersetzung aus zeitlich vorausgegangenen Frames generiert werden, wobei der Bildinhalt von Frame zu Frame um eine ganzzahlige Anzahl von Pixeln gegeneinander verschoben und an der Position eines Defektpixels, an der in einem der vorherigen Frames ein funktionstüchtiges Pixel lag, dessen Grauwert zur Ersetzung herangezogen wird.
Als Vorteile gegenüber bekannten Verfahren ergeben sich, daß keine Rechenoperationen zur Ersetzung notwendig sind, daß der räumlich korrekte Bildinhalt des Pixels zur Ersetzung herangezogen wird und daß sich mit geringem technischen Aufwand defektpixelfreie Systeme erzeugen lassen.

Beschreibung[de]

Die Erfindung betrifft ein Verfahren zum Ersetzen defekter Pixel in Focal-Plane-Array (FPA)-Kameras, wobei zeitlich aufeinanderfolgende Frames zur Gewinnung von Bildinformationen ausgewertet werden, und eine Vorrichtung zu seiner Durchführung.

Da manche lichtempfindliche Halbleiterkristalle eine relativ hohe Dichte von Gitterfehlern (z.B. Versetzungen) aufweisen und Ausleseschaltkreise moderner FPA-Detektoren eine sehr komplexe Struktur besitzen, entstehenn in der Produktion der FPAs (Focal Plane Arrays) Pixel, die keine, oder stark reduzierte Lichtempfindlichkeit zeigen. Diese defekten Pixel müssen ersetzt werden, da sie sonst für den Beobachter oder Bildverarbeitungsalgorithmen störend in Erscheinung treten.

Die typische Anzahl von Defektpixeln moderner IR-Kameras liegt i.A. bei 0.1%...2% entsprechend einigen Hundert bis Tausend Pixel. Die untere Grenze (0.1%) läßt sich jedoch nur durch starke Selektion der FPAs erreichen, was einen deutlichen Einfluß auf den Preis des Sensors hat.

Weiterhin ist es nahezu unmöglich, defektpixelfreie FPAs zu erzeugen. Dies ist speziell im Bereich militärischer und astronomischer Anwendungen störend, da ein Objekt, das auf ein oder mehrere defekte Piel abgebildet wird, nicht entdeckt werden kann. Es wird daher allgemein angestrebt, auch mit FPAs, die eine größere Anzahl von Defektpixeln aufweisen, Bilder zu erzeugen, die möglichst frei von Defekten sind.

Bisherige Verfahren zur Defektpixelersetzung nutzen hierzu entweder das benachbarte Pixel, das zeitlich vorher ausgelesen wurde, und übernehmen dessen Grauwert oder bilden eine Mittelung aus den Grauwerten der acht Nachbarpixel.

Beide Verfahren haben mehrere Nachteile. Bei der Übernahme des Grauwerts des zeitlich vorausgegangenen Pixels erhält man, falls mehrere defekte Pixel direkt nebeneinander liegen, innerhalb einer Zeile einen Bereich mit mehreren Pixel, die den gleichen Grauwert zeigen. Dies ist vor allem dann störend, wenn in diesem Bereich ein starker Kontrastsprung stattfindet.

Bei der Mittelung der Nachbarpixel tritt ein anderes Problem auf. Um die Mittelung durchführen zu können, müssen zunächst die Grauwerte aller Nachbarpixel zur Verfügung stehen. Dies bedeutet aber, daß das defekte Pixel erst ersetzt werden kann, wenn zeitlich später kommende Pixel ausgelesen wurden, nämlich die 3 Nachbarpixel der nächsten Zeile. Deshalb muß ein Puffer vorhanden sein, um alle relevanten Grauwerte zur Korrektur bereitzustellen, und die Korrektur kann erst mit einer Verzögerung von einer Zeile und einem Pixel stattfinden. Zur Berechnung des mittleren Grauwerts sind ferner acht Additionen und eine Division in Echtzeit durchzuführen. Bei typischen Pixelfrequenzen im Bereich einige MHz bis einigen 10MHz in Abhängigkeit von Pixelanzahl und Bildwiederholfrequenz bedeutet das beträchtlichen Rechenaufwand.

Bei beiden Verfahren wird der Grauwert des defekten Pixels aus Pixeln generiert, deren Pendant im Objektraum (reale Szene) an anderen Stellen liegen. D.h. in keinem der beiden Fälle kann der Grauwert der tatsächlichen Bildinformation an der Stelle des defekten Pixels regeneriert werden.

Es ist das Ziel der Erfindung, ein Verfahren zur Ersetzung der Defektpixel und Vorrichtungen zu seiner Durchführung zu schaffen, bei denen die genannten Nachteile vermieden werden. Gemäß der Erfindung wird dies durch die im kennzeichnenden Teil des Anspruchs 1 genannten Merkmale erreicht. Einzelheiten der Erfindung ergeben sich aus den Unteransprüchen un der Beschreibung, in der anhand der Zeichnung ein Ausführungsbeispiel erläutert wird.

Die hier vorgestellte Methode zur Ersetzung der defekten Pixel unterscheidet sich wesentlich von den bisher angewandten Verfahren. Es lassen sich wesentliche Einschränkungen der bekannten Varianten umgehen.

Der markanteste Unterschied besteht darin, daß die Informationen zur Defektpixelersetzung nicht mehr aus dem gleichen Frame geholt werden, sondern aus den zeitlich vorausgegangenen Frames generiert werden. Dabei wird der Bildinhalt von Frame zu Frame um eine ganzzahlige Anzahl von Pixeln gegeneinander verschoben. Dies führt dazu, daß im Idealfall an der Position eines Defektpixels in einem der vorherigen Frames ein funktionstüchtiges Pixel lag, dessen Grauwert zur Ersetzung herangezogen werden kann.

Die Verschiebung kann durch mehrere Möglichkeiten geschehen wie z.B.:

  • • Verschieben des FPAs um die gewünschte Anzahl an Pixeln
  • • Verwendung eines Scanners wie er im Microscanverfahren benutzt wird, jedoch mit einem Bildversatz von 1, 2, 3 oder mehr Pixeln (Stand der Technik siehe DE 195 25 153 A1 „"optoelektronisches Abtastverfahren" von M. Arnold)
  • • Verwendung eines Scanners nach dem „Verfahren zur Vergrößerung des Bildfeldes einer FPA-Kamera" (Stepscan, Patentanmelung: 10259667.0) jedoch auch hier mit einem Bild-versatz von 1, 2, 3 oder mehr Pixeln

1 soll die Funktionsweise der Methode verdeutlichen.

Das Ablaufdiagramm nach 2 verdeutlicht den Ersetzungsalgorithmus der erfindungsgemäßen Methode zur Defektpixelersetzung:

Da im vorausgegangenen Frame das Abbild der Szene in der Fokalebene der Kamera verschoben ist, liegen gleiche Bildteile auf unterschiedlichen Pixeln. Ist nun im aktuellen Bild ein Pixel defekt, so kann der Bildinhalt, der auf diesem Pixel zu liegen kommt, im vorausgegangenen Frame auf einem funktionierenden Pixel liegen. Die Grauwertinformation dieses Pixels kann nun auf das defekte Pixel im aktuellen Frame übertragen werden. Ist auch im vorausgegangenen Frame das korrespondierende Pixel defekt, läßt sich in den wiederum vorrausgegangenen Frames nach funktionierenden Pixeln (passend zum Bildinhalt des ursprünglich defekten Pixels) suchen. Es ist dabei zu beachten, daß bei stark bewegten Szenen durch das unterschiedliche Bildalter unter Umständen die Szene so geändert hat, daß die „alte" Bildinformation nicht mehr zu dem ursprünglichen auf dem defekten Pixel paßt. Aufgrund dieser Tatsache ist ein beliebig weiter Rückblick auf vorausgegangene Frames nicht sinnvoll. Es muß vielmehr je nach Anwendung eine sinnvolle Anzahl an Frames definiert werden, die zur Korrektur herangezogen werden (im Ablaufdiagramm mmax). Außerdem werden in der technischen Realisierung i.A. zyklische Verfahren zur Bildverschiebung eingesetzt, (Microscan, Stepscan-Verfahren), so daß eine Begrenzung von mmax ≤ mZyklus sinnvoll ist.

Hierbei steht mZyklus für die Anzahl der Frames innerhalb einer Periode, nach welcher das Bild wieder auf sich selbst zu liegen kommt. Wird innerhalb der mmax Frames kein funktionierendes Pixel gefunden, so muß das Defektpixel im aktuellen Bild nach einer der genannten Methoden ersetzt werden.

Es sei angemerkt, daß in der technischen Realisierung i.A. die Verschiebung nicht beliebig, sondern definiert ist und zyklisch wiederholt wird. Es ist daher nicht notwendig, die gesamten mmax Frames zwischenzuspeichern sondern, da die Lage der defekten Pixel und die Verschiebung zu den Vorgängerbildern bekannt sind, nur die Informationen der „korrespondierenden" Ersetzungspixel zu speichern. Außerdem kann an Hand der bekannten Lage der defekten Pixel für ein spezielles FPA ein optimales Versatzmuster zwischen den Bildern eines Zyklus bestimmt werden, bei dem die meisten Defektpixel mit der hier vorgeschlagenen Methode ersetzt werden können).

In einer Monte Carlo Simulation wurden FPAs mit einer Defektpixelverteilung nach folgen-dem Schema simuliert:

In einem beliebigen Bereich der Größe 32×32 Pixel dürfen sich maximal

1 Cluster der Größe 10 ... 16 Pixel oder

2 Cluster der Größe 4 ... 9 Pixel oder

5 Cluster der Größe 2 ... 4 Pixel befinden.

Die Defektpixelzahl beträgt insgesamt ca. 2.2% der Gesamtpixelzahl bezogen auf ein FPA mit 384×288 Pixel.

Die Anzahl der zur Defektpixelersetzung herangezogenen Frames beträgt 4. Diese vier Fra-mes sind dabei wie folgt angeordnet und werden zyklisch durchlaufen:

  • • Der Bildinhalt in Frame 1 ist nicht verschoben
  • • Der Bildinhalt in Frame 2 ist um v Pixel in der Horizontalen verschoben
  • • Der Bildinhalt in Frame 3 ist um v Pixel in der Vertikalen und h Pixel der Horizontalen verschoben
  • • Der Bildinhalt in Frame 4 ist um v Pixel in der Vertikalen verschoben
  • • h = v

Anmerkung: Ein solches Muster läßt sich z.B. mit einem modifizierten Microscanner technisch einfach realisieren.

In der folgenden Tabelle ist die Gesamtzahl der übrigbleibenden defekten Pixel in Abhängigkeit vom Versatz h oder v der einzelnen Frames gezeigt:

Zu sehen ist, daß bei einer Verschiebung von bereits einem Pixel die Anzahl der defekten Pixel um einen Faktor 45 reduziert wird. Bei einer Verschiebung von 3 Pixeln einhält bereits nur noch jedes 7. System einen einzigen Pixeldefekt.

Eine detailliertere Betrachtung ergibt, daß 2er-Cluster ab einer Verschiebung von 2 Pixeln nur noch bei jedem 22-ten System auftreten. Bei größeren Verschiebungen ist der Prozentsatz vernachlässigbar.

Diese Untersuchungen zeigen, daß die vorgestellte Methode zur Ersetzung von defekten Pi-xeln so effizient ist, daß sich ohne großen technischen Aufwand aus FPAs mit einer hohen Defektdichte perfekte Systeme (d.h. kein einziges defektes Pixel) generieren lassen.

Die Effizienz des vorgestellten Algorithmus mit dem untersuchten Verschiebungsmuster läßt sich einfach verdeutlichen. Bereits bei einer Verschiebung von nur einem Pixel verschwinden alle Cluster mit einer Größe bis zu 4 Pixeln. Nur ein 4er-Cluster mit einer quadratischen An-ordnung der defekten Pixel resultiert nach der Korrektur in einem einzigen nicht ersetzbaren Pixel. Dieses Pixel müßte z.B. durch sein Nachbarpixel ersetzt werde. Auch größere Cluster (>4 Pixel) können bei geeigneter Form komplett ersetzt werden.

Bei größeren Verschiebungen steigt die Größe der vollständig ersetzbaren Cluster quadratisch mit Anzahl der verschobenen Pixel an! Es ist allerdings zu beachten, daß der Grauwert, der zur Ersetzung herangezogen wird eine etwas gealterte Bildinformation enthält. Zum Zweiten wird die effektive Größe des FPAs um die Anzahl der verschobenen Pixel geringfügig verkleinert.

Das ergibt, daß aus einem 384×288-Pixel-System mit 2411 Defektpixeln ein System mit 381×285 Pixeln und keinem Defekt wird!

Aufbauend auf den bereits realisierten Systemen mit Microscanner läßt sich mit minimalem Aufwand eine Defektpixelersetzung nach dem neuen Verfahren realisieren. Im Microscanverfahren werden 4 Teilbilder aufgenommen, deren Pixelverschiebung zueinander 0.5 Pixel in der Horizontalen, Diagonalen und Vertikalen beträgt. Vergrößert man nun die Verschiebung auf 1, 2 ... n Pixel, so ist bereits die Bedingung erfüllt, die zur Anwendung des erfindungsgemäßen Verfahrens notwendig ist. Die Software muß der nachfolgenden Bildverarbeitung entsprechend angepaßt werden.

Mit Hilfe des erfindungsgemäßen Verfahrens zur Ersetzung von defekten Pixeln eines FPAs lassen sich wesentliche Nachteile der bisherigen Methoden umgehen.

Die Vorteile seien im folgenden zusammengefaßt:

  • • Es sind keine Rechenoperationen zur Ersetzung notwendig
  • • der räumlich korrekte Bildinhalt des Pixels wird zur Ersetzung herangezogen
  • • es lassen sich mit geringem technischen Aufwand defektpixelfreie Systeme erzeugen

An Einschränkungen seien genannt:

  • • durch das unterschiedliche Bildalter kann u.U. der Bildinhalt des funktionierenden Pixels nicht mehr mit dem des Defektpixels übereinstimmen. Durch eine Erhöhung der Bildwiederholrate um den Faktor mmax läßt sich dies aber kompensieren.
  • • die effektive Größe des FPAs nimmt geringfügig um die Anzahl der verschobenen Pixel ab

Zuletzt sei erwähnt, daß sich der vorgestellte Mechanismus auch mit dem Microscan-Verfahren kombinieren läßt. Hierbei muß die Verschiebung n+½ Pixel (nϵ

) betragen.

Ebenso läßt sich das Verfahren bei der Sehfeldvergrößerung mit dem Stepscan-Verfahren anwenden. Dabei kann jedoch nur im Bereich der Überlappung der Subframes die Defektpixelersetzung mit der hier vorgestellten Methode durchgeführt werden. Außerhalb dieses Bereichs kann nur eines der konventionellen Verfahren zu Einsatz kommen.


Anspruch[de]
  1. Verfahren zum Ersetzen defekter Pixel in Focal-Plane-Array (FPA)-Kameras, wobei zeitlich aufeinanderfolgende Frames zur Gewinnung von Bildinformationen ausgewertet werden, dadurch gekennzeichnet,

    – daß die Informationen zur Defektpixelersetzung aus zeitlich vorausgegangenen Frames generiert werden,

    – wobei der Bildinhalt von Frame zu Frame um eine ganzzahlige Anzahl von Pixeln gegeneinander verschoben und

    – an der Position eines Defektpixels, an der in einem der vorherigen Frames ein funktionstüchtiges Pixel lag, dessen Grauwert zur Ersetzung herangezogen wird.
  2. Vorrichtung zur Durchführung des Verfahrens nach Anspruch 1, dadurch gekennzeichnet, daß das FPA um die gewünschte Zahl von Pixeln verschiebbar ist.
  3. Vorrichtung zur Durchführung des Verfahrens nach Anspruch 1, dadurch gekennzeichnet, daß sie eine optoelektronische Abtastvorrichtung mit einem Bildversatz von 1, 2, 3 oder mehr Pixeln aufweist.
  4. Vorrichtung zur Durchführung des Verfahrens nach Anspruch 1, dadurch gekennzeichnet, daß sie einen Scanner zur Auswertung eines aus mehreren Subframes zusammengesetzten Frames enthält.
Es folgen 2 Blatt Zeichnungen






IPC
A Täglicher Lebensbedarf
B Arbeitsverfahren; Transportieren
C Chemie; Hüttenwesen
D Textilien; Papier
E Bauwesen; Erdbohren; Bergbau
F Maschinenbau; Beleuchtung; Heizung; Waffen; Sprengen
G Physik
H Elektrotechnik

Anmelder
Datum

Patentrecherche

Patent Zeichnungen (PDF)

Copyright © 2008 Patent-De Alle Rechte vorbehalten. eMail: info@patent-de.com