1 zeigt ein Beispiel eines festgewichteten neuronalen Netzwerks durch Durchführung analoger Signalverarbeitung mit einem dreischichtigen Vielschichtperceptron (MLP), das eine Vielzahl von Schichten von Neuronen mit drei Eingängen und einem Ausgang und mit Zwischenschichtfestwichtungen besitzt, die die Neuronen, wie dargestellt, verbinden. Drei Eingangssignale IN0, IN1, IN2 werden durch ihre entsprechenden Zwischenschichtgewichtungen W_ij mit dem Ergebnis gewichtet, das sie summiert, und entsprechend mit den individuellen neuronalen Funktionen f_AN verarbeitet. Dieses Verarbeiten wird durch die verbleibenden Schichten fortgesetzt, um das Endprodukt OUT zu erzeugen.

Gemäß 2 können neuronale Zwischenschichtgewichtungen in Form von Widerständen ausgeführt werden, wobei die Eingangsspannung V entsprechend mit dem Widerstand R "gewichtet" wird, um einen Ausgangsstrom I zu erzeugen. Ein derartiger Widerstand kann alleine oder im Zusammenhang mit einem Operationsverstärker (wie dargestellt) zum Puffern verwendet werden.

Gemäß 3 können positive und negative neuronale Gewichtungen (mit Invertieren von Sigmafunktionen) durchgeführt werden. Ein Widerstandsspannungsteiler wird entweder durch einen Transistor zum Herunter- oder Heraufziehen über ein duales MOSFET-Übertragungsgate getrieben werden, wenn eine positive bzw. negative Gewichtung vorgenommen wird. Für positive bzw. negative Gewichtungen wird, wenn die Eingangsspannung VIN ansteigt, der Ausgang VOUT abnehmen bzw. ansteigen.

Gemäß 4 kann eine Sigmafunktion in Form eines Sigmaschaltkreises ausgeführt werden, der aus einem suboptimierten MOSFET-Invertierkreis, wie dargestellt, gebildet ist. Wenn die Eingangsspannung VIN ansteigt, nimmt die Ausgangsspannung VOUT ab, wie in dem Diagramm von 4 dargestellt ist.

In 5 ist ein Neuron mit zwei Eingängen mit festen Gewichtungen und einer Vorspannung dargestellt, das durch Transistoren zum Herunter- und Heraufziehen, die einen Summierknoten über duale MOSFET-Übertragungsgates treiben, realisiert werden kann, wobei der Summierknoten, wie dargestellt, durch einen Vorspannkreis vorgespannt ist und einen suboptimierten Inverterkreis treibt. Die Summierung der Ströme 2I, 3I am Summierknoten bestimmt, wieviel Strom herausgezogen oder über den Vorspannkreis zuaddiert wird.

6 zeigt ein Beispiel eines Trainingssystems für ein neuronales Netzwerk, wie es in 1 dargestellt ist. Ein Pseudozufallsdatengenerator liefert eine Reihe von Pseudozufallsdaten, die in einem Kanalmodell (beispielsweise einem Modell eines magnetischen Lesekanals, eines digitalen drahtlosen Empfangskanals oder eines Kabel- oder faseroptischen Empfangskanals) verarbeitet werden. Die resultierenden transformierten Daten werden mit unkorreliertem Rauschen summiert und dann sequentiell durch eine Reihe von Einheitszeitverzögerungen zur Einspeisung in das neuronale Netzwerk verzögert. Der Ausgang des neuronalen Netzwerks wird dann mit einer entsprechend zeitverzögerten Version der originalen Pseudozufallsdaten verglichen. Die Differenz oder der Fehler zwischen diesen beiden Signalen wird dann zurück in das neuronale Netzwerk zur Rückausbreitung gegeben, um die neuronalen Zwischenschichtgewichtungen in dem neuronalen Netzwerk einzustellen. Wenn das neuronale Netzwerk trainiert worden ist, um genau Daten von dem gestörten Kanal zu gewinnen, können Auslegungsparameter aus dem neuronalen Netzwerk zur Verwendung bei der Auslegung eines festgewichteten neuronalen Netzwerks mit Analogverarbeitung extrahiert werden.

7 zeigt ein Beispiel einer Methode zum Trainieren eines neuronalen Netzwerks in indirekter Weise zum Generieren der Auslegungsparameter für ein neuronales Netzwerk, die zur Auslegung eines festgewichteten neuronalen Netzwerks mit Analogverarbeitung verwendet werden. Hierbei wird zunächst mit dem Setzen von Anfangswerten für die neuronalen Gewichtungen und Funktionen des neuronalen Netzwerks, das trainiert werden soll, begonnen. Unter Verwendung dieser Anfangswerte wird eine iterative Fehlerberechnung durchgeführt, wobei der globale Systemfehler berechnet wird. Ein Beispiel dieser iterativen Fehlerberechnung würde sein, eine Gradientenabfallsmethode wie Rückausbreitung mit spezifischer Lernrate und -moment zu verwenden. Während dieses iterativen Berechnungsvorgangs werden die resultierenden Fehler verwendet, um die neuronalen Gewichtungen (und gegebenenfalls die neuronalen Funktionen) zu verändern.

Nachfolgend werden Werte, die erwartete Verwirklichungsfehler darstellen, zu den Gewichtungen (und gegebenenfalls zu den neuronalen Funktionen) addiert. Solche erwarteten Verwirklichungsfehler repräsentieren Leistungsfehler, von denen erwartet wird, daß sie bei der endgültigen Schaltkreisverwirklichung auftreten, und können basierend auf bekannten Charakteristiken des verwendeten Halbleiterherstellungsprozeßes oder empirisch bestimmt werden. Wenn die erwarteten Verwirklichungsfehler verwendet wurden, um die Gewichtungen (und gegebenenfalls die neuronalen Funktionen) geeignet zu modifizieren, wird der globale Systemfehler erneut unter Verwendung derartig angepasster Gewichtungen (und Funktionen) berechnet.

Der erneut berechnete globale Systemfehler wird dann mit dem gewünschten globalen Systemfehler verglichen. Wenn der erneut berechnete globale Systemfehler größer als der gewünschte globale Systemfehler ist, werden die vorhergehenden Schritte beginnend mit der iterativen Fehlerberechnung wiederholt, bis der erneut berechnete globale Systemfehler nicht länger größer als der gewünschte globale Systemfehler ist.

Wenn der erneut berechnete globale Systemfehler nicht länger größer als der gewünschte globale Systemfehler ist, können die resultierenden Auslegungsparameter, die die endgültigen neuronalen Gewichtungen und Funktionen darstellen, zur Verwendung bei der Gestaltung der MOSFET-Parameter entnommen werden, die zur tatsächlichen Verwirklichtung der Neuronen und Gewichtungen in Hardware, beispielsweise in einem integrierten Schaltkreis, verwendet werden.

Wie oben ausgeführt, können die neuronalen Gewichtungen und Funktionen wie gewünscht modifiziert werden, und zwar basierend auf der iterativen Berechnung des globalen Systemfehlers, um eine optimale Gestaltung des neuronalen Netzwerks vorzunehmen. Typischerweise werden neuronale Funktionen, wenn sie einmal anfänglich gestaltet sind, beibehalten und irgendwelche nachfolgenden Modifikationen basierend auf dem berechneten globalen Systemfehler nur in bezug auf die Gewichtungen vorgenommen. Jedoch ist es nichtsdestoweniger möglich, vorzusehen, auch geeignete Änderungen der neuronalen Funktionen selbst vorzunehmen, obwohl dies etwas schwieriger sein kann.

8 zeigt ein Beispiel einer Technik zum Verwirklichen der obigen Methode zum Trainieren des neuronalen Netzwerks in indirekter Weise, wobei in Betracht gezogen wird, daß der globale Systemfehler eine Anzahl von Minima aufweisen kann. Beispielsweise stellt für einen gegebenen Gewichtungswert Bereich A ein schmales Fehler-„Tal" dar, während Bereich B ein breites Fehler-"Tal" darstellt. Bereich C umfasst ein lokales Minimum des globalen Systemfehlers, während Bereich D ein globales Minimum für den globalen Systemfehler bildet. Dementsprechend können durch Auswahl eines geeigneten gewünschten globalen Systemfehlers und Verwenden der oben beschriebenen Methode die individuellen neuronalen Gewichtungswerte bestimmt werden, wobei relativ große Änderungen in den Gewichtungswerten (beispielsweise aufgrund von Verwirklichungsfehlern) toleriert werden können, bevor der globale Systemfehler größer als gewünscht wird.

Beispielsweise würde für jede individuelle neuronale Gewichtung die entsprechende Globalsystemfehlerfunktion für derartige Gewichtung, wie in 8 dargestellt, ideal einen Gewichtungswert haben, der im Bereich B zentriert ist.

Wenn das neuronale Netzwerk indirekt trainiert wurde, können seine Auslegungsparameter zum Gestalten der MOSFETs, die verwendet werden, um das neuronale Netzwerk in Hardware zu realisieren, extrahiert werden. Gemäß 9 kann die Breite W und die Länge L des Kanals des jeweiligen MOSFET, beispielsweise wie durch den die N-Diffusion überlappenden Polysiliciumbereich bestimmt, entsprechend den bekannten MOSFET-Gestaltungstechniken berechnet werden. Z.B. ist bekannt, daß die relative Verstärkung eines MOSFET, d.h. seine Transkonduktanz, proportional zur Breite dividiert durch die Länge des MOSFET-Kanals entsprechend der Mobilität der Ladungsträger und der Dielektrizitätskonstanten und der Dicke des Isoliermaterials (z.B. Oxid zwischen Polysilicium und N-Diffusionsschichten) wie folgt ist: