Aus [1] ist es bekannt, zur Beschreibung und Modellierung eines dynamischen Systems bzw. eines dynamischen Prozesses und dessen Prozessverhaltens eine neuronale Struktur, beispielsweise ein neuronales Netz, einzusetzen.

Allgemein wird ein dynamisches System bzw. ein dynamischer Prozess durch eine Zustandsübergangsbeschreibung, die für einen Beobachter des dynamischen Prozesses nicht sichtbar ist, und eine Ausgangsgleichung, die beobachtbare Größen des technischen dynamischen Prozesses beschreibt, beschrieben.

Ein solches Prozessverhalten eines dynamischen Prozesses ist in 2 dargestellt.

Der dynamische Prozess 200 bzw. ein dynamisches System 200, in dem der dynamische Prozess abläuft, unterliegt dem Einfluss einer externen Eingangsgröße u vorgebbarer Dimension, wobei eine Eingangsgröße u_t zu einem Zeitpunkt t mit u_t bezeichnet wird:

Die Eingangsgröße u_t zu einem Zeitpunkt t verursacht eine Veränderung des dynamischen Prozesses.

Ein innerer Zustand s_t (s_t ∊

In Abhängigkeit vom inneren Zustand s_t und der Eingangsgröße u_t wird ein Zustandsübergang des inneren Zustandes s_t des dynamischen Prozesses verursacht und der Zustand des dynamischen Prozesses geht über in einen Folgezustand s_t+1 zu einem folgenden Zeitpunkt t+1.

Dabei gilt: s_t+1 = f(s_t, u_t).(1) wobei mit f(.) eine allgemeine Abbildungsvorschrift bezeichnet wird.

Eine von einem Beobachter des dynamischen Systems 200 beobachtbare Ausgangsgröße y_t zu einem Zeitpunkt t hängt ab von der Eingangsgröße u_t sowie dem inneren Zustand s_t.

Die Ausgangsgröße y_t (y_t ∊

Die Abhängigkeit der Ausgangsgröße yt von der Eingangsgröße u_t und dem inneren Zustand st des dynamischen Prozesses ist durch folgende allgemeine Vorschrift gegeben: y_t = g(s_t),(2) wobei mit g(.) eine allgemeine Abbildungsvorschrift bezeichnet wird.

Zur Beschreibung des dynamischen Systems 200 wird in [1] eine neuronale Struktur aus miteinander verbundenen Rechenelemente in Form eines neuronalen Netzes miteinander verbundener Neuronen eingesetzt. Die Verbindungen zwischen den Neuronen des neuronalen Netzes sind gewichtet. Die Gewichte des neuronalen Netzes sind in einem Parametervektor v zusammengefasst.

Somit hängt ein innerer Zustand eines dynamischen Systems, welches einem dynamischen Prozess unterliegt, gemäß folgender Vorschrift von der Eingangsgröße u_t und dem inneren Zustand des vorangegangenen Zeitpunktes s_t und dem Parametervektor v ab: s_t+1 = NN(v, s_t, u_t),(3) wobei mit NN(.) eine durch das neuronale Netz vorgegebene Abbildungsvorschrift bezeichnet wird.

Diese Beschreibung des dynamischen Systems 200 gemäß Beziehung (3) wird auch als "Forecast Approach" bezeichnet.

Alternativ dazu lässt sich das dynamische System auch durch: s_t = f(s_t-1, u_t)(1) mit s_t = NN(v, s_t-1, u_t)(3) beschreiben, was als "Consistency Approach" bezeichnet wird. "Forecast Approach" und "Consistency Approach" führen zu geringfügigen strukturellen Unterschieden in den jeweiligen Netzstrukturen, sind aber gleichwertige, alternativ verwendbare Beschreibungsformen für dynamische Systeme.

Aus [2] ist eine weitere neuronale Struktur zur Beschreibung des dynamischen Systems 200, ein als Time Delay Recurrent Neural Network (TDRNN) bezeichnetes neuronales Netz, bekannt.

Das bekannte TDRNN ist in 5 als ein über eine endliche Anzahl von Zeitpunkten (dargestellt 5 Zeitpunkte: t-4, t-3, t-2, t-1, t) entfaltetes neuronales Netz 500 dargestellt.

Das in 5 dargestellte neuronale Netz 500 weist eine Eingangsschicht 501 mit fünf Teileingangsschichten 521, 522, 523, 524 und 525 auf, die jeweils eine vorgebbare Anzahl Eingangs-Rechenelemente enthalten, denen Eingangsgrößen u_t-4 u_t-3, u_t-2, u_t-1 und u_t zu vorgebbaren Zeitpunkten t-4, t-3, t-2, t-1 und t, d.h, im weiteren beschriebene Zeitreihenwerte mit vorgegebenen Zeitschritten, anlegbar sind.

Eingangs-Rechenelemente, d.h. Eingangsneuronen, sind über variable Verbindungen mit Neuronen einer vorgebbaren Anzahl versteckter Schichten 505 (dargestellt 5 verdeckte Schichten) verbunden.

Dabei sind Neuronen einer ersten 531, einer zweiten 532, einer dritten 533, einer vierten 534 und einer fünften 535 versteckten Schicht jeweils mit Neuronen der ersten 521, der zweiten 522, der dritten 523, der vierten 524 und der fünften 525 Teileingangsschicht verbunden.

Die Verbindungen zwischen der ersten 531, der zweiten 532, der dritten 533, der vierten 534 und der fünften 535 versteckten Schicht mit jeweils der ersten 521, der zweiten 522, der dritten 523, der vierten 524 und der fünften 525 Teileingangsschicht sind jeweils gleich. Die Gewichte aller Verbindungen sind jeweils in einer ersten Verbindungsmatrix B₁ enthalten.

Ferner sind die Neuronen der ersten versteckten Schicht 531 mit ihren Ausgängen mit Eingängen von Neuronen der zweiten versteckten Schicht 532 gemäß einer durch eine zweite Verbindungsmatrix A₁ gegebene Struktur verbunden. Die Neuronen der zweiten versteckten Schicht 532 sind mit ihren Ausgängen mit Eingängen von Neuronen der dritten versteckten Schicht 533 gemäß einer durch die zweite Verbindungsmatrix A₁ gegebene Struktur verbunden. Die Neuronen der dritten versteckten Schicht 533 sind mit ihren Ausgängen mit Eingängen von Neuronen der vierten versteckten Schicht 534 gemäß einer durch die zweite Verbindungsmatrix A₁ gegebene Struktur verbunden. Die Neuronen der vierten versteckten Schicht 534 sind mit ihren Ausgängen mit Eingängen von Neuronen der fünften versteckten Schicht 535 gemäß einer durch die zweite Verbindungsmatrix A₁ gegebene Struktur verbunden.

In den versteckten Schichten, der ersten versteckten Schicht 531, der zweiten versteckten Schicht 532, der dritten versteckten Schicht 533, der vierten versteckten Schicht 534 und der fünften versteckten Schicht 535 werden jeweils "innere" Zustände oder "innere" Systemzustände s_t-4, s_t-3, s_t-2, s_t-1, und s_t eines durch das TDRNN beschriebenen dynamischen Prozesses an fünf aufeinanderfolgenden Zeitpunkten t-4, t-3, t-2, t-1 und t repräsentiert.

Die Angaben in den Indizes in den jeweiligen Schichten geben jeweils den Zeitpunkt t-4, t-3, t-2, t-1 und t an, auf die sich jeweils die an den Ausgängen der jeweiligen Schicht abgreifbaren bzw. zuführbaren Signale beziehen (u_t-4, u_t-3, u_t-2, u_t-1, u_t).

Eine Ausgangsschicht 520 weist fünf Teilausgangsschichten, eine erste Teilausgangsschicht 541, eine zweite Teilausgangsschicht 542, eine dritte Teilausgangsschicht 543, eine vierte Teilausgangsschicht 544 sowie eine fünfte Teilausgangsschicht 545 auf. Neuronen der ersten Teilausgangsschicht 541 sind gemäß einer durch eine Ausgangs-Verbindungsmatrix C₁ gegebenen Struktur mit Neuronen der ersten versteckten Schicht 531 verbunden. Neuronen der zweiten Teilausgangsschicht 542 sind ebenfalls gemäß der durch die Ausgangs-Verbindungsmatrix C₁ gegebenen Struktur mit Neuronen der zweiten versteckten Schicht 532 verbunden. Neuronen der dritten Teilausgangsschicht 543 sind gemäß der Ausgangs-Verbindungsmatrix C₁ mit Neuronen der dritten versteckten Schicht 533 verbunden. Neuronen der vierten Teilausgangsschicht 544 sind gemäß der Ausgangs-Verbindungsmatrix C₁ mit Neuronen der vierten versteckten Schicht 534 verbunden. Neuronen der fünften Teilausgangsschicht 545 sind gemäß der Ausgangs-Verbindungsmatrix C₁ mit Neuronen der fünften versteckten Schicht 535 verbunden. An den Neuronen der Teilausgangsschichten 541, 542, 543, 544 und 545 sind die Ausgangsgrößen für jeweils einen Zeitpunkt t-4, t-3, t-2, t-1, t abgreifbar (y_t-4, y_t-3, y'_t-2, y_t-1, y_t). Der Grundsatz, dass äquivalente Verbindungsmatrizen in einem neuronalen Netz zu einem jeweiligen Zeitpunkt die gleichen Werte aufweisen, wird als Prinzip der sogenannten geteilten Gewichtswerte (Shared Weights) bezeichnet.

Die aus [2] bekannte und als Time Delay Recurrent Neural Network (TDRNN) bezeichnete Anordnung wird in einer Trainingsphase derart trainiert, dass zu einer Eingangsgröße u_t jeweils eine Zielgröße ydt an einem realen dynamischen System ermittelt wird. Das Tupel (Eingangsgröße, ermittelte Zielgröße) wird als Trainingsdatum bezeichnet. Eine Vielzahl solcher Trainingsdaten bilden einen Trainingsdatensatz.

Dabei weisen zeitlich aufeinanderfolgende Tupel (u_t-4, ydt–4) (u_t-3, ydt–3), (u_t-2, ydt-2) der Zeitpunkte (t-4, t-3, t-3, ...) des Trainingsdatensatzes jeweils einen vorgegeben Zeitschritt auf.

Mit dem Trainingsdatensatz wird das TDRNN trainiert. Eine Übersicht über verschiedene Trainingsverfahren ist ebenfalls in [1] und [4] zu finden.

Es ist an dieser Stelle zu betonen, dass lediglich die Ausgangsgrößen y_t-4, y_t-3, ..., y_t zu Zeitpunkten t-4, t-3, ..., t des dynamischen Systems 200 erkennbar sind. Die "inneren" Systemzustände s_t-4, s_t-3, ..., s_t sind nicht beobachtbar.

In der Trainingsphase wird üblicherweise folgende Kostenfunktion E minimiert:

Aus [5] und [6] sind Weiterentwicklungen der aus [2] bekannten und als Time Delay Recurrent Neural Network (TDRNN) bezeichneten neuronalen Struktur bekannt.

Die Weiterentwicklungen aus [5] sind insbesondere geeignet zur Ermittlung zukünftiger Zustände eines dynamischen Prozesses, was als "overshooting" bezeichnet wird.

Fig. 1a aus [5] zeigt eine Grundstruktur, die den aus [5] bekannten Weiterentwicklungen zugrunde liegt.

Die Grundstruktur ist ein über drei Zeitpunkte t, t+1, t+2 entfaltetes neuronales Netz.

Sie weist eine Eingangsschicht auf, die eine vorgebbare Anzahl von Eingangsneuronen enthält, denen Eingangsgrößen u_t zu vorgebbaren Zeitpunkten t, d.h. im weiteren beschriebene Zeitreihenwerte mit vorgegebenen Zeitschritten, anlegbar sind.

Die Eingangsneuronen, sind über variable Verbindungen mit Neuronen einer vorgebbaren Anzahl versteckter Schichten (dargestellt 3 verdeckte Schichten) verbunden.

Dabei sind Neuronen einer ersten versteckten Schicht mit Neuronen der ersten Eingangsschicht verbunden.

Die Verbindung zwischen der ersten versteckten Schicht mit der ersten Eingangsschicht weist Gewichte auf, die in einer ersten Verbindungsmatrix B enthalten sind.

Ferner sind die Neuronen der ersten versteckten Schicht mit ihren Ausgängen mit Eingängen von Neuronen einer zweiten versteckten Schicht gemäß einer durch eine zweite Verbindungsmatrix A gegebene Struktur verbunden. Die Neuronen der zweiten versteckten Schicht sind mit ihren Ausgängen mit Eingängen von Neuronen einer dritten versteckten Schicht gemäß einer durch die zweite Verbindungsmatrix A gegebene Struktur verbunden.

In den versteckten Schichten, der ersten versteckten Schicht, der zweiten versteckten Schicht und der dritten versteckten Schicht werden jeweils "innere" Zustände oder "innere" Systemzustände s_t, s_t+1 und s_t+2 des beschriebenen dynamischen Prozesses an drei aufeinanderfolgenden Zeitpunkten t, t+1 und t+2 repräsentiert.

Die Angaben in den Indizes in den jeweiligen Schichten geben jeweils den Zeitpunkt t, t+1, t+2 an, auf die sich jeweils die an den Ausgängen der jeweiligen Schicht abgreifbaren bzw. zuführbaren Signale (u_t) beziehen.

Eine Ausgangsschicht 120 weist zwei Teilausgangsschichten, eine erste Teilausgangsschicht und eine zweite Teilausgangsschicht, auf. Neuronen der ersten Teilausgangsschicht sind gemäß einer durch eine Ausgangs-Verbindungsmatrix C gegebenen Struktur mit Neuronen der ersten versteckten Schicht verbunden. Neuronen der zweiten Teilausgangsschicht sind ebenfalls gemäß der durch die Ausgangs-Verbindungsmatrix C gegebenen Struktur mit Neuronen der zweiten versteckten Schicht verbunden.

An den Neuronen der Teilausgangsschichten sind die Ausgangsgrößen für jeweils einen Zeitpunkt t+1, t+2 abgreifbar (y_t+1, y_t+2).

Eine weitere Weiterentwicklung dieser Grundstruktur aus [5] ist in 6 dargestellt.

Weiterentwicklungen der TDRNN-Struktur aus [6], sogenannte Error-Correction-Recurrent-Neural-Networks ECRNN), betreffen einen strukturell bedingten Fehler-Korrektur-Mechanismus, welcher als struktureller Bestandteil in eine neuronale Struktur integriert ist. 7 zeigt eine grundlegende Struktur mit entsprechenden funktionalen Beziehungen eines ECRNN.

Aus [7] ist eine weitere neuronale Struktur zur Beschreibung des dynamischen Systems 200, ein als Causal-Retro-Causal Time Delay Recurrent Neural Network (kurz Causal-Retro-Causal Neural Network; CRCNN) bezeichnetes neuronales Netz, bekannt.

3 zeigt eine grundlegende Struktur 300 mit entsprechenden funktionalen Beziehungen eines CRCNN.

Bei diesem CRCNN sind zwei neuronale Teilstrukturen 310, 320 miteinander gekoppelt. Dabei hängen ein erster innerer Teilzustand s_t (311 – 314) der ersten neuronalen Teilstruktur 310 und ein zweiter inneren Teilzustand r_t (321 – 324) der zweiten neuronalen Teilstruktur 320 gemäß folgenden Vorschriften von der Eingangsgröße u_t (301 – 304), dem ersten inneren Teilzustand s_t-1 (311 – 314), dem zweiten inneren Teilzustand r_t+1 (321 – 324) sowie Parametervektoren v_s, v_t, v_y ab: s_t = NN(v_s, s_t1, u_t),(8) r_t = NN(v_r , r_t+1, u_t)(9) y_t = NN(v_y, s_t, r_t)(10) wobei mit NN(.) eine durch das neuronale Netz vorgegebene Abbildungsvorschrift bezeichnet wird.

Verbindungen zwischen den Neuronen des CRCNN sind gewichtet. Die Gewichte sind in Parametervektoren v_s, v_t, v_y zusammengefasst.

Das CRCNN 300 gemäß 3 ist ein über vier Zeitpunkte, t-1, t, t+1 und t+2, entfaltetes Neuronales Netz (vgl. TDRNN, 5).

Grundzüge eines über eine endliche Anzahl von Zeitpunkten entfaltetes Neuronalen Netzes sind in [2] und im obigen im Zusammenhang mit dem bekannten TDRNN (vgl. 5) beschrieben.

In [3] ist ferner ein Überblick über Grundlagen neuronaler Netze und die Anwendungsmöglichkeiten neuronaler Netze im Bereich der Ökonomie zu finden.

Die bekannten Anordnungen und Verfahren weisen insbesondere den Nachteil auf, dass durch sie ein zu beschreibendes dynamisches System nur unzureichend genau beschrieben und damit zukünftige Entwicklungen des Systems nur unzureichend genau prognostiziert werden können.

Dies gilt insbesondere für dynamische Systeme, welche einem planerischen Einfluss unterliegen, d.h. dynamische Systeme, welche nicht nur rein marktgetrieben sind.