Diese Erfindung bezieht sich auf Schallverarbeitung (Tonverarbeitung) und betrifft insbesondere, trotzdem nicht ausschließlich, Verfahren und Verarbeiter zur Verschlüsselung (Codierung) von Abstrahlungscharakteristika von klingenden Körpern.

Systeme zur Aufnahme und Wiedergabe von Schall, die im Stande sind, räumliche Charakteristika eines ursprünglichen Schallfeldes festzuhalten, sind seit vielen Jahren bekannt. Beispielsweise nutzt das Raumklangsystem nach der Ambisonic sphärische Harmonische, um die Richtung der Schallquellen innerhalb eines dreidimensionalen Schallfeldes zu verschlüsseln. Diese Form der Darstellung eines Schallfeldes wurde kürzlich von der ursprünglichen Vierkanalausführung erster Ordnung ausgedehnt, um sphärische Harmonische zweiter und höherer Ordnung einzuschließen, um eine höhere Genauigkeit und einen weiteren nutzbaren Empfängerbereich zu erlangen. Jedoch nehmen selbst Vierkanalschallfelder erster Ordnung, die von realen akustischen Orten unter Verwendung eines geeigneten Mikrophons aufgenommen wurden, die komplexen ausgedehnten Eigenschaften der Schall abstrahlenden Körper sehr ein. Andererseits ist, auch innerhalb ambisonischer Systeme, wenn Schallfelder künstlich hergestellt werden müssen, beispielsweise wenn ein künstliches Klangbild für einen Filmsoundtrack oder ein Computerspiel erstellt wird, die Fähigkeit, Schallquellen als ausgedehnte Objekte darzustellen, durch die verfügbare Technologie begrenzt worden. Demnach ist diese Darstellung weitgehend entweder auf idealisierte Punktquellen oder Quellen begrenzt worden, die den sehr vereinfachten Eindruck aufweisen, "größer als eine Punktquelle^„ zu sein. Typischerweise ist diese Erweiterung in ambisonischen Systemen entweder durch einfaches Hochspielen der nicht gerichteten, sphärischen Harmonischen nullter Ordnung oder durch Phasenschiftung, basierend auf "Verteiler" Steuerungen, implementiert worden. In einigen anderen Systemen, beispielsweise Microsoft DirectSound, ist der Schallquelle eine begrenzte Richtungsvariabilität gegeben; beispielsweise einen Konus von Richtungen aufweisend, wo der Schall den Charakter ändert, so daß er zu der Zuhörerposition oder von der Zuhörerposition weg gerichtet erscheint. Diese Formen der künstlichen Herstellung von klingenden Körpern sind in ihrer Fähigkeit sehr begrenzt, realistische Klangbilder bereitzustellen, besonders wenn dort gewöhnlich nur wenig oder keine Berücksichtigung der Effekte der Entfernung zwischen Quelle und Zuhörer existiert. Auch ist eine geeignete Modellierung der Abstrahlungscharakteristika über die gesamte Oberfläche wichtig, wenn frühe Reflexionen für eine Halleinheit erzeugt werden, da die Reflexionen in den meisten Fällen nicht Teil des klingenden Objektes sein werden, der in Richtung des Zuhörers gerichtet ist.

Auf der anderen Seite sollte beachtet werden, daß innerhalb voll akustischer Simulationssysteme die Beiträge von Klängen, die an der Zuhörerposition von allen Punkten auf einem klingenden Objektes ankommen, durch Lösen der Wellengleichungen für jeden Weg zwischen Quelle und Zuhörer oder durch andere geeignete Mittel berechnet werden können, und dies kann vollständig realistische Klangbilder bereitstellen. Diese Vorgehensweise erzwingt jedoch große Rechenbelastungen bei den Systemen, was lästig sein kann, wenn eine begrenzt verfügbare Rechenleistung besteht oder wenn Echtzeitbetrieb gewünscht wird.

Einige Verbesserungen können mittels eines vereinfachten Modells der Strahlungscharakteristik des Objekts erzielt werden. Dieses kann unter Verwendung von sphärischen Harmonischen in einer Weise analog zu der Kodierung von Schallfeldern kodiert werden. Dies ermöglicht es, daß das Objekt gedreht wird, so daß es korrekt zu der Zuhörerposition gerichtet werden kann, aber es ermöglicht nicht die Effekte der Variation des Schalls an der Zuhörerposition mit einem Abstand, der geeignet simuliert wird. Diese Variation ist durch Änderungen der Impulsantwort an der Zuhörerposition bedingt. Die Impulsantwort ändert sich mit unterschiedlichen Abständen in zwei Wegen. Dies ist in 1 der beigefügten Zeichnungen dargestellt, die die Impulsantworten an Punkten zeigt, die beabstandet von einem klingenden Objekt sind.

In 1 ist die Impulsantwort aus Gründen der Einfachheit dargestellt als durch drei Punkte A, B und C an dem klingenden Objekt (obwohl in Realität alle Punkte an der Oberfläche beitragen würden) und für zwei Zuhörerpositionen, P und Q, bereitgestellt. Sowohl die Position der Impulse hinsichtlich der Zeit und die Unterschiede in deren Amplituden ändern sich mit der Distanz. Es ist zu beachten, daß wenn die Distanz zwischen dem Objekt und dem Zuhörer erhöht wird, der zusätzliche Distanzbeitrag der Entfernung weg von dem Ursprung entlang der Y-Achse die Führung letztendlich in dem Fernfeld zu der Situation verringert, wo nur Entfernungen an der X-Achse zählen.

Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung beabsichtigen, Systeme bereitzustellen, in denen weitere Charakteristika eines klingenden Körpers unter Verwendung sphärischer Harmonischer auf eine Weise kodiert werden, daß eine Simulation sowohl der Strahlungscharakteristik des klingenden Körpers als auch der Effekte der Entfernung zwischen Quelle und Zuhörer ermöglicht wird. Die Verwendung sphärischer Harmonischer ermöglicht es, das klingende Objekt realistisch darzustellen, ohne eine schwere rechenbetonte Belastung aufzubürden.

Nach einem Aspekt der vorliegenden Erfindung wird ein Verfahren zur Schallverarbeitung bereitgestellt, umfassend den Schritt des Kodierens der räumlichen Abstrahlungscharakteristika eines klingenden Objekts durch sphärische Harmonische.

Nach einem weiteren Aspekt der vorliegenden Erfindung wird ein Schallverarbeiter bereitgestellt, der ausgebildet ist, durch sphärische Harmonische die räumlichen Abstrahlungscharakteristika eines klingenden Objektes zu kodieren.

Diese Kodierung kann die Erzeugung von Impulsantworten des klingenden Objektes enthalten.

Die Impulsantworten können gemessen oder berechnet werden.

Ein Mikrophon kann von dem klingenden Objekt beabstandet angeordnet und verwendet werden, um die Impulsantworten zu messen.

Formdaten können eingegeben werden, um die Form des klingenden Objektes darzustellen, wobei von den Daten diese Impulsantworten berechnet werden.

Diese Formdaten können von der Ankunftszeit eines ersten Schalls an jedem Mikrophon eines Feldes von Mikrophonen, die um das klingende Objekt angeordnet sind, hergeleitet werden.

Die Formdaten können künstlich erstellt werden.

Die Form des klingenden Objektes kann verfolgt werden.

Schall verarbeitende Verfahren oder Schallverarbeiter, wie oben genannt, dienen zur Beeinflussung der räumlichen Charakteristika des klingenden Objektes vor Einbettung des Objektes in ein endgültiges Schallfeld.

Das Beeinflussen der räumlichen Charakteristika des klingenden Objektes kann ein Umformen der offensichtlichen Ausrichtung des klingenden Objektes hinsichtlich eines Zuhörers einschließen.

Das Beeinflussen der räumlichen Charakteristika des klingenden Objektes kann ein Umformen der offensichtlichen Entfernung des klingenden Objektes zu einem Zuhörer umfassen.

Schall verarbeitende Verfahren oder Schallverarbeiter, wie oben genannt, können eine endgültige Impulsantwort erzeugen, um die räumliche Abstrahlungscharakteristika des klingenden Objektes darzustellen, und können eine endgültige Impulsantwort auf die Schallquelle anwenden.

Schall verarbeitende Verfahren und Schallverarbeiter, wie oben genannt, können eines oder mehrere der in dieser Beschreibung offenbarten Merkmale aufweisen.

Zum besseren Verständnis der Erfindung und um zu zeigen, wie Ausführungsbeispiele der Erfindung tatsächlich ausgestaltet werden können, wird nun beispielhaft auf die 2 – 6 der beigefügten schematischen Zeichnungen Bezug genommen, in denen:

2 ein Ablaufdiagramm ist, um ein Beispiel eines Kodierungsverfahrens in Übereinstimmung mit einem Beispiel der Erfindung darzustellen;

3 eine nicht-Abstands-gewichtete Impulsantwort für eine sphärische Harmonische nullter Ordnung zeigt;

4 eine nicht-Abstands-gewichtete Impulsantwort für eine sphärischen Harmonischen erster Ordnung zeigt;

5 ein Feld von Mikrophonen zur Messung der Form des klingenden Objektes darstellt; und

6 die Verwendung eines Mikrophons zeigt, das sehr weit vom klingenden Körper angeordnet ist, um eine Impulsantwort einer genauen geänderten Form zu messen.

Unter Bezug auf 2 wird nun bei einem Beispiel der Erfindung die Form eines klingenden Objektes in der Weise kodiert, um eine einfache Berechnung der Impulsantwort an dem Zuhörerpunkt zu ermöglichen. Die Form wird in Schritt 105 in eine gewichtete Summe von sphärischen Harmonischen zerlegt, umfassend mindestens die Beanstandteile nullter Ordnung und solche höherer Ordnung, wenn diese als notwendig erachtet werden. Die Gewichtungen werden individuell gespeichert. Die sphärischen Harmonischen können dieselben Namen wie im ambisonsichen B Format aufweisen, so daß W die Harmonische nullter Ordnung ist und X,Y und Z die drei Harmonischen erster Ordnung sind. Jede Form, wie sie durch die einzelnen sphärischen Harmonischen definiert wird, wird auch verwendet, um in Schritt 106 eine Impulsantwort für diese sphärische Harmonische zu berechnen. Diese Impulsantworten sind von modifizierter Form, wobei die Impulse aus Summen von gleich gewichteten Bestandteilen bestehen, so daß jeder Zeitpunkt nur ganzzahlige Werte für die Größe der Impulse an diesem Punkt einnehmen kann. Jeder Punkt an der Form, der dieselbe Verzögerung wie ein anderer aufweist, trägt eine Einheitsmenge zu dem entsprechenden Zeitpunkt in der endgültigen nicht-Abstands-gewichteten Impulsantwort bei. Die Länge der Impulsantwort wird durch die Maße des klingenden Körpers bestimmt. Die Form kann nach den Wünschen des Benutzers künstlich hergestellt werden, unter Verwendung jedes geeigneten Mittels, so wie ein computergestütztes Design-Software-Packet oder durch direkte Eingabe der Formdaten wie in Schritt 102. Alternativ kann die Form eines realen Objektes, beispielsweise ein Klavier oder ein Flugzeug, in Schritt 101 verfolgt werden.

Sobald die modifizierten Impulsantworten berechnet oder gemessen und in eine Sphärische-Harmonische-Form in Schritt 107, was wir "O" Format nennen, umgewandelt wurden, ermöglicht das Verfahren, die offensichtliche Ausrichtung und Entfernung des klingenden Objektes zu variieren. In Schritt 108 ist das klingende Objekt zunächst in der akustischen Umgebung in Übereinstimmung mit dessen Beziehung zu dem Zuhörer ausgerichtet, beispielsweise durch Anwendung von Rotationsumwandlungen wie eine winkelige Drehung nach links unter einem Winkel &bgr; von dem Vordermittelpunkt, gekoppelt mit einer Kippung um einen Winkel &agr; von der Horizontalen was die folgende Umwandlung erfordert W'=W X' =X*cos&bgr;–Y*sin&bgr; Y'=X*sin&bgr;* cos a+Y*cos &bgr;* cos a–Z* sin a Z' =X*sin &bgr;*sin a + Y*cos &bgr;*sin a + Z*cos a wobei W', X', Y' und Z' die gedrehten und gekippten sphärischen Harmonischen bilden, die das neu orientierte klingende Objekt beschreiben. Im Anschluß an diese Umwandlung kann in Schritt 109 eine gewichtete Summe der Sphärisch-Harmonischen-kodierten Impulsantworten erzeugt werden, die der nicht-Abstands-gewichteten Impulsantwort entspricht, die für die Verhältnis des klingenden Objektes zu der Zuhörerposition erforderlich ist. Die Form dieser nicht-Abstands-gewichteten Impulsantworten ist in 3, die die sphärische Harmonische nullter Ordnung darstellt, und in 4 gezeigt, die eine der sphärischen Harmonischen der ersten Ordnung zeigt. Die Effekte der Entfernung auf die Amplitude jedes Impulses kann dann in Schritt 110 durch Gewichtung des Wertes des Impulses zu jedem Zeitpunkt entsprechend dem inversen quadratischen Entfernungsgesetz angewandt werden, abgeleitet unter Verwendung der Formel (Ts/Tc)² wobei Ts die Zeit des Erscheinens der ersten Komponente der Impulsantwort und Tc die des derzeitigen Bestandteils ist. Dies erzeugt die endgültige Impulsantwort, wobei die Genauigkeit von deren Übereinstimmung zur Realität in Übereinstimmung mit der verfügbaren Rechenleistung und der Qualität des gewünschten Effekts durch Variieren der Zahl und der maximalen Ordnung der verwendeten sphärischen Harmonischen gewählt werden kann.

Im Anschluß an die Berechnung der endgültigen Impulsantwort kann jeder aufgenommene oder künstlich hergestellte Schall unter Verwendung der so erzeugten Impulsantwort durch Mittel wie eine Faltung in Schritt 111 verarbeitet werden, um so die geeigneten Frequenzgebietkorrekturen zuzuführen, so daß es klingen wird, als wenn es durch das klingende Objekt an der gewünschten Entfernung und Ausrichtung zu dem Zuhörer ausgesandt wird. Weiteres Verarbeiten durch die bereits bekannten ambisonischen Schwenkverfahren oder durch jede andere Form von Schall-Spatialisation führt zu einem Endbild der gewünschten Beschaffenheit in Schritt 112.

Es ist ersichtlich, daß die Oberflächenform des Objektes durch normale Meßmittel bestimmt werden kann und daß die Gewichtung der sphärischen Harmonischen, die die Form kodieren, durch Mittel einer geeigneten Fourier-Reihenanalyse in Schritt 105 abgeleitet werden kann, wobei sich die folgende Formel für die Gewichtung jeder Sphärisch-Harmonischen-Komponente ergibt:

Da die Messungen gewöhnlich auf einem diskreten Gitter von N Punkten genommen werden, können wir dieses unter Verwendung einer Formel wie die folgende annähern:

Andere Annäherungsformen können angemessen zu der Verteilung der geeigneten Meßpunkte eingesetzt werden. Die Form des klingenden Objektes kann unter Verwendung eines Feldes von Mikrophonen gemessen werden, wie es in 5 dargestellt ist, wo die Ankunftszeit des ersten Schalls an jedem Mikrophon verwendet werden kann, um die Entfernung zu dem nächsten Punkt zu diesem Mikrofon zu bestimmen.

6 stellt ein weiteres Ausführungsbeispiel der Erfindung dar, wobei ein Mikrophon, wenn es weit genug weg von den klingenden Körper angeordnet ist, verwendet werden kann, um eine Impulsantwort der korrekten modifizierten Form zu messen, wie in Schritt 103. Dieses erfolgt, wenn die Winkel, die durch alle Punkte an der Oberfläche weg von der Mikrophonachse entgegengesetzt werden, so klein sind, daß dort ein geringfügiger Unterschied der zusätzlichen Zeit zwischen Punkten auf der Mikrophonachse und Punkten, die nicht auf der Mikrophonachse liegen, existiert.

Eine Messung einer ausreichenden Zahl dieser Impulsantworten über ein geeignetes Gitter von Meßpunkten ermöglicht es, eine Sphärisch-Harmonische-kodierte Form in Schritt 104 über ein Näherungsverfahren abzuleiten, ähnlich zu dem oben beschriebenen.

Bei einem weiteren Ausführungsbeispiel der Erfindung kann ein anderes, ähnliches Verfahren der Sphärisch-Harmonischen-Kodierung verwendet werden, um die Verteilung der Abstrahlungscharakteristika entlang der Oberfläche der Sphäre zu definieren. Dies kann in Schritt 113 durch Mittel wie Bereitstellen verschiedener Filterfunktionen, um helle und dumpfe Schallgebiete der Oberfläche zu modellieren, erzielt werden. Dies ist beispielsweise bei Modellierung von Sprachen wichtig, wo der spektrale Gehalt der Sprache variiert, abhängig davon, ob die sprechende Person zu dem Zuhörer gerichtet ist oder nicht. Die Verwendung von Sphärisch-Harmonischer-Kodierung für die Variationen dieser Filterfunktionen über die Oberfläche des Objektes bedeutet, daß diese in Schritt 114 korrekt ausgerichtet werden können, in einer Weise ähnlich zu der für die Impulsantwort Verwendeten, bevor sie auf den Schall in Schritt 115 angewendet werden.

Bei einem weiteren Ausführungsbeispiel der Erfindung kann die ersichtliche Größe des Objektes durch Änderung der Länge der Impulsantwort verändert werden. Dies kann entweder durch Rückrechnung der Basis-Impulsantwort oder auf eine andere Art erzielt werden. Bei einem Beispiel wird dies durch Anordnen der Impulsantworten in einer Nachschlagetabelle und Verwendung von Rechenmitteln getan, um die Frequenz, mit der Werte ausgelesen werden, zu variieren. Entweder durch Streichen von ungewollten Werten, wenn die neue Impulsantwort kürzer als das Original ist, oder im Fall, wo die neue Impulsantwort länger als das Original ist, durch Berechnung neuer Zwischenwerte, entweder durch Interpolation angrenzender Werte oder durch ähnliche Mittel, können die Länge der Impulsantwort und somit die Größe des Objekts kontrolliert werden.

Der Effekt auf die Impulsantwort der Entfernung zwischen dem klingenden Körper und dem Zuhörer, der so ist, daß der Effekt der Entfernung entlang der Y-Achse signifikant wird, kann durch ein ähnliches Mittel einbezogen werden. In diesem Fall kann die Zeitachse verzogen werden, um die zusätzliche Verzögerung, die durch die Entfernung des Punkts von der Y-Achse auferlegt wird, zu modellieren. Ein typischer Verzugsfaktor wird durch den für die sphärische Harmonische der ersten Ordnung dargestellt

Die oben beschriebenen und dargestellten Beispiele der Erfindung ermöglichen den Aufbau realistischeren Schallobjekte zur Verwendung in künstlich hergestellten ambisonischen Schallfeldern, während die Einfachheit und Leichtigkeit der Verwendung der Ambisonic erhalten bleibt.

Die oben beschriebenen und dargestellten Beispiele der Verwendung sphärischer Harmonischer ermöglichen die räumliche Beeinflussung von Schallobjekten zu niedrigen rechenbezogenen Kosten, mit Verarbeitungseffekten wie Rotation, Kippung, Taumeln, etc, vor Einbettung des Schallobjektes in ein endgültiges Schallfeld. Nach Einbettung würden nur normale Beeinflussungen des Schallfeldes als Ganzes möglich sein. Die Ordnung des Formats des Schallobjektes vor Einbettung muß nicht zu der des Schallfeldes passen, indem es schließlich eingebettet wird, da es, bevor es zugeführt wird, durch eine Matrix geführt werden kann, ähnlich zu der, die für Lautsprecherdekodierung verwendet wird, und nur der Ausgang der Matrix muß entsprechend passen. Dies bedeutet, daß Beschreibungen höherer Ordnung der Schallobjekte in Standardschallfelder von niedriger Ordnung eingebettet werden können, was es ermöglicht, ein sehr reich akustisches Verhalten zu implementieren, ohne notwendigerweise die endgültigen Kanalzahlen zu beeinflussen und somit die erforderliche Speicherung.