特許ウォッチ

公開番号2025117508
公報種別公開特許公報(A)
公開日2025-08-12
出願番号2024100096
出願日2024-06-21
発明の名称音響信号処理方法、音響信号処理装置、及び音響信号処理プログラム
出願人公立大学法人秋田県立大学,パナソニックホールディングス株式会社
代理人個人,個人,個人
主分類H04S 7/00 20060101AFI20250804BHJP(電気通信技術)
要約【課題】パニングにより音源信号を合成する際の合成された音響信号の歪みの偏りを抑える音響信号処理方法を提供する。
【解決手段】
音源信号Sの音源方向を取得する。そして、取得された音源方向に基づいて、音源信号Sを複数の代表頭部インパルスレスポンス(HRIR)に振り分けることによってパニングする。また、振り分けられた信号に複数の代表HRIRを畳み込むことでバイノーラルレンダリングを行う。この際の複数の代表HRIRのそれぞれは、学習により算出されたものである。そして、複数の代表HRIRのそれぞれは、全天球又は水平面内の全周におけるパニングによる合成HRIRと真のHRIRとの誤差の期待値を最小化するコスト関数に基づいて学習される。
【選択図】図3
特許請求の範囲【請求項１】
音響信号処理装置により実行される音響信号処理方法であって、
音源信号の音源方向を取得し、
取得された音源方向に基づいて前記音源信号を時間シフト及びゲイン調整して複数の代表頭部インパルスレスポンス（ＨＲＩＲ）に振り分けることによってパニングし、
振り分けられた信号に前記複数の代表ＨＲＩＲを畳み込むことでバイノーラルレンダリングを行い、
前記複数の代表ＨＲＩＲのそれぞれは、学習により算出されたものである
ことを特徴とする音響信号処理方法。
続きを表示（約 1,000 文字）【請求項２】
前記複数の代表ＨＲＩＲのそれぞれは、
全天球又は水平面内の全周におけるパニングによる合成ＨＲＩＲと真のＨＲＩＲとの誤差の期待値を最小化するコスト関数に基づいて学習される
ことを特徴とする請求項１に記載の音響信号処理方法。
【請求項３】
前記複数の代表ＨＲＩＲのそれぞれは、
全天球又は水平面内の全周におけるパニングによる合成ＨＲＩＲと真のＨＲＩＲとの誤差の期待値を最小化する項、及び方位並びに／若しくは仰角方向で隣接するＨＲＩＲ間の誤差の変化の期待値を最小化する項を含むコスト関数に基づいて学習される
ことを特徴とする請求項１に記載の音響信号処理方法。
【請求項４】
前記誤差の期待値は、誤差の平均値を用いる
ことを特徴とする請求項２又は３に記載の音響信号処理方法。
【請求項５】
前記誤差の期待値は、誤差のパワーと信号のパワーの比の平均値を用いる
ことを特徴とする請求項２又は３に記載の音響信号処理方法。
【請求項６】
前記複数の代表ＨＲＩＲのそれぞれは、前記バイノーラルレンダリングの左耳用信号と、右耳用信号とで異なる
ことを特徴とする請求項１に記載の音響信号処理方法。
【請求項７】
前記コスト関数は、前記学習において、各代表方向のＨＲＩＲに乗ずる前記ゲインの変化をペナルティとして加える歪尺度を含む
ことを特徴とする請求項２又は３に記載の音響信号処理方法。
【請求項８】
前記歪尺度は、前記学習の際、及び／又は再生の際に用いられる
ことを特徴とする請求項７に記載の音響信号処理方法。
【請求項９】
前記ゲインは、下記の式（１３）で算出される
TIFF
2025117508000031.tif
16
166
ことを特徴とする請求項７に記載の音響信号処理方法。
【請求項１０】
前記Ａ
i
、Ｂ
i
、Ｃ
i
は、再生の際には、前記複数の代表ＨＲＩＲのそれぞれに分配した各信号に乗ぜられるゲインとして使用される
ことを特徴とする請求項９に記載の音響信号処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、特に音響信号処理方法、音響信号処理装置、及び音響信号処理プログラムに関する。
続きを表示（約 4,900 文字）【背景技術】
【０００２】
従来から、映画、ＶＲ（Virtual Reality）、ＡＲ（Augmented Reality）等のコンテンツの再生が可能なＶＲヘッドフォンやＨＭＤ（Head Mounted Display）が存在する。
このようなＶＲヘッドフォンやＨＭＤでは、より広い音場が感じられるように、受聴者から音源への方向を考慮した頭部伝達関数（Head-Related Transfer Function、以下、「ＨＲＴＦ」という。）を用いて、頭外定位させる立体音響の生成（Binaural Rendering、バイノーラルレンダリング）が行われていた。
ここで、ヘッドフォン等でＨＲＴＦを用いたバイノーラルレンダリング音声を再生する際に、実際の音響信号への演算では、頭部伝達関数を時間軸上で表現した頭部インパルスレスポンス（Head-Related Impulse Response、以下「ＨＲＩＲ」という。）を用いることも多かった。
【０００３】
ＨＲＩＲを用いる典型的な装置として、特許文献１には、音源の個数が多くても演算負荷を抑えるＨＲＩＲを用いた立体音声の生成装置が記載されている（以下、「従来技術」という。）。従来技術では、複数個の音源（目的信号）を、それより少ない数の代表方向にまとめ、代表方向のＨＲＩＲのみで音像を合成することで、耳元の信号を生成するための演算量を削減することができる。
この従来技術では、ＨＲＩＲをまとめるための代表方向を、予め設定された規定の全天球のＨＲＩＲセットから所定の間隔、例えば、水平面６０度間隔で６方向、及び天頂、天底等のように人為的に選択していた。
【先行技術文献】
【特許文献】
【０００４】
特開２０２３－１６４２８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、従来技術では、人為的に代表方向を選択するため、その選択に依存して合成された再生信号の歪みに、音源信号の到来方向に依存して偏りが生じることがあった。
このため、この偏りを減少させ、パニングによる合成によって引き起こされる劣化を、より低下させたいという技術的な要求があった。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、上述の問題を解消することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の音響信号処理方法は、音響信号処理装置により実行される音響信号処理方法であって、音源信号の音源方向を取得し、取得された音源方向に基づいて前記音源信号を時間シフト及びゲイン調整して複数の代表頭部インパルスレスポンス（ＨＲＩＲ）に振り分けることによってパニングし、振り分けられた信号に前記複数の代表ＨＲＩＲを畳み込むことでバイノーラルレンダリングを行い、前記複数の代表ＨＲＩＲのそれぞれは、学習により算出されたものであることを特徴とする。
本発明の音響信号処理方法は、前記複数の代表ＨＲＩＲのそれぞれは、全天球又は水平面内の全周におけるパニングによる合成ＨＲＩＲと真のＨＲＩＲとの誤差の期待値を最小化するコスト関数に基づいて学習されることを特徴とする。
本発明の音響信号処理方法は、前記複数の代表ＨＲＩＲのそれぞれは、全天球又は水平面内の全周におけるパニングによる合成ＨＲＩＲと真のＨＲＩＲとの誤差の期待値を最小化する項、及び方位並びに／若しくは仰角方向で隣接するＨＲＩＲ間の誤差の変化の期待値を最小化する項を含むコスト関数に基づいて学習されることを特徴とする。
本発明の音響信号処理方法は、前記誤差の期待値は、誤差の平均値を用いることを特徴とする。
本発明の音響信号処理方法は、前記誤差の期待値は、誤差のパワーと信号のパワーの比の平均値を用いることを特徴とする。
本発明の音響信号処理方法は、前記複数の代表ＨＲＩＲのそれぞれは、前記バイノーラルレンダリングの左耳用信号と、右耳用信号とで異なることを特徴とする。
本発明の音響信号処理方法は、前記コスト関数は、前記学習において、各代表方向のＨＲＩＲに乗ずる前記ゲインの変化をペナルティとして加える歪尺度を含むことを特徴とする。
本発明の音響信号処理方法は、前記歪尺度は、前記学習の際、及び／又は再生の際に用いられることを特徴とする。
本発明の音響信号処理方法は、前記ゲインは、下記の式（１３）で算出される
TIFF
2025117508000002.tif
16
166
ことを特徴とする。
本発明の音響信号処理方法は、前記Ａ
i
、Ｂ
i
、Ｃ
i
は、再生の際には、前記複数の代表ＨＲＩＲのそれぞれに分配した各信号に乗ぜられるゲインとして使用されることを特徴とする。
本発明の音響信号処理方法は、前記コスト関数は、前記学習において、移動音をスムーズに再生するために、隣接する合成ＨＲＩＲの変化に周波数重みを付加してエネルギーを算出し、該エネルギーの大きさをペナルティとして加える歪尺度を含むことを特徴とする。
本発明の音響信号処理方法は、前記歪尺度は、前記学習の際、及び／又は再生の際に用いられることを特徴とする。
本発明の音響信号処理方法は、前記ゲインは、下記の式（１７）で算出される
TIFF
2025117508000003.tif
19
166
ことを特徴とする。
本発明の音響信号処理方法は、前記Ａ
i
、Ｂ
i
、Ｃ
i
、Ｄ
i
、Ｅ
i
は、再生の際には、前記複数の代表ＨＲＩＲのそれぞれに分配した各信号に乗ぜられるゲインとして使用されることを特徴とする。
本発明の音響信号処理方法は、前記学習の際、下記の式（１８）により前記複数の代表ＨＲＩＲを更新する
TIFF
2025117508000004.tif
89
166
ことを特徴とする。
本発明の音響信号処理方法は、代表方向の選択の際に、過去に選択された代表方向を継続して選択され易くするような重みづけを行うことを特徴とする。
本発明の音響信号処理方法は、音響信号処理装置により実行される音響信号処理方法であって、音源信号を時間シフト及びゲイン調整して複数の代表頭部インパルスレスポンス（ＨＲＩＲ）に振り分けることによってパニングし、振り分けられた信号に前記複数の代表ＨＲＩＲを畳み込むことでバイノーラルレンダリングを行うための前記複数の代表ＨＲＩＲのそれぞれを、初期値から反復的に学習することを特徴とする。
本発明の音響信号処理装置は、音源信号の音源方向を取得する方向取得部と、前記方向取得部により取得された音源方向に基づいて前記音源信号を時間シフト及びゲイン調整して複数の代表頭部インパルスレスポンス（ＨＲＩＲ）に振り分けることによってパニングし、振り分けられた信号に前記複数の代表ＨＲＩＲを畳み込むことでバイノーラルレンダリングを行うパニング部とを備え、前記複数の代表ＨＲＩＲのそれぞれは、学習により算出されたものであることを特徴とする。
本発明の音響信号処理装置は、音響信号を処理する音響信号処理装置であって、音源信号を時間シフト及びゲイン調整して複数の代表頭部インパルスレスポンス（ＨＲＩＲ）に振り分けることによってパニングし、振り分けられた信号に前記複数の代表ＨＲＩＲを畳み込むことでバイノーラルレンダリングを行うための前記複数の代表ＨＲＩＲのそれぞれを、初期値から反復的に学習する学習部を備えることを特徴とする。
本発明の音響信号処理プログラムは、音響信号処理装置により実行される音響信号処理プログラムであって、前記音響信号処理装置により、音源信号の音源方向を取得させ、取得された音源方向に基づいて前記音源信号を時間シフト及びゲイン調整して複数の代表頭部インパルスレスポンス（ＨＲＩＲ）に振り分けることによってパニングさせ、振り分けられた信号に前記複数の代表ＨＲＩＲを畳み込むことでバイノーラルレンダリングを行わせ、前記複数の代表ＨＲＩＲのそれぞれは、学習により算出されたものであることを特徴とする。
本発明の音響信号処理プログラムは、音響信号処理装置により実行される音響信号処理プログラムであって、音源信号を時間シフト及びゲイン調整して複数の代表頭部インパルスレスポンス（ＨＲＩＲ）に振り分けることによってパニングし、振り分けられた信号に前記複数の代表ＨＲＩＲを畳み込むことでバイノーラルレンダリングを行うための前記複数の代表ＨＲＩＲのそれぞれを、初期値から反復的に学習させることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、取得された音源方向に基づいて、パニングしてバイノーラルレンダリングを行う際に、特定の代表方向のＨＲＩＲとして学習により算出されたものを用い、パニングに用いる代表方向自体を最適化することで、ＨＲＩＲの歪みによる偏りを減少させ、パニングによる合成によって引き起こされる劣化を、従来技術より低下させることが可能な音響信号処理方法を提供することができる。
【図面の簡単な説明】
【０００９】
本発明の第一実施形態に係る音響信号処理装置の制御構成図である。
図１に示すパニングによる再生音の合成の概念を示す概念図である。
本発明の第一実施形態に係る学習処理のフローチャートである。
図４に示す学習処理における代表方向の初期値の概念図である。
本発明の第一実施形態に係る再生処理のフローチャートである。
本発明の他の実施形態に係る音響信号処理装置の制御構成図である。
本発明の実施例１に係るＳＮＲのグラフである。
本発明の実施例１に係る代表方向のＨＲＩＲをマッピングしたグラフ（仰角０°）である。
本発明の実施例１に係る代表方向のＨＲＩＲをマッピングしたグラフ（仰角４６°）である。
本発明の実施例１に係る代表方向のＨＲＩＲをマッピングしたグラフ（仰角－４６°）である。
本発明の実施例１に係る移動音源の生成の概念図である。
本発明の実施例１に係る移動音源波形のグラフ（仰角０°）である。
本発明の実施例１に係る移動音源波形のグラフ（仰角４６°）である。
本発明の実施例１に係る移動音源波形のグラフ（仰角－４６°）である。
本発明の実施例１に係る代表方向のＨＲＩＲをプロットした該平面図である。
本発明の実施例１に係る代表方向のＨＲＩＲをプロットした背面図である。
本発明の実施例２に係る合成ＨＲＩＲ（α＝１、β＝０）の左耳のゲイン（仰角０）のグラフである。
本発明の実施例２に係る合成ＨＲＩＲ（α＝１、β＝０）の移動音源波形のグラフ（仰角０°）である。
本発明の実施例２に係る合成ＨＲＩＲ（α＝０．８、β＝０．２）の左耳のゲイン（仰角０）のグラフである。
本発明の実施例２に係る合成ＨＲＩＲ（α＝０．８、β＝０．２）の移動音源波形のグラフ（仰角０°）である。
【発明を実施するための形態】
【００１０】
＜第一実施形態＞
〔音響信号再生装置１の制御構成〕
まず、図１を参照して、本発明の第一実施形態に係る音響信号再生装置１の制御構成について説明する。
（【００１１】以降は省略されています）

関連特許