特許ウォッチ

公開番号2024154456
公報種別公開特許公報(A)
公開日2024-10-31
出願番号2023068262
出願日2023-04-19
発明の名称環境音合成装置、その方法及びプログラム
出願人日本電信電話株式会社,国立大学法人九州大学
代理人個人,個人,個人
主分類H04S 7/00 20060101AFI20241024BHJP(電気通信技術)
要約【課題】伝送元で収音された環境音を効率よく伝送し、伝送先で伝送元の場の雰囲気を空間的な音源位置の広がりを考慮して生成することができる環境音合成装置等を提供する。
【解決手段】環境音合成装置は、環境音分析装置から環境音量パラメタを受信するデータ受信部と、環境音量パラメタで特定される音量に応じた1フレーム分の環境音のテンプレートに、環境音量パラメタから推定される頭部伝達関数を適用して得られるテンプレートを合成して、環境音を生成する定位感付加音源合成部とを含み、頭部伝達関数は、伝送先で想定される聴取者の位置である仮想聴取者位置における、仮想的に設定される音源の位置である仮想位置に対する頭部伝達関数である。
【選択図】図3
特許請求の範囲【請求項１】
環境音分析装置から伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する環境音合成装置であって、
前記環境音分析装置から前記環境音量パラメタを受信するデータ受信部と、
前記環境音量パラメタで特定される音量に応じた１フレーム分の環境音のテンプレートに、前記環境音量パラメタから推定される頭部伝達関数を適用して得られるテンプレートを合成して、環境音を生成する定位感付加音源合成部とを含み、
前記頭部伝達関数は、伝送先で想定される聴取者の位置である仮想聴取者位置における、仮想的に設定される音源の位置である仮想位置に対する頭部伝達関数である、
環境音合成装置。
続きを表示（約 1,600 文字）【請求項２】
請求項１の環境音合成装置であって、
１フレーム分の環境音のテンプレートと当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部と、
仮想位置に関する情報と、仮想位置に対応する頭部伝達関数とを対応付けて記憶する頭部伝達関数記憶部と、を含み、
前記定位感付加音源合成部は、前記環境音量パラメタで特定される音量に応じたテンプレートを前記テンプレート記憶部から選択し、前記環境音量パラメタから推定される仮想位置に関する情報に対応付けられた頭部伝達関数を前記頭部伝達関数記憶部から選択し、選択したテンプレートに選択した頭部伝達関数を適用し、前記環境音量パラメタで特定される音量に合せて、仮想位置の定位感を加えた環境音を生成する、
環境音合成装置。
【請求項３】
請求項２の環境音合成装置であって、
前記仮想位置に関する情報は、音源の仮想位置と仮想聴取者位置との距離、または、仮想聴取者位置に対する音源の仮想位置の方向である、
環境音合成装置。
【請求項４】
請求項１の環境音合成装置であって、
１フレーム分の環境音のテンプレートに頭部伝達関数を適用して得られるテンプレートと、頭部伝達関数適用後のテンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部を含み、
前記定位感付加音源合成部は、前記環境音量パラメタで特定される音量に応じたテンプレートを前記テンプレート記憶部から選択し、選択した前記テンプレートを合成して環境音を生成する、
環境音合成装置。
【請求項５】
請求項１の環境音合成装置であって、
1つ以上の仮想位置が与えられるものとし、
前記環境音量パラメタから与えられた各仮想位置における仮想音量を求める駆動パラメタ算出部を含み、
前記定位感付加音源合成部は、前記駆動パラメタ算出部で求めた仮想音量に応じた１フレーム分の環境音のテンプレートに、当該仮想音量に対応する仮想位置に応じた頭部伝達関数を適用して得られるテンプレートを合成して、環境音を生成する、
環境音合成装置。
【請求項６】
請求項１の環境音合成装置であって、
想定され得る最大個数の仮想位置と、各仮想位置における仮想音量とが与えられるものとし、
前記環境音量パラメタから当該環境音量パラメタを取得したフレームに対応する1つ以上の仮想位置とその仮想位置における仮想音量とを求める駆動パラメタ算出部を含み、
前記定位感付加音源合成部は、前記駆動パラメタ算出部で求めた仮想音量に応じた１フレーム分の環境音のテンプレートに、当該仮想音量に対応する仮想位置に応じた頭部伝達関数を適用して得られるテンプレートを合成して、環境音を生成する、
環境音合成装置。
【請求項７】
伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する環境音合成方法であって、
データ受信部が、前記環境音量パラメタを受信するデータ受信ステップと、
定位感付加音源合成部が、前記環境音量パラメタで特定される音量に応じた１フレーム分の環境音のテンプレートに、前記環境音量パラメタから推定される頭部伝達関数を適用して得られるテンプレートを合成して、環境音を生成する定位感付加音源合成ステップとを含み、
前記頭部伝達関数は、伝送先で想定される聴取者の位置である仮想聴取者位置における、仮想的に設定される音源の位置である仮想位置に対する頭部伝達関数である、
環境音合成方法。
【請求項８】
請求項１の環境音合成装置としてコンピュータを機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、伝送元で収音された環境音を、伝送先で再生する環境音合成装置、その方法及びプログラムに関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
実測データをもとに算出した個人差や、速度・大きさの揺らぎの程度を利用して、単独のユーザと同期するように複数の拍手音を合成し出力する技術が提案されている（非特許文献１）。また、ある地点の音を別の場所に伝送し再生する技術として、音響符号化技術が知られている。
【０００３】
非特許文献１は、ユーザと同調する複数の人がその場にいるような環境を仮想的に実現することを目的としたものであり、ユーザの拍手のピッチに合わせて仮想的な拍手音を合成する技術であり、実在する遠隔地の場の状況（拍手音や手拍子）を、別の場所に伝送し再現することはできなかった。また、声援・掛け声などの拍手音以外の環境音を伝送し再現することは対象としていない。また、拍手音や声援・掛け声などの環境音は純粋な音声や楽器音とは異なり白色雑音に近いため、非特許文献２のような従来の音響符号化技術ではうまく表現できず、音質が劣化していた。
【０００４】
例えば、非特許文献２では、聴覚マスキングを巧みに利用し、また楽器の特性を利用して低域の成分を高域にコピーして使うという楽音の特性に合わせたモデルにより、低ビットレートで品質の高い音響符号化技術が提案されている。
【０００５】
特許文献１の環境音合成装置では、テンプレート記憶部に１フレーム分（一定時間分）の環境音のテンプレートと当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶しておき、音源合成部が受信した環境音量パラメタと同じ音量大きさのテンプレートをテンプレート記憶部から選択し、選択したテンプレートを合成して環境音を生成する。
【０００６】
特許文献２の環境音合成装置では、さらに、伝送先で空間的な広がりをもった環境音を生成するために伝送先で伝送元の場の雰囲気を、残響を考慮して再現する環境音を生成する。
【先行技術文献】
【特許文献】
【０００７】
特開２０１４－６３１４５号公報
特開２０１７－１４６３９１号公報
【非特許文献】
【０００８】
西村竜一、宮里勉、「仮想的集団による拍手音の合成」、電子情報通信学会技術研究報告、電子情報通信学会、1999年3月、MVE,マルチメディア・仮想環境基礎、98(684), p.17-24,
Stefan Meltzer and Gerald Moser,"MPEG-4 HE-AAC v2 - audio coding for today's digital media world," EBU technical review, Jan., 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献２の環境音合成装置では、空間的な残響は再現されるものの、本来、視聴者を包むように様々な位置から聞こえるべき環境音が、一点から発せられるように聞こえてしまい、違和感を生じるという課題がある。
【００１０】
本発明は、伝送元で収音された環境音を効率よく伝送し、伝送先で伝送元の場の雰囲気を空間的な音源位置の広がりを考慮して生成することができる環境音合成装置、その方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許