特許ウォッチ

公開番号2023078849
公報種別公開特許公報(A)
公開日2023-06-07
出願番号2021192153
出願日2021-11-26
発明の名称振動信号を用いた音響信号調整プログラム、装置及び方法
出願人KDDI株式会社
代理人個人,個人
主分類H04R 3/00 20060101AFI20230531BHJP(電気通信技術)
要約【課題】負担のより小さい計算処理によって、取得目的の音に係る信号を生成可能な音響信号調整プログラムを提供する。
【解決手段】本プログラムは、動作に伴い発生した音を含む元音響信号から、所定動作に伴い発生した音に係る取得目的の音響信号部分を特定する又は仕分けるプログラムであり、動作に伴い音とともに発生した振動を含む取得された振動信号における振動信号部分であって、取得目的の音響信号部分に係る音とともに発生した振動に係る振動信号部分に対応する元音響信号の部分を増幅させる又は相対的に大きくする調整演算子を、この振動信号に基づき決定する調整演算子決定手段と、元音響信号に対し調整演算子を作用させ、取得目的の音響信号部分が増幅された若しくは相対的に大きくなった又は取得目的の音響信号部分以外の音響信号部分が低減若しくは削減された目的出力信号を生成する目的出力信号生成手段としてコンピュータを機能させる。
【選択図】図1
特許請求の範囲【請求項１】
動作に伴い発生した音の情報を含む元音響信号から、所定動作に伴い発生した音に係る取得目的の音響信号部分を特定する又は仕分けるようにコンピュータを機能させる音響信号調整プログラムであって、
当該動作に伴い当該音とともに発生した振動の情報を含む、取得された振動信号における振動信号部分であって、当該取得目的の音響信号部分に係る音とともに発生した振動に係る振動信号部分に対応する当該元音響信号の部分を増幅させる又は相対的に大きくする調整演算子を、取得された当該振動信号に基づき決定する調整演算子決定手段と、
当該元音響信号に対し当該調整演算子を作用させ、当該取得目的の音響信号部分が増幅された若しくは相対的に大きくなった又は当該取得目的の音響信号部分以外の音響信号部分が低減若しくは削減された目的出力信号を生成する目的出力信号生成手段と
してコンピュータを機能させることを特徴とする音響信号調整プログラム。
続きを表示（約 2,500 文字）【請求項２】
前記調整演算子決定手段は、当該振動信号の振幅又は該振幅の代表値が当該所定動作について予め設定された振幅範囲に含まれる際、その際の当該元音響信号の部分を、当該取得目的の音響信号部分として増幅させる又は相対的に大きくする当該調整演算子を決定することを特徴とする請求項１に記載の音響信号調整プログラム。
【請求項３】
複数の所定動作に係る複数の取得目的の音響信号部分が設定されていて、当該所定動作毎に振幅範囲が予め設定されており、
前記目的出力信号生成手段は、各所定動作に対応した複数の当該目的出力信号であって、その振幅又は該振幅の代表値が当該所定動作について予め設定された振幅範囲に含まれる振動とともに発生した音の情報を含む、複数の当該目的出力信号を生成する
ことを特徴とする請求項２に記載の音響信号調整プログラム。
【請求項４】
前記調整演算子決定手段は、当該取得目的の音響信号部分がより小さな振動を伴う所定動作に係る音響信号部分であって、対応する当該振動信号の振幅又は該振幅の代表値が所定閾値未満の振幅範囲に含まれるような音響信号部分である場合に、当該振動信号の振幅又は該振幅の代表値について単調減少関数となる調整係数を乗算する演算子を、第１の調整演算子に決定し、及び／又は、当該取得目的の音響信号部分がより大きな振動を伴う所定動作に係る音響信号部分であって、対応する当該振動信号の振幅又は該振幅の代表値が所定閾値以上の振幅範囲に含まれるような音響信号部分である場合に、当該振動信号の振幅について単調増加関数となる調整係数を乗算する演算子を、第２の調整演算子に決定し、
前記目的出力信号生成手段は、当該元音響信号に対し第１の調整演算子を作用させることによって第１の目的出力信号を生成する、及び／又は、当該元音響信号に対し第２の調整演算子を作用させることによって第２の目的出力信号を生成する
することを特徴とする請求項１から３のいずれか１項に記載の音響信号調整プログラム。
【請求項５】
前記調整演算子決定手段は、当該取得目的の音響信号部分がより小さな振動を伴う所定動作に係る音響信号部分であって、対応する当該振動信号の振幅又は該振幅の代表値が所定閾値未満の振幅範囲に含まれるような音響信号部分である場合に、当該元音響信号に対しフーリエ変換を施して、当該フーリエ変換の結果に対し当該振動信号の周波数成分について単調減少関数となる調整係数を乗算し、さらに当該乗算の結果に対し逆フーリエ変換を施す演算子を、第１の調整演算子に決定し、及び／又は、当該取得目的の音響信号部分がより大きな振動を伴う所定動作に係る音響信号部分であって、対応する当該振動信号の振幅又は該振幅の代表値が所定閾値以上の振幅範囲に含まれるような音響信号部分である場合に、当該元音響信号に対しフーリエ変換を施して、当該フーリエ変換の結果に対し当該振動信号の周波数成分について単調増加関数となる調整係数を乗算し、さらに当該乗算の結果に対し逆フーリエ変換を施す演算子を、第２の調整演算子に決定し、
前記目的出力信号生成手段は、当該元音響信号に対し第１の調整演算子を作用させることによって第１の目的出力信号を生成する、及び／又は、当該元音響信号に対し第２の調整演算子を作用させることによって第２の目的出力信号を生成する
することを特徴とする請求項１から３のいずれか１項に記載の音響信号調整プログラム。
【請求項６】
前記目的出力信号生成手段は、第１の目的出力信号及び第２の目的出力信号をそれぞれ、互いに仕様若しくは位置の異なる第１のスピーカ及び第２のスピーカへ出力される信号として生成する、または、あるスピーカ及び振動発生デバイスへ出力される信号として生成することを特徴とする請求項４又は５に記載の音響信号調整プログラム。
【請求項７】
当該振動信号は、当該動作に伴い発生する振動を検出可能な位置に設置された加速度センサによって生成された加速度振幅を有する加速度振動信号であることを特徴とする請求項１から６のいずれか１項に記載の音響信号調整プログラム。
【請求項８】
動作に伴い発生した音の情報を含む元音響信号から、所定動作に伴い発生した音に係る取得目的の音響信号を特定する又は仕分ける音響信号調整装置であって、
当該動作に伴い当該音とともに発生した振動の情報を含む、取得された振動信号における振動信号部分であって、当該取得目的の音響信号部分に係る音とともに発生した振動に係る振動信号部分に対応する当該元音響信号の部分を増幅させる又は相対的に大きくする調整演算子を、取得された当該振動信号に基づき決定する調整演算子決定手段と、
当該元音響信号に対し当該調整演算子を作用させ、当該取得目的の音響信号部分が増幅された若しくは相対的に大きくなった又は当該取得目的の音響信号部分以外の音響信号部分が低減若しくは削減された目的出力信号を生成する目的出力信号生成手段と
を有することを特徴とする音響信号調整装置。
【請求項９】
動作に伴い発生した音の情報を含む元音響信号から、所定動作に伴い発生した音に係る取得目的の音響信号を特定する又は仕分けるコンピュータによって実施される音響信号調整方法であって、
当該動作に伴い当該音とともに発生した振動の情報を含む、取得された振動信号における振動信号部分であって、当該取得目的の音響信号部分に係る音とともに発生した振動に係る振動信号部分に対応する当該元音響信号の部分を増幅させる又は相対的に大きくする調整演算子を、取得された当該振動信号に基づき決定するステップと、
当該元音響信号に対し当該調整演算子を作用させ、当該取得目的の音響信号部分が増幅された若しくは相対的に大きくなった又は当該取得目的の音響信号部分以外の音響信号部分が低減若しくは削減された目的出力信号を生成するステップと
を有することを特徴とする音響信号調整方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、音響信号を、目的とする信号に調整する技術に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
近年、ウェブ（Web）会議アプリ、遠隔セッションアプリ等の普及により、マイクやスピーカを利用して提供映像に合わせた好適な又は所望の音響環境を提供するサービスが広く利用されている。また、高臨場感の遠隔地カンファレンスシステムやオンラインコンサートの活用も盛んに進められている。さらに、映画業界を含む様々な分野で、映像に合わせて所望の音響空間を演出するような映像コンテンツが作成され提供されている。
【０００３】
このように、動作や周りの環境に起因する音、いわゆるフォーリーサウンドを含め、音を映像に付加するための技術として、例えば非特許文献１には、映像に対応した音を毎回探し出して録音することなく、ある録音波形を解析し、単一の録音データからバリエーションに富んだ多くの効果音を生成する手法が開示されている。また非特許文献２は、このように録音される音声や楽音に限らない様々な環境音を分析する技術についての研究動向を解説している。
【０００４】
ここで録音データの解析手法として、同時に測定した加速度データを利用する手法もいくつか提案されている。例えば特許文献１には、映像の効果音付加に係る技術ではないが、測定点の音及び振動加速度を同時計測できる、マイクロフォンと振動加速度ピックアップとを組合せた一体型センサが開示されている。ここでこのセンサによれば、運転中の機器の運転状況を、音と加速度振動とから的確に把握することが可能になるとされている。
【０００５】
また特許文献２には、マイクロフォンと加速度センサとを備えた靴であって、加速度センサで検出された加速度値が所定の閾値以上である期間について、マイクロフォンから入力される音信号に対して音響特徴量を生成して記憶装置に格納し、自ら（靴）を識別する識別子と記憶装置に格納された音響特徴量とを外部装置へ送信する靴が開示されている。ここで、音響特徴量を送信する先の外部装置は、この靴から得られた音響特徴量から、靴の底と地面とが擦れる音に関連する音響特徴量を抽出し、抽出した音響特徴量に対して、予め定められたサービスに関する処理を実行し、処理結果を表示要求元となる情報処理装置に表示させるのである。
【０００６】
またさらに、特許文献３には、振動物体の特定の音響放射面から放射される音を検出する音検出装置が開示されている。この装置は、特定の音響放射面の振動加速度を検出する振動加速度計と、振動加速度を振動速度に変換する振動加速度－振動速度変換器と、特定の音響放射面近傍の音圧を検出するマイクロフォンと、振動速度と音圧のクロススペクトルを演算するクロススペクトル演算部を備えており、特定の音響放射面から放射される音だけを検出する。
【先行技術文献】
【特許文献】
【０００７】
特開昭６３－１０８２３５号公報
特開２０２１－０９４３７３号公報
特開２００３－２２２５５３号公報
【非特許文献】
【０００８】
畠澤光，土橋宜典，山本強，「録音波形を利用した効果音のバリエーション生成」，研究報告グラフィクスとCAD（CG） 2011-CG-143(3)，pp.1-6，２０１１年
井本桂右，「環境音分析の研究動向」，日本音響学会誌，７５巻９号，p. 512-518，２０１９年
【発明の概要】
【発明が解決しようとする課題】
【０００９】
例えば、映像に付加すべき衣擦れ音や椅子に腰掛ける音等の所作音を生成するに当たり、以上に述べた非特許文献１及び２や特許文献１～３に記載された技術を含め従来技術においては、所望の所作音だけを含む音響信号を、例えばリアルタイム処理も可能となるような負担の小さい処理をもって生成することは非常に困難であった。
【００１０】
実際、例えば衣擦れ音を収音する場合に、マイクロフォンの近くで立つ、座るといったような何らかの動作を行うと、当該動作に伴うより大きな衝撃音も収音してしまう。そのため、取得された音響データから所望の所作音を検出・抽出する処理が、どうしても必要となる。ここで現在、環境音認識技術として、機械学習を用い、特定の環境音を検出・抽出する研究も盛んに進められているが、このように機械学習を用いる場合、多大な学習データを用いたモデル構築処理や、このモデルを用いた環境音抽出処理の負担は通常、非常に大きなものとなってしまう。
（【００１１】以降は省略されています）

関連特許