特許ウォッチ

公開番号2024131773
公報種別公開特許公報(A)
公開日2024-09-30
出願番号2023042230
出願日2023-03-16
発明の名称信号処理装置、信号処理装置の制御方法、及びプログラム
出願人キヤノン株式会社
代理人個人
主分類G06T 19/00 20110101AFI20240920BHJP(計算;計数)
要約【課題】現実世界に仮想音源が存在しているような音を再生できるようにする。
【解決手段】信号処理装置は、仮想オブジェクトの映像を現実世界に重ね合わせて表示する仮想現実表示において仮想オブジェクトが触れる現実世界の物体に応じた加振による発音特性を取得する特性取得手段と、取得された加振による発音特性を仮想オブジェクトの音源信号に対して適用する特性適用手段と、加振による発音特性を適用した音源信号に応じた音を再生させる第1の再生手段とを有する。
【選択図】図1
特許請求の範囲【請求項１】
仮想オブジェクトの映像を現実世界に重ね合わせて表示する仮想現実表示において前記仮想オブジェクトが触れる前記現実世界の物体に応じた加振による発音特性を取得する特性取得手段と、
取得された前記加振による発音特性を前記仮想オブジェクトの音源信号に対して適用する特性適用手段と、
前記加振による発音特性を適用した前記音源信号に応じた音を再生させる第１の再生手段とを有することを特徴とする信号処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記現実世界の映像に基づいて、前記仮想オブジェクトを表示する表示位置を決定する決定手段を有し、
前記特性取得手段は、前記仮想オブジェクトの表示位置に存在する物体に基づいて、前記加振による発音特性を取得することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記現実世界の映像に基づいて、前記仮想オブジェクトの表示位置に存在する物体を解析する解析手段を有し、
前記特性取得手段は、前記解析手段による解析結果に基づいて、前記加振による発音特性を取得することを特徴とする請求項２に記載の信号処理装置。
【請求項４】
複数の物体の前記加振による発音特性を記憶する特性記憶手段を有し、
前記特性取得手段は、前記仮想オブジェクトが触れる物体に応じた加振による発音特性を、前記特性記憶手段に記憶されている複数の前記加振による発音特性の内から取得することを特徴とする請求項１に記載の信号処理装置。
【請求項５】
前記特性取得手段は、前記現実世界の映像において前記仮想オブジェクトの表示位置に存在する物体に基づいて前記特性記憶手段を検索し、前記仮想オブジェクトが触れる物体に応じた加振による発音特性を取得することを特徴とする請求項４に記載の信号処理装置。
【請求項６】
前記特性記憶手段は、物体の前記加振による発音特性と該物体の属性情報とを記憶し、
前記特性取得手段は、前記現実世界の映像において前記仮想オブジェクトの表示位置に存在する物体の属性情報に基づいて前記特性記憶手段を検索し、前記属性情報の相関が最も高い前記加振による発音特性を取得することを特徴とする請求項４に記載の信号処理装置。
【請求項７】
前記特性取得手段は、物体に振動子を設置して該物体を振動させることによって発せられる音に基づいて、前記加振による発音特性を取得することを特徴とする請求項１に記載の信号処理装置。
【請求項８】
前記特性適用手段は、取得された前記加振による発音特性に応じたフィルタ係数を有するＦＩＲフィルタ又はＩＩＲフィルタによるフィルタ処理を前記仮想オブジェクトの音源信号に対して行うことを特徴とする請求項１に記載の信号処理装置。
【請求項９】
前記加振による発音特性は、物体を振動させる振動子を物体に設置してマイクロホンで収音した信号を解析して得られるインパルス応答であることを特徴とする請求項１に記載の信号処理装置。
【請求項１０】
前記加振による発音特性は、物体を振動させる振動子を物体に設置してマイクロホンで収音した信号を解析して得られるインパルス応答に、パルスを加えた応答に基づいて作成されることを特徴とする請求項１に記載の信号処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、信号処理装置、信号処理装置の制御方法、及びプログラムに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
仮想オブジェクトを現実の世界に重ね合わせて表示する、いわゆる拡張現実（ＡＲ：ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）表示を行うシステムにおいて、現実世界の様相を反映して仮想オブジェクトが発する音を変化させる技術がある。特許文献１には、拡張現実表示を行うシステムにおいて、仮想音源の位置がユーザーから見た現実物体の向こう側に隠れるときに、合成音声が現実物体を回り込んで聞こえる音声となるように合成音声を調整する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－１７５０４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
仮想オブジェクトを現実世界に重ね合わせて拡張現実表示する際に、仮想オブジェクトが触れている現実物体にふさわしい音を出すことができれば、あたかも仮想オブジェクトがそこに存在するような演出を行うことができる。特許文献１の技術では、仮想音源と視聴位置との間に現実物体があるときに限って、現実物体による音の回折を計算して反映させることしかできず、仮想音源が現実の物体に触れることによる音の変化は表現できなかった。そこで本発明は、現実世界に仮想音源が存在しているような音を再生できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る信号処理装置は、仮想オブジェクトの映像を現実世界に重ね合わせて表示する仮想現実表示において前記仮想オブジェクトが触れる前記現実世界の物体に応じた加振による発音特性を取得する特性取得手段と、取得された前記加振による発音特性を前記仮想オブジェクトの音源信号に対して適用する特性適用手段と、前記加振による発音特性を適用した前記音源信号に応じた音を再生させる第１の再生手段とを有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、現実世界に仮想音源が存在しているような音を再生することができる。
【図面の簡単な説明】
【０００７】
信号処理装置の機能構成例を示す図である。
加振による発音特性の取得を説明する図である。
加振による発生音の周波数特性の一例を示す図である。
信号処理装置のハードウェア構成例を示す図である。
信号処理装置における音響再生処理の例を示すフローチャートである。
発音特性取得処理の例を示すフローチャートである。
信号処理装置の機能構成例を示す図である。
加振による発音特性情報のデータ構成の例を示す図である。
信号処理装置における映像・音響再生処理の例を示すフローチャートである。
発音特性ＤＢからの発音特性取得処理の例を示すフローチャートである。
発音特性取得処理の例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態を図面に基づいて説明する。なお、以下に説明する実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせのすべてが必須の構成とは限らない。なお、同一の構成要素については、同じ符号を付して説明する。
【０００９】
（実施形態１）
本実施形態では、仮想音源（仮想オブジェクト）の映像を現実世界に重ね合わせて表示する仮想現実表示において仮想音源（仮想オブジェクト）が触れる現実物体（現実世界の物体）の発音特性を取得して、音源信号に適用する例について説明する。本実施形態では、説明を簡単にするため、仮想音源（仮想オブジェクト）に付随する音である音源信号を取得できるものとして説明する。
【００１０】
図１は、実施形態１における信号処理装置の機能構成例を示す図である。
振動子１０１は、現実物体に設置され、入力される測定信号（例えば、測定用の音響信号）に従って、設置された現実物体を振動させる。この振動により、その物体の大きさや広さ、素材、構造等の各種属性によって定まる振動による発音特性が加味された音が発せられることになる。マイクロホン１０２は、振動子１０１によって加振された現実物体が発する音を取得する（収音する）。
（【００１１】以降は省略されています）

関連特許