特許ウォッチ

公開番号2025058570
公報種別公開特許公報(A)
公開日2025-04-09
出願番号2023168575
出願日2023-09-28
発明の名称信号伝送方法、信号生成方法、信号再生方法、音声信号処理プログラム、音声伝送装置、音声再生装置、及び音声伝送再生システム
出願人公立大学法人秋田県立大学
代理人個人,個人,個人
主分類H04S 7/00 20060101AFI20250402BHJP(電気通信技術)
要約【課題】音像が不自然になるのを抑制する信号伝送方法、信号生成方法、信号再生方法、音声信号処理プログラム、音声伝送装置、音声再生装置及び音声伝送再生システムを提供する。
【解決手段】音声伝送再生システムにおいて、複数のチャンネルC-1～C-nの音声信号を含む伝送用信号Tの伝送方法は、バイノーラル化された第一カテゴリー音声信号Fと、バイノーラル化されない第二カテゴリー音声信号Sと、を含む伝送用信号Tを実時間で伝送する。バイノーラル化された第一カテゴリー音声信号Fは、一部のチャンネルの音声信号であり、バイノーラル化されない第二カテゴリー音声信号Sは、他のチャンネルの音声信号であり、第一カテゴリー音声信号Fより、位置ずれ及び移動に対して聴覚的に不自然さを知覚されやすい信号である。
【選択図】図1
特許請求の範囲【請求項１】
複数のチャンネルの音声信号を含む信号の伝送方法であって、
バイノーラル化された第一カテゴリー音声信号と、バイノーラル化されない第二カテゴリー音声信号とを含む前記信号を、実時間で伝送する
ことを特徴とする信号伝送方法。
続きを表示（約 1,400 文字）【請求項２】
バイノーラル化された前記第一カテゴリー音声信号は、一部のチャンネルの音声信号であり、バイノーラル化されない前記第二カテゴリー音声信号は、他のチャンネルの音声信号である
ことを特徴とする請求項１に記載の信号伝送方法。
【請求項３】
前記第二カテゴリー音声信号は、前記第一カテゴリー音声信号より、位置ずれ及び移動に対して聴覚的に不自然さを知覚されやすい信号である
ことを特徴とする請求項１に記載の信号伝送方法。
【請求項４】
前記複数のチャンネルの音声信号は、
方位及び仰角により聴覚的に不自然さを知覚されやすいか否かが判断される
ことを特徴とする請求項３に記載の信号伝送方法。
【請求項５】
前記第一カテゴリー音声信号は低域成分であり、前記第二カテゴリー音声信号は高域成分である
ことを特徴とする請求項３に記載の信号伝送方法。
【請求項６】
前記第一カテゴリー音声信号は、
前記複数のチャンネルの音声信号を含む信号が、該信号のチャンネル数より少ない方向にまとめられた代表点信号である
ことを特徴とする請求項１に記載の信号伝送方法。
【請求項７】
複数のチャンネルの音声信号を含む信号を生成する信号の生成方法であって、
受信した受聴者の方向情報に基づいて、第一カテゴリー音声信号のみをバイノーラル化し、
バイノーラル化された第一カテゴリー音声信号と、バイノーラル化されない第二カテゴリー音声信号とを含めた前記信号を生成する
ことを特徴とする信号生成方法。
【請求項８】
複数のチャンネルの音声信号を含む信号の再生方法であって、
請求項１乃至６のいずれかに記載の信号伝送方法により伝送された信号、又は請求項６に記載の信号生成方法により生成された信号を取得し、
受信された前記第二カテゴリー音声信号をバイノーラル化し、
バイノーラル化された前記第二カテゴリー音声信号と、受信された際に既にバイノーラル化されている前記第一カテゴリー音声信号とを合算して両耳信号を生成する
ことを特徴とする信号再生方法。
【請求項９】
複数のチャンネルの音声信号を含む信号を生成し伝送する音声伝送装置と、前記音声伝送装置から伝送された信号を再生する音声再生装置とを含む音声生成再生システムにより実行される信号再生方法であって、
前記音声伝送装置により、前記複数のチャンネルの音声信号を含む信号を、該信号のチャンネル数より少ない方向にまとめられた代表点信号を生成し、該代表点信号を実時間で伝送し、
音声再生装置により、前記代表点信号をバイノーラル化して、両耳信号を生成する
ことを特徴とする信号再生方法。
【請求項１０】
音声伝送装置により実行される音声信号処理プログラムであって、前記音声伝送装置により、
受信した受聴者の方向情報に基づいて、第一カテゴリー音声信号のみをバイノーラル化させ、
バイノーラル化された第一カテゴリー音声信号と、バイノーラル化されない第二カテゴリー音声信号とを含めた信号を生成させる
ことを特徴とする音声信号処理プログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、特にヘッドフォン等で再生される立体音声信号を作成する信号伝送方法、信号生成方法、信号再生方法、音声信号処理プログラム、音声伝送装置、音声再生装置、及び音声伝送再生システムに関する。
続きを表示（約 3,900 文字）【背景技術】
【０００２】
従来から、映画、ＶＲ（Virtual Reality）、ＡＲ（Augmented Reality）等のコンテンツの再生が可能なＶＲヘッドフォンやＨＭＤ（Head Mounted Display）等（以下、「ＨＭＤ等」という。）が存在する。
【０００３】
このＨＭＤ等では、より広い音場が感じられるように、受聴者から音源への方向を考慮した頭部伝達関数（Head-Related Transfer Function、以下、「ＨＲＴＦ」という。）を用いて、音声を頭外定位させる立体音声であるバイノーラル音声を再生していた。この際、受聴者の頭の音源に対する方向データを加速度センサーや位置センサー等で測定（以下、「ヘッドトラッキング」という。）することで、より正確な左右２チャンネル（２ｃｈ）の立体音響音声であるバイノーラル音声を生成し（以下、「バイノーラル化」という。）、より臨場感のある音像を得ることができた。
【０００４】
また、従来、ＨＲＴＦによるバイノーラル化において、実際の音声信号への演算では、頭部伝達関数を時間軸上で表現した頭部インパルスレスポンス（Head-Related Impulse Response、以下「ＨＲＩＲ」という。）を用いることも多かった（以下、ＨＲＴＦ又はＨＲＩＲを、単に「ＨＲＴＦ等」という。）。
【０００５】
特許文献１を参照すると、オーディオシーンの方向性オーディオの捕捉、音響的前処理、エンコード、デコード、およびバイノーラル（両耳）レンダリングに関する技術が記載されている。特許文献１の技術では、方向性オーディオを捕捉するマイクロフォンシステムの空間データに応答して、捕捉された方向性オーディオの方向特性を修正するように適応された装置を含む。この装置では、受領された空間データに応答して、ヘッドトラッキングにより、受領された方向性オーディオの方向特性を修正するように構成されている。
【先行技術文献】
【特許文献】
【０００６】
特開２０２１－５８２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載されたような従来のヘッドトラキングを用いた装置では、受聴者の頭部の方向情報を送信し、これを受信した装置にてＨＲＴＦ等を更新するため、更新に往復の通信時間分の遅れが生じ、音像が不自然になるという問題があった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、上述の問題を解消することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の信号伝送方法は、複数のチャンネルの音声信号を含む信号の伝送方法であって、バイノーラル化された第一カテゴリー音声信号と、バイノーラル化されない第二カテゴリー音声信号とを含む前記信号を、実時間で伝送することを特徴とする。
本発明の信号伝送方法は、バイノーラル化された前記第一カテゴリー音声信号は、一部のチャンネルの音声信号であり、バイノーラル化されない前記第二カテゴリー音声信号は、他のチャンネルの音声信号であることを特徴とする。
本発明の信号伝送方法は、前記第二カテゴリー音声信号は、前記第一カテゴリー音声信号より、位置ずれ及び移動に対して聴覚的に不自然さを知覚されやすい信号であることを特徴とする。
本発明の信号伝送方法は、前記複数のチャンネルの音声信号は、方位及び仰角により聴覚的に不自然さを知覚されやすいか否かが判断されることを特徴とする。
本発明の信号伝送方法は、前記第一カテゴリー音声信号は低域成分であり、前記第二カテゴリー音声信号は高域成分であることを特徴とする。
本発明の信号伝送方法は、前記第一カテゴリー音声信号は、前記複数のチャンネルの音声信号を含む信号が、該信号のチャンネル数より少ない方向にまとめられた代表点信号であることを特徴とする。
本発明の信号生成方法は、複数のチャンネルの音声信号を含む信号を生成する信号の生成方法であって、受信した受聴者の方向情報に基づいて、第一カテゴリー音声信号のみをバイノーラル化し、バイノーラル化された第一カテゴリー音声信号と、バイノーラル化されない第二カテゴリー音声信号とを含めた前記信号を生成することを特徴とする。
本発明の信号再生方法は、複数のチャンネルの音声信号を含む信号の再生方法であって、前記信号伝送方法により伝送された信号、又は前記信号生成方法により生成された信号を取得し、受信された前記第二カテゴリー音声信号をバイノーラル化し、バイノーラル化された前記第二カテゴリー音声信号と、受信された際に既にバイノーラル化されている前記第一カテゴリー音声信号とを合算して両耳信号を生成することを特徴とする。
本発明の信号再生方法は、複数のチャンネルの音声信号を含む信号を生成し伝送する音声伝送装置と、前記音声伝送装置から伝送された信号を再生する音声再生装置とを含む音声生成再生システムにより実行される信号再生方法であって、前記音声伝送装置により、前記複数のチャンネルの音声信号を含む信号を、該信号のチャンネル数より少ない方向にまとめられた代表点信号を生成し、該代表点信号を実時間で伝送し、音声再生装置により、前記代表点信号をバイノーラル化して、両耳信号を生成することを特徴とする。
本発明の音声信号処理プログラムは、音声伝送装置により実行される音声信号処理プログラムであって、前記音声伝送装置により、受信した受聴者の方向情報に基づいて、第一カテゴリー音声信号のみをバイノーラル化させ、バイノーラル化された第一カテゴリー音声信号と、バイノーラル化されない第二カテゴリー音声信号とを含めた信号を生成させることを特徴とする。
本発明の音声信号処理プログラムは、音声再生装置により実行される音声信号処理プログラムであって、前記音声再生装置により、前記信号伝送方法により伝送された信号、又は前記信号生成方法により生成された信号を取得させ、受信された前記第二カテゴリー音声信号をバイノーラル化させ、バイノーラル化された前記第二カテゴリー音声信号と、受信された際に既にバイノーラル化されている前記第一カテゴリー音声信号とを合算して両耳信号を生成させることを特徴とする。
本発明の音声伝送装置は、複数のチャンネルの音声信号を含む信号を生成する音声伝送装置であって、音声再生装置から受信した受聴者の方向情報に基づいて、第一カテゴリー音声信号のみをバイノーラル化する第一バイノーラル化部と、前記第一バイノーラル化部によりバイノーラル化された第一カテゴリー音声信号と、バイノーラル化されない第二カテゴリー音声信号とを含めた前記信号を生成する信号生成部とを備えることを特徴とする。
本発明の音声再生装置は、複数のチャンネルの音声信号を含む信号を再生する再生装置であって、バイノーラル化された第一カテゴリー音声信号と、バイノーラル化されない第二カテゴリー音声信号とを含む前記信号を取得する信号取得部と、信号取得部により取得された前記第二カテゴリー音声信号をバイノーラル化する第二バイノーラル化部と、前記第二バイノーラル化部によりバイノーラル化された前記第二カテゴリー音声信号と、前記第一カテゴリー音声信号とを合算して両耳信号を生成する両耳生成部と、前記両耳生成部により生成された前記両耳信号を出力させる音声出力部とを備えることを特徴とする。
本発明の音声伝送再生システムは、複数のチャンネルの音声信号を含む信号を生成する音声伝送装置と、前記音声伝送装置により生成され、伝送された信号を再生する音声再生装置とを含む音声生成再生システムであって、前記音声伝送装置は、前記音声再生装置から受信した受聴者の方向情報に基づいて、第一カテゴリー音声信号のみをバイノーラル化する第一バイノーラル化部と、前記第一バイノーラル化部によりバイノーラル化された第一カテゴリー音声信号と、バイノーラル化されない第二カテゴリー音声信号とを含めた前記信号を生成する信号生成部と、前記信号生成部により生成された前記信号を、実時間で伝送する伝送部とを備え、前記音声再生装置は、前記音声伝送装置により生成された前記信号を取得する信号取得部と、信号取得部により取得された前記第二カテゴリー音声信号をバイノーラル化する第二バイノーラル化部と、前記第二バイノーラル化部によりバイノーラル化された前記第二カテゴリー音声信号と、前記第一カテゴリー音声信号とを合算して両耳信号を生成する両耳生成部と、前記両耳生成部により生成された前記両耳信号を出力させる音声出力部と、前記受聴者の方向情報を前記音声伝送装置へ送信する方向送信部とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、バイノーラル化された第一カテゴリー音声信号と、バイノーラル化されない第二カテゴリー音声信号とを含む伝送用の信号を実時間で伝送することで、バイノーラル化を送信側と受信側とに分担させることが可能となり、音像が不自然になるのを抑制することが可能な信号伝送方法を提供することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許