特許ウォッチ

公開番号2025043592
公報種別公開特許公報(A)
公開日2025-04-01
出願番号2023150958
出願日2023-09-19
発明の名称コンテンツ処理装置およびプログラム
出願人日本放送協会
代理人個人,個人,個人,個人
主分類H04N 21/439 20110101AFI20250325BHJP(電気通信技術)
要約【課題】視聴者に対し興味のあるオブジェクトの音声を聞きやすくする。
【解決手段】出力処理部は1以上のオブジェクトを表す映像の出力と、前記オブジェクトの音声の出力を実行し、興味度算出部は視線計測部から取得された視線情報に基づいて前記オブジェクトの興味度を算出し、音量制御部は前記興味度が高いほど大きくなるように前記オブジェクトの音量を制御する。実施形態は、コンテンツ処理装置、プログラムのいずれでもよい。
【選択図】図1
特許請求の範囲【請求項１】
１以上のオブジェクトを表す映像の出力と、前記オブジェクトの音声の出力を実行する出力処理部と、
視線計測部から取得された視線情報に基づいて前記オブジェクトの興味度を算出する興味度算出部と、
前記興味度が高いほど大きくなるように前記オブジェクトの音量を制御する音量制御部と、を備える
コンテンツ処理装置。
続きを表示（約 460 文字）【請求項２】
前記興味度算出部は、
現時点までの一定期間内における視認時間が長いオブジェクトほど高くなるように当該オブジェクトの興味度を算出する
請求項１に記載のコンテンツ処理装置。
【請求項３】
前記興味度算出部は、
前記興味度のオブジェクト間の和が所定の最大値以下となるように前記興味度を調整する
請求項２に記載のコンテンツ処理装置。
【請求項４】
前記映像と前記音声を含むコンテンツは、複数レイヤのオブジェクトを有し、
前記興味度算出部は、
レイヤごとに当該レイヤに属するオブジェクトの前記興味度を算出し、
前記音量制御部は、
レイヤごとの音量の代表値が所定の基準値となるように、前記興味度に基づいて前記オブジェクトの音量を制御する
請求項３に記載のコンテンツ処理装置。
【請求項５】
コンピュータに
請求項１に記載のコンテンツ処理装置として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本願は、コンテンツ処理装置およびプログラムに関する。本願は、例えば、オブジェクトベース音響における、音源位置と視聴位置との関係に基づく音量制御に関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
オブジェクトベース音響は、視聴者の嗜好や視聴環境に応じて音響特性を調整可能とする音声再生方式である。オブジェクトとは音声の素材を指す。オブジェクトべース音響は、レンダラにより、メタデータを用いてオブジェクトの音声信号から再生信号を生成して実現される。メタデータにはオブジェクトをなす音声信号を再生する位置（以後、オブジェクトの音源位置を指すことがある）とゲインなどの制御情報が記述される。メタデータの形式や設定項目については、国際標準化が図られている（非特許文献１）。オブジェクトベース音響は、拡張現実（ＡＲ：Augmented Reality）ならびに仮想現実（ＶＲ：Virtual Reality）（本願では、「ＡＲ／ＶＲ」と総称することがある）の要素技術として応用されることがある（非特許文献２、３）。
【０００３】
ＡＲ／ＶＲコンテンツは、様々な位置または方向から視聴されるオブジェクトの映像や音声を含めて制作されることがある。例えば、音源から送出される音声の距離減衰が応用される場合、コンテンツ空間において、視聴者が音源に近づくとき音量が増加し、音源から遠ざかるとき音量が減少する。オブジェクト音響では、視聴者が操作により聴取位置、聴取方向、または、オブジェクトの音源位置を任意に調整可能とすることがある。他方、視聴者は関心を有するオブジェクトに注目し、関心を有しないオブジェクトには注目しないことが通例である。例えば、視聴者の視線追跡により注目されるオブジェクトが、嗜好するキャラクタとして別途回答されたオブジェクトとが一致する傾向があることが報告されている（非特許文献４）。
【先行技術文献】
【非特許文献】
【０００４】
Recommendation ITU-R BS.2076-2, Audio Definition Model, 10/2019
佐々木陽，オブジェクトベース音響によるAR／VRコンテンツ制作，映像情報メディア学会技術報告, 45(19), p.15-20, 2021-07
AR技術を活用した番組への没入体験，技研公開２０２１，日本放送協会，2021/6/1 - 2021/6/30，［令和５年８月１０日検索］，インターネット<URL:https://www.nhk.or.jp/strl/open2021/tenji/2/ >
加藤木健太，藤堂英樹，柿本正憲，視線追跡による好みのキャラクタの判定，情報処理学会，第７９回全国大会講演論文集, p.1023-1024, 2017-03-16
久保弘樹，大出訓史，副音声制作におけるダイアログレベル自動調整のための客観指標の検討，電子情報通信学会，信学技報, vol. 119, no. 439, EA2019-160, p.343-348, 2020年3月
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、オブジェクトに対する関心や嗜好は視聴者により異なりうる。一般に視聴位置とオブジェクトの位置の間の距離は、そのオブジェクトに対する興味の度合いを反映するとは限らない。他方、複数のオブジェクトの音声が同時に再生されるとき、視聴者は関心を有するオブジェクトの音声を、他のオブジェクトの音声により妨げられずに聴取したいと考えることがある。
【０００６】
本願の実施形態は上記の課題を解決するためになされたものであり、視聴者が興味のあるオブジェクトの音声を聞きやすくすることができるコンテンツ処理装置ならびにそのプログラムを提供することを一つの課題とする。
【課題を解決するための手段】
【０００７】
［１］本実施形態の一態様は、１以上のオブジェクトを表す映像の出力と、前記オブジェクトの音声の出力を実行する出力処理部と、視線計測部から取得された視線情報に基づいて前記オブジェクトの興味度を算出する興味度算出部と、前記興味度が高いほど大きくなるように前記オブジェクトの音量を制御する音量制御部と、を備えるコンテンツ処理装置である。
［１］の構成によれば、映像と音声を含むコンテンツを視聴する視聴者の視線情報に基づいて、映像に表れるオブジェクトに対する興味度が算出され、興味度が高いオブジェクトほど、そのオブジェクトに対する音量が大きくなる。映像を視認することで興味のあるオブジェクトの音量が、他のオブジェクトの音量よりも大きくなるように調整される。そのため、特段の操作を行わなくても視聴者が興味のあるオブジェクトの音声を聞きやすくすることができる。
【０００８】
［２］本実施形態の一態様は、上述のコンテンツ処理装置であって、前記興味度算出部は、現時点までの一定期間内における視認時間が長いオブジェクトほど高くなるように当該オブジェクトの興味度を算出してもよい。
［２］の構成によれば、現時点までの一定期間内における視認時間が長いオブジェクトほど、興味度が高くなり、ひいては音量が大きくなる。音量の調整において、現時点までの一定期間内における視認時間を用いることで、最近のオブジェクトに対する興味度に追従することができる。
【０００９】
［３］本実施形態の一態様は、上述のコンテンツ処理装置であって、前記興味度算出部は、前記興味度のオブジェクト間の和が所定の最大値以下となるように前記興味度を調整してもよい。
［３］の構成によれば、オブジェクト間の相対的な興味度に応じてオブジェクトごとの音量が定まり、興味度が最大値を超えることによる音量の増加を回避することで音声の再生に用いられる再生部の保護を図ることができる。
【００１０】
［４］本実施形態の一態様は、上述のコンテンツ処理装置であって、前記映像と前記音声を含むコンテンツは、複数レイヤのオブジェクトを有し、前記興味度算出部は、レイヤごとに当該レイヤに属するオブジェクトごとに前記興味度を算出し、前記音量制御部は、レイヤごとの音量の代表値が所定の基準値となるように、前記興味度に基づいて当該オブジェクトの音量を制御してもよい。
［４］の構成によれば、レイヤごとにオブジェクト別の興味度が算出され、レイヤごとの音量の代表値が基準値となるように、算出された興味度に基づいてオブジェクト別に音量が制御される。レイヤごとの音量の基準値に従って、オブジェクトごとの興味度に応じた音量制御がなされるため、レイヤごとの音量のバランスが維持され、視聴者に対する違和感を回避することができる。
（【００１１】以降は省略されています）

関連特許