特許ウォッチ

公開番号2025007132
公報種別公開特許公報(A)
公開日2025-01-17
出願番号2023108329
出願日2023-06-30
発明の名称映像音声再生装置及びそのプログラム
出願人日本放送協会
代理人弁理士法人磯野国際特許商標事務所
主分類H04S 7/00 20060101AFI20250109BHJP(電気通信技術)
要約【課題】映像と音声のずれを補正できる映像音声再生装置を提供する。
【解決手段】映像音声再生装置10は、ガイドオブジェクト配置部11と、映像レンダラー12と、音声レンダラー13と、撮影画像に含まれるガイドオブジェクトの第1座標を検出する座標検出部14と、ガイドオブジェクトの第1座標と第2座標との差分を算出する差分算出部15と、差分算出部15が算出した差分に基づいて、音声レンダラー13が再生する音声を遅延させる遅延補正部16とを備える。
【選択図】図5
特許請求の範囲【請求項１】
ユーザの操作に応じた仮想空間内での視点位置が入力され、入力された前記視点位置に応じて映像及び音声を同期して再生する映像音声再生装置であって、
座標検出用のガイドオブジェクトを仮想空間内に予め配置するガイドオブジェクト配置部と、
映像ストリームが入力され、入力された前記映像ストリームに映像レンダリングを施すことで、前記視点位置に対応した映像を再生する映像レンダラーと、
音声ストリームが入力され、入力された前記音声ストリームに音声レンダリングを施すことで、前記視点位置に対応した音声を再生する音声レンダラーと、
前記映像を再生している表示手段を撮影した撮影画像が入力され、入力された前記撮影画像に含まれるガイドオブジェクトの第１座標を検出する座標検出部と、
前記音声レンダリングで定まるガイドオブジェクトの第２座標と前記座標検出部が検出したガイドオブジェクトの第１座標との差分を算出する差分算出部と、
前記差分算出部が算出した差分に基づいて、前記音声レンダラーが再生する音声を遅延させる遅延補正部と、
を備えることを特徴とする映像音声再生装置。
続きを表示（約 860 文字）【請求項２】
前記遅延補正部は、前記差分算出部が算出した差分を所定の視距離における角度差に変換し、変換した前記角度差が予め設定した閾値を超える場合、前記差分を時間差に変換し、前記時間差に基づいて、前記音声レンダラーが再生する音声を遅延させることを特徴とする請求項１に記載の映像音声再生装置。
【請求項３】
ユーザの操作に応じた仮想空間内での視点位置が入力され、入力された前記視点位置に応じて映像及び音声を同期して再生する映像音声再生装置であって、
座標検出用のガイドオブジェクトを仮想空間内に予め配置するガイドオブジェクト配置部と、
映像ストリームが入力され、入力された前記映像ストリームに映像レンダリングを施すことで、前記視点位置に対応した映像を再生する映像レンダラーと、
音声ストリームが入力され、入力された前記音声ストリームに音声レンダリングを施すことで、前記視点位置に対応した音声を再生する音声レンダラーと、
前記映像を再生している表示手段を撮影した撮影画像が入力され、入力された前記撮影画像に含まれるガイドオブジェクトの第１座標を検出する座標検出部と、
予め配置された前記ガイドオブジェクトの第２座標と前記座標検出部が検出したガイドオブジェクトの第１座標との差分を算出する差分算出部と、
前記差分算出部が算出した差分に基づいて、前記音声レンダラーが再生する音声を遅延させる遅延補正部と、
を備えることを特徴とする映像音声再生装置。
【請求項４】
前記遅延補正部は、前記差分算出部が算出した差分を時間差に変換し、変換した前記時間差が予め設定した閾値を超える場合、前記時間差に基づいて、前記音声レンダラーが再生する音声を遅延させることを特徴とする請求項３に記載の映像音声再生装置。
【請求項５】
コンピュータを、請求項１から請求項４の何れか一項に記載の映像音声再生装置として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ＶＲで映像及び音声を再生する映像音声再生装置及びそのプログラムに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
６軸の自由度を持つ６ＤｏＦ（Degree of Freedom）に対応したＶＲ（Virtual Reality）サービスが広がりつつある。このＶＲサービスでは、ユーザのインタラクティブな操作に応じて、任意の視点でＶＲコンテンツを再生できる。
【０００３】
ＶＲ映像音声再生システムでは、映像と音声の「ずれ」が生じることがある。このずれに対応すべく、幾つかの従来技術が提案されている。特許文献１では、複数の音声チャンネル同士の遅延を補正する手法が提案されている。また、特許文献２では、サーバが映像信号と音声信号を送出する際、同期誤差を受信側で補正する手法が提案されている。また、特許文献３，４では、映像及び音声のストリームを受信する際、パケットに付与されたタイムスタンプを利用して伝送時間の差を補正する手法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０１３－２０１６６９号公報
特開２００５－２２９１６８号公報
特開２０２０－１４９３９８号公報
国際公開第２０２０／００８７１６号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に、ＶＲ映像音声再生システムは、映像と音声で独立したレンダラーを有しており、各レンダラーの処理遅延の相違によっても、映像と音声にずれが生じてしまう。しかし、前記した従来技術は、伝送遅延を想定した手法であり、各レンダラーの処理遅延の相違を想定しておらず、これに起因したずれを補正できない。
【０００６】
本発明は、各レンダラーの処理遅延の相違に起因した、映像と音声のずれを補正できる映像音声再生装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、本発明に係る映像音声再生装置は、ユーザの操作に応じた仮想空間内での視点位置が入力され、入力された視点位置に応じて映像及び音声を同期して再生する映像音声再生装置であって、ガイドオブジェクト配置部と、映像レンダラーと、音声レンダラーと、座標検出部と、差分算出部と、遅延補正部と、を備える構成とした。
【０００８】
かかる構成によれば、ガイドオブジェクト配置部は、座標検出用のガイドオブジェクトを仮想空間内に予め配置する。
映像レンダラーは、映像ストリームが入力され、入力された映像ストリームに映像レンダリングを施すことで、視点位置に対応した映像を再生する。
音声レンダラーは、音声ストリームが入力され、入力された音声ストリームに音声レンダリングを施すことで、視点位置に対応した音声を再生する。
【０００９】
座標検出部は、映像を再生している表示手段を撮影した撮影画像が入力され、入力された撮影画像に含まれるガイドオブジェクトの第１座標を検出する。このガイドオブジェクトの第１座標は、実際に表示されている画面上の座標に相当し、映像レンダラーの処理遅延が含まれている。
差分算出部は、音声レンダリングで定まるガイドオブジェクトの第２座標と座標検出部が検出したガイドオブジェクトの第１座標との差分を算出する。このガイドオブジェクトの第２座標は、本来表示されるべき画面上の座標に相当し、映像レンダラーの処理遅延が含まれていない。
遅延補正部は、差分算出部が算出した差分に基づいて、音声レンダラーが再生する音声を遅延させる。
【００１０】
映像の複雑さに応じて、映像レンダリングの処理負荷が変化するため、本来表示されるべき画面に対して、実際に表示されている画面がずれてしまう。また、映像レンダリングに比べて、音声レンダリングの処理遅延が無視できる程に小さい。そこで、映像音声再生装置は、音声レンダリングで定まるガイドオブジェクトの座標を用いて、映像と音声のずれを補正する。
（【００１１】以降は省略されています）

関連特許