特許ウォッチ

公開番号2024131864
公報種別公開特許公報(A)
公開日2024-09-30
出願番号2023042350
出願日2023-03-16
発明の名称再生装置及びプログラム
出願人日本放送協会
代理人個人
主分類H04N 21/431 20110101AFI20240920BHJP(電気通信技術)
要約【課題】ユーザ操作に従って視聴倍率または視聴領域が変更された場合であっても、途切れることなく映像を表示することができ、かつ、映像データの伝送量及び復号化の処理負荷が増えないように、視聴領域の位置及び大きさを表示するサムネイル映像を再生する。
【解決手段】再生装置3の再生制御部21は、ユーザ操作に従い、視聴ストリーム識別子a、視聴倍率x及び視聴領域rからなる視聴状況A1を生成し、視聴領域表示制御部22は、視聴倍率x等に基づいて、受信ストリーム指示、再生位置指示及びサムネイル表示指示からなる再生指示A2を生成する。再生制御部21は、再生位置指示及びサムネイル表示指示に従い、切り替え用映像ストリームの受信及び復号処理が完了するまでの間、切り替え前から受信している映像ストリームの再生位置(表示層)を変更すると共に、サムネイル表示を変更する。
【選択図】図4
特許請求の範囲【請求項１】
配信サーバから、解像度の異なるｎ個（ｎは２以上の整数）の視聴映像及び１個のサムネイル映像のうちのｎ個の映像をそれぞれ映像ストリームとして受信し、任意の視聴倍率及び視聴領域の視聴映像をサムネイル映像と共に画面表示することができる再生装置であって、
ユーザが視聴しようとする視聴映像の識別子、並びに前記視聴映像の視聴倍率及び視聴領域からなる視聴状況情報に基づき、前記ｎ個の映像のそれぞれについての、視聴映像であるかサムネイル映像であるか、並びに前記視聴映像の視聴倍率及び視聴領域を示す受信ストリーム指示情報と、解像度に応じた前記視聴映像を再生する表示層または前記サムネイル映像を再生するサムネイル表示層を示す再生位置指示情報と、前記視聴映像の視聴領域の位置情報からなるサムネイル表示指示情報と、を含む再生指示情報を生成する視聴領域表示制御部と、
ユーザ操作に従って前記視聴状況情報を生成し、前記再生指示情報に従って、前記受信ストリーム指示情報に基づいて前記ｎ個の映像を前記配信サーバから映像ストリームとして受信して復号して、前記再生位置指示情報及び前記サムネイル表示指示情報に基づいて、前記ｎ個の映像を用いて、前記視聴倍率及び前記視聴領域の映像を前記表示層で再生して画面表示すると共にサムネイル映像を前記サムネイル表示層で再生して前記視聴領域の位置を示して画面表示する再生制御部と、を備え、
前記再生制御部は、画面表示中の視聴映像と異なる視聴倍率または視聴領域を含む前記視聴状況情報を生成した場合に、前記視聴状況情報に基づいて前記視聴領域表示制御部により生成された前記再生指示情報に含まれる前記受信ストリーム指示情報に基づいた映像ストリームの受信及び復号が完了するまで、前記画面表示中の視聴映像またはサムネイル映像を、前記視聴状況情報における視聴倍率及び視聴領域に変更して画面表示する、ことを特徴とする再生装置。
続きを表示（約 3,400 文字）【請求項２】
前記視聴領域表示制御部は、前記視聴状況情報の前記視聴倍率または前記視聴領域が画面表示中の視聴映像と異なる場合に、前記再生指示情報を、前記画面表示中の視聴映像をさらに含めた映像についての前記受信ストリーム指示情報を含む準備用再生指示情報として生成し、前記再生制御部による前記再生指示情報に基づいた映像ストリームの受信及び復号が完了した後に、前記視聴状況情報における視聴映像と１個のサムネイル映像とについての前記再生指示情報をさらに生成し、
前記再生制御部は、前記準備用再生指示情報に含まれる前記受信ストリーム指示情報に基づいて映像ストリームを受信して復号し、その後に入力した前記再生指示情報に含まれる前記再生位置指示情報及び前記サムネイル表示指示情報に基づき、前記映像ストリームを復号した映像を用いて、生成した前記視聴状況情報の前記視聴倍率及び前記視聴領域の視聴映像を前記表示層で再生して画面表示すると共に前記サムネイル映像を前記サムネイル表示層で再生して画面表示する、ことを特徴とする請求項１に記載の再生装置。
【請求項３】
前記再生制御部により、視聴倍率ｘ＝ｘ１及び視聴領域ｒ＝ｒ１の映像が画面表示されると共に、前記視聴領域ｒ＝ｒ１の位置及び大きさを特定するための情報を示すサムネイル表示指示情報が反映されたサムネイル映像が画面表示されている状態にて、
前記視聴倍率ｘをｘ１からｘ２に切り替えるユーザ操作があった場合に、視聴倍率ｘ＝ｘ２及び視聴領域ｒ＝ｒ２の映像の映像ストリームを切り替え用映像ストリームとして、
前記再生制御部は、
前記ユーザ操作に従い、前記視聴倍率ｘ＝ｘ２及び前記視聴領域ｒ＝ｒ２を含む視聴状況情報を生成し、当該視聴状況情報を出力し、
前記視聴領域表示制御部は、
前記視聴状況情報を入力すると、前記視聴倍率ｘ＝ｘ１の前記視聴領域ｒ＝ｒ１に対応する解像度の映像種別及び前記視聴倍率ｘ＝ｘ２の前記視聴領域ｒ＝ｒ２に対応する解像度の映像種別を含む受信ストリーム指示情報、及び前記視聴倍率ｘ＝ｘ１の映像を再生するための表示層を含む再生位置指示情報を決定して再生指示情報を生成し、
前記再生制御部は、
前記視聴倍率ｘ＝ｘ１及び前記視聴領域ｒ＝ｒ１の映像を、前記再生指示情報に含まれる前記再生位置指示情報に従い前記表示層にて再生して画面表示し、
前記切り替え用映像ストリームの復号が完了したときに、前記復号完了を出力し、
前記視聴領域表示制御部は、
前記復号完了を入力すると、前記視聴倍率ｘ＝ｘ２の前記視聴領域ｒ＝ｒ２に対応する解像度の映像種別及び前記サムネイル映像の映像種別を含む受信ストリーム指示情報、前記視聴倍率ｘ＝ｘ２及び前記視聴領域ｒ＝ｒ２の映像を再生するための表示層及び前記サムネイル映像を再生するためのサムネイル表示層を含む再生位置指示情報、並びに、前記視聴領域ｒ＝ｒ２の位置及び大きさを特定するための情報を示すサムネイル表示指示情報を決定して再生指示情報を生成し、
前記再生制御部は、
前記視聴倍率ｘ＝ｘ２及び前記視聴領域ｒ＝ｒ２の映像を、前記再生指示情報に含まれる前記再生位置指示情報に従い前記表示層にて再生して画面表示し、
前記サムネイル映像を、前記再生指示情報に含まれる前記再生位置指示情報に従い前記サムネイル表示層にて再生し、前記再生指示情報に含まれる前記サムネイル表示指示情報に従い、前記視聴領域ｒ＝ｒ２の位置及び大きさを特定するための情報を含む前記サムネイル映像を画面表示する、ことを特徴とする請求項２に記載の再生装置。
【請求項４】
前記再生制御部により、視聴倍率ｘ及び視聴領域ｒ＝ｒ３の映像が画面表示されると共に、前記視聴領域ｒ＝ｒ３の位置及び大きさを特定するための情報を示すサムネイル表示指示情報が反映されたサムネイル映像が画面表示されている状態にて、
前記視聴領域ｒをｒ３からｒ４に切り替えるユーザ操作があった場合に、前記視聴倍率ｘ及び視聴領域ｒ＝ｒ４の映像の映像ストリームを切り替え用映像ストリームとして、
前記再生制御部は、
前記ユーザ操作に従い、前記視聴倍率ｘ及び前記視聴領域ｒ＝ｒ４を含む視聴状況情報を生成し、当該視聴状況情報を出力し、
前記視聴領域表示制御部は、
前記視聴状況情報を入力すると、前記視聴倍率ｘの前記視聴領域ｒ＝ｒ４に対応する解像度の映像種別及び前記サムネイル映像の映像種別を含む受信ストリーム指示情報、及び所定の解像度の表示層を含む再生位置指示情報を決定して再生指示情報を生成し、
前記再生制御部は、
前記サムネイル映像を、前記再生指示情報に含まれる前記再生位置指示情報に従い前記表示層にて再生し、前記サムネイル映像における前記視聴領域ｒ＝ｒ４の映像を画面表示し、
前記切り替え用映像ストリームの復号が完了したときに、前記復号完了を出力し、
前記視聴領域表示制御部は、
前記復号完了を入力すると、前記視聴倍率ｘの視聴領域ｒ＝ｒ４に対応する解像度の映像種別及び前記サムネイル映像の映像種別を含む受信ストリーム指示情報、前記視聴倍率ｘの映像を再生するための表示層及び前記サムネイル映像を再生するためのサムネイル表示層を含む再生位置指示情報、並びに、前記視聴領域ｒ＝ｒ４の位置及び大きさを特定するための情報を示すサムネイル表示指示情報を決定して再生指示情報を生成し、
前記再生制御部は、
前記視聴倍率ｘ及び前記視聴領域ｒ＝ｒ４の映像を、前記再生指示情報に含まれる前記再生位置指示情報に従い前記表示層にて再生して画面表示し、
前記サムネイル映像を、前記再生指示情報に含まれる前記再生位置指示情報に従い前記サムネイル表示層にて再生し、前記再生指示情報に含まれる前記サムネイル表示指示情報に従い、前記視聴領域ｒ＝ｒ４の位置及び大きさを特定するための情報を含む前記サムネイル映像を画面表示する、ことを特徴とする請求項２に記載の再生装置。
【請求項５】
配信サーバから、解像度の異なるｎ個（ｎは２以上の整数）の視聴映像及び１個のサムネイル映像のうちのｎ個の映像をそれぞれ映像ストリームとして受信し、任意の視聴倍率及び視聴領域の視聴映像をサムネイル映像と共に画面表示することができる再生装置を構成するコンピュータを、
ユーザが視聴しようとする視聴映像の識別子、並びに前記視聴映像の視聴倍率及び視聴領域からなる視聴状況情報に基づき、前記ｎ個の映像のそれぞれについての、視聴映像であるかサムネイル映像であるか、並びに前記視聴映像の視聴倍率及び視聴領域を示す受信ストリーム指示情報と、解像度に応じた前記視聴映像を再生する表示層または前記サムネイル映像を再生するサムネイル表示層を示す再生位置指示情報と、前記視聴映像の視聴領域の位置情報からなるサムネイル表示指示情報と、を含む再生指示情報を生成する視聴領域表示制御部、及び、
ユーザ操作に従って前記視聴状況情報を生成し、前記再生指示情報に従って、前記受信ストリーム指示情報に基づいて前記ｎ個の映像を前記配信サーバから映像ストリームとして受信して復号して、前記再生位置指示情報及び前記サムネイル表示指示情報に基づいて、前記ｎ個の映像を用いて、前記視聴倍率及び前記視聴領域の映像を前記表示層で再生して画面表示すると共にサムネイル映像を前記サムネイル表示層で再生して前記視聴領域の位置を示して画面表示する再生制御部として機能させ、
前記再生制御部は、画面表示中の視聴映像と異なる視聴倍率または視聴領域を含む前記視聴状況情報を生成した場合に、前記視聴状況情報に基づいて前記視聴領域表示制御部により生成された前記再生指示情報に含まれる前記受信ストリーム指示情報に基づいた映像ストリームの受信及び復号が完了するまで、前記画面表示中の視聴映像またはサムネイル映像を、前記視聴状況情報における視聴倍率及び視聴領域に変更して画面表示する、ことを特徴とするプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、動画再生における再生装置及びプログラムに関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
従来、視聴端末がディスプレイの画面解像度（例えば２Ｋ）と等しい解像度の映像データ（例えば２Ｋ）を受信している場合に、ユーザが映像の一部の領域を拡大して視聴すると、ディスプレイに表示される映像の解像度が低下する。
【０００３】
一方、視聴端末がディスプレイの画面解像度（例えば２Ｋ）より高い解像度の映像データ（例えば８Ｋ）を受信している場合に、ユーザが映像の一部の領域を拡大して視聴するときには、ディスプレイに表示される映像の解像度を維持することができる。しかし、伝送量が大きくなり、視聴端末による復号化の負荷も大きくなることが問題となり得る。
【０００４】
そこで、この問題を解決するために、領域分割した映像を配信サーバに用意しておき、視聴領域に対応する部分の映像のみを配信することが考えられる。例えば、映像を異なる解像度に変換し、各解像度の映像を異なる切り出し位置で分割した映像の中から、視聴領域に対応する映像を配信する技術が提案されている（例えば、特許文献１、非特許文献１を参照）。
【０００５】
この特許文献１及び非特許文献１の技術は、視聴端末が視聴領域を含む複数のストリーム（２または３種類）を同時に受信し合成表示するものである。これにより、符号化の処理負荷及び映像データの伝送量を削減することができ、ユーザは、解像度を維持した状態で映像の一部の領域を拡大して視聴することができる。
【０００６】
また、例えば、ヘッドマウントディスプレイを用いた全天周映像の視聴において、映像を分割し、各領域で異なる品質の映像を配信する技術が提案されている（例えば、非特許文献２を参照）。この非特許文献２の技術によれば、全天周映像内の注視点の領域を高解像度で提示し、その他の領域を低解像度で提示することができる。
【０００７】
ところで、ユーザが映像の一部の領域を拡大して視聴する場合、拡大された一部の領域のみが画面表示されたときには、視聴領域が全領域内のどの位置及び大きさであるかについて把握することはできない。
【０００８】
ユーザが視聴領域の位置及び大きさを把握するためには、視聴する映像とは別に、ダウンスケーリング（低解像度化）された映像の全領域を縮小表示した映像（サムネイル映像）を用意し、サムネイル映像上に視聴領域の位置及び大きさを表示することが考えられる。
【先行技術文献】
【特許文献】
【０００９】
特開２０２１－２２７７３号公報
【非特許文献】
【００１０】
“８Ｋ映像を活用した高解像度ズーム視聴技術”、［online］、ＮＨＫ放送技術研究所、［令和４年１２月２日検索］、インターネット<ＵＲＬ： https://www.nhk.or.jp/strl/publica/annual/2019/3/3.html>
R.Skupin、Y.Sanchez、C.Hellge、T.Schierl、“Tile based HEVC video for head mounted displays”、Proceedings of 2016 IEEE International Symposium on Multimedia、2016年
【発明の概要】
【発明が解決しようとする課題】
（【００１１】以降は省略されています）

関連特許