特許ウォッチ

公開番号2024107787
公報種別公開特許公報(A)
公開日2024-08-09
出願番号2023011891
出願日2023-01-30
発明の名称VRシステム
出願人日本電信電話株式会社,国立大学法人大阪大学
代理人個人,個人,個人
主分類H04N 21/258 20110101AFI20240802BHJP(電気通信技術)
要約【課題】本開示は、360度映像を構成するための複数カメラ映像を送信する際のビットレート低減を実現することを目的とする。
【解決手段】本開示は、制御対象と無線ネットワークで接続されているサーバ装置であって、複数のカメラで撮像された複数のカメラ映像を前記制御対象から取得し、前記複数のカメラ映像から360度映像を生成する変換処理部と、前記複数のカメラ映像における位置と前記360度映像における位置との対応関係を定めた変換テーブルと、を備え、前記360度映像における視聴領域が指定されると、前記変換テーブルの逆変換テーブルを参照することで、前記視聴領域に対応する前記複数のカメラ映像における領域を特定し、特定した領域を含む視線情報を前記制御対象に送信する、サーバ装置である。
【選択図】図1

特許請求の範囲【請求項１】
制御対象と無線ネットワークで接続されているサーバ装置であって、
複数のカメラで撮像された複数のカメラ映像を前記制御対象から取得し、前記複数のカメラ映像から３６０度映像を生成する変換処理部と、
前記複数のカメラ映像における位置と前記３６０度映像における位置との対応関係を定めた変換テーブルと、を備え、
前記３６０度映像における視聴領域が指定されると、前記変換テーブルの逆変換テーブルを参照することで、前記視聴領域に対応する前記複数のカメラ映像における領域を特定し、
特定した領域を含む視線情報を前記制御対象に送信する、
サーバ装置。
続きを表示（約 1,300 文字）【請求項２】
サーバ装置と無線ネットワークで接続されている制御対象装置であって、
複数のカメラを備え、
前記制御対象装置が視線を設定すべき視線情報を前記サーバ装置から受信し、
前記複数のカメラで撮像された複数のカメラ映像のうち、前記視線情報で特定される領域を前記サーバ装置に送信する、
制御対象装置。
【請求項３】
前記制御対象装置の操作者の視線遷移を取得し、取得した視線遷移に追従するように、前記視線情報を予測し、
前記複数のカメラ映像のうち、予測によって得られた前記視線情報で特定される領域を前記サーバ装置に送信する、
請求項２に記載の制御対象装置。
【請求項４】
請求項１に記載のサーバ装置と、
請求項３に記載の制御対象装置と、
を備えるＶＲシステム。
【請求項５】
制御対象と無線ネットワークで接続されているサーバ装置が実行する方法であって、
前記サーバ装置は、
複数のカメラで撮像された複数のカメラ映像を前記制御対象から取得し、前記複数のカメラ映像から３６０度映像を生成する変換処理部と、
前記複数のカメラ映像における位置と前記３６０度映像における位置との対応関係を定めた変換テーブルと、を備え、
前記３６０度映像における視聴領域が指定されると、前記変換テーブルの逆変換テーブルを参照することで、前記視聴領域に対応する前記複数のカメラ映像における領域を特定し、
特定した領域を含む視線情報を前記制御対象に送信する、
方法。
【請求項６】
サーバ装置と無線ネットワークで接続されている制御対象装置が実行する方法であって、
前記制御対象装置は複数のカメラを備え、
前記制御対象装置が視線を設定すべき視線情報を前記サーバ装置から受信し、
前記複数のカメラで撮像された複数のカメラ映像のうち、前記視線情報で特定される領域を前記サーバ装置に送信する、
方法。
【請求項７】
制御対象と無線ネットワークで接続されているサーバ装置に、
複数のカメラで撮像された複数のカメラ映像を前記制御対象から取得し、前記複数のカメラ映像から３６０度映像を生成する手順と、
前記３６０度映像における視聴領域が指定されると、前記複数のカメラ映像における位置と前記３６０度映像における位置との対応関係を定めた変換テーブルの逆変換テーブルを参照することで、前記視聴領域に対応する前記複数のカメラ映像における領域を特定する手順と、
特定した領域を含む視線情報を前記制御対象に送信する手順と、
を実行させるためのプログラム。
【請求項８】
サーバ装置と無線ネットワークで接続されている制御対象装置に、
前記制御対象装置が視線を設定すべき視線情報を前記サーバ装置から受信する手順と、
複数のカメラで撮像された複数のカメラ映像のうち、前記視線情報で特定される領域を前記サーバ装置に送信する手順と、
を実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、ＶＲシステムにおける映像ビットレートを削減する方法に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
遠隔ロボットなどの制御対象を操作する際、通常の２次元映像では視野が狭いことから、ＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ）映像を見ながら操作したいという要望がある。ロボットなどの制御対象及び操作者とこれらを中継するサーバとの間でＶＲ映像を伝送するシステムとして以下の形態が考えられる。
（１）制御対象はＶＲ映像を作るために複数のカメラ映像（例えばＤｕａｌＦｉｓｈｅｙｅ形式）を取得する。
（２）複数のカメラ映像を、無線を介してサーバに伝送する。
（３）サーバは受信した複数のカメラ映像をスティッチングし、３６０度映像を生成する。
（４）スティッチングした３６０度映像を操作者に対して伝送する。
これにより、操作者はヘッドセットを通じて視線位置に応じた映像領域を視聴できる。
【０００３】
高精細なＶＲ映像を作るためには、制御対象から高品質なカメラ映像を複数枚アップロードすることになるが、制御対象及びサーバ間は無線ネットワークで接続されるため、十分な帯域が得られない。またスティッチングを行うサーバを制御対象上に乗せることで帯域を低減する方法も考えられるが、制御対象となるロボットの大きさ、電力の制約から高性能なサーバを載せることは難しい。
【０００４】
そこで、タイル分割を用いたトラヒック削減手法が提案されている［例えば、非特許文献１－３参照。］。非特許文献１では、操作者のビューポートに相当するタイルのみを送信する。非特許文献２及び３では、ビューポートに関連するタイルの品質を向上して送信する。
【先行技術文献】
【非特許文献】
【０００５】
ＦｅｎｇＱｉａｎｅｔａｌ．， “Ｏｐｔｉｍｉｚｉｎｇ３６０ｖｉｄｅｏｄｅｌｉｖｅｒｙｏｖｅｒｃｅｌｌｕｌａｒｎｅｔｗｏｒｋｓ，” ＡＣＭＡＴＣ，２０１６．
Ｍ．Ｈｏｓｓｅｉｎｉ， “Ｖｉｅｗ－ａｗａｒｅｔｉｌｅ－ｂａｓｅｄａｄａｐｔａｔｉｏｎｓｉｎ３６０ｖｉｒｔｕａｌｒｅａｌｉｔｙｖｉｄｅｏｓｔｒｅａｍｉｎｇ，” ＩＥＥＥＶＲ，２０１７
Ｄ．Ｖ．Ｎｇｕｙａｎｅｔａｌ．， “ＡｎＯｐｔｉｍａｌＴｉｌｅ－ＢａｓｅｄＡｐｐｒｏａｃｈｆｏｒＶｉｅｗｐｏｒｔ－Ａｄａｐｔｉｖｅ３６０－ＤｅｇｒｅｅＶｉｄｅｏＳｔｒｅａｍｉｎｇ，” ＩＥＥＥＪｏｕｒｎａｌｏｆＥｍｅｒｇｉｎｇａｎｄＳｅｌｅｃｔｅｄＴｏｐｉｃｓｉｎＣｉｒｃｕｉｔｓａｎｄＳｙｓｔｅｍｓ，Ｖｏｌ．９，Ｎｏ．１，２０１９．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１～３の先行研究の方法では、ヘッドセットに投影する３６０度映像そのものの帯域を低減することができるものの、３６０度映像を生成する際の素材となる複数のカメラ映像の帯域を低減することはできない。そこで、本開示は、３６０度映像を構成するための複数カメラ映像を送信する際のビットレート低減を実現することを目的とする。
【課題を解決するための手段】
【０００７】
本開示のＶＲシステムは、本開示のサーバ装置と、本開示の制御対象装置と、を備える。本開示のサーバ装置及び制御対象装置は、本開示の方法を実行する。
【０００８】
本開示のサーバ装置は、
制御対象と無線ネットワークで接続されているサーバ装置であって、
複数のカメラで撮像された複数のカメラ映像を前記制御対象から取得し、前記複数のカメラ映像から３６０度映像を生成する変換処理部と、
前記複数のカメラ映像における位置と前記３６０度映像における位置との対応関係を定めた変換テーブルと、を備え、
前記３６０度映像における視聴領域が指定されると、前記変換テーブルの逆変換テーブルを参照することで、前記視聴領域に対応する前記複数のカメラ映像における領域を特定し、
特定した領域を含む視線情報を前記制御対象に送信する。
【０００９】
本開示のサーバ装置は、前記制御対象装置の操作者の視線遷移を取得し、取得した視線遷移に追従するように、前記視線情報を予測し、予測によって得られた前記視線情報に対応する前記複数のカメラ映像の領域を特定し、特定した領域を含む視線情報を前記制御対象に送信してもよい。
【００１０】
本開示の制御対象装置は、
サーバ装置と無線ネットワークで接続されている制御対象装置であって、
複数のカメラを備え、
前記制御対象装置が視線を設定すべき視線情報を前記サーバ装置から受信し、
前記複数のカメラで撮像された複数のカメラ映像のうち、前記視線情報で特定される領域を前記サーバ装置に送信する。
（【００１１】以降は省略されています）

関連特許