特許ウォッチ

公開番号2025062702
公報種別公開特許公報(A)
公開日2025-04-15
出願番号2023171894
出願日2023-10-03
発明の名称ロボットVRシステム
出願人日本電信電話株式会社,国立大学法人大阪大学
代理人個人,個人,個人
主分類H04N 7/18 20060101AFI20250408BHJP(電気通信技術)
要約【課題】本開示は、移動可能な制御対象を備えるロボットVRシステムにおいて、伝送レートを低減可能にすることを目的とする。
【解決手段】映像送信装置300は、映像取得部110に対する操作情報を受信するロボット動作部140と、操作情報に基づいて、映像撮影部110が取得した映像を幾何変換し幾何変換データとして出力する幾何変換部120と、映像撮影部110が取得した映像と、幾何変換部120により幾何変換された映像との差分を算出する差分符号化部130Aとを備える。
【選択図】図4

特許請求の範囲【請求項１】
映像取得部に対する操作情報を受信する操作情報受信部と、
前記操作情報に基づいて、前記映像取得部が取得した映像を幾何変換し幾何変換データとして出力する幾何変換部と、
前記映像取得部が取得した映像と、前記幾何変換データとの差分を算出する差分算出部と、
を備える映像送信装置。
続きを表示（約 820 文字）【請求項２】
前記幾何変換部は、前記操作情報に基づく前記映像取得部の移動量または移動方向に応じて前記映像を幾何変換する、
請求項１に記載の映像送信装置。
【請求項３】
前記映像取得部は、前記操作情報を受信する制御対象に設けられ、前記制御対象の周囲の映像を取得する、
請求項１に記載の映像送信装置。
【請求項４】
前記差分算出部は、前記映像取得部が取得した第１映像と、前記第１映像が前記映像取得部に取得される前に前記映像取得部に取得された第２映像が前記幾何変換部により幾何変換された前記幾何変換データとの差分を算出する、
請求項１に記載の映像送信装置。
【請求項５】
前記差分算出部による算出の結果を差分データとして外部に送信する通信部を、さらに有する、
請求項１に記載の映像送信装置。
【請求項６】
請求項５に記載の映像送信装置と、
前記通信部から送信された前記差分データを受信する受信部、前記受信部が受信した前記差分データに対応するビデオフレームを幾何変換し幾何変換データを出力する第２幾何変換部、及び、前記第２幾何変換部により出力される前記幾何変換データと前記差分データとに基づいて映像を復号化する映像復号化部を備える受信機と、
を備えるロボットＶＲシステム。
【請求項７】
映像取得部に対する操作情報を受信するステップと、
前記操作情報に基づいて、前記映像取得部が取得した映像を幾何変換し幾何変換データとして出力するステップと、
前記映像取得部が取得した映像と、幾何変換された映像との差分を算出するステップと、
を備える映像送信方法。
【請求項８】
請求項１から５のいずれかに記載の映像送信装置に備わる各機能部としてコンピュータを実現させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、移動型ロボットで撮影されたカメラ映像からＶＲ映像を生成するロボットＶＲシステムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
従来、ロボット等の制御対象が備えるカメラの映像を見ながら制御対象を遠隔操作する際、２次元映像では視野が狭いことからＶＲ映像を見ながら操作したいという要望がある。そこで、制御対象に３６０度カメラを搭載し操作者にＶＲ映像を伝送するロボットＶＲシステムが提案されている。
【０００３】
このようなロボットＶＲシステムにおいて、精細なＶＲ映像は通常の映像と比べてビットレートが大きくなる傾向にあるところ、制御対象近傍のネットワークは無線で構成されるため、十分な帯域が得られない可能性がある。そこで、映像を差分符号化して伝送することにより映像のビットレートを低減することが提案されている（非特許文献１から３参照）。
【０００４】
非特許文献１から３では、ビデオフレームを複数に分割した領域ごとに直前フレームとの比較を行い、ビデオフレームのうちの差がある領域のみを送信する。
【先行技術文献】
【非特許文献】
【０００５】
Ｃｈｉｎｇ－ＹｅｈＣｈｅｎ，Ｓｈａｏ－ＹｉＣｈｉｅｎ，Ｙｕ－ＷｅｎＨｕａｎｇ，Ｔｕｎｇ－ＣｈｉｅｎＣｈｅｎ，Ｔｕ－ＣｈｉｈＷａｎｇａｎｄＬｉａｎｇ－ＧｅｅＣｈｅｎ， “Ａｎａｌｙｓｉｓａｎｄａｒｃｈｉｔｅｃｔｕｒｅｄｅｓｉｇｎｏｆｖａｒｉａｂｌｅｂｌｏｃｋ－ｓｉｚｅｍｏｔｉｏｎｅｓｔｉｍａｔｉｏｎｆｏｒＨ．２６４／ＡＶＣ，” ｉｎＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＣｉｒｃｕｉｔｓａｎｄＳｙｓｔｅｍｓＩ：ＲｅｇｕｌａｒＰａｐｅｒｓ，ｖｏｌ．５３，ｎｏ．３，ｐｐ．５７８－５９３，Ｍａｒｃｈ２００６．
ＡｌｉｒｅｚａＺａｒｅ，ＡｌｉｒｅｚａＡｍｉｎｌｏｕ，ＭｉｓｋａＭ．Ｈａｎｎｕｋｓｅｌａ，ａｎｄＭｏｎｃｅｆＧａｂｂｏｕｊ．２０１６．ＨＥＶＣ－ｃｏｍｐｌｉａｎｔＴｉｌｅ－ｂａｓｅｄＳｔｒｅａｍｉｎｇｏｆＰａｎｏｒａｍｉｃＶｉｄｅｏｆｏｒＶｉｒｔｕａｌＲｅａｌｉｔｙＡｐｐｌｉｃａｔｉｏｎｓ．ＩｎＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２４ｔｈＡＣＭｉｎｔｅｒｎａｔｉｏｎａｌｃｏｎｆｅｒｅｎｃｅｏｎＭｕｌｔｉｍｅｄｉａ（ＭＭ ‘１６）．
Ｐａｒｋ，Ｓａｎｇ－Ｈｙｏ，ａｎｄＪｅ－ＷｏｎＫａｎｇ． “Ｆａｓｔａｆｆｉｎｅｍｏｔｉｏｎｅｓｔｉｍａｔｉｏｎｆｏｒｖｅｒｓａｔｉｌｅｖｉｄｅｏｃｏｄｉｎｇ（ＶＶＣ）ｅｎｃｏｄｉｎｇ．” ＩＥＥＥＡｃｃｅｓｓ７（２０１９）：１５８０７５－１５８０８４．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、カメラの向きが変化する場合には、同じ物を撮像したとしても、カメラの方向に合わせてビデオフレーム内での物の位置が変化する。このように、移動型ロボットのような移動可能なカメラで撮像された映像では、ビデオフレームにおける同じ領域を比較すると、すべての領域に差が生じ、すべての領域が伝送の対象となってしまうため、ビットレートを低減することができない。
【０００７】
そこで、本開示は、移動可能なカメラで撮像された映像の伝送レートを低減可能にすることを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本開示のロボットＶＲシステムが備える映像送信装置は、映像取得部に対する操作情報に基づいてビデオフレームを幾何変換し、幾何変換後のビデオフレームと実際に撮影された映像との間の差分を送信する、という方法を採用する。
【０００９】
具体的には、本開示の映像送信装置は、
映像取得部に対する操作情報を受信する操作情報受信部と、
前記操作情報に基づいて、映像取得部が取得した映像を幾何変換し幾何変換データとして出力する幾何変換部と、
前記映像取得部が取得した映像と、前記幾何変換部により幾何変換された映像との差分を算出する差分算出部と、
を備える。
【００１０】
また、本開示の映像送信方法は、
映像取得部に対する操作情報を受信するステップと、
前記操作情報に基づいて、前記映像取得部が取得した映像を幾何変換し幾何変換データとして出力するステップと、
前記映像取得部が取得した映像と、前記幾何変換された幾何変換データとの差分を算出するステップと、
を含む。
（【００１１】以降は省略されています）

関連特許