特許ウォッチ

公開番号2025130974
公報種別公開特許公報(A)
公開日2025-09-09
出願番号2024028399
出願日2024-02-28
発明の名称遠隔オペレータ端末、画像表示方法、及び遠隔操作システム
出願人トヨタ自動車株式会社
代理人弁理士法人高田・高橋国際特許事務所
主分類H04N 7/18 20060101AFI20250902BHJP(電気通信技術)
要約【課題】移動体の遠隔操作において、複数のカメラによって撮影される複数の画像を表示する際の見た目を改善する。
【解決手段】第1画像は、移動体に搭載されたカメラによって第1タイミングに撮影される。第1視点は、第1タイミングにおけるカメラ視点であり、第2視点は、第1タイミングよりも後の第2タイミングにおけるカメラ視点である。射影変換処理は、カメラに対応付けられた投影面を用いた透視投影変換に基づいて、第1視点から見た第1画像を第2視点から見た第2画像に変換する。移動体に搭載された複数のカメラのそれぞれによって複数の第1画像が撮影される場合、それら複数の第1画像の組み合わせに対して共通投影面を用いた射影変換処理が適用される。そのような射影変換処理によって得られた複数の第2画像の組み合わせが遠隔オペレータ端末に表示される。
【選択図】図8
特許請求の範囲【請求項１】
移動体の遠隔操作のために遠隔オペレータによって使用される遠隔オペレータ端末であって、
第１画像は、前記移動体に搭載されたカメラによって第１タイミングに撮影される画像であり、
第１視点は、前記第１タイミングにおける前記カメラの位置と向きの組み合わせにより定義され、
第２視点は、前記第１タイミングよりも後の第２タイミングにおいて予想される前記カメラの位置と向きの組み合わせにより定義され、
射影変換処理は、前記カメラに対応付けられた投影面を用いた透視投影変換に基づいて、前記第１視点から見た前記第１画像を前記第２視点から見た第２画像に変換し、
前記遠隔オペレータ端末は、情報処理装置を備え、
前記情報処理装置は、
前記第１タイミングにおいて前記移動体に搭載された複数のカメラのそれぞれによって撮影される複数の第１画像を取得し、
前記複数の第１画像の組み合わせに対して共通投影面を用いた前記射影変換処理を適用することによって複数の第２画像の組み合わせを取得し、
前記複数の第２画像の前記組み合わせを前記遠隔オペレータ端末の表示装置に表示する
ように構成された
遠隔オペレータ端末。
続きを表示（約 2,100 文字）【請求項２】
請求項１に記載の遠隔オペレータ端末であって、
前記情報処理装置は、更に、
前記複数のカメラの１つを基準カメラとして選択し、
前記基準カメラに対応付けられた前記投影面を前記共通投影面として設定する
ように構成された
遠隔オペレータ端末。
【請求項３】
請求項２に記載の遠隔オペレータ端末であって、
前記情報処理装置は、更に、
前記遠隔オペレータの注視方向を推定し、
前記複数のカメラのうち前記注視方向に対応した１つを前記基準カメラとして動的に選択する
ように構成された
遠隔オペレータ端末。
【請求項４】
請求項３に記載の遠隔オペレータ端末であって、
前記情報処理装置は、更に、前記遠隔オペレータの視線方向あるいは前記遠隔オペレータによる操舵操作の操舵角に基づいて、前記遠隔オペレータの前記注視方向を推定するように構成された
遠隔オペレータ端末。
【請求項５】
請求項１乃至４のいずれか一項に記載の遠隔オペレータ端末であって、
前記情報処理装置は、更に、前記複数の第２画像を前記表示装置の１以上の画面上に並べて表示するように構成された
遠隔オペレータ端末。
【請求項６】
請求項１乃至４のいずれか一項に記載の遠隔オペレータ端末であって、
前記射影変換処理は、
前記第１タイミングから前記第２タイミングまでの期間における前記移動体の移動方向と移動量を推定することと、
前記移動体の前記移動方向と前記移動量に基づいて、前記第１視点と前記第２視点との間の差分を算出することと、
前記第１視点と前記第２視点との間の前記差分に基づいて、前記第１視点から見た前記第１画像を前記第２視点から見た第２画像に変換することと
を含む
遠隔オペレータ端末。
【請求項７】
請求項１乃至４のいずれか一項に記載の遠隔オペレータ端末であって、
前記情報処理装置は、更に、
前記移動体と前記遠隔オペレータ端末との間の通信遅延時間の少なくとも一部を遅延補償時間として設定し、
前記第２タイミングを前記第１タイミングよりも前記遅延補償時間だけ後に設定する
ように構成された
遠隔オペレータ端末。
【請求項８】
移動体の遠隔操作の際に遠隔オペレータのために画像を表示する画像表示方法であって、
第１画像は、前記移動体に搭載されたカメラによって第１タイミングに撮影される画像であり、
第１視点は、前記第１タイミングにおける前記カメラの位置と向きの組み合わせにより定義され、
第２視点は、前記第１タイミングよりも後の第２タイミングにおいて予想される前記カメラの位置と向きの組み合わせにより定義され、
射影変換処理は、前記カメラに対応付けられた投影面を用いた透視投影変換に基づいて、前記第１視点から見た前記第１画像を前記第２視点から見た第２画像に変換し、
前記画像表示方法は、
前記第１タイミングにおいて前記移動体に搭載された複数のカメラのそれぞれによって撮影される複数の第１画像を取得することと、
前記複数の第１画像の組み合わせに対して共通投影面を用いた前記射影変換処理を適用することによって複数の第２画像の組み合わせを取得することと、
前記複数の第２画像の前記組み合わせを、前記遠隔オペレータによって使用される遠隔オペレータ端末の表示装置に表示することと
を含む
画像表示方法。
【請求項９】
遠隔オペレータによる移動体の遠隔操作のための遠隔操作システムであって、
第１画像は、前記移動体に搭載されたカメラによって第１タイミングに撮影される画像であり、
第１視点は、前記第１タイミングにおける前記カメラの位置と向きの組み合わせにより定義され、
第２視点は、前記第１タイミングよりも後の第２タイミングにおいて予想される前記カメラの位置と向きの組み合わせにより定義され、
射影変換処理は、前記カメラに対応付けられた投影面を用いた透視投影変換に基づいて、前記第１視点から見た前記第１画像を前記第２視点から見た第２画像に変換し、
前記遠隔操作システムは、１又は複数のプロセッサを備え、
前記１又は複数のプロセッサは、
前記第１タイミングにおいて前記移動体に搭載された複数のカメラのそれぞれによって撮影される複数の第１画像を取得し、
前記複数の第１画像の組み合わせに対して共通投影面を用いた前記射影変換処理を適用することによって複数の第２画像の組み合わせを取得し、
前記複数の第２画像の前記組み合わせを、前記遠隔オペレータによって使用される遠隔オペレータ端末の表示装置に表示する
ように構成された
遠隔操作システム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、遠隔オペレータによる移動体の遠隔操作に関する。特に、本開示は、遠隔操作における遅延補償に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
車両の遠隔操作では、車載カメラによって撮影される画像（映像）が、車両から遠隔オペレータ端末に送信され、遠隔オペレータ端末の表示装置に表示される。このとき、車両と遠隔オペレータ端末との間の通信遅延を補償することが望まれる。画像（映像）の遅延補償に関連する技術として、次のものが知られている。
【０００３】
特許文献１は、遠隔映像出力システムを開示している。遠隔映像出力システムは、映像を送信する自動運転車両と、自動運転車両から映像を受信する遠隔映像出力装置とを備える。遠隔映像出力装置は、自動運転車両から遠隔映像出力装置までの通信遅延時間に応じて、自動運転車両の視点の位置変化を推定する。そして、遠隔映像出力装置は、自動運転車両の視点の位置変化を考慮して、受信映像のフレームから一部の範囲を切り出し、切り出した範囲の映像を表示する。
【０００４】
非特許文献１は、射影変換を利用した遅延補償技術を開示している。より詳細には、当該遅延補償技術は、車両から受け取る画像に対して射影変換を行い、遅延時間分の車両移動量に応じて視点を変更することによって、遅延補償を行う。言い換えれば、当該遅延補償技術は、遅延時間だけ先の視点から見たカメラ映像を先読みすることによって、視覚的に遅延補償を行う。
【先行技術文献】
【特許文献】
【０００５】
国際公開第２０１８／１５５１５９号
【非特許文献】
【０００６】
松原航大，大前学，「投影変換による自動車の遠隔操作用カメラ映像の遅延補償に関する研究」，第19回ITSシンポジウム2021，4-A-12, 2021年12月
【発明の概要】
【発明が解決しようとする課題】
【０００７】
移動体の遠隔操作において、画像に対して遅延補償を行うことが考えられる。但し、上記の従来技術では、複数のカメラによって撮影される複数の画像に対する遅延補償は検討されていない。複数のカメラによって撮影される複数の画像に対する遅延補償に関して、更なる検討及び改善が望まれる。
【０００８】
一例として、複数の画像のそれぞれに対して射影変換を行い、複数の変換後画像を並べて表示する場合について考える。この場合、隣り合う変換後画像の間に重なりや隙間が生じるおそれがある。このことは、遠隔オペレータに違和感を与えるおそれがある。
【課題を解決するための手段】
【０００９】
第１の観点は、移動体の遠隔操作のために遠隔オペレータによって使用される遠隔オペレータ端末に関する。
第１画像は、移動体に搭載されたカメラによって第１タイミングに撮影される画像である。
第１視点は、第１タイミングにおけるカメラの位置と向きの組み合わせにより定義される。
第２視点は、第１タイミングよりも後の第２タイミングにおいて予想されるカメラの位置と向きの組み合わせにより定義される。
射影変換処理は、カメラに対応付けられた投影面を用いた透視投影変換に基づいて、第１視点から見た第１画像を第２視点から見た第２画像に変換する。
遠隔オペレータ端末は、情報処理装置を備える。
情報処理装置は、第１タイミングにおいて移動体に搭載された複数のカメラのそれぞれによって撮影される複数の第１画像を取得する。
情報処理装置は、複数の第１画像の組み合わせに対して共通投影面を用いた射影変換処理を適用することによって複数の第２画像の組み合わせを取得する。
情報処理装置は、複数の第２画像の組み合わせを遠隔オペレータ端末の表示装置に表示する。
【００１０】
第２の観点は、移動体の遠隔操作の際に遠隔オペレータのために画像を表示する画像表示方法に関する。
第１画像は、移動体に搭載されたカメラによって第１タイミングに撮影される画像である。
第１視点は、第１タイミングにおけるカメラの位置と向きの組み合わせにより定義される。
第２視点は、第１タイミングよりも後の第２タイミングにおいて予想されるカメラの位置と向きの組み合わせにより定義される。
射影変換処理は、カメラに対応付けられた投影面を用いた透視投影変換に基づいて、第１視点から見た第１画像を第２視点から見た第２画像に変換する。
画像表示方法は、
第１タイミングにおいて移動体に搭載された複数のカメラのそれぞれによって撮影される複数の第１画像を取得することと、
複数の第１画像の組み合わせに対して共通投影面を用いた射影変換処理を適用することによって複数の第２画像の組み合わせを取得することと、
複数の第２画像の組み合わせを、遠隔オペレータによって使用される遠隔オペレータ端末の表示装置に表示することと
を含む。
（【００１１】以降は省略されています）

関連特許