特許ウォッチ

公開番号2025130938
公報種別公開特許公報(A)
公開日2025-09-09
出願番号2024028341
出願日2024-02-28
発明の名称遠隔オペレータ端末、画像表示方法、及び遠隔操作システム
出願人トヨタ自動車株式会社
代理人弁理士法人高田・高橋国際特許事務所
主分類H04N 7/18 20060101AFI20250902BHJP(電気通信技術)
要約【課題】移動体の遠隔操作において、複数のカメラによって撮影される複数の画像を表示する際の見た目を改善する。
【解決手段】第1画像は、移動体に搭載されたカメラによって第1タイミングに撮影される。第1視点は、第1タイミングにおけるカメラ視点であり、第2視点は、第1タイミングよりも後の第2タイミングにおけるカメラ視点である。射影変換処理は、第1視点から見た第1画像を第2視点から見た第2画像に変換する。複数のカメラのそれぞれによって撮影される複数の第1画像に対して射影変換処理を適用することにより、複数の第2画像が得られる。それら複数の第2画像のうち遠隔オペレータの注視方向に対応する優先第2画像が他の第2画像よりも手前に見えるように、複数の第2画像が並べて表示される。
【選択図】図9
特許請求の範囲【請求項１】
移動体の遠隔操作のために遠隔オペレータによって使用される遠隔オペレータ端末であって、
第１画像は、前記移動体に搭載されたカメラによって第１タイミングに撮影される画像であり、
第１視点は、前記第１タイミングにおける前記カメラの位置と向きの組み合わせにより定義され、
第２視点は、前記第１タイミングよりも後の第２タイミングにおいて予想される前記カメラの位置と向きの組み合わせにより定義され、
射影変換処理は、前記第１視点から見た前記第１画像を前記第２視点から見た第２画像に変換し、
前記遠隔オペレータ端末は、情報処理装置を備え、
前記情報処理装置は、
前記第１タイミングにおいて前記移動体に搭載された複数のカメラのそれぞれによって撮影される複数の第１画像を取得し、
前記複数の第１画像のそれぞれに対して前記射影変換処理を適用することによって複数の第２画像を取得し、
前記遠隔オペレータの注視方向を推定し、
前記複数の第２画像のうち前記注視方向に対応する優先第２画像が他の第２画像よりも手前に見えるように、前記複数の第２画像を前記遠隔オペレータ端末の表示装置に並べて表示する
ように構成された
遠隔オペレータ端末。
続きを表示（約 3,100 文字）【請求項２】
請求項１に記載の遠隔オペレータ端末であって、
拡大第２画像は、前記優先第２画像、あるいは、前記優先第２画像の隣りに表示される第２画像であり、
拡大第１画像は、前記拡大第２画像の元となる前記射影変換処理の前の第１画像であり、
前記情報処理装置は、更に、前記射影変換処理の前に、前記拡大第１画像が他の第１画像よりも大きくなるように前記複数の第１画像を調整するように構成された
遠隔オペレータ端末。
【請求項３】
請求項２に記載の遠隔オペレータ端末であって、
前記複数のカメラの各々の画角は、中心画角と、前記中心画角の周囲の周辺画角とを含み、
中心領域は、前記中心画角に対応する画像領域であり、
周辺領域は、前記周辺画角に対応する画像領域であり、
前記情報処理装置は、前記拡大第１画像が前記中心領域と前記周辺領域の両方を含み、且つ、前記拡大第１画像以外の第１画像が前記中心領域だけを含むように、前記複数の第１画像を調整するように構成された
遠隔オペレータ端末。
【請求項４】
移動体の遠隔操作のために遠隔オペレータによって使用される遠隔オペレータ端末であって、
第１画像は、前記移動体に搭載されたカメラによって第１タイミングに撮影される画像であり、
第１視点は、前記第１タイミングにおける前記カメラの位置と向きの組み合わせにより定義され、
第２視点は、前記第１タイミングよりも後の第２タイミングにおいて予想される前記カメラの位置と向きの組み合わせにより定義され、
射影変換処理は、前記第１視点から見た前記第１画像を前記第２視点から見た第２画像に変換し、
前記遠隔オペレータ端末は、情報処理装置を備え、
前記情報処理装置は、
前記第１タイミングにおいて前記移動体に搭載された複数のカメラのそれぞれによって撮影される複数の第１画像を取得し、
前記複数の第１画像のそれぞれに対して前記射影変換処理を適用することによって複数の第２画像を取得し、
前記複数の第２画像を前記遠隔オペレータ端末の表示装置に並べて表示する
ように構成され、
優先第２画像は、前記複数の第２画像のうち前記遠隔オペレータの注視方向に対応する１つであり、
拡大第２画像は、前記優先第２画像、あるいは、前記優先第２画像の隣りに表示される第２画像であり、
拡大第１画像は、前記拡大第２画像の元となる前記射影変換処理の前の第１画像であり、
前記情報処理装置は、更に、前記射影変換処理の前に、前記拡大第１画像が他の第１画像よりも大きくなるように前記複数の第１画像を調整するように構成された
遠隔オペレータ端末。
【請求項５】
請求項４に記載の遠隔オペレータ端末であって、
前記複数のカメラの各々の画角は、中心画角と、前記中心画角の周囲の周辺画角とを含み、
中心領域は、前記中心画角に対応する画像領域であり、
周辺領域は、前記周辺画角に対応する画像領域であり、
前記情報処理装置は、前記拡大第１画像が前記中心領域と前記周辺領域の両方を含み、且つ、前記拡大第１画像以外の第１画像が前記中心領域だけを含むように、前記複数の第１画像を調整するように構成された
遠隔オペレータ端末。
【請求項６】
請求項１乃至５に記載の遠隔オペレータ端末であって、
前記情報処理装置は、更に、前記遠隔オペレータの視線方向あるいは前記遠隔オペレータによる操舵操作の操舵角に基づいて、前記遠隔オペレータの前記注視方向を推定するように構成された
遠隔オペレータ端末。
【請求項７】
請求項１乃至５のいずれか一項に記載の遠隔オペレータ端末であって、
前記射影変換処理は、
前記第１タイミングから前記第２タイミングまでの期間における前記移動体の移動方向と移動量を推定することと、
前記移動体の前記移動方向と前記移動量に基づいて、前記第１視点と前記第２視点との間の差分を算出することと、
前記第１視点と前記第２視点との間の前記差分に基づいて、前記第１視点から見た前記第１画像を前記第２視点から見た第２画像に変換することと
を含む
遠隔オペレータ端末。
【請求項８】
請求項１乃至５のいずれか一項に記載の遠隔オペレータ端末であって、
前記情報処理装置は、更に、
前記移動体と前記遠隔オペレータ端末との間の通信遅延時間の少なくとも一部を遅延補償時間として設定し、
前記第２タイミングを前記第１タイミングよりも前記遅延補償時間だけ後に設定する
ように構成された
遠隔オペレータ端末。
【請求項９】
移動体の遠隔操作の際に遠隔オペレータのために画像を表示する画像表示方法であって、
第１画像は、前記移動体に搭載されたカメラによって第１タイミングに撮影される画像であり、
第１視点は、前記第１タイミングにおける前記カメラの位置と向きの組み合わせにより定義され、
第２視点は、前記第１タイミングよりも後の第２タイミングにおいて予想される前記カメラの位置と向きの組み合わせにより定義され、
射影変換処理は、前記第１視点から見た前記第１画像を前記第２視点から見た第２画像に変換し、
前記画像表示方法は、
前記第１タイミングにおいて前記移動体に搭載された複数のカメラのそれぞれによって撮影される複数の第１画像を取得することと、
前記複数の第１画像のそれぞれに対して前記射影変換処理を適用することによって複数の第２画像を取得することと、
前記遠隔オペレータの注視方向を推定することと、
前記複数の第２画像のうち前記注視方向に対応する優先第２画像が他の第２画像よりも手前に見えるように、前記複数の第２画像を前記遠隔オペレータ端末の表示装置に並べて表示することと
を含む
画像表示方法。
【請求項１０】
遠隔オペレータによる移動体の遠隔操作のための遠隔操作システムであって、
第１画像は、前記移動体に搭載されたカメラによって第１タイミングに撮影される画像であり、
第１視点は、前記第１タイミングにおける前記カメラの位置と向きの組み合わせにより定義され、
第２視点は、前記第１タイミングよりも後の第２タイミングにおいて予想される前記カメラの位置と向きの組み合わせにより定義され、
射影変換処理は、前記第１視点から見た前記第１画像を前記第２視点から見た第２画像に変換し、
前記遠隔操作システムは、１又は複数のプロセッサを備え、
前記１又は複数のプロセッサは、
前記第１タイミングにおいて前記移動体に搭載された複数のカメラのそれぞれによって撮影される複数の第１画像を取得し、
前記複数の第１画像のそれぞれに対して前記射影変換処理を適用することによって複数の第２画像を取得し、
前記遠隔オペレータの注視方向を推定し、
前記複数の第２画像のうち前記注視方向に対応する優先第２画像が他の第２画像よりも手前に見えるように、前記複数の第２画像を前記遠隔オペレータ端末の表示装置に並べて表示する
ように構成された
遠隔操作システム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、遠隔オペレータによる移動体の遠隔操作に関する。特に、本開示は、遠隔操作における遅延補償に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
車両の遠隔操作では、車載カメラによって撮影される画像（映像）が、車両から遠隔オペレータ端末に送信され、遠隔オペレータ端末の表示装置に表示される。このとき、車両と遠隔オペレータ端末との間の通信遅延を補償することが望まれる。画像（映像）の遅延補償に関連する技術として、次のものが知られている。
【０００３】
特許文献１は、遠隔映像出力システムを開示している。遠隔映像出力システムは、映像を送信する自動運転車両と、自動運転車両から映像を受信する遠隔映像出力装置とを備える。遠隔映像出力装置は、自動運転車両から遠隔映像出力装置までの通信遅延時間に応じて、自動運転車両の視点の位置変化を推定する。そして、遠隔映像出力装置は、自動運転車両の視点の位置変化を考慮して、受信映像のフレームから一部の範囲を切り出し、切り出した範囲の映像を表示する。
【０００４】
非特許文献１は、射影変換を利用した遅延補償技術を開示している。より詳細には、当該遅延補償技術は、車両から受け取る画像に対して射影変換を行い、遅延時間分の車両移動量に応じて視点を変更することによって、遅延補償を行う。言い換えれば、当該遅延補償技術は、遅延時間だけ先の視点から見たカメラ映像を先読みすることによって、視覚的に遅延補償を行う。
【先行技術文献】
【特許文献】
【０００５】
国際公開第２０１８／１５５１５９号
【非特許文献】
【０００６】
松原航大，大前学，「投影変換による自動車の遠隔操作用カメラ映像の遅延補償に関する研究」，第19回ITSシンポジウム2021，4-A-12, 2021年12月
【発明の概要】
【発明が解決しようとする課題】
【０００７】
移動体の遠隔操作において、画像に対して遅延補償を行うことが考えられる。但し、上記の従来技術では、複数のカメラによって撮影される複数の画像に対する遅延補償は検討されていない。複数のカメラによって撮影される複数の画像に対する遅延補償に関して、更なる検討及び改善が望まれる。
【０００８】
一例として、複数の画像のそれぞれに対して射影変換を行い、複数の変換後画像を並べて表示する場合について考える。この場合、隣り合う変換後画像の間に重なりが生じる可能性がある。ある変換後画像の一部が他の変換後画像によって隠されると、遠隔オペレータが見ることができる情報が減少してしまう。
【課題を解決するための手段】
【０００９】
第１の観点は、移動体の遠隔操作のために遠隔オペレータによって使用される遠隔オペレータ端末に関する。
第１画像は、移動体に搭載されたカメラによって第１タイミングに撮影される画像である。
第１視点は、第１タイミングにおけるカメラの位置と向きの組み合わせにより定義される。
第２視点は、第１タイミングよりも後の第２タイミングにおいて予想されるカメラの位置と向きの組み合わせにより定義される。
射影変換処理は、第１視点から見た第１画像を第２視点から見た第２画像に変換する。
遠隔オペレータ端末は、情報処理装置を備える。
情報処理装置は、第１タイミングにおいて移動体に搭載された複数のカメラのそれぞれによって撮影される複数の第１画像を取得する。
情報処理装置は、複数の第１画像のそれぞれに対して射影変換処理を適用することによって複数の第２画像を取得する。
情報処理装置は、遠隔オペレータの注視方向を推定する。
情報処理装置は、複数の第２画像のうち注視方向に対応する優先第２画像が他の第２画像よりも手前に見えるように、複数の第２画像を遠隔オペレータ端末の表示装置に並べて表示する。
【００１０】
第２の観点は、移動体の遠隔操作のために遠隔オペレータによって使用される遠隔オペレータ端末に関する。
第１画像は、移動体に搭載されたカメラによって第１タイミングに撮影される画像である。
第１視点は、第１タイミングにおけるカメラの位置と向きの組み合わせにより定義される。
第２視点は、第１タイミングよりも後の第２タイミングにおいて予想されるカメラの位置と向きの組み合わせにより定義される。
射影変換処理は、第１視点から見た第１画像を第２視点から見た第２画像に変換する。
遠隔オペレータ端末は、情報処理装置を備える。
情報処理装置は、第１タイミングにおいて移動体に搭載された複数のカメラのそれぞれによって撮影される複数の第１画像を取得する。
情報処理装置は、複数の第１画像のそれぞれに対して射影変換処理を適用することによって複数の第２画像を取得する。
情報処理装置は、複数の第２画像を遠隔オペレータ端末の表示装置に並べて表示する。
優先第２画像は、複数の第２画像のうち遠隔オペレータの注視方向に対応する１つである。
拡大第２画像は、優先第２画像、あるいは、優先第２画像の隣りに表示される第２画像である。
拡大第１画像は、拡大第２画像の元となる射影変換処理の前の第１画像である。
情報処理装置は、更に、射影変換処理の前に、拡大第１画像が他の第１画像よりも大きくなるように複数の第１画像を調整する。
（【００１１】以降は省略されています）

関連特許