特許ウォッチ

公開番号2025142667
公報種別公開特許公報(A)
公開日2025-10-01
出願番号2024042155
出願日2024-03-18
発明の名称遠隔操作システム
出願人トヨタ自動車株式会社
代理人弁理士法人高田・高橋国際特許事務所
主分類G08G 1/16 20060101AFI20250924BHJP(信号)
要約【課題】移動体の遠隔操作においてより適切に遅延補償を行うこと。
【解決手段】移動体の遠隔操作のための遠隔操作システムは、移動体と遠隔オペレータ端末との間の通信遅延を補償する遅延補償処理を実行する。遅延補償処理は、移動体に搭載されたカメラによって撮影される画像に対して行われる第1遅延補償処理と、遠隔オペレータによる操作量を反映した遠隔操作情報に対して行われる第2遅延補償処理と、を含む。第1遅延補償処理は、カメラによって撮影される第1画像に射影変換処理を適用することによって第2画像を生成し、第2画像を遠隔オペレータ端末の表示装置に表示する。第2遅延補償処理は、遠隔操作情報の遅延補償を行うことによって遅延補償操作情報を取得し、遅延補償操作情報に従って移動体を制御する。
【選択図】図5
特許請求の範囲【請求項１】
遠隔オペレータによる移動体の遠隔操作のための遠隔操作システムであって、
前記移動体と前記遠隔オペレータ側の遠隔オペレータ端末との間の通信遅延を補償する遅延補償処理を実行する１又は複数の制御装置を備え、
前記遅延補償処理は、
前記移動体に搭載されたカメラによって撮影される画像に対して行われる第１遅延補償処理と、
前記遠隔オペレータによる操作量を反映した遠隔操作情報に対して行われる第２遅延補償処理と
を含み、
前記第１遅延補償処理は、
前記カメラによって第１タイミングに撮影される第１画像を取得することと、
前記第１画像に射影変換処理を適用することによって、前記第１タイミングよりも第１遅延補償時間だけ後の第２タイミングにおける前記カメラの視点から見た第２画像を生成することと、
前記第２画像を前記遠隔オペレータ端末の表示装置に表示することと
を含み、
前記第２遅延補償処理は、
第２遅延補償時間の分だけ前記遠隔操作情報の遅延補償を行うことによって遅延補償操作情報を取得することと、
前記遅延補償操作情報に従って前記移動体を制御することと
を含む
遠隔操作システム。
続きを表示（約 600 文字）【請求項２】
前記１又は複数の制御装置は、更に、前記第１遅延補償時間と前記第２遅延補償時間の比率を動的に変更するように構成された
請求項１に記載の遠隔操作システム。
【請求項３】
前記１又は複数の制御装置は、更に、前記第１遅延補償時間が減少するにつれて前記第２遅延補償時間が増加するように、前記第１遅延補償時間と前記第２遅延補償時間を設定するように構成された
請求項２に記載の遠隔操作システム。
【請求項４】
前記１又は複数の制御装置は、更に、
前記遠隔オペレータによる操舵操作の操舵角の増加に伴い、前記第１遅延補償時間を減少させ、前記第２遅延補償時間を増加させる第１処理と、
前記移動体の速度の増加に伴い、前記第１遅延補償時間を減少させ、前記第２遅延補償時間を増加させる第２処理と、
前記遠隔オペレータによる操舵操作の操舵周波数の増加に伴い、前記第１遅延補償時間を増加させ、前記第２遅延補償時間を減少させる第３処理と
のうち少なくとも１つを実行するように構成された
請求項２に記載の遠隔操作システム。
【請求項５】
前記１又は複数の制御装置は、更に、前記第１遅延補償時間と前記第２遅延補償処理の少なくとも一方を固定するように構成された
請求項１に記載の遠隔操作システム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、遠隔オペレータによる移動体の遠隔操作に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
車両の遠隔操作では、車載カメラによって撮影される画像（映像）が、車両から遠隔オペレータ端末に送信され、遠隔オペレータ端末の表示装置に表示される。このとき、車両と遠隔オペレータ端末との間の通信遅延を補償することが望まれる。
【０００３】
特許文献１は、遠隔映像出力装置を開示している。遠隔映像出力装置は、自動運転車両から送信される映像を受信し、また、通信遅延時間に応じて自動運転車両の視点の位置変化を推定する。遠隔映像出力装置は、自動運転車両の視点の位置変化を考慮して、受信映像のフレームから一部の範囲を切り出し、切り出した範囲の映像を表示する。
【０００４】
非特許文献１は、射影変換を利用した遅延補償技術を開示している。より詳細には、当該遅延補償技術は、車両から受け取る画像に対して射影変換を行い、遅延時間分の車両移動量に応じて視点を変更することによって、遅延補償を行う。言い換えれば、当該遅延補償技術は、遅延時間だけ先の視点から見たカメラ映像を先読みすることによって、視覚的に遅延補償を行う。
【先行技術文献】
【特許文献】
【０００５】
国際公開第２０１８／１５５１５９号
【非特許文献】
【０００６】
松原航大，大前学，「投影変換による自動車の遠隔操作用カメラ映像の遅延補償に関する研究」，第19回ITSシンポジウム2021，4-A-12, 2021年12月
【発明の概要】
【発明が解決しようとする課題】
【０００７】
移動体の遠隔操作において、遠隔オペレータに提示される画像に対して遅延補償を行うことが考えられる。例えば非特許文献１に開示された技術により遅延補償が可能である。しかしながら、車両の変位量が大きくなると、射影変換により得られる変換後画像の歪みも大きくなる。変換後画像の歪みが大きすぎると、遠隔オペレータは変換後画像に基づいて移動体の周囲の状況を把握しづらくなる。
【課題を解決するための手段】
【０００８】
本開示の１つの観点は、遠隔オペレータによる移動体の遠隔操作のための遠隔操作システムに関連する。
遠隔操作システムは、移動体と遠隔オペレータ側の遠隔オペレータ端末との間の通信遅延を補償する遅延補償処理を実行する１又は複数の制御装置を備える。
遅延補償処理は、移動体に搭載されたカメラによって撮影される画像に対して行われる第１遅延補償処理と、遠隔オペレータによる操作量を反映した遠隔操作情報に対して行われる第２遅延補償処理と、を含む。
第１遅延補償処理は、カメラによって第１タイミングに撮影される第１画像を取得することと、第１画像に射影変換処理を適用することによって、第１タイミングよりも第１遅延補償時間だけ後の第２タイミングにおけるカメラの視点から見た第２画像を生成することと、第２画像を遠隔オペレータ端末の表示装置に表示することと、を含む。
第２遅延補償処理は、第２遅延補償時間の分だけ遠隔操作情報の遅延補償を行うことによって遅延補償操作情報を取得することと、遅延補償操作情報に従って移動体を制御することと、を含む。
【発明の効果】
【０００９】
第１遅延補償処理と第２遅延補償処理の組み合わせることより、第１遅延補償処理と第２遅延補償処理のそれぞれの得手・不得手を相補うことが可能となる。その結果、遅延補償処理全体としての精度と安定性が向上する。このことは、遠隔オペレータＯによる遠隔操作の精度と安定性の向上につながる。
【図面の簡単な説明】
【００１０】
遠隔操作システムの構成例を示す概略図である。
第１遅延補償処理の概要を説明するための概念図である。
透視投影変換に基づく射影変換を説明するための概念図である。
第２遅延補償処理の一例を説明するための概念図である。
第１遅延補償処理と第２遅延補償処理の組み合わせの様々な例を示す。
第１遅延補償処理と第２遅延補償処理の組み合わせの様々な例を示す。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許