特許ウォッチ

公開番号2025030389
公報種別公開特許公報(A)
公開日2025-03-07
出願番号2023135639
出願日2023-08-23
発明の名称遠隔運転の支援方法及び支援装置
出願人トヨタ自動車株式会社
代理人弁理士法人高田・高橋国際特許事務所
主分類H04N 21/44 20110101AFI20250228BHJP(電気通信技術)
要約【課題】通信遅延の影響が補償されたカメラ映像をオペレータに提供する場合において、このカメラ映像の表示がチラつくのを抑える。
【解決手段】移動体のカメラにより取得された複数のフレームと、これらのフレームの各基準時刻と、を含む映像情報を移動体から受信する。複数のフレームの各基準時刻よりもそれぞれ設定時間先の予測情報を用いた加工処理を行ってこれらのフレームのそれぞれから複数の将来フレームを生成する。複数のフレームの各基準時刻からそれぞれ設定時間が経過した時刻において複数の将来フレームがオペレータにより操作される端末のディスプレイに表示されるように、これらの複数の将来フレームを含むカメラ映像の表示制御を行う。
【選択図】図6
特許請求の範囲【請求項１】
オペレータによる移動体の遠隔運転を支援する方法であって、
前記移動体のカメラにより取得された複数のフレームと、前記複数のフレームの各基準時刻と、を含む映像情報を前記移動体から受信するステップと、
前記複数のフレームの各基準時刻よりもそれぞれ設定時間先の予測情報を用いた加工処理を行って、前記複数のフレームのそれぞれから複数の将来フレームを生成するステップと、
前記複数のフレームの各基準時刻からそれぞれ前記設定時間が経過した時刻において前記複数の将来フレームが前記オペレータにより操作される端末のディスプレイに表示されるように前記複数の将来フレームを含むカメラ映像の表示制御を行うステップと、
を含むことを特徴とする遠隔運転の支援方法。
続きを表示（約 860 文字）【請求項２】
請求項１に記載の方法であって、
前記複数のフレームの各基準時刻が、前記移動体の端末から外部に向けて前記複数のフレームがそれぞれ送信された時刻を含む
ことを特徴とする遠隔運転の支援方法。
【請求項３】
請求項１又は２に記載の方法であって、
前記予測情報が、前記複数のフレームの各基準時刻よりもそれぞれ前記設定時間先の将来の時刻における前記カメラの位置及び姿勢の情報を含み、
前記加工処理が、前記カメラの位置及び姿勢の情報に基づいた射影変換を前記複数のフレームのそれぞれに施す処理を含む
ことを特徴とする遠隔運転の支援方法。
【請求項４】
請求項１又は２に記載の方法であって、
前記予測情報が、前記複数のフレームの各基準時刻よりもそれぞれ前記設定時間先の将来の時刻における前記移動体の位置及び姿勢の情報を含み、
前記加工処理が、前記移動体の位置及び姿勢の情報に基づいた補助画像を前記複数のフレームのそれぞれに重畳する処理を含む
ことを特徴とする遠隔運転の支援方法。
【請求項５】
オペレータによる移動体の遠隔運転を支援する装置であって、
各種処理を行うプロセッサを備え、
前記プロセッサが、
前記移動体のカメラにより取得された複数のフレームと、前記複数のフレームの各基準時刻と、を含む映像情報を前記移動体から受信し、
前記複数のフレームの各基準時刻よりもそれぞれ設定時間先の予測情報を用いた加工処理を行って、前記複数のフレームのそれぞれから複数の将来フレームを生成し、
前記複数のフレームの各基準時刻からそれぞれ前記設定時間が経過した時刻において前記複数の将来フレームが前記オペレータにより操作される端末のディスプレイに表示されるように前記複数の将来フレームを含むカメラ映像の表示制御を行う
ように構成されていることを特徴とする遠隔運転の支援装置。

発明の詳細な説明【技術分野】
【０００１】
本開示は、オペレータによる移動体の遠隔運転を支援する方法及び装置に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
国際公開第２０１８／１５５１５９号は、車両から受信するカメラ映像を、遠隔装置から出力するシステムを開示する。この従来のシステムは、車両から遠隔装置までの通信遅延時間が第１時間の場合、カメラ映像のフレームから第１の範囲を切り出して遠隔出力装置から出力する。従来のシステムは、また、車両から遠隔装置までの通信遅延時間が第２時間の場合、カメラ映像のフレームから第２の範囲を切り出して遠隔装置から出力する。
【０００３】
第２時間は、第１時間よりも長い時間である。第２の範囲は、第１の範囲よりも狭い範囲である。第１及び第２の範囲の出力に際しては、遠隔装置の表示部のサイズに併せてこれらの範囲が拡大される。そのため、第２の範囲が出力される場合は、第１の範囲が出力される場合に比べて、恰も車両が前進したようなカメラ映像が表示部に表示される。従って、通信遅延の影響が補償されたカメラ映像をオペレータに提供することが可能となる。
【先行技術文献】
【特許文献】
【０００４】
国際公開第２０１８／１５５１５９号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した従来のシステムでは、通信遅延時間が増減して第１時間と第２時間の境界を何度も跨ぐ場合、カメラ映像の表示態様が切り替わることになる。そうすると、表示部が何度もチラつくことになり、カメラ画像を見ているオペレータを疲れさせる原因となる。従って、このような不具合を抑えるための改良が望まれる。
【０００６】
本開示の１つの目的は、通信遅延の影響が補償されたカメラ映像をオペレータに提供する場合において、このカメラ映像の表示がチラつくのを抑えることのできる技術を提供することにある。
【課題を解決するための手段】
【０００７】
本開示の第１の観点は、オペレータによる移動体の遠隔運転を支援する方法であり、次の特徴を有する。
前記方法は、前記移動体のカメラにより取得された複数のフレームと、前記複数のフレームの各基準時刻と、を含む映像情報を前記移動体から受信するステップと、前記複数のフレームの各基準時刻よりもそれぞれ設定時間先の予測情報を用いた加工処理を行って前記複数のフレームのそれぞれから複数の将来フレームを生成するステップと、前記複数のフレームの各基準時刻からそれぞれ前記設定時間が経過した時刻において前記複数の将来フレームが前記オペレータにより操作される端末のディスプレイに表示されるように前記複数の将来フレームを含むカメラ映像の表示制御を行うステップと、を含む。
【０００８】
本開示の第２の観点は、オペレータによる移動体の遠隔運転を支援する装置であり、次の特徴を有する。
前記装置は、各種処理を行うプロセッサを備える。前記プロセッサは、前記移動体のカメラにより取得された複数のフレームと、前記複数のフレームの各基準時刻と、を含む映像情報を前記移動体から受信し、前記複数のフレームの各基準時刻よりもそれぞれ設定時間先の予測情報を用いた加工処理を行って前記複数のフレームのそれぞれから複数の将来フレームを生成し、前記複数のフレームの各基準時刻からそれぞれ前記設定時間が経過した時刻において前記複数の将来フレームが前記オペレータにより操作される端末のディスプレイに表示されるように前記複数の将来フレームを含むカメラ映像の表示制御を行うように構成されている。
【発明の効果】
【０００９】
本開示によれば、複数のフレームの各基準時刻よりもそれぞれ設定時間先の予測情報を用いた加工処理が行われて複数の将来フレームが生成される。この加工処理によれば、通信遅延の影響が補償された複数の将来フレームを含むカメラ映像を生成することが可能となる。本開示によれば、また、複数のフレームの各基準時刻からそれぞれ設定時間が経過した時刻においてこれらの将来フレームがディスプレイに表示されるように、これらの将来フレームを含むカメラ映像の表示制御が行われる。この表示制御によれば、複数のフレームの各基準時刻からそれぞれ設定時間が経過した時刻が到来するたびに、これらの将来フレームを次々にディスプレイに表示することも可能となる。従って、通信遅延の影響が補償されたカメラ映像の表示がチラつくのを抑えることが可能となる。
【図面の簡単な説明】
【００１０】
実施形態に係る遠隔運転を説明する図である。
実施形態に特に関連する処理の流れを説明するフローチャートである。
位置及び姿勢の推定例を説明する図である。
図２のステップＳ１３の処理の第１の例を説明する図である。
図２のステップＳ１３の処理の第２の例を説明する図である。
図６は、実施形態による効果を説明する図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許