特許ウォッチ

公開番号2025136844
公報種別公開特許公報(A)
公開日2025-09-19
出願番号2024035734
出願日2024-03-08
発明の名称遠隔サポート装置、遠隔サポート方法及び遠隔サポートプログラム
出願人トヨタ自動車株式会社
代理人弁理士法人高田・高橋国際特許事務所
主分類H04N 7/18 20060101AFI20250911BHJP(電気通信技術)
要約【課題】動体からカメラ画像と物標認識結果を別々に受信して当該移動体の遠隔サポートを行う場合において、合成画像における動的物標の位置及び大きさが実際の位置及び大きさから大きく乖離するのを抑える。
【解決手段】画像IMG1において注目すべき物標が動的物標の場合、動的物標の認識に用いられた画像IMG1に含まれる当該動的物標の部分画像OBJ1の射影変換が行われる。部分画像OBJ1の射影変換によれば、この部分画像OBJ1が含まれる画像IMG1の取得タイミングT1よりも物標移動調整時間αだけ先のカメラ視点で得られる部分画像OBJ2が生成される。部分画像OBJ2と、部分画像OBJ1が含まれていた画像IMG1と、画像IMG1における動的物標の認識情報ORとに基づいて、合成画像SIMG1が生成され、これが表示装置から出力される。
【選択図】図5
特許請求の範囲【請求項１】
移動体に搭載されたカメラで得られた画像に前記画像において注目すべき物標に関する注釈情報が重畳された合成画像を表示装置から出力することによって前記移動体を遠隔サポートする装置であって、
前記移動体と通信ネットワークを介して接続された通信回路と、
前記通信回路に結合された処理回路と、を備え、
前記通信回路は、
前記画像を含む画像データを前記移動体から受信し、
前記画像データとは別に、前記画像における前記物標の認識情報を含む物標データであって、前記物標の認識に用いられた前記画像の取得タイミングを含む物標データを前記移動体から受信する、ように構成され、
前記処理回路は、
前記物標が動的物標の場合、前記動的物標の認識に用いられた前記画像の取得タイミングと、前記動的物標の認識情報を含む前記物標データの前記処理回路による受信タイミングとのタイミング差を示す物標遅延時間における前記動的物標の移動量を予測し、
前記動的物標の予測移動量の増加に対して単調非減少となる物標移動調整時間を設定し、
前記動的物標の前記移動体に対する相対運動に関する情報に基づいて、前記画像データに含まれる前記画像、かつ、前記動的物標の認識に用いられた前記画像に含まれる前記動的物標の部分画像を、当該画像の取得タイミングよりも前記物標移動調整時間だけ先のカメラ視点で得られる将来部分画像へと射影変換し、
前記将来部分画像と、前記将来部分画像の元部分画像が含まれていた元画像と、前記元画像における前記動的物標の認識情報とに基づいて、前記合成画像を生成する、ように構成されている
ことを特徴とする遠隔サポート装置。
続きを表示（約 2,000 文字）【請求項２】
請求項１に記載の遠隔サポート装置であって、
前記処理回路は、
前記予測移動量が閾値移動量よりも大きいときは前記物標遅延時間を前記物標移動調整時間として設定し、
前記予測移動量が前記閾値移動量以下のときは前記予測移動量の増大に応じて前記物標移動調整時間を所定時間から前記物標遅延時間まで徐々に増大させる、ように構成されている
ことを特徴とする遠隔サポート装置。
【請求項３】
請求項１に記載の遠隔サポート装置であって、
前記処理回路は、前記将来部分画像と、前記将来部分画像の元部分画像が含まれていた元画像と、前記元画像における前記動的物標の認識情報と、前記元部分画像とに基づいて、前記合成画像を生成するように構成されている
ことを特徴とする遠隔サポート装置。
【請求項４】
請求項３に記載の遠隔サポート装置であって、
前記処理回路は、前記合成画像における前記将来部分画像に関する注釈情報を示す色を、前記元部分画像に関する注釈情報を示す色と異なる色で出力するように構成されている
ことを特徴とする遠隔サポート装置。
【請求項５】
請求項３に記載の遠隔サポート装置であって、
前記処理回路は、前記合成画像における前記将来部分画像に関する注釈情報と、前記元部分画像に関する注釈情報とを紐付ける図形を前記合成画像に重畳するように構成されている
ことを特徴とする遠隔サポート装置。
【請求項６】
移動体に搭載されたカメラで得られた画像に前記画像において注目すべき物標に関する注釈情報が重畳された合成画像を表示装置から出力することによって前記移動体を遠隔サポートする方法であって、
前記画像を含む画像データを前記移動体から受信することと、
前記画像データとは別に、前記画像における前記物標の認識情報を含む物標データであって、前記物標の認識に用いられた前記画像の取得タイミングを含む物標データを前記移動体から受信することと、
前記物標が動的物標の場合、前記動的物標の認識に用いられた前記画像の取得タイミングと、前記動的物標の認識情報を含む前記物標データの受信タイミングとのタイミング差を示す物標遅延時間における前記動的物標の移動量を予測することと、
前記動的物標の予測移動量の増加に対して単調非減少となる物標移動調整時間を設定することと、
前記動的物標の前記移動体に対する相対運動に関する情報に基づいて、前記画像データに含まれる前記画像、かつ、前記動的物標の認識に用いられた前記画像に含まれる前記動的物標の部分画像を、当該画像の取得タイミングよりも前記物標移動調整時間だけ先のカメラ視点で得られる将来部分画像へと射影変換することと、
前記将来部分画像と、前記将来部分画像の元部分画像が含まれていた元画像と、前記元画像における前記動的物標の認識情報とに基づいて、前記合成画像を生成することと、を含む
ことを特徴とする遠隔サポート方法。
【請求項７】
移動体に搭載されたカメラで得られた画像に前記画像において注目すべき物標に関する注釈情報が重畳された合成画像を表示装置から出力するようにコンピュータを機能させることによって前記移動体を遠隔サポートするプログラムであって、
前記画像を含む画像データを前記移動体から受信することと、
前記画像データとは別に、前記画像における前記物標の認識情報を含む物標データであって、前記物標の認識に用いられた前記画像の取得タイミングを含む物標データを前記移動体から受信することと、
前記物標が動的物標の場合、前記動的物標の認識に用いられた前記画像の取得タイミングと、前記動的物標の認識情報を含む前記物標データの受信タイミングとのタイミング差を示す物標遅延時間における前記動的物標の移動量を予測することと、
前記動的物標の予測移動量の増加に対して単調非減少となる物標移動調整時間を設定することと、
前記動的物標の前記移動体に対する相対運動に関する情報に基づいて、前記画像データに含まれる前記画像、かつ、前記動的物標の認識に用いられた前記画像に含まれる前記動的物標の部分画像を、当該画像の取得タイミングよりも前記物標移動調整時間だけ先のカメラ視点で得られる将来部分画像へと射影変換することと、
前記将来部分画像と、前記将来部分画像の元部分画像が含まれていた元画像と、前記元画像における前記動的物標の認識情報とに基づいて、前記合成画像を生成することと、を前記コンピュータに実行させるように構成されている
ことを特徴とする遠隔サポートプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、移動体に搭載されたカメラで取得された画像を用いて当該移動体を遠隔サポートする技術に関する。
続きを表示（約 3,800 文字）【背景技術】
【０００２】
特開２０２２－１５９９１２号公報は、車両の遠隔監視を行うシステムを開示する。このシステムでは、車両から遠隔サーバに第１及び第２データが別々に送信される。第１データは、車両に搭載されたカメラで取得された画像（カメラ画像）と、カメラ画像の取得タイミングとを含む。第２データは、カメラ画像に基づく物標認識結果と、このカメラ画像の取得タイミングとを含む。遠隔サーバでは、第１及び第２データに含まれるカメラ画像の取得タイミングに基づいて、同じタイミングに取得されたカメラ画像と、そのカメラ画像に基づく物標認識結果とが時系列に抽出される。そして、抽出されたカメラ画像に物標認識結果が重畳された合成画像が、遠隔監視画面から出力される。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－１５９９１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記システムにおいて、物標認識結果の元となったカメラ画像の取得タイミングと、この物標認識結果が遠隔サーバで処理可能となったタイミングとの差は、物標の遅延時間と言える。ここで問題となるのは、物標が歩行者、自転車、他の車両といった動的物標の場合である。即ち、物標の遅延時間内における動的物標の移動量が大きい場合は、合成画像における動的物標の位置及び大きさが、動的物標の実際の位置及び大きさから大きく乖離してしまう。そうすると、遠隔監視画面から出力される情報の精度が低下してしまう。
【０００５】
本開示は上記の課題に鑑みてなされたものである。本開示の１つの目的は、移動体からカメラ画像と物標認識結果を別々に受信して当該移動体の遠隔サポートを行う場合において、合成画像における動的物標の位置及び大きさが実際の位置及び大きさから大きく乖離するのを抑えるための技術を提供することにある。
【課題を解決するための手段】
【０００６】
本開示の第１の観点は、移動体を遠隔サポートする装置であり、次の特徴を有する。
前記装置は、前記装置は、移動体に搭載されたカメラで得られた画像に前記画像において注目すべき物標に関する注釈情報が重畳された合成画像を表示装置から出力することによって前記移動体を遠隔サポートする。
前記装置は、通信回路と、処理回路とを備える。前記通信回路は、前記移動体と通信ネットワークを介して接続される。前記処理回路は、前記通信回路に結合される。
前記通信回路は、前記画像を含む画像データを前記移動体から受信し、前記画像データとは別に、前記画像における前記物標の認識情報を含む物標データであって、前記物標の認識に用いられた前記画像の取得タイミングを含む物標データを前記移動体から受信する、ように構成されている。
前記処理回路は、前記物標が動的物標の場合、前記動的物標の認識に用いられた前記画像の取得タイミングと、前記動的物標の認識情報を含む前記物標データの前記処理回路による受信タイミングとのタイミング差を示す物標遅延時間における前記動的物標の移動量を予測し、前記動的物標の予測移動量の増加に対して単調非減少となる物標移動調整時間を設定し、前記動的物標の前記移動体に対する相対運動に関する情報に基づいて、前記画像データに含まれる前記画像、かつ、前記動的物標の認識に用いられた前記画像に含まれる前記動的物標の部分画像を、当該画像の取得タイミングよりも前記物標移動調整時間だけ先のカメラ視点で得られる将来部分画像へと射影変換し、前記将来部分画像と、前記将来部分画像の元部分画像が含まれていた元画像と、前記元画像における前記動的物標の認識情報とに基づいて、前記合成画像を生成する、ように構成されている。
【０００７】
本開示の第２の観点は、移動体を遠隔サポートする方法であり、次の特徴を有する。
前記方法は、前記移動体に搭載されたカメラで得られた画像に前記画像において注目すべき物標に関する注釈情報が重畳された合成画像を表示装置から出力することによって前記移動体を遠隔サポートする。
前記方法は、前記画像を含む画像データを前記移動体から受信することと、前記画像データとは別に、前記画像における前記物標の認識情報を含む物標データであって、前記物標の認識に用いられた前記画像の取得タイミングを含む物標データを前記移動体から受信することと、前記物標が動的物標の場合、前記動的物標の認識に用いられた前記画像の取得タイミングと、前記動的物標の認識情報を含む前記物標データの受信タイミングとのタイミング差を示す物標遅延時間における前記動的物標の移動量を予測することと、前記動的物標の予測移動量の増加に対して単調非減少となる物標移動調整時間を設定することと、前記動的物標の前記移動体に対する相対運動に関する情報に基づいて、前記画像データに含まれる前記画像、かつ、前記動的物標の認識に用いられた前記画像に含まれる前記動的物標の部分画像を、当該画像の取得タイミングよりも前記物標移動調整時間だけ先のカメラ視点で得られる将来部分画像へと射影変換することと、前記将来部分画像と、前記将来部分画像の元部分画像が含まれていた元画像と、前記元画像における前記動的物標の認識情報とに基づいて、前記合成画像を生成することと、を含む。
【０００８】
本開示の第３の観点は、移動体を遠隔サポートするプログラムであり、次の特徴を有する。
前記プログラムは、前記移動体に搭載されたカメラで得られた画像に前記画像において注目すべき物標に関する注釈情報が重畳された合成画像を表示装置から出力するようにコンピュータを機能させることによって前記移動体を遠隔サポートする。
前記プログラムは、前記画像を含む画像データを前記移動体から受信することと、前記画像データとは別に、前記画像における前記物標の認識情報を含む物標データであって、前記物標の認識に用いられた前記画像の取得タイミングを含む物標データを前記移動体から受信することと、前記物標が動的物標の場合、前記動的物標の認識に用いられた前記画像の取得タイミングと、前記動的物標の認識情報を含む前記物標データの受信タイミングとのタイミング差を示す物標遅延時間における前記動的物標の移動量を予測することと、前記動的物標の予測移動量の増加に対して単調非減少となる物標移動調整時間を設定することと、前記動的物標の前記移動体に対する相対運動に関する情報に基づいて、前記画像データに含まれる前記画像、かつ、前記動的物標の認識に用いられた前記画像に含まれる前記動的物標の部分画像を、当該画像の取得タイミングよりも前記物標移動調整時間だけ先のカメラ視点で得られる将来部分画像へと射影変換することと、前記将来部分画像と、前記将来部分画像の元部分画像が含まれていた元画像と、前記元画像における前記動的物標の認識情報とに基づいて、前記合成画像を生成することと、を前記コンピュータに実行させるように構成されている。
【発明の効果】
【０００９】
本開示によれば、物標が動的物標の場合、画像データに含まれる画像、かつ、動的物標の認識に用いられた画像に含まれる当該動的物標の部分画像の射影変換が行われる。部分画像の射影変換によれば、この部分画像が含まれる画像の取得タイミングよりも物標移動調整時間だけ先のカメラ視点で得られる将来部分画像が得られる。本開示によれば、また、この将来部分画像と、将来部分画像の元部分画像が含まれていた元画像と、この元画像における動的物標の認識情報とに基づいて合成画像が生成される。従って、物標遅延時間における動的物標の移動量が大きい場合であっても、合成画像における動的物標の位置及び大きさが実際の位置及び大きさから大きく乖離するのを抑えることが可能となる。
【図面の簡単な説明】
【００１０】
遠隔サポートシステムの構成例を示す概略図である。
車両から遠隔オペレータ端末へのデータ送信例を説明する図である。
表示装置から出力される合成画像の例を示す図である。
物標の遅延時間を説明する図である。
動的物標の画像の移動調整処理の概要を説明するための概念図である。
透視投影変換に基づく射影変換を説明するための概念図である。
移動調整時間の第２の例を説明する図である。
移動調整時間の第３の例を説明する図である。
移動調整時間の第４の例を説明する図である。
動的物標の画像に対する射影変換が行われた場合に表示装置から出力される合成画像の例を示す図である。
合成画像の生成処理の好適な例を説明する図である。
合成画像の生成処理の好適な例を説明する図である。
車両の構成例を示すブロック図である。
遠隔オペレータ端末の構成例を示すブロック図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許