特許ウォッチ

公開番号2025136856
公報種別公開特許公報(A)
公開日2025-09-19
出願番号2024035759
出願日2024-03-08
発明の名称遠隔サポート装置、遠隔サポート方法及び遠隔サポートプログラム
出願人トヨタ自動車株式会社
代理人弁理士法人高田・高橋国際特許事務所
主分類H04N 7/18 20060101AFI20250911BHJP(電気通信技術)
要約【課題】移動体からカメラ画像と物標認識結果を別々に受信して当該移動体の遠隔サポートを行う場合において、カメラ画像に物標認識結果が重畳された合成画像の遠隔サポート画面からの出力が遅延するのを抑える。
【解決手段】画像IMG1がカメラCAMで取得されたタイミングT1と、遠隔オペレータ端末200が画像IMG1をデコードしたタイミングT3と、のタイミング差D1を示す画像遅延時間以下の画像遅延補償時間αが設定される。移動体の運動に関する情報に基づいて、画像IMG1が、タイミングT1よりも画像遅延補償時間αだけ先のタイミングT2のカメラ視点で得られる将来の画像IMG2へと射影変換される。将来の画像IMG2と、画像IMG1における物標の認識情報ORとに基づいて合成画像SIMG1が生成され、これが表示装置から出力される。
【選択図】図4
特許請求の範囲【請求項１】
移動体に搭載されたカメラで得られた画像に前記画像において注目すべき物標に関する注釈情報が重畳された合成画像を表示装置から出力することによって前記移動体を遠隔サポートする装置であって、
前記移動体と通信ネットワークを介して接続された通信回路と、
前記通信回路に結合された処理回路と、を備え、
前記通信回路は、
前記画像と、前記カメラによる前記画像の取得タイミングの情報とがエンコードされた画像データを前記移動体から受信し、
前記画像データとは別に、前記画像における前記物標の認識情報を含む物標データを前記移動体から受信する、ように構成され、
前記処理回路は、
前記画像データに含まれる前記画像の取得タイミングと、前記画像データの前記処理回路によるデコードタイミングとのタイミング差を示す画像遅延時間以下の画像遅延補償時間を設定し、
前記移動体の運動に関する情報に基づいて、前記画像データに含まれる前記画像を、当該画像の取得タイミングよりも前記画像遅延補償時間だけ先のカメラ視点で得られる将来画像へと射影変換し、
前記将来画像と、前記将来画像の元画像における前記物標の認識情報とに基づいて、前記合成画像を生成する、ように構成されている
ことを特徴とする遠隔サポート装置。
続きを表示（約 2,000 文字）【請求項２】
請求項１に記載の遠隔サポート装置であって、
前記物標の認識情報には、前記物標の認識に用いられた前記画像の取得タイミングの情報が含まれ、
前記処理回路は、前記物標の認識に用いられた前記画像の取得タイミングと、前記物標データの前記処理回路による受信タイミングとのタイミング差を示す物標遅延時間以上の時間を前記画像遅延補償時間として設定するように構成されている
ことを特徴とする遠隔サポート装置。
【請求項３】
請求項１に記載の遠隔サポート装置であって、
前記物標の認識情報には、前記物標の認識に用いられた前記画像の取得タイミングの情報が含まれ、
前記処理回路は、前記物標データの前記処理回路による受信タイミングと、前記物標の認識に用いられた前記画像の取得タイミングとのタイミング差を示す物標遅延時間と、前記画像遅延時間との差以上の時間を前記画像遅延補償時間として設定するように構成されている
ことを特徴とする遠隔サポート装置。
【請求項４】
請求項１に記載の遠隔サポート装置であって、
前記物標の認識情報には、前記物標の認識に用いられた前記画像の取得タイミングの情報が含まれ、
前記処理回路は、更に、
前記物標の認識に用いられた前記画像の取得タイミングと、前記物標データの前記処理回路による受信タイミングとのタイミング差を示す物標遅延時間以下の物標移動調整時間を設定し、
前記物標が動的物標の場合、前記動的物標の前記移動体に対する相対運動に関する情報に基づいて、前記画像データに含まれる前記画像、かつ、前記動的物標の認識に用いられた前記画像に含まれる前記動的物標の部分画像を、当該画像の取得タイミングよりも前記物標移動調整時間だけ先のカメラ視点で得られる将来部分画像へと射影変換し、
前記将来部分画像と、前記将来画像と、前記将来画像の元画像における前記動的物標の認識情報とに基づいて前記合成画像を生成する、ように構成されている
ことを特徴とする遠隔サポート装置。
【請求項５】
請求項４に記載の遠隔サポート装置であって、
前記処理回路は、前記物標遅延時間に等しい時間を前記画像遅延補償時間として設定するように構成されている
ことを特徴とする遠隔サポート装置。
【請求項６】
移動体に搭載されたカメラで得られた画像に前記画像において注目すべき物標に関する注釈情報が重畳された合成画像を表示装置から出力することによって前記移動体を遠隔サポートする方法であって、
前記画像と、前記カメラによる前記画像の取得タイミングの情報とがエンコードされた画像データを前記移動体から受信することと、
前記画像データとは別に、前記画像における前記物標の認識情報を含む物標データを前記移動体から受信することと、
前記画像データのデコードタイミングと、前記画像データに含まれる前記画像の取得タイミングとのタイミング差を示す画像遅延時間以下の画像遅延補償時間を設定することと、
前記移動体の運動に関する情報に基づいて、前記画像データに含まれる前記画像を、当該画像の取得タイミングよりも前記画像遅延補償時間だけ先のカメラ視点で得られる将来画像へと射影変換することと、
前記将来画像と、前記将来画像の元画像における前記物標の認識情報とに基づいて、前記合成画像を生成することと、を含む
ことを特徴とする遠隔サポート方法。
【請求項７】
移動体に搭載されたカメラで得られた画像に前記画像において注目すべき物標に関する注釈情報が重畳された合成画像を表示装置から出力するようにコンピュータを機能させることによって前記移動体を遠隔サポートするプログラムであって、
前記画像と、前記カメラによる前記画像の取得タイミングの情報とがエンコードされた画像データを前記移動体から受信することと、
前記画像データとは別に、前記画像における前記物標の認識情報を含む物標データを前記移動体から受信することと、
前記画像データのデコードタイミングと、前記画像データに含まれる前記画像の取得タイミングとのタイミング差を示す画像遅延時間以下の画像遅延補償時間を設定することと、
前記移動体の運動に関する情報に基づいて、前記画像データに含まれる前記画像を、当該画像の取得タイミングよりも前記画像遅延補償時間だけ先のカメラ視点で得られる将来画像へと射影変換することと、
前記将来画像と、前記将来画像の元画像における前記物標の認識情報とに基づいて、前記合成画像を生成することと、を前記コンピュータに実行させるように構成されている
ことを特徴とする遠隔サポートプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、移動体に搭載されたカメラで取得された画像を用いて当該移動体を遠隔サポートする技術に関する。
続きを表示（約 3,000 文字）【背景技術】
【０００２】
特開２０２２－１５９９１２号公報は、車両の遠隔監視を行うシステムを開示する。このシステムでは、車両から遠隔サーバに第１及び第２データが別々に送信される。第１データは、車両に搭載されたカメラで取得された画像（カメラ画像）と、カメラ画像の取得タイミングとを含む。第２データは、カメラ画像に基づく物標認識結果と、このカメラ画像の取得タイミングとを含む。遠隔サーバでは、第１及び第２データに含まれるカメラ画像の取得タイミングに基づいて、同じタイミングに取得されたカメラ画像と、そのカメラ画像に基づく物標認識結果とが時系列に抽出される。そして、抽出されたカメラ画像に物標認識結果が重畳された合成画像が、遠隔監視画面から出力される。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－１５９９１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記システムにおいて、カメラ画像の取得タイミングと、このカメラ画像が遠隔サーバで処理可能となったタイミングとの差は、カメラ画像の遅延時間と言える。カメラ画像の遅延時間は、車両と遠隔サーバの間の通信に要した時間や、車両での処理に要した時間を含んでいる。カメラ画像の遅延時間に相当する遅延時間は、物標認識結果にも存在する。物標認識結果の遅延時間は、物標認識結果の元となったカメラ画像の取得タイミングと、この物標認識結果が遠隔サーバで処理可能となったタイミングとの差と言える。
【０００５】
ここで問題となるのは、カメラ画像が遠隔サーバで処理可能となったタイミングと、このカメラ画像に基づく物標認識結果が遠隔サーバで処理可能となったタイミングとが揃わないことである。これらのタイミングが揃わないということは、一方の情報が処理可能となった後、他方の情報が処理可能となるまで待たなければならないことを意味する。このことは、合成画像の遠隔監視画面からの出力の遅れに繋がる。
【０００６】
本開示は上記の課題に鑑みてなされたものである。本開示の１つの目的は、移動体からカメラ画像と物標認識結果を別々に受信して当該移動体の遠隔サポートを行う場合において、カメラ画像に物標認識結果が重畳された合成画像の遠隔サポート画面からの出力が遅延するのを抑えるための技術を提供することにある。
【課題を解決するための手段】
【０００７】
本開示の第１の観点は、移動体を遠隔サポートする装置であり、次の特徴を有する。
前記装置は、移動体に搭載されたカメラで得られた画像に前記画像において注目すべき物標に関する注釈情報が重畳された合成画像を表示装置から出力することによって前記移動体を遠隔サポートする。
前記装置は、通信回路と、処理回路とを備える。前記通信回路は、前記移動体と通信ネットワークを介して接続される。前記処理回路は、前記通信回路に結合される。
前記通信回路は、前記画像と、前記カメラによる前記画像の取得タイミングの情報とがエンコードされた画像データを前記移動体から受信し、前記画像データとは別に、前記画像における前記物標の認識情報を含む物標データを前記移動体から受信する、ように構成されている。
前記処理回路は、前記画像データに含まれる前記画像の取得タイミングと、前記画像データの前記処理回路によるデコードタイミングとのタイミング差を示す画像遅延時間以下の画像遅延補償時間を設定し、前記移動体の運動に関する情報に基づいて、前記画像データに含まれる前記画像を、当該画像の取得タイミングよりも前記画像遅延補償時間だけ先のカメラ視点で得られる将来画像へと射影変換し、前記将来画像と、前記将来画像の元画像における前記物標の認識情報とに基づいて、前記合成画像を生成する、ように構成されている。
【０００８】
本開示の第２の観点は、移動体を遠隔サポートする方法であり、次の特徴を有する。
前記方法は、前記移動体に搭載されたカメラで得られた画像に前記画像において注目すべき物標に関する注釈情報が重畳された合成画像を表示装置から出力することによって前記移動体を遠隔サポートする。
前記方法は、前記画像と、前記カメラによる前記画像の取得タイミングの情報とがエンコードされた画像データを前記移動体から受信することと、前記画像データとは別に、前記画像における前記物標の認識情報を含む物標データを前記移動体から受信することと、前記画像データのデコードタイミングと、前記画像データに含まれる前記画像の取得タイミングとのタイミング差を示す画像遅延時間以下の画像遅延補償時間を設定することと、前記移動体の運動に関する情報に基づいて、前記画像データに含まれる前記画像を、当該画像の取得タイミングよりも前記画像遅延補償時間だけ先のカメラ視点で得られる将来画像へと射影変換することと、前記将来画像と、前記将来画像の元画像における前記物標の認識情報とに基づいて、前記合成画像を生成することと、を含む。
【０００９】
本開示の第３の観点は、移動体を遠隔サポートするプログラムであり、次の特徴を有する。
前記プログラムは、前記移動体に搭載されたカメラで得られた画像に前記画像において注目すべき物標に関する注釈情報が重畳された合成画像を表示装置から出力するようにコンピュータを機能させることによって前記移動体を遠隔サポートする。
前記プログラムは、前記画像と、前記カメラによる前記画像の取得タイミングの情報とがエンコードされた画像データを前記移動体から受信することと、前記画像データとは別に、前記画像における前記物標の認識情報を含む物標データを前記移動体から受信することと、前記画像データのデコードタイミングと、前記画像データに含まれる前記画像の取得タイミングとのタイミング差を示す画像遅延時間以下の画像遅延補償時間を設定することと、前記移動体の運動に関する情報に基づいて、前記画像データに含まれる前記画像を、当該画像の取得タイミングよりも前記画像遅延補償時間だけ先のカメラ視点で得られる将来画像へと射影変換することと、前記将来画像と、前記将来画像の元画像における前記物標の認識情報とに基づいて、前記合成画像を生成することと、を前記コンピュータに実行させるように構成されている。
【発明の効果】
【００１０】
本開示によれば、処理回路において画像の射影変換が行われる。画像の射影変換によれば、この画像の取得タイミングよりも画像遅延補償時間だけ先のカメラ視点で得られる将来画像が得られる。そのため、例えば、タイミングＴＡにおいてカメラで取得された画像が処理回路において処理可能となる前に、このタイミングＴＡよりも前のタイミングＴＢにおいてカメラで取得された画像に基づいて将来画像を得て、この将来画像に基づいて合成画像を生成することが可能となる。故に、合成画像の表示装置からの出力が遅延するのを抑えることが可能となる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許