特許ウォッチ

公開番号2025076897
公報種別公開特許公報(A)
公開日2025-05-16
出願番号2023188844
出願日2023-11-02
発明の名称遠隔支援システム、遠隔支援方法、遠隔支援プログラム
出願人株式会社デンソー
代理人個人,個人,個人
主分類G08G 1/09 20060101AFI20250509BHJP(信号)
要約【課題】遠隔支援のエラー発生を抑制可能な遠隔支援システム等を提供する。
【解決手段】遠隔支援システムのプロセッサは、外界の撮影に応じて送信周期毎に自律走行装置から送信される画像データセットと、外界の中から認識されたターゲットに関する位置情報を少なくとも含んで画像データセットよりも小さいデータ容量にて送信周期毎に自律走行装置から送信される認識データセットとを、無線通信回線を通じて受信することとを実行するように構成される。プロセッサは、今回の受信周期に対して画像データセットの受信遅延レベルが許容範囲外となる場合に、今回の受信周期に受信される画像データセットを、今回の受信周期に受信された認識データセットに相関して予測される位置にターゲットを表すターゲット画像が映るような加工により前回以前の受信周期に受信された画像データセットから生成される加工データセットに、置換して遠隔オペレータに表示する。
【選択図】図5
特許請求の範囲【請求項１】
プロセッサ（６）を有し、外界を撮影する外界カメラ（１３）を搭載した自動運転可能な移動体（１０）の自動運転を、遠隔支援する遠隔支援システムであって、
前記プロセッサは、
前記外界の撮影に応じて送信周期毎に前記移動体から送信される画像データセット（Ｄｉ）と、前記外界の中から認識されたターゲット（Ｔ）に関する位置情報を少なくとも含んで前記画像データセットよりも小さいデータ容量にて前記送信周期毎に前記移動体から送信される認識データセット（Ｄｒ）とを、無線通信回線を通じて受信することと、
前記送信周期に応じて想定される今回の受信周期に対して前記画像データセットの受信遅延レベルが許容範囲外となる場合に、今回の前記受信周期に受信される前記画像データセットを、今回の前記受信周期に受信された前記認識データセットに相関して予測される位置に前記ターゲットを表すターゲット画像（Ｉｅ）が映るような加工により前回以前の前記受信周期に受信された前記画像データセットから生成される加工データセット（Ｄｐ）に、置換して遠隔オペレータ（８）に表示することと、
を実行するように構成される遠隔支援システム。
続きを表示（約 2,300 文字）【請求項２】
前記画像データセットを前記加工データセットに置換して表示することは、
今回の前記受信周期の始点から前記画像データセットの受信完了までの経過時間に相関して定義される前記受信遅延レベルが、前記許容範囲外の長時間側となる場合に、今回の前記受信周期に受信される前記画像データセットを前記加工データセットに置換して前記遠隔オペレータに表示することを含む請求項１に記載の遠隔支援システム。
【請求項３】
前記画像データセットを前記加工データセットに置換して表示することは、
前記受信遅延レベルが前記許容範囲内となる場合に、前記加工データセットへの置換を中止し、今回の前記受信周期に受信された前記画像データセットを前記遠隔オペレータに表示することを含む請求項２に記載の遠隔支援システム。
【請求項４】
前記画像データセットを前記加工データセットに置換して表示することは、
前記受信遅延レベルが、前記許容範囲の終点よりも短時間側に前記終点が定義される設定範囲内となる場合に、前記加工データセットへの置換を中止し、今回の前記受信周期に受信された前記画像データセットを、前記設定範囲及び前記許容範囲の各前記終点間における表示タイミングにて、前記遠隔オペレータに表示することを含む請求項３に記載の遠隔支援システム。
【請求項５】
前記画像データセットを前記加工データセットに置換して表示することは、
今回の前記受信周期の始点から前記画像データセットの受信完了までの経過時間に相関して定義される前記受信遅延レベルが、今回の前記受信周期に受信された前記認識データセットに基づく前記加工データセットの生成完了までの前記受信周期の始点からの前記経過時間に相関して定義される前記許容範囲外の長時間側となる場合に、今回の前記受信周期に受信される前記画像データセットを前記加工データセットに置換して前記遠隔オペレータに表示することを含む請求項１に記載の遠隔支援システム。
【請求項６】
前記認識データセットは、認識された前記ターゲットに関する姿勢情報を含み、
前記画像データセットを前記加工データセットに置換して表示することは、
今回の前記受信周期に受信された前記認識データセットに相関して予測される姿勢の前記ターゲットを表す前記ターゲット画像が映るように、前記加工データセットを生成して表示することを含む請求項１に記載の遠隔支援システム。
【請求項７】
今回の前記受信周期にて受信される前記認識データセットは、今回の前記送信周期にて送信される前記画像データセットにおいて前記ターゲットを映した部分が抽出された前記ターゲット画像を、含む請求項１に記載の遠隔支援システム。
【請求項８】
前記画像データセットと、前記認識データセットと、を受信することは、
前記画像データセットを、無線通信帯域のうち、第一帯域を通じて受信し、前記認識データセットを、前記無線通信帯域のうち、スループット及び帯域幅の少なくとも一方が前記第一帯域よりも小さな第二帯域を通じて受信することを含む請求項１に記載の遠隔支援システム。
【請求項９】
外界を撮影する外界カメラ（１３）を搭載した移動体（１０）の走行を、遠隔支援するために、プロセッサ（６）により実行される遠隔支援方法であって、
前記外界の撮影に応じて送信周期毎に前記移動体から送信される画像データセット（Ｄｉ）と、前記外界の中から認識されたターゲット（Ｔ）に関する位置情報を少なくとも含んで前記画像データセットよりも小さいデータ容量にて前記送信周期毎に前記移動体から送信される認識データセット（Ｄｒ）とを、無線通信回線を通じて受信することと、
前記送信周期に応じて想定される今回の受信周期に対して前記画像データセットの受信遅延レベルが許容範囲外となる場合に、今回の前記受信周期に受信される前記画像データセットを、今回の前記受信周期に受信された前記認識データセットに相関して予測される位置に前記ターゲットを表すターゲット画像（Ｉｅ）が映るような加工により前回以前の前記受信周期に受信された前記画像データセットから生成される加工データセット（Ｄｐ）に、置換して遠隔オペレータ（８）に表示することと、
を含む遠隔支援方法。
【請求項１０】
外界を撮影する外界カメラ（１３）を搭載した移動体（１０）の自動運転を、遠隔支援するために記憶媒体（７）に記憶され、プロセッサ（６）に実行させる命令を含む遠隔支援プログラムであって、
前記命令は、
前記外界の撮影に応じて送信周期毎に前記移動体から送信される画像データセット（Ｄｉ）と、前記外界の中から認識されたターゲット（Ｔ）に関する位置情報を少なくとも含んで前記画像データセットよりも小さいデータ容量にて前記送信周期毎に前記移動体から送信される認識データセット（Ｄｒ）とを、無線通信回線を通じて受信させることと、
前記送信周期に応じて想定される今回の受信周期に対して前記画像データセットの受信遅延レベルが許容範囲外となる場合に、今回の前記受信周期に受信される前記画像データセットを、今回の前記受信周期に受信された前記認識データセットに相関して予測される位置に前記ターゲットを表すターゲット画像（Ｉｅ）が映るような加工により前回以前の前記受信周期に受信された前記画像データセットから生成される加工データセット（Ｄｐ）に、置換して遠隔オペレータ（８）に表示させることと、
を含む遠隔支援プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、自律走行装置の走行を、遠隔支援する遠隔支援技術に、関する。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
特許文献１には、自律走行車両と、ネットワークを介して当該自律走行車両と通信を行う遠隔監視センタと、が開示されている。自律走行車両は、カメラで撮影した車両の周辺のカメラ映像を遠隔監視センタに送信する。遠隔監視センタは、自律走行車両が自動停止した場合、受信したカメラ映像に基づいて自律走行車両の走行を再開させてよいかどうか判断する。遠隔監視センタは、自律走行車両の走行を再開させてよいと判断した場合には、自律走行車両に発進信号を送信する。
【先行技術文献】
【特許文献】
【０００３】
特開２０１９－８７０１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１のように、自律走行装置を遠隔支援する場合、自律走行装置から送信された外界に関する画像データセットを受信する必要がある。しかし、画像データセットはデータ容量が比較的大きいため、通信遅延に起因する画像データセットの受信遅延が生じ得る。画像データセットに基づいて遠隔支援を行う場合、生じた受信遅延により遠隔オペレータが外界の状況を正確に把握できず、遠隔支援のエラーが生じる虞がある。
【０００５】
本開示の課題は、遠隔支援のエラー発生を抑制可能な遠隔支援システムを、提供することにある。本開示の別の課題は、遠隔支援のエラー発生を抑制可能な遠隔支援方法を、提供することにある。本開示の又別の課題は、遠隔支援のエラー発生を抑制可能な遠隔支援プログラムを、提供することにある。
【課題を解決するための手段】
【０００６】
以下、課題を解決するための本開示の技術的手段について、説明する。尚、特許請求の範囲及び本欄に記載された括弧内の符号は、後に詳述する実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。
【０００７】
本開示の第一態様は、プロセッサ（６）を有し、外界を撮影する外界カメラ（１３）を搭載した自動運転可能な移動体（１０）の自動運転を、遠隔支援する遠隔支援システムであって、
プロセッサは、
外界の撮影に応じて送信周期毎に移動体から送信される画像データセット（Ｄｉ）と、外界の中から認識されたターゲット（Ｔ）に関する位置情報を少なくとも含んで画像データセットよりも小さいデータ容量にて送信周期毎に移動体から送信される認識データセット（Ｄｒ）とを、無線通信回線を通じて受信することと、
送信周期に応じて想定される今回の受信周期に対して画像データセットの受信遅延レベルが許容範囲外となる場合に、今回の受信周期に受信される画像データセットを、今回の受信周期に受信された認識データセットに相関して予測される位置にターゲットを表すターゲット画像（Ｉｅ）が映るような加工により前回以前の受信周期に受信された画像データセットから生成される加工データセット（Ｄｐ）に、置換して遠隔オペレータ（８）に表示することと、
を実行するように構成される。
【０００８】
本開示の第二態様は、外界を撮影する外界カメラ（１３）を搭載した移動体（１０）の走行を、遠隔支援するために、プロセッサ（６）により実行される遠隔支援方法であって、
外界の撮影に応じて送信周期毎に移動体から送信される画像データセット（Ｄｉ）と、外界の中から認識されたターゲット（Ｔ）に関する位置情報を少なくとも含んで画像データセットよりも小さいデータ容量にて送信周期毎に移動体から送信される認識データセット（Ｄｒ）とを、無線通信回線を通じて受信することと、
送信周期に応じて想定される今回の受信周期に対して画像データセットの受信遅延レベルが許容範囲外となる場合に、今回の受信周期に受信される画像データセットを、今回の受信周期に受信された認識データセットに相関して予測される位置にターゲットを表すターゲット画像（Ｉｅ）が映るような加工により前回以前の受信周期に受信された画像データセットから生成される加工データセット（Ｄｐ）に、置換して遠隔オペレータ（８）に表示することと、
を含む。
【０００９】
本開示の第三態様は、外界を撮影する外界カメラ（１３）を搭載した移動体（１０）の自動運転を、遠隔支援するために記憶媒体（７）に記憶され、プロセッサ（６）に実行させる命令を含む遠隔支援プログラムであって、
命令は、
外界の撮影に応じて送信周期毎に移動体から送信される画像データセット（Ｄｉ）と、外界の中から認識されたターゲット（Ｔ）に関する位置情報を少なくとも含んで画像データセットよりも小さいデータ容量にて送信周期毎に移動体から送信される認識データセット（Ｄｒ）とを、無線通信回線を通じて受信させることと、
送信周期に応じて想定される今回の受信周期に対して画像データセットの受信遅延レベルが許容範囲外となる場合に、今回の受信周期に受信される画像データセットを、今回の受信周期に受信された認識データセットに相関して予測される位置にターゲットを表すターゲット画像（Ｉｅ）が映るような加工により前回以前の受信周期に受信された画像データセットから生成される加工データセット（Ｄｐ）に、置換して遠隔オペレータ（８）に表示させることと、
を含む。
【００１０】
これら第一～第三態様によると、受信遅延レベルが許容範囲外となる場合に、今回の画像データセットの代わりに、前回以前の画像データセットから生成された加工データセットに応じて、遠隔オペレータが遠隔支援を実施し得る。ここで加工データセットは、今回の受信周期に受信された認識データセットに相関して予測される位置にターゲットを表すターゲット画像が映るような加工により前回以前の受信周期に受信された画像データセットから生成されたデータセットである。認識データセットはデータ容量が比較的小さく受信遅延が画像データセットに対して抑制され得るため、遠隔オペレータは、比較的小さい受信遅延の影響下で生成された加工データセットにより、外界の状況をより正確に把握し得る。したがって、受信遅延に起因する遠隔支援のエラーが抑制され得る。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許