特許ウォッチ

公開番号2025068244
公報種別公開特許公報(A)
公開日2025-04-28
出願番号2023178010
出願日2023-10-16
発明の名称表示方法、表示システム、画像送信装置、表示制御装置、およびコンピュータプログラム
出願人住友電気工業株式会社
代理人個人,個人
主分類H04N 21/2343 20110101AFI20250421BHJP(電気通信技術)
要約【課題】移動体の遠隔監視および遠隔操作の少なくとも一方の作業を行う作業者に、移動体の遠隔監視または遠隔操作のために必要な情報を正確に提供する。
【解決手段】表示方法は、自律走行可能な移動体に対する無線通信による遠隔監視および遠隔操作の少なくとも一方の作業を行うための画像を、前記作業を行う作業者が閲覧可能な画面に表示する表示方法であって、前記移動体に搭載されたカメラにより撮影された前記移動体の進行方向を含む領域の前記画像に基づいて、当該領域内に存在する対象物の位置および種類を検出するステップと、前記移動体から前記対象物までの距離を検出するステップと、検出された前記対象物の位置および種類、ならびに前記対象物までの距離に基づいて、前記対象物の種類および前記対象物までの距離を含むオーバレイ領域を、前記対象物と対応付けられる態様で重畳させた前記画像を、前記画面に表示するステップとを含む。
【選択図】図9
特許請求の範囲【請求項１】
自律走行可能な移動体に対する無線通信による遠隔監視および遠隔操作の少なくとも一方の作業を行うための画像を、前記作業を行う作業者が閲覧可能な画面に表示する表示方法であって、
前記移動体に搭載されたカメラにより撮影された前記移動体の進行方向を含む領域の前記画像に基づいて、当該領域内に存在する対象物の位置および種類を検出するステップと、
前記移動体から前記対象物までの距離を検出するステップと、
検出された前記対象物の位置および種類、ならびに前記対象物までの距離に基づいて、前記対象物の種類および前記対象物までの距離を含むオーバレイ領域を、前記対象物と対応付けられる態様で重畳させた前記画像を、前記画面に表示するステップとを含む、表示方法。
続きを表示（約 2,300 文字）【請求項２】
前記画面に表示するステップでは、さらに、前記画像の無線伝送路の可用帯域幅に基づいて画質が制御された前記画像を、前記画面に表示する、請求項１に記載の表示方法。
【請求項３】
前記表示方法は、前記移動体が衝突した場合に前記対象物に与える影響の程度、および前記対象物の危険回避能力の少なくとも一方に基づいて、前記対象物の優先度を決定するステップをさらに含み、
前記画面に表示するステップでは、さらに、決定された前記優先度に基づいて、前記画像への前記オーバレイ領域の重畳を制御する、請求項１または請求項２に記載の表示方法。
【請求項４】
前記画面に表示するステップでは、さらに、前記対象物の種類および前記対象物までの距離の少なくとも一方に基づいて、前記オーバレイ領域の表示態様を制御する、請求項１または請求項２に記載の表示方法。
【請求項５】
前記対象物の位置および種類を検出するステップでは、さらに、前記対象物の領域を検出し、
前記画面に表示するステップでは、さらに、前記画面に前記対象物の領域を、当該対象物の領域以外の領域と区別可能に表示する、請求項１または請求項２に記載の表示方法。
【請求項６】
前記画面に表示するステップでは、前記対象物までの距離に基づいて、前記オーバレイ領域の表示を制御する、請求項１または請求項２に記載の表示方法。
【請求項７】
画像送信装置と、当該画像送信装置とネットワークを介して接続され、自律走行可能な移動体に対する遠隔監視および遠隔操作の少なくとも一方の作業を行う作業者が閲覧可能な画面に画像を表示する表示制御装置とを備え、
前記画像送信装置は、
前記移動体に搭載されたカメラにより撮影された前記移動体の進行方向を含む領域の前記画像に基づいて、当該領域内に存在する対象物の位置および種類を検出する物体検出部と、
前記移動体から前記対象物までの距離を検出する距離検出部と、
検出された前記対象物の位置および種類、ならびに前記対象物までの距離に基づいて、前記対象物の種類および前記対象物までの距離を含むオーバレイ領域を、前記対象物と対応付けられる態様で重畳させた前記画像を生成する画像生成部と、
生成された前記画像を前記表示制御装置に送信する送信部とを含み、
前記表示制御装置は、
前記画像送信装置から前記画像を受信する受信部と、
受信した前記画像を画面に表示する表示制御部とを含む、表示システム。
【請求項８】
画像送信装置と、当該画像送信装置とネットワークを介して接続され、自律走行可能な移動体に対する遠隔監視および遠隔操作の少なくとも一方の作業を行う作業者が閲覧可能な画面に画像を表示する表示制御装置とを備え、
前記画像送信装置は、
前記移動体に搭載されたカメラにより撮影された前記移動体の進行方向を含む領域の前記画像に基づいて、当該領域内に存在する対象物の位置および種類を検出する物体検出部と、
前記移動体から前記対象物までの距離を検出する距離検出部と、
前記画像およびメタデータを前記表示制御装置に送信する送信部とを含み、
前記メタデータは、前記対象物の位置、前記対象物の種類および前記対象物までの距離を含み、
前記表示制御装置は、
前記画像送信装置から、前記画像および前記メタデータを受信する受信部と、
受信した前記画像および前記メタデータに基づいて、前記対象物の種類および前記対象物までの距離を含むオーバレイ領域を、前記対象物と対応付けられる態様で重畳させた前記画像を、前記画面に表示する表示制御部とを含む、表示システム。
【請求項９】
自律走行可能な移動体に対する遠隔監視および遠隔操作の少なくとも一方の作業を行う作業者が閲覧可能な画面に表示するための画像を、前記画像の表示制御装置に送信する画像送信装置であって、
前記移動体に搭載されたカメラにより撮影された前記移動体の進行方向を含む領域の前記画像に基づいて、当該領域内に存在する対象物の位置および種類を検出する物体検出部と、
前記移動体から前記対象物までの距離を検出する距離検出部と、
検出された前記対象物の位置および種類、ならびに前記対象物までの距離に基づいて、前記対象物の種類および前記対象物までの距離を含むオーバレイ領域を、前記対象物と対応付けられる態様で重畳させた前記画像を生成する画像生成部と、
生成された前記画像を前記表示制御装置に送信する送信部とを備える、画像送信装置。
【請求項１０】
自律走行可能な移動体に対する遠隔監視および遠隔操作の少なくとも一方の作業を行う作業者が閲覧可能な画面に表示するための画像を、前記画像の表示制御装置に送信する画像送信装置であって、
前記移動体に搭載されたカメラにより撮影された前記移動体の進行方向を含む領域の前記画像に基づいて、当該領域内に存在する対象物の位置および種類を検出する物体検出部と、
前記移動体から前記対象物までの距離を検出する距離検出部と、
前記画像およびメタデータを前記表示制御装置に送信する送信部とを備え、
前記メタデータは、前記対象物の位置、前記対象物の種類および前記対象物までの距離を含む、画像送信装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、表示方法、表示システム、画像送信装置、表示制御装置、およびコンピュータプログラムに関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
非特許文献１には、自律走行するロボットに搭載されたカメラの映像から、ロボットの周囲の他の移動体または路上落下物を検出し、検出結果を当該ロボットに対する遠隔監視および遠隔操作の少なくとも一方の作業を行う作業者に通知するシステムが開示されている。
【０００３】
非特許文献２には、自動運転車に搭載されたカメラにより撮影された映像を管制センターのサーバに送信し、サーバが映像から物体検出を行うシステムが開示されている。
【先行技術文献】
【非特許文献】
【０００４】
“パナソニック、フルリモート型配送ロボットの道路使用許可を取得”，［ｏｎｌｉｎｅ］，２０２２年４月１８日，ＩｏＴＮＥＷＳ，株式会社アールジーンＩｏＴＮＥＷＳ事業部，［２０２３年８月２３日検索］，インターネット＜URL: https://iotnews.jp/smart-city/200568/＞
“ＮＥＣ、ＡＩで車などの「遠隔見守り」を高度化する「学習型メディア送信制御技術」を開発”，［ｏｎｌｉｎｅ］，２０２１年１月１２日，ＤＩＧＩＴＡＬＳＨＩＦＴＴＩＭＥＳ，株式会社デジタルホールディングス，［２０２３年８月２３日検索］，インターネット＜URL: https://digital-shift.jp/flash_news/FN210112_8＞
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１のシステムでは、検出結果を作業者に通知できるものの、作業者は、通知された検出結果が映像中のどの物体に対するものかを瞬時に判断することが困難である。このため、一人の作業者が複数の移動体を並行して監視することが困難である。
【０００６】
非特許文献２のシステムでは、自動運転車とサーバとの間の伝送路の通信帯域が低くなった場合には、映像の画質を落とす等の処理をした上で自動運転車からサーバに映像を送信しなければならない。このため、サーバは、低画質の映像から物体検出を行わなければならず、物体の検出漏れや誤検出が生じる恐れがある。
【０００７】
本開示は、このような事情に鑑みてなされたものであり、移動体の遠隔監視および遠隔操作の少なくとも一方の作業を行う作業者に、移動体の遠隔監視または遠隔操作のために必要な情報を正確に提供することのできる表示方法、表示システム、画像送信装置、表示制御装置、およびコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本開示の一態様に係る表示方法は、自律走行可能な移動体に対する無線通信による遠隔監視および遠隔操作の少なくとも一方の作業を行うための画像を、前記作業を行う作業者が閲覧可能な画面に表示する表示方法であって、前記移動体に搭載されたカメラにより撮影された前記移動体の進行方向を含む領域の前記画像に基づいて、当該領域内に存在する対象物の位置および種類を検出するステップと、前記移動体から前記対象物までの距離を検出するステップと、検出された前記対象物の位置および種類、ならびに前記対象物までの距離に基づいて、前記対象物の種類および前記対象物までの距離を含むオーバレイ領域を、前記対象物と対応付けられる態様で重畳させた前記画像を、前記画面に表示するステップとを含む。
【発明の効果】
【０００９】
本開示によると、移動体の遠隔監視および遠隔操作の少なくとも一方の作業を行う作業者に、移動体の遠隔監視または遠隔操作のために必要な情報を正確に提供することができる。
【図面の簡単な説明】
【００１０】
図１は、本開示の実施形態１に係る映像表示システムの全体構成を示す図である。
図２は、カメラが撮影した映像に含まれる画像の一例を示す図である。
図３は、本開示の実施形態１に係る映像送信装置の機能的な構成の一例を示すブロック図である。
図４は、物体検出部が検出した対象物の種類および位置の一例を示す図である。
図５は、優先度決定テーブルの一例を示す図である。
図６は、オーバレイ領域が重畳された画像の一例を示す図である。
図７は、オーバレイ領域が重畳された画像の一例を示す図である。
図８は、本開示の実施形態１に係る映像受信装置の機能的な構成の一例を示すブロック図である。
図９は、本開示の実施形態１に係る映像送信装置の動作の一例を示すフローチャートである。
図１０は、本開示の実施形態１に係る映像受信装置の動作の一例を示すフローチャートである。
図１１は、本開示の実施形態２に係る映像送信装置の機能的な構成の一例を示すブロック図である。
図１２は、本開示の実施形態２に係る映像受信装置の機能的な構成の一例を示すブロック図である。
図１３は、本開示の実施形態２に係る映像送信装置の動作の一例を示すフローチャートである。
図１４は、本開示の実施形態２に係る映像受信装置の動作の一例を示すフローチャートである。
図１５は、変形例１に係るオーバレイ領域が重畳された画像の一例を示す図である。
図１６は、変形例２に係るオーバレイ領域が重畳された画像の一例を示す図である。
図１７は、変形例３に係る外接矩形が重畳された画像の一例を示す図である。
図１８は、変形例４に係る外接矩形が重畳された画像の一例を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許