特許ウォッチ

公開番号2025152859
公報種別公開特許公報(A)
公開日2025-10-10
出願番号2024055019
出願日2024-03-28
発明の名称遠隔制御システム
出願人日立建機株式会社
代理人弁理士法人サンネクスト国際特許事務所
主分類H04N 7/18 20060101AFI20251002BHJP(電気通信技術)
要約【課題】
遠隔操作される作業機械の前方視界の映像に遅延が生じている状況においても、操作者が作業機械の旋回操作の量を直感的に認識できるようにすること。
【解決手段】
遠隔制御システムは、第1の計時装置によって取得された時刻を送信時刻として付加された信号から取得した送信時刻と受信時刻との差に応じて旋回体の旋回角度の遅延量を算出する遅延量算出部と、遅延量算出部により算出した遅延量に基づき、通信装置により受信した信号のうち広角に撮影された映像の一部を利用して当該映像を補正して、補正後の映像を表示部に表示させる表示制御部と、を有する。
【選択図】図3
特許請求の範囲【請求項１】
撮影装置が設けられた旋回体を旋回可能に設けた作業機械と、
前記作業機械を遠隔操作するための遠隔操作信号を出力する遠隔操作装置と、を備えた遠隔制御システムにおいて、
前記作業機械は、
第１の計時装置と、
前記撮影装置によって撮影された映像信号に、前記第１の計時装置によって取得された時刻を送信時刻として付加された信号として前記遠隔操作装置に送信する送信装置と、を有し、
前記遠隔操作装置は、
前記作業機械を遠隔操作する操作装置と、
前記操作装置の操作に応じて前記遠隔操作信号を前記作業機械に対して送信する一方、前記作業機械から前記信号を受信する通信装置と、
第２の計時装置と、
前記通信装置により受信した前記信号に基づいて映像を表示する表示装置と、
前記撮影装置により撮影された映像を前記表示装置に表示させる制御装置と、を有し、
前記制御装置は、
前記第２の計時装置によって取得された時刻に基づいて前記送信時刻が付与された信号の受信時刻を特定し、前記送信時刻が付与された信号から取得した前記送信時刻と前記受信時刻との差に応じて前記旋回体の旋回角度の遅延量を算出する遅延量算出部と、
前記遅延量算出部により算出した前記遅延量に基づき、前記通信装置により受信した前記信号のうち広角に撮影された映像の一部を利用して前記映像を補正して、補正後の前記映像を前記表示装置に表示させる表示制御部と、
を有することを特徴とする遠隔制御システム。
続きを表示（約 730 文字）【請求項２】
前記表示制御部は、
前記信号に基づく前記映像を、前記遅延量分に相当する映像の領域であって、前記操作装置により操作された前記旋回体の旋回方向における領域を利用し前記遅延量分を補うように補正する
ことを特徴とする請求項１に記載の遠隔制御システム。
【請求項３】
前記作業機械は、
走行可能な走行体を備え、
前記走行体上には、前記走行体に対して旋回動作が可能な前記旋回体を備えている
ことを特徴とする請求項１に記載の遠隔制御システム。
【請求項４】
前記表示制御部は、
前記操作装置により操作された前記旋回体の旋回方向と、前記映像の映像遅延時間をもとに、前記補正後の映像における表示される旋回体の方向を決定する
ことを特徴とする請求項１に記載の遠隔制御システム。
【請求項５】
複数の前記撮影装置を備え、
前記作業機械は、
複数の前記撮影装置によって撮影された複数の前記映像を合成して１つの映像を生成する映像生成部を有する
ことを特徴とする請求項１に記載の遠隔制御システム。
【請求項６】
前記表示制御部は、
前記旋回体の推定旋回角度と前記映像中の旋回角度との差を対象領域とする
ことを特徴とする請求項２に記載の遠隔制御システム。
【請求項７】
前記表示制御部は、
前記映像について映像品質の低下が発生した場合または前記映像の映像信号が一時的に途絶した場合、その直前の前記映像を前記表示装置に表示させ続ける
ことを特徴とする請求項１に記載の遠隔制御システム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、遠隔制御システムに関し、例えば、無人の作業機械を遠隔操作する技術に関する遠隔制御システムに適用して好適なものである。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
地震や洪水、土砂崩れ等による災害復旧工事において、人が搭乗した作業機械による作業は二次的な人的被害のおそれがあるため、コックピットから遠隔操作される無人の作業機械によって作業が行われる場合がある。また、車体の振動にさらされることによる疲れを回避したり、一人で多数の作業機械を操作できるようにするなどの目的で遠隔作業が行われる場合もある。
【０００３】
多くの場合、作業機械の運転室や作業機械の周囲にカメラが設置されており、このカメラによって撮影された映像が遠隔コックピットのモニタに表示される。操作者はその映像を頼りに作業を行うので、作業機械やその周囲の状況をモニタに表示される映像によって的確に認識できるようにする必要がある。例えば、特許文献１には、魚眼レンズを用いて映像（以下「魚眼映像」と称する）を撮影可能な撮像装置を作業機械に搭載し、遠隔地にいる操作者が装着したヘッドマウントディスプレイに魚眼映像の映像信号を送信して魚眼映像を投影する遠隔制御システムが提案されている。この遠隔制御システムは、ヘッドマウントディスプレイに搭載された角度センサによって操作者の頭の向きを検知し、それに応じて所望方向の映像を切り出して投影する。これにより、実際の作業機械の運転室からの視界を再現した映像を操作者に提供することができる。
【先行技術文献】
【特許文献】
【０００４】
特開２０１８－１２１１９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、映像信号はデータ量が大きいため、例えばインターネットのような公衆回線を経由して通信する場合、通信状況によっては操作者に届くまで数百ミリ秒～数秒の遅れが発生するおそれがある。そのため、操作者が遠隔操作を開始してから実際に作業機械が動作して映像に反映されるまでに時間がかかることがあった。また、同様に、操作者が遠隔操作を停止してから実際に作業機械が停止して映像に反映されるまでにも時間がかかる。このため、操作者はそのような映像の遅れを予想しながら遠隔操作を行う必要があり、作業機械の旋回操作の量を直感的に認識しつつ効率よく作業することは難しかった。
【０００６】
本発明は以上の点を考慮してなされたもので、遠隔操作される作業機械の前方視界の映像に遅延が生じている状況においても、操作者が作業機械の旋回操作の量を直感的に認識することができる遠隔制御システムを提案することを目的とする。
【課題を解決するための手段】
【０００７】
かかる課題を解決するため本発明においては、撮影装置が設けられた旋回体を旋回可能に設けた作業機械と、前記作業機械を遠隔操作するための遠隔操作信号を出力する遠隔操作装置と、を備えた遠隔制御システムにおいて、前記作業機械は、第１の計時装置と、前記撮影装置によって撮影された映像信号に、前記第１の計時装置によって取得された時刻を送信時刻として付加された信号として前記遠隔操作装置に送信する送信装置と、を有し、前記遠隔操作装置は、前記作業機械を遠隔操作する操作装置と、前記操作装置の操作に応じて前記遠隔操作信号を前記作業機械に対して送信する一方、前記作業機械から前記信号を受信する通信装置と、第２の計時装置と、前記通信装置により受信した前記信号に基づいて映像を表示する表示装置と、前記撮影装置により撮影された映像を前記表示装置に表示させる制御装置と、を有し、前記制御装置は、前記第２の計時装置によって取得された時刻に基づいて前記送信時刻が付与された信号の受信時刻を特定し、前記送信時刻が付与された信号から取得した前記送信時刻と前記受信時刻との差に応じて前記旋回体の旋回角度の遅延量を算出する遅延量算出部と、前記遅延量算出部により算出した前記遅延量に基づき、前記通信装置により受信した前記信号のうち広角に撮影された映像の一部を利用して前記映像を補正して、補正後の前記映像を前記表示装置に表示させる表示制御部と、を有するようにした。
【発明の効果】
【０００８】
本発明によれば、遠隔操作される作業機械の前方視界の映像に遅延が生じている状況においても、操作者が作業機械の旋回操作の量を直感的に認識することができる。
【図面の簡単な説明】
【０００９】
本実施形態による遠隔制御システムを構成する油圧ショベルの外観の一例を示す斜視図である。
図１に示す油圧ショベルのシステム構成例を示すブロック図である。
本実施形態による遠隔制御システムのシステム構成の一例を示すブロック図である。
前方視界の映像の表示方向を補正する様子の一例を示す図である。
映像遅延時間分切り抜くべき対象領域の第一の決定方法の一例を示す図である。
映像遅延時間分切り抜くべき対象領域の第二の決定方法の一例を示す図である。
旋回操作開始時から旋回操作後までのパノラマ映像および表示装置に表示される表示態様を示す図である。
旋回操作中から旋回操作停止までのパノラマ映像および表示装置に表示される表示態様を示す図である。
旋回停止後のパノラマ映像および表示装置に表示される表示態様を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面に基づいて、本発明の一実施形態を詳細に説明する。
本実施形態による遠隔制御システムは、前方視界の映像を撮影する撮影装置が設けられた旋回体を水平方向に旋回させる作業機械の一例としての油圧ショベルと、当該油圧ショベルを遠隔操作するための遠隔操作信号を出力する遠隔操作装置と、を備える。まず、油圧ショベルの構成例について説明する。
（【００１１】以降は省略されています）

関連特許