特許ウォッチ

公開番号2025098148
公報種別公開特許公報(A)
公開日2025-07-01
出願番号2025050028,2021013735
出願日2025-03-25,2021-01-29
発明の名称表示システム及び表示方法
出願人株式会社小松製作所
代理人弁理士法人酒井国際特許事務所
主分類H04N 7/18 20060101AFI20250624BHJP(電気通信技術)
要約【課題】可視光撮像装置により撮像される画像が不鮮明になる事象が発生しても、作業機械の周辺の状況を作業機械の操作者に提供すること。
【解決手段】表示システムは、可視光撮像装置により撮像された第1対象の可視光画像を取得する可視光画像取得部と、赤外線撮像装置により撮像された第2対象の赤外線画像を取得する赤外線画像取得部と、可視光撮像装置から第1対象までの距離を示す可視光距離を複数の第1区画領域ごとに算出する可視光距離算出部と、赤外線撮像装置から第2対象までの距離を示す赤外線距離を複数の第2区画領域ごとに算出する赤外線距離算出部と、対応する第1区画領域及び第2区画領域ごとに可視光距離と赤外線距離との差が距離閾値以上か否かを判定する判定部と、差が距離閾値以上である第2区画領域と可視光画像とを合成して合成画像を生成する合成部と、合成画像が表示装置に表示されるように合成画像を出力する表示出力部とを備える。
【選択図】図4
特許請求の範囲【請求項１】
作業機械に設けられた可視光撮像装置により撮像された第１対象の画像を示す可視光画像を取得する可視光画像取得部と、
前記作業機械に設けられた赤外線撮像装置により撮像された第２対象の画像を示す赤外線画像を取得する赤外線画像取得部と、
前記可視光撮像装置から前記第１対象までの距離を示す可視光距離を前記可視光画像に規定された複数の第１区画領域ごとに算出する可視光距離算出部と、
前記赤外線撮像装置から前記第２対象までの距離を示す赤外線距離を前記赤外線画像に前記第１区画領域に対応するように規定された複数の第２区画領域ごとに算出する赤外線距離算出部と、
対応する前記第１区画領域及び前記第２区画領域ごとに前記可視光距離と前記赤外線距離との差が距離閾値以上か否かを判定する判定部と、
前記差が距離閾値以上である前記第２区画領域と前記可視光画像とを合成して合成画像を生成する合成部と、
前記合成画像が表示装置に表示されるように前記合成画像を出力する表示出力部と、を備える、
表示システム。
続きを表示（約 1,100 文字）【請求項２】
前記合成部は、前記差が距離閾値以上である前記第２区画領域が前記第２区画領域に対応する前記可視光画像の前記第１区画領域に重畳するように、前記第２区画領域と前記可視光画像とを合成する、
請求項１に記載の表示システム。
【請求項３】
前記合成画像は、前記差が距離閾値以上である前記第２区画領域と前記差が距離閾値未満である前記第１区画領域とを含む、
請求項１又は請求項２に記載の表示システム。
【請求項４】
前記可視光撮像装置は、第１可視光カメラと、第２可視光カメラと、を含み、
前記可視光距離算出部は、前記第１可視光カメラにより撮像された可視光画像と前記第２可視光カメラにより撮像された可視光画像とをステレオ処理することにより、前記可視光距離を算出する、
請求項１から請求項３のいずれか一項に記載の表示システム。
【請求項５】
前記赤外線撮像装置は、第１赤外線カメラと、第２赤外線カメラと、を含み、
前記赤外線距離算出部は、前記第１赤外線カメラにより撮像された赤外線画像と前記第２赤外線カメラにより撮像された赤外線画像とをステレオ処理することにより、前記赤外線距離を算出する、
請求項１から請求項４のいずれか一項に記載の表示システム。
【請求項６】
前記赤外線距離に基づいて前記作業機械からの距離を示す目安線画像を生成する目安線生成部を備え、
前記表示出力部は、前記目安線画像が前記表示装置に表示されるように前記目安線画像を出力する、
請求項１から請求項５のいずれか一項に記載の表示システム。
【請求項７】
作業機械に設けられた可視光撮像装置により撮像された第１対象の画像を示す可視光画像を取得することと、
前記作業機械に設けられた赤外線撮像装置により撮像された第２対象の画像を示す赤外線画像を取得することと、
前記可視光撮像装置から前記第１対象までの距離を示す可視光距離を前記可視光画像に規定された複数の第１区画領域ごとに算出することと、
前記赤外線撮像装置から前記第２対象までの距離を示す赤外線距離を前記赤外線画像に前記第１区画領域に対応するように規定された複数の第２区画領域ごとに算出することと、
対応する前記第１区画領域及び前記第２区画領域ごとに前記可視光距離と前記赤外線距離との差が距離閾値以上か否かを判定することと、
前記差が距離閾値以上である前記第２区画領域と前記可視光画像とを合成して合成画像を生成することと、
前記合成画像が表示装置に表示されるように前記合成画像を出力することと、を含む、
表示方法。

発明の詳細な説明【技術分野】
【０００１】
本開示は、表示システム及び表示方法に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
表示システムに係る技術分野において、特許文献１に開示されているような画像処理装置が知られている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１８－１０６２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
作業機械に係る技術分野において、作業機械の周辺を可視光撮像装置で撮像する技術が知られている。可視光撮像装置により撮像された画像が作業機械の操作者に提供されることにより、操作者は、作業機械の周辺の状況を確認することができる。作業機械の作業に起因して粉塵が発生する可能性がある。また、霧が発生している状況で作業機械の作業が実施される可能性がある。粉塵又は霧が発生すると、可視光撮像装置により撮像される画像が不鮮明になる可能性がある。また、作業機械の作業が夜間に実施される場合においても、可視光撮像装置により撮像される画像が不鮮明になる可能性がある。また、逆光状態の撮像対象を撮像する場合においても、可視光撮像装置により撮像される画像が不鮮明になる可能性がある。
【０００５】
本開示は、可視光撮像装置により撮像される画像が不鮮明になる事象が発生しても、作業機械の周辺の状況を作業機械の操作者に提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示に従えば、作業機械に設けられた可視光撮像装置により撮像された第１対象の画像を示す可視光画像を取得する可視光画像取得部と、前記作業機械に設けられた赤外線撮像装置により撮像された第２対象の画像を示す赤外線画像を取得する赤外線画像取得部と、前記可視光撮像装置から前記第１対象までの距離を示す可視光距離を前記可視光画像に規定された複数の第１区画領域ごとに算出する可視光距離算出部と、前記赤外線撮像装置から前記第２対象までの距離を示す赤外線距離を前記赤外線画像に前記第１区画領域に対応するように規定された複数の第２区画領域ごとに算出する赤外線距離算出部と、対応する前記第１区画領域及び前記第２区画領域ごとに前記可視光距離と前記赤外線距離との差が距離閾値以上か否かを判定する判定部と、前記差が距離閾値以上である前記第２区画領域と前記可視光画像とを合成して合成画像を生成する合成部と、前記合成画像が表示装置に表示されるように前記合成画像を出力する表示出力部と、を備える、表示システムが提供される。
【発明の効果】
【０００７】
本開示によれば、可視光撮像装置により撮像される画像が不鮮明になる事象が発生しても、作業機械の周辺の状況を作業機械の操作者に提供することができる。
【図面の簡単な説明】
【０００８】
図１は、実施形態に係る作業機械の遠隔操作システムを示す模式図である。
図２は、実施形態に係る作業機械を示す斜視図である。
図３は、実施形態に係る可視光撮像装置及び遠赤外線撮像装置を示す斜視図である。
図４は、実施形態に係る作業機械の遠隔操作システムを示す機能ブロック図である。
図５は、実施形態に係る可視光撮像装置及び赤外線撮像装置を説明するための模式図である。
図６は、実施形態に係る可視光画像及び赤外線画像を説明するための模式図である。
図７は、実施形態に係る可視光撮像装置及び赤外線撮像装置を説明するための模式図である。
図８は、実施形態に係る可視光画像及び赤外線画像を説明するための模式図である。
図９は、実施形態に係る合成画像の生成方法を説明するための模式図である。
図１０は、実施形態に係る合成画像の生成方法を説明するための模式図である。
図１１は、実施形態に係る表示装置に表示される合成画像及び目安線画像を示す模式図である。
図１２は、実施形態に係る表示方法を示すフローチャートである。
図１３は、実施形態に係るコンピュータシステムを示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示は実施形態に限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
【００１０】
［遠隔操作システム］
図１は、実施形態に係る作業機械１の遠隔操作システム１００を示す模式図である。遠隔操作システム１００は、作業現場に存在する作業機械１を遠隔操作する。遠隔操作システム１００の少なくとも一部は、遠隔操作地の遠隔操作室２００に配置される。遠隔操作システム１００は、遠隔操作装置４０と、表示装置５０と、制御装置６０とを備える。
（【００１１】以降は省略されています）

関連特許