特許ウォッチ

公開番号2023124718
公報種別公開特許公報(A)
公開日2023-09-06
出願番号2022028659
出願日2022-02-25
発明の名称監視システム
出願人日立建機株式会社
代理人弁理士法人開知
主分類G06T 7/00 20170101AFI20230830BHJP(計算;計数)
要約【課題】対象物体の認識モデルの機械学習用の基礎画像を効率的に収集し、物体の認識精度を向上させる。
【解決手段】認識モデルを記憶する第1のメモリと、カメラによる撮影画像から前記認識モデルに基づき対象物体を認識処理する第1の処理装置と、前記認識モデルを生成するための教師データを記憶した第2のメモリと、前記教師データに基づき機械学習用の基礎画像から前記認識モデルの更新用データを生成する第2の処理装置と、前記撮影画像をリアルタイムに表示可能な携帯端末とを備えた監視システムにおいて、前記第1の処理装置は、前記リアルタイムの撮影画像にガイダンスデータを付加したガイダンス画像を前記携帯端末に表示させ、前記ガイダンス画像に従った前記携帯端末の操作によって前記カメラで撮影された撮影画像から前記認識モデルの機械学習用の基礎画像を抽出し前記第2の処理装置に出力する監視システムを提供する。
【選択図】図4
特許請求の範囲【請求項１】
カメラと、
対象物体を認識するためのデータである認識モデルを記憶する第１のメモリと、
前記カメラから入力される撮影画像から、前記認識モデルに基づき前記対象物体を認識処理する第１の処理装置と、
前記認識モデルを生成するための教師データを記憶した第２のメモリと、
機械学習用の基礎画像から、前記第１のメモリに記憶された前記認識モデルの更新用データを前記教師データに基づき生成する第２の処理装置と、
前記カメラの撮影画像を受信してリアルタイムに表示可能な携帯端末と
を備えた監視システムにおいて、
前記第１の処理装置は、
前記携帯端末からの実行指令信号に応じ、前記カメラのリアルタイムの撮影画像を前記携帯端末に送信し、前記撮影画像に既定のガイダンスデータを付加したガイダンス画像を前記携帯端末に表示させ、
前記携帯端末からの記録開始信号に応じ、前記ガイダンス画像に従った前記携帯端末の操作によって前記カメラで撮影された撮影画像から、前記認識モデルの機械学習用の基礎画像を抽出し、
抽出した前記基礎画像を前記第２の処理装置に出力する
ことを特徴とする監視システム。
続きを表示（約 530 文字）【請求項２】
請求項１に記載の監視システムにおいて、
前記ガイダンスデータは、前記カメラによる撮影画像を複数のエリアに区画する区画線と、前記撮影画像上の前記対象物体を映すべき指定エリアを表示する指定フレームと、前記携帯端末を操作する作業員に要求する行動をガイダンスするメッセージ欄とを含むことを特徴とする監視システム。
【請求項３】
請求項２に記載の監視システムにおいて、
前記メッセージ欄には、前記指定エリアに前記対象物体が所定の姿勢で映るように促すメッセージが表示されることを特徴とする監視システム。
【請求項４】
請求項１に記載の監視システムにおいて、
前記カメラ、前記第１のメモリ及び前記第１の処理装置は、建設機械に搭載されており、
前記第２のメモリ及び前記第２の処理装置は、前記建設機械との間でデータを授受するサーバに搭載されている
ことを特徴とする監視システム。
【請求項５】
請求項１に記載の監視システムにおいて、
前記カメラは、建設機械への搭載を模擬した地上高となるように支柱に設置されている
ことを特徴とする監視システム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、対象物体を認識する監視システムに関し、例えば建設機械の周囲を監視する監視システムに係る。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
特許文献１には、ショベルの周囲の環境情報を取得する環境情報取得部と、取得された環境情報に基づいてショベルの周囲の物体を判定する判定部を備えたショベル支援装置が記載されている。このショベル支援装置において、ショベルの周囲の物体は、機械学習で得られた学習済みモデルで判定される。そして、環境情報取得部により取得された環境情報から教師データを生成し、この教師データを用いて外部装置により追加学習を行うことで、学習済みモデルが更新される。
【先行技術文献】
【特許文献】
【０００３】
国際公開第２０２０／０９１００２号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
機械学習により物体の認識の精度を向上させるためには、実際に使用される環境で判定対象となる物体について学習用の基礎画像を収集し、物体の認識処理に必要な認識モデル（学習モデル）を更新することが有効である。しかし、メモリ容量等の様々な制限があるため、物体の判定精度の向上に必要な基礎画像は、効率的に収集する必要がある。
【０００５】
本発明の目的は、対象物体の認識モデルの機械学習用の基礎画像を効率的に収集することができ、ひいては物体の認識精度を向上させることができる監視システムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は、カメラと、対象物体を認識するためのデータである認識モデルを記憶する第１のメモリと、前記カメラから入力される撮影画像から、前記認識モデルに基づき前記対象物体を認識処理する第１の処理装置と、前記認識モデルを生成するための教師データを記憶した第２のメモリと、機械学習用の基礎画像から、前記第１のメモリに記憶された前記認識モデルの更新用データを前記教師データに基づき生成する第２の処理装置と、前記カメラの撮影画像を受信してリアルタイムに表示可能な携帯端末とを備えた監視システムにおいて、前記第１の処理装置は、前記携帯端末からの実行指令信号に応じ、前記カメラのリアルタイムの撮影画像を前記携帯端末に送信し、前記撮影画像に既定のガイダンスデータを付加したガイダンス画像を前記携帯端末に表示させ、前記携帯端末からの記録開始信号に応じ、前記ガイダンス画像に従った前記携帯端末の操作によって前記カメラで撮影された撮影画像から、前記認識モデルの機械学習用の基礎画像を抽出し、抽出した前記基礎画像を前記第２の処理装置に出力する監視システムを提供する。
【発明の効果】
【０００７】
本発明によれば、対象物体の認識モデルの機械学習用の基礎画像を効率的に収集することができ、ひいては物体の認識精度を向上させることができる。
【図面の簡単な説明】
【０００８】
本発明の一実施形態に係る監視システムの適用例を表した図
本発明の一実施形態に係る監視システムの機能ブロック図
本発明の一実施形態に係る監視システムで生成されて建設機械のモニタに表示される画像の例を表す図
本発明の一実施形態に係る監視システムにおいて携帯端末のモニタに表示された第１のガイダンス画像の例を表す図
本発明の一実施形態に係る監視システムにおいて携帯端末のモニタに表示された第２のガイダンス画像の例を表す図
本発明の一実施形態に係る監視システムによる基礎画像を収集する際のガイダンスの処理手順を表すフローチャート
カメラに対する対象物体の距離の違いを説明する図
カメラからの距離や角度により撮影画像における対象物体の見え方が変化することを説明するための第１の図
カメラからの距離や角度により撮影画像における対象物体の見え方が変化することを説明するための第２の図
カメラからの距離や角度により撮影画像における対象物体の見え方が変化することを説明するための第３の図
カメラからの距離や角度により撮影画像における対象物体の見え方が変化することを説明するための第４の図
カメラに対する姿勢による対象物体の見え方の違いを表す第１の図
カメラに対する姿勢による対象物体の見え方の違いを表す第２の図
カメラに対する姿勢による対象物体の見え方の違いを表す第３の図
カメラに対する姿勢による対象物体の見え方の違いを表す第４の図
【発明を実施するための形態】
【０００９】
以下に図面を用いて本発明の実施の形態を説明する。
【００１０】
＜建設機械＞
図１は本発明の一実施形態に係る監視システムの適用例を表した図である。同図では、本実施形態の監視システム５を油圧ショベル１に適用した場合を例示しているが、監視システム５の適用対象には、ホイールローダ、クレーン、クローラキャリア等、土木作業、建設作業、解体作業等の各種作業に用いられる各種の建設機械が含まれる。油圧ショベル１はクローラ式であるが、監視システム５を適用する建設機械はホイール式でも定置式でも良い。
（【００１１】以降は省略されています）

関連特許