特許ウォッチ

公開番号2024137093
公報種別公開特許公報(A)
公開日2024-10-07
出願番号2023048467
出願日2023-03-24
発明の名称作業機械の監視システム
出願人日立建機株式会社
代理人弁理士法人平木国際特許事務所
主分類E02F 9/26 20060101AFI20240927BHJP(水工;基礎;土砂の移送)
要約【課題】認識モデルの更新時に必要な学習用データを選別するために必要な知識のない人でも収集されたデータの中より適切な学習用データを容易に抽出することができ、学習用データを容易に作成することができ、認識モデルの更新を適切に行うことにより、物体の認識の精度の向上を図ることができる作業機械の監視システムを提供する。
【解決手段】教師データ作成装置(サーバ52)は、作業機械10の周囲画像にフラグ情報を付加し、フラグ情報に基づいて周囲画像に対応する機械学習の優先度を決定し、外部(外部端末70)からの入力によって選択された機械学習の優先度に対応する周囲画像を用いて物体認識モデルの教師データを作成し、学習装置53は、教師データ作成装置(サーバ52)で作成された教師データを用いて物体認識モデルの追加の機械学習を実行し、物体認識モデルを更新する。
【選択図】図3
特許請求の範囲【請求項１】
機械学習が行われた物体認識モデルを用いて作業機械の周囲を撮影した周囲画像を処理し、前記周囲画像から前記作業機械の周囲に存在する物体を検出する物体検出装置と、
前記周囲画像にフラグ情報を付加し、前記フラグ情報に基づいて前記周囲画像に対応する機械学習の優先度を決定し、外部からの入力によって選択された前記機械学習の優先度に対応する前記周囲画像を用いて前記物体認識モデルの教師データを作成する教師データ作成装置と、
前記教師データ作成装置で作成された前記教師データを用いて前記物体認識モデルの追加の機械学習を実行し、前記物体認識モデルを更新する学習装置と、を備えることを特徴とする作業機械の監視システム。
続きを表示（約 650 文字）【請求項２】
請求項１に記載の作業機械の監視システムにおいて、
前記フラグ情報には、前記物体認識モデルの更新履歴に関する情報が含まれていることを特徴とする作業機械の監視システム。
【請求項３】
請求項１に記載の作業機械の監視システムにおいて、
前記フラグ情報には、前記周囲画像の撮影時点における前記作業機械の動作内容に関する情報が含まれることを特徴とする作業機械の監視システム。
【請求項４】
請求項１に記載の作業機械の監視システムにおいて、
前記フラグ情報には、前記物体認識モデルを用いて前記周囲画像を処理したときの物体検出結果に関する情報が含まれていることを特徴とする作業機械の監視システム。
【請求項５】
請求項１に記載の作業機械の監視システムにおいて、
前記作業機械の運転室には前記周囲画像に対して物体認識の結果のエラーを入力するための入力装置が備えられ、
前記フラグ情報には、前記周囲画像の撮影時点における前記入力装置の操作の有無に関する情報が含まれていることを特徴とする作業機械の監視システム。
【請求項６】
請求項１に記載の作業機械の監視システムにおいて、
前記教師データ作成装置は、前記作業機械の動作中に撮影した前記周囲画像に対応する機械学習の優先度を動作中以外に撮影した前記周囲画像に対応する機械学習の優先度よりも低く設定することを特徴とする作業機械の監視システム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、作業機械の監視システムに関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
特許文献１には、ショベル周囲の環境情報を取得する環境情報取得部と、環境情報取得部により取得された環境情報に基づいてショベル周囲の物体を判定する判定部と、を備えたショベル支援システムが記載されている。
【０００３】
具体的には、判定部は、機械学習が行われた学習済みモデルを用いて、環境情報取得部により取得された環境情報に基づいてショベル周囲の物体を判定する。そして、学習部は、外部装置で環境情報取得部にて取得された環境情報から生成された教師情報に基づいて上記学習済みモデルと同一の学習済みモデルに追加学習を行い、追加学習済みモデルを更新する。判定部は、環境情報取得部により取得された環境情報に基づき、更新された追加学習済みモデルを用いて、ショベル周囲の物体を判定する。
【先行技術文献】
【特許文献】
【０００４】
国際公開第２０２０／０９１００２号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
機械学習により物体の認識の精度を向上させるためには、実際に使用される環境で判定対象となる物体が存在する学習用データを収集し、物体の認識処理に必要な認識モデル（学習モデル）を更新することが有効である。
【０００６】
しかしながら、学習用データの収集者は、認識モデルが使用環境に適用するにはどのようなデータが必要であるかを理解し、システム稼働時に収集される膨大な画像データより適切な画像データを抽出しなければならない。このため、学習用データの作成に手間がかかり、物体の認識の精度の向上に必要な認識モデルの更新の遅れや精度ばらつきが発生してしまうといった問題がある。
【０００７】
本発明は、認識モデルの更新時に必要な学習用データを選別するために必要な知識のない人でも収集されたデータの中より適切な学習用データを容易に抽出することができ、学習用データを容易に作成することができ、認識モデルの更新を適切に行うことにより、物体の認識の精度の向上を図ることができる作業機械の監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明の一態様による作業機械の監視システムは、機械学習が行われた物体認識モデルを用いて作業機械の周囲を撮影した周囲画像を処理し、前記周囲画像から前記作業機械の周囲に存在する物体を検出する物体検出装置と、前記周囲画像にフラグ情報を付加し、前記フラグ情報に基づいて前記周囲画像に対応する機械学習の優先度を決定し、外部からの入力によって選択された前記機械学習の優先度に対応する前記周囲画像を用いて前記物体認識モデルの教師データを作成する教師データ作成装置と、前記教師データ作成装置で作成された前記教師データを用いて前記物体認識モデルの追加の機械学習を実行し、前記物体認識モデルを更新する学習装置と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、監視システムの使用現場で撮影された画像データのうち、認識モデルの更新時に必要な学習用データを選別するために必要な知識なく、認識モデルの追加学習用データとして、使用現場への適用性の向上が可能な適切な画像データを容易に選出することができ、学習用データを容易に作成することができ、認識モデルの更新を適切に行うことにより、物体の認識の精度の向上を図ることができる作業機械の監視システムを提供することができる。
【００１０】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許