特許ウォッチ

公開番号2024157539
公報種別公開特許公報(A)
公開日2024-11-07
出願番号2024069796
出願日2024-04-23
発明の名称機械学習ベースの画像処理ならびに上限値および下限値を考慮することによる構成要素の異常検出
出願人横河電機株式会社
代理人個人,個人,個人,個人
主分類G06V 10/70 20220101AFI20241030BHJP(計算;計数)
要約【課題】機械学習ベースの画像処理ならびに上限値および下限値を考慮することによる構成要素の異常検出方法を提供する。
【解決手段】方法は、削減された次元の機械学修(ML)で力を生成するために、MLモデルを使用して画像を処理する。画像は、環境(たとえば、産業用自動化施設)の構成要素をキャプチャし、環境内のモバイルロボットの視覚構成要素を介してキャプチャされる302。ML出力は、異常が画像のN個の領域のそれぞれの領域内に存在するかどうかを示す対応する異常検出確率を、画像のN個の領域の各々に対して示す304。方法はまた、各々がしきい値を満足する異常検出確率の数量を、ML出力に基づいて決定し、数量が下限値よりも大きくかつ上限値よりも小さいかどうかをさらに決定し308、そうである場合、異常が構成要素に対して存在することを示す警報を表示させることなどの修正行動を実行させる。
【選択図】図3
特許請求の範囲【請求項１】
1つまたは複数のプロセッサによって実装される方法であって、
モバイルロボットのカメラが第1のポーズにおけるときに前記カメラによってキャプチャされる画像を識別するステップであって、
前記画像は、前記モバイルロボットの環境内で1つまたは複数の特定の構成要素をキャプチャする、ステップと、
異常が前記画像のN個の領域のそれぞれの領域内に存在するかどうかを示す対応する異常検出確率を前記画像の前記N個の領域の各々に対して示す、削減された次元の出力を生成するために、機械学習(ML)モデルを使用して前記画像を処理するステップと、
各々がしきい値を満足する異常検出確率の数量を、前記削減された次元の出力に基づいて決定するステップと、
前記数量が下限値よりも大きくかつ上限値よりも小さいかどうかを決定するステップと、
前記数量が前記下限値よりも大きくかつ前記上限値よりも小さいと決定することに応答して、
異常が前記1つまたは複数の特定の構成要素に対して存在することを示す警報を表示させるステップと
を含む、方法。
続きを表示（約 810 文字）【請求項２】
前記画像を処理するために複数の候補MLモデルから前記MLモデルを選択するステップをさらに含み、前記画像を処理するために前記MLモデルを選択するステップは、前記1つまたは複数の特定の構成要素をキャプチャする前記画像に応答し、前記MLモデルは、前記1つまたは複数の特定の構成要素に対応する画像に基づいて訓練される、請求項1に記載の方法。
【請求項３】
前記画像を処理するために複数の候補MLモデルから前記MLモデルを選択するステップをさらに含み、前記画像を処理するために前記MLモデルを選択するステップは、前記画像が前記第1のポーズにおいてキャプチャされることおよび前記MLモデルが前記第1のポーズに対応する画像に基づいて訓練されることに応答する、請求項1に記載の方法。
【請求項４】
Nは9よりも大きい、請求項1に記載の方法。
【請求項５】
前記下限値は、Nの20%以下である、請求項4に記載の方法。
【請求項６】
前記上限値は、Nの50%以上である、請求項4に記載の方法。
【請求項７】
前記下限値は、前記1つまたは複数の特定の構成要素の1つまたは複数のタイプに基づいて決定される、請求項1に記載の方法。
【請求項８】
前記上限値は、前記1つまたは複数の特定の構成要素の1つまたは複数のタイプに基づいて決定される、請求項1に記載の方法。
【請求項９】
前記下限値と前記上限値の一方または両方が、前記画像がキャプチャされる時刻に基づいて、および/または前記環境の光レベルに基づいて選択される、請求項1に記載の方法。
【請求項１０】
前記カメラは、モノグラフカメラ、ステレオカメラ、紫外線カメラ、または熱カメラである、請求項1に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、機械学習ベースの画像処理ならびに上限値および下限値を考慮することによる構成要素の異常検出に関する。
続きを表示（約 3,600 文字）【背景技術】
【０００２】
石油化学精製所、化学プラントなどの複雑な産業施設は、産業施設の産業プロセスに関する液体、気体および/または他の物質の処理に利用される多数の構成要素を含むことができる。産業プロセスに関する構成要素が目的通りに動作していることを確保すること、および/または産業プロセスに関する物質がそれらの意図された状態にあることを確保することが重要である。
【０００３】
そのような構成要素および/または物質における異常をモニタするために、様々なセンサが、産業施設内で利用されてきた。そのようなセンサには、構成要素および/または物質における温度異常をモニタするために利用される温度センサ、物質の組成における異常をモニタするために利用される光センサ(たとえば、それらの物質を光源で励起することに基づく)などが含まれる。
【０００４】
様々なセンサが様々な異常をモニタするために産業施設内で利用され得るが、そのようなセンサはそれぞれ、一般的に、産業施設内の対応する固定ロケーションに配備される。したがって、大量のセンサが、産業施設を効果的にモニタするために必要とされ得る。さらに、センサの各々に電力および/または情報を供給することは、産業施設の至る所で大規模な配線を必要とする可能性がある。またさらに、大量のセンサはそれぞれ、故障または機能不良を生じ易く、それが生じたときに補修および/または交換されなければならず、そのことは、大量の固定されたセンサを含む大規模な産業施設においては困難であり得る。
【発明の概要】
【課題を解決するための手段】
【０００５】
本開示の実装形態は、産業施設または他の環境の中などの環境内の構成要素および/または物質の画像を、モバイルロボットのカメラを介して所与のポーズにおいてキャプチャするためにモバイルロボットを使用することを対象とする。それらの実装形態はさらに、機械学習(ML)出力を生成するためにMLモデルを使用して、キャプチャされた画像を処理することを対象とする。機械学習モデルは、1つまたは複数の畳み込み層を含む畳み込みニューラルネットワーク(CNN)モデルなどのニューラルネットワークモデルであり得る。それらの実装形態はさらに、画像によってキャプチャされる構成要素および/または物質に伴う異常が存在するかどうかを、生成されたML出力に基づいて決定することを対象とし、存在する場合、1つまたは複数の修正行動を実行させる。修正行動を実行させることは、たとえば、警報を表示させること、プロセスを停止させること、および/または他の修正行動を実行させることを含むことができる。
【０００６】
多くの実装形態では、利用されるMLモデルは、処理された画像と比べて削減された次元のものである削減された次元のML出力を生成するように画像を処理するために使用されるように訓練されたモデルであり得る。削減された次元のML出力内の各値は、画像の対応する領域が異常を含む確率を直接的または間接的に反映することができる。たとえば、各値は、0から1の対応する値であり得、各値は、画像の複数のピクセル(たとえば、画像の対応する64×64ピクセル部)を包含する画像の対応する部分に対応することができる。それらの実装形態では、異常が存在するかどうかの決定は、しきい値(たとえば、0.7などのしきい値)を満足する値の数量を決定すること、および数量が(a)下限値よりも大きくかつ(b)上限値よりも小さいときのみ異常が存在すると決定することに基づくことができる。たとえば、ML出力が16個の値を含むと仮定する。異常は、しきい値を満足する値の数量が、1または2(または、他の下限値)よりも大きいが、8または9(または、他の上限値)よりも小さいときのみ検出され得る。
【０００７】
擬陽性および/または偽陰性の異常検出の発生は、数量が(a)下限値よりも大きくかつ(b)上限値よりも小さいときのみ存在すると決定することによって軽減され得る。たとえば、異常を検出することにおける擬陽性の発生は、下限値に加えて上限値を考慮することによって防止され得る。たとえば、擬陽性の発生は、しきい値を満足する値の数量が上限値よりも大きいときは、異常が存在すると決定しないことによって防止され得る。たとえば、しきい値を満足する値の数量が上限値よりも大きいとき、本明細書で開示される実装形態は、それが、異常に起因するのではなく、過剰な光(たとえば、太陽および/または照明デバイスから)、人もしくは他の移動体が画像内に存在すること、および/または画像をキャプチャしたカメラの問題点など、環境の他の外部要因に起因する可能性があるものと認識する。擬陽性の発生を軽減することは、たとえば、擬陽性警報を表示させることなど、修正行動を誤って実行させることにおいてネットワークおよび/またはコンピューティングデバイスの資源を利用することを防止することができる。偽陰性の発生を軽減することは、産業施設における安全ではない状態、ならびに/または産業施設の構成要素および/もしくは物質に対する損傷の発生を防止することができる。
【０００８】
いくつかの実装形態では、同じ下限値および/または同じ上限値が、異常が存在するかどうかを、環境内の複数の全く異なる構成要素および/または物質の各々に対して決定することにおいて使用され得る。たとえば、同じ下限値(たとえば、2)および同じ上限値(たとえば、11)が、(a)MLモデルを使用して(環境の第1のエリア内の)タンクの第1の画像を処理することに基づいて生成された第1のML出力と、(b)(環境の第2のエリア内の)配管の第2の画像を処理することに基づいて生成された第2のML出力の両方を分析することにおいて利用され得る。
【０００９】
いくつかの追加または代替の実装形態では、第1の構成要素に使用される下限値および/または上限値は、第2の構成要素に使用される下限値および/または上限値と異なり得る。たとえば、第1の構成要素をキャプチャするために(たとえば、第1の画像のメタデータに基づいて)決定される第1の画像が、第1のML出力を生成するためにMLモデルを使用して処理され得、しきい値を満足する第1のML出力の値の第1の数量が決定され得、第1の構成要素に対する異常が、第1の数量が2から9である場合にのみ決定される。例を続けると、(たとえば、第2の画像のメタデータに基づいて)第2の構成要素をキャプチャするために決定された第2の画像が、第2のML出力を生成するためにMLモデルを使用して処理され得、しきい値を満足する第2のML出力の値の第2の数量が決定され得、第2の構成要素に対する異常が、第1の数量が3から8にある場合のみ決定され、それは、第1の構成要素をキャプチャするために決定された第1の画像に利用される範囲より制限された範囲である。より制限された範囲は、異常が決定されることにつながる可能性がより低くなる。それらの実装形態のいくつかでは、より制限的でない範囲および/またはより制限的な範囲が、随意に、ユーザインターフェース入力に基づいて明示的に手動で指定され得る。手動指定は、それぞれの構成要素の重要度(たとえば、第1の構成要素は第2の構成要素よりも重要であり得る)を反映することができ、および/または構成要素が位置するエリアがどの程度動的であると予期されるかなど、追加または代替の考慮に基づくことができる。それらの実装形態の他のいくつかでは、より制限的でない範囲および/またはより制限的な範囲が、随意に、黙示的なユーザインターフェース入力に依存して設定され得る。たとえば、第2の構成要素に対する範囲が最初は2から9であったとしても、2から9の範囲に基づいて決定された異常が実際には異常でなかったことを示すユーザフィードバックの前例に基づいて、より制限的な3から8に自動的に調整され得る。たとえば、ユーザフィードバックの前例は、第1の構成要素の画像を精査した後、および/または第1の構成要素をオペレータ自ら点検した後、オペレータによって提供されている可能性がある(たとえば、前の異常検出は間違いであったことを示すフィードバック)。
【００１０】
いくつかの実装形態では、同じ下限値および/または同じ上限値が常に、環境内の所与の構成要素および/または所与の物質に対して、異常が存在するかどうかを決定することにおいて使用され得る。
（【００１１】以降は省略されています）

関連特許