特許ウォッチ

公開番号2025063014
公報種別公開特許公報(A)
公開日2025-04-15
出願番号2024173236
出願日2024-10-02
発明の名称テキストから画像へのモデルを使用して、異常検出モデルをトレーニングおよび/または検証するための合成画像を生成すること
出願人横河電機株式会社
代理人個人,個人,個人,個人
主分類G06V 10/774 20220101AFI20250408BHJP(計算;計数)
要約【課題】MLベースの画像処理に基づいて、産業施設のコンポーネントの異常を監視および検出するための実装形態を提供すること。
【解決手段】様々な実装形態では、産業施設の周囲環境内の異常を各々が記述する複数のテキスト文字列が決定され、複数のテキスト文字列の各々について、テキスト文字列の処理の複数の反復が、反復の各々において、対応する合成画像を生成するために、テキストから画像へのモデルを使用して、実行される。生成された合成画像は、異常検出機械学習(ML)モデルをトレーニングするために、あるいはトレーニングされた異常検出MLモデルを微調整または検証するために利用することができる。
【選択図】図3
特許請求の範囲【請求項１】
1つまたは複数のプロセッサによって実装される方法であって、
異常と対応する産業施設の周囲環境とを各々が記述する複数のテキスト文字列の各々について、
前記テキスト文字列の処理の複数の反復を、前記反復の各々において、対応する合成画像を生成するために、テキストから画像へのモデルを使用して、実行するステップと、
前記生成された合成画像と、前記生成された合成画像の対応する教師ありラベルとを使用して、異常検出機械学習(ML)モデルをトレーニングするステップと、
特定の産業施設内の異常検出において使用するための前記トレーニングされた異常検出MLモデルを提供するステップと
を含む、方法。
続きを表示（約 1,800 文字）【請求項２】
前記特定の産業施設内の異常検出において使用するための前記トレーニングされた異常検出MLモデルを提供する前に、
前記特定の産業施設の複数の実際の画像の各々について、
対応する変換された合成画像を生成するために、画像から画像への変換モデルを使用して、前記実際の画像と前記異常を記述するプロンプトとを処理するステップと、
前記変換された合成画像に基づいて前記異常検出MLモデルをさらにトレーニングすることを通じて、前記トレーニングされた異常検出MLモデルを微調整するステップと
をさらに含む、請求項1に記載の方法。
【請求項３】
前記トレーニングされた異常検出MLモデルを微調整するステップが、
前記トレーニングされた異常検出MLモデルの1つまたは複数の層の重みを微調整するステップを含む、請求項2に記載の方法。
【請求項４】
前記特定の産業施設内の異常検出において使用するための前記トレーニングされた異常検出MLモデルを提供する前に、
前記特定の産業施設の複数の実際の画像の各々について、
対応する変換された合成画像を生成するために、画像から画像への変換モデルを使用して、前記実際の画像と前記異常を記述するプロンプトとを処理するステップと、
前記変換された合成画像に基づいて、前記トレーニングされた異常検出MLモデルを検証するステップと
をさらに含み、
前記特定の産業施設内の異常検出において使用するための前記トレーニングされた異常検出MLモデルを提供するステップが、前記検証が1つまたは複数の条件を満たしているとの決定に応じて行われる、請求項1に記載の方法。
【請求項５】
前記変換された合成画像に基づいて、前記トレーニングされた異常検出MLモデルを検証するステップが、前記変換された合成画像の処理に基づく、前記異常検出MLモデルからの出力に基づいて行われた異常予測の精度指標を決定するステップを含み、
前記検証が1つまたは複数の条件を満たしていると決定するステップが、前記精度指標がしきい値精度指標を満たしていると決定するステップを含む、請求項4に記載の方法。
【請求項６】
前記複数のテキスト文字列が、第1の産業施設の周囲環境内の第1の異常を記述する第1のテキスト文字列と、前記第1の産業施設の周囲環境内の第2の異常を記述する第2のテキスト文字列とを含む、請求項1に記載の方法。
【請求項７】
前記複数のテキスト文字列が1つの産業施設の周囲環境内の1つの異常を記述する1つのテキスト文字列と、追加の産業施設の周囲環境内の前記1つの異常を記述する追加のテキスト文字列とを含む、請求項1に記載の方法。
【請求項８】
前記生成された合成画像の前記対応する教師ありラベルが、少なくとも前記異常を記述する前記複数のテキスト文字列に基づいて自動的に決定される、請求項1に記載の方法。
【請求項９】
前記特定の産業施設内の異常検出において使用するための前記トレーニングされた異常検出MLモデルを提供するステップが、
前記特定の産業施設内の視覚センサを介してキャプチャされた実際の画像を処理する際に、前記トレーニングされた異常検出MLモデルを使用させるステップを含む、請求項1に記載の方法。
【請求項１０】
前記実際の画像を処理する際に、前記トレーニングされた異常検出MLモデルを使用するステップをさらに備え、前記実際の画像を処理する際に、前記トレーニングされた異常検出MLモデルを使用するステップが、
コンポーネントのうちの1つまたは複数に異常が存在するかどうかを示すモデル出力を生成するために、前記トレーニングされた異常検出MLモデルを使用して、前記実際の画像のうちの1つの実際の画像を処理するステップと、
前記モデル出力が前記コンポーネントのうちの1つまたは複数に異常が存在することを示していることに応じて、1つまたは複数の修復アクションを実行させるステップと
を含む、請求項9に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、機械学習(ML)モデルを使用して画像を処理するための技法に関する。
続きを表示（約 3,700 文字）【背景技術】
【０００２】
石油化学精製所、化学工場などの複合産業施設は、産業施設の産業プロセスに関与する液体および/または他の物質を処理する際に利用される多数のコンポーネントを含む場合がある。産業プロセスに関与するコンポーネントが意図したとおりに動作していることを保証するために、および/または産業プロセスに関与する物質がそれらの意図した状態にあることを保証するために、異常が検出されたときに1つまたは複数の修復アクション(たとえば、警報を出す、自動プロセスを停止するなど)をタイムリーに実行することができるように、産業施設内の異常(たとえば、地面に石油または他の液体が存在する、配管が腐食しているなど)を監視することが重要である。
【発明の概要】
【課題を解決するための手段】
【０００３】
画像内に条件が存在するかどうかを示す出力を生成するために、機械学習(ML)モデルを使用して画像を処理するための様々な技法が提案されている。たとえば、画像によってキャプチャされた1つまたは複数のコンポーネントに異常が存在するかどうかを示す出力を生成するために、異常検出MLモデル(本明細書では、「異常検出モデル」と呼ばれることもある)を使用して、産業施設の1つまたは複数のコンポーネントをキャプチャする画像を処理するための技法が提案されている。しかしながら、異常検出MLモデルは、有効で、十分な予測精度を有するためには、対応する異常の存在を各々が反映する、大量の多様な「正の(positive)」グラウンドトゥルース画像に基づいてトレーニングされる必要がある。
【０００４】
これとは別に、テキストプロンプトの提供、およびテキストプロンプトを条件とした詳細でリアルな合成画像の生成を可能にするテキストから画像へのモデル(text-to-image model)がリリースされている。たとえば、「ロバに乗っているオレンジ色の猫(an orange cat riding a donkey)」というテキストプロンプトを処理して、ロバに乗っているオレンジ色の猫を含むリアルな合成画像を生成することができる。それらのモデルの中には、テキストプロンプトを条件とした画像から画像への変換を可能にするものもある。たとえば、黒猫を含む基本画像を「猫をオレンジ色にする(make the cat orange)」というプロンプトを添えて提供し、黒猫の代わりにオレンジ色の猫を含むが、それ以外は基本画像とおおむね一致する変換された合成画像を生成することができる。テキストから画像へのモデルと画像から画像へのモデル(image-to-image model)(多くのモデルは両方を行うことができる)の非限定的な例は、「Stable Diffusion」と「DALL-E」とを含む。
【０００５】
上で述べたように、異常検出MLモデルは、有効であるためには、対応する異常の存在を各々が反映する、大量の多様な「正の」グラウンドトゥルース画像に基づいてトレーニングされる必要がある。産業施設の周囲環境(setting)においては、対応する異常がまれにしか発生せず、および/または危険な場合もあるため、そのような大量の多様な現実の画像を取得することは困難な場合がある。
【０００６】
さらに、特定の産業施設においてそのような異常検出MLモデルを利用する前に、(a)特定の産業施設に合わせてモデルを微調整する方法、および/または(b)産業施設内の異常を検出する際にモデルのパフォーマンスを検証する方法が現在存在しない。たとえば、(a)に関しては、異常をキャプチャし、その産業施設に特定化した「正の」グラウンドトゥルースの実際の画像を取得することは困難であり得るため、特定の産業施設向けの異常検出MLモデルの微調整(すなわち、限定的な追加トレーニング)は可能ではない場合がある。たとえば、産業施設においてそのような異常を作り出すことは、安全でも望ましいことでもない場合がある。また、たとえば、産業施設は建設されているが、まだ実際に使用されていない場合がある。別の例として、(b)に関しては、特定の施設において異常検出MLモデルを利用する前に、特定の産業施設に対して異常検出MLモデルが有効であることを検証することも同様に可能でない場合がある。これは、そのような検証は、MLモデルが特定の施設における異常の発生を検出することができると決定する必要があるためであり得る。繰返しになるが、特定の施設において実際に異常を作り出すことは、安全でない、または望ましくない場合がある。
【０００７】
本明細書に開示される実装形態は、産業施設内の対応する異常の存在を各々が反映する、大量の合成された多様な「正の」グラウンドトゥルース画像の生成を可能にする。それらの実装形態は、テキストから画像へのモデルを使用して合成画像を生成する。より具体的には、異常を記述し、産業施設の周囲環境を記述するプロンプトでテキストから画像へのモデルにプロンプトし、その結果、異常を含む、産業施設の周囲環境における画像が得られる。たとえば、「石油溜まりのある化学工場の外観(exterior of chemical plant with oil puddles)」というプロンプト、および/または「床に石油がある化学工場の内部(interior of a chemical plant with oil on floor)」というプロンプトである。それらの実装形態は、同じプロンプトを複数回処理することによって、複数の異なる合成画像を生成することができる点に留意されたい。各反復において同じプロンプトが使用されるが、各反復においてモデルによって様々な「シード(seed)」がランダムに利用されるため、様々な合成画像が生成される。
【０００８】
本明細書に開示される実装形態は、追加的に、または代替的に、産業施設内の対応する異常の存在を各々が反映し、各々が特定の産業施設についてのものである、合成された多様な「正の」グラウンドトゥルース画像の生成を可能にする。これにより、(a)特定の産業施設での利用前にMLモデルを微調整すること(これにより、精度および/または堅牢性を向上させることができる)、および/または(b)(特定の産業施設向けに有効であることを保証するために)特定の産業施設での利用前にMLモデルを検証することを行うために、そのような特定化された画像が使用されることが可能になる。
【０００９】
それらの実装形態は、特定の産業施設の実際の画像をキャプチャし、次いで、異常を記述するテキストプロンプトを条件とした、画像から画像への変換モデルを使用してそれらの実際の画像を処理することができる。たとえば、実際の画像を「石油溜まりを追加する(add an oil puddle)」というテキストプロンプトを添えて処理すると、実際の画像とほぼ一致するが、地面に石油溜まりを含む合成画像を得ることができる。特定の例として、産業施設に異常がない間に、特定の産業施設の数百または数千の実際の画像を(たとえば、ロボットによって)キャプチャすることができる。次いで、異常を含む対応する合成画像を生成するために、異常を記述するテキストプロンプトを条件として、画像から画像へのモデルを使用してそれらの実際の画像を処理することができる。次いで、それらの対応する合成画像は、本明細書に記載されるように、微調整および/または検証のために使用することができる。
【００１０】
実装形態は、テキストから画像へのモデルを使用して、産業施設内の対応する異常の存在を各々が反映する、大量の合成された多様な「正の」グラウンドトゥルース画像を生成する。より具体的には、異常を記述し、産業施設の周囲環境を記述するプロンプトでテキストから画像へのモデルにプロンプトし、その結果、異常を含む、産業施設の周囲環境内にある画像が得られる。たとえば、「腐食を含む配管のある化学工場の部屋(chemical plant room with pipes that include corrosion)」というプロンプトである。それらの実装形態のいくつかはまた、産業施設からの異常のない実際の画像と、画像から画像への変換モデルとを使用して、追加の合成された「正の」グラウンドトゥルース画像を生成することができる。たとえば、実際の画像と一致するが、画像内のオブジェクトに何らかの腐食を含む合成画像を生成するために、「腐食を追加する(add some corrosion)」というプロンプトを添えて異常のない実際の画像を処理することができる。
（【００１１】以降は省略されています）

関連特許