特許ウォッチ

公開番号2025079616
公報種別公開特許公報(A)
公開日2025-05-22
出願番号2023192406
出願日2023-11-10
発明の名称疑似セグメンテーションモデル生成装置及び疑似セグメンテーションモデル生成方法
出願人日本製鉄株式会社
代理人弁理士法人鷲田国際特許事務所
主分類G06T 7/00 20170101AFI20250515BHJP(計算;計数)
要約【課題】労力を低減しながら、画素毎の欠陥種別を判定する技術を提供する。
【解決手段】欠陥が写った欠陥画像の欠陥種別をクラシフィケーションモデルを用いて推論し、欠陥画像のどの画素が前記欠陥種別の推論において影響し易いのかを示す判断根拠画像を生成し、欠陥画像と判断根拠画像の輝度値に基づいて、欠陥の存在を代表する代表画素を決定し、画像中の任意の画素を指定することで画像中の指定した画素を含む対象に対応する領域を判定する対象領域判定モデルを用いて、欠陥画像において欠陥に対応する領域を判定し、欠陥画像の各画素について、欠陥に対応すると判定された領域の各画素に欠陥種別に対応する情報を付与することで、疑似的なセグメンテーションモデルを生成する。
【選択図】図1
特許請求の範囲【請求項１】
画像をセグメンテーションで推論する深層学習モデルを疑似的に生成する疑似セグメンテーションモデル生成装置であって、
欠陥が写った画像である欠陥画像を取得する画像取得部と、
画像をクラシフィケーションで推論する深層学習モデルを用いて、前記欠陥画像に写った欠陥の欠陥種別を推論する欠陥種別推論部と、
前記欠陥画像のどの画素が前記欠陥種別の推論において影響し易いのかを示す、判断根拠画像を生成する判断根拠画像生成部と、
前記欠陥画像の輝度値と前記判断根拠画像の輝度値とに基づいて、前記欠陥の存在を代表する画素であると見なせる代表画素を決定する代表画素決定部と、
画像中の任意の画素を指定することで、当該画像中の指定した画素を含む対象に対応する領域を判定する対象領域判定モデルを用いて、前記欠陥画像を入力し、前記代表画素を指定することで、前記欠陥画像において前記欠陥に対応する領域を判定する領域判定部と、
前記欠陥画像の各画素について、前記領域判定部で前記欠陥に対応すると判定された領域の各画素に、前記欠陥種別に対応する情報を付与し、前記領域判定部で前記欠陥に対応すると判定された領域以外の各画素に、欠陥がないことに対応する情報を付与する画素情報付与部と、
前記欠陥種別と前記画素情報付与部で付与された情報を、前記欠陥画像の推論結果として出力する推論結果出力部と、
を有する、疑似セグメンテーションモデル生成装置。
続きを表示（約 1,300 文字）【請求項２】
前記代表画素決定部は、
前記判断根拠画像の輝度値と前記対象画像の輝度値とを足し合わせることで足し合わせ画像を生成し、
前記足し合わせ画像のうち、最も輝度が高い画素に基づいて、前記代表画素を決定する、請求項１に記載の疑似セグメンテーションモデル生成装置。
【請求項３】
前記代表画素決定部は、
前記判断根拠画像の輝度値と前記対象画像の輝度値とのうち一方に重み付けを行い、足し合わせることで足し合わせ画像を生成し、
前記足し合わせ画像のうち、最も輝度が高い画素に基づいて、前記代表画素を決定する、請求項１に記載の疑似セグメンテーションモデル生成装置。
【請求項４】
画像をセグメンテーションで推論する深層学習モデルを疑似的に生成する疑似セグメンテーションモデル生成方法であって、
欠陥が写った画像である欠陥画像を取得する画像取得ステップと、
画像をクラシフィケーションで推論する深層学習モデルを用いて、前記欠陥画像に写った欠陥の欠陥種別を推論する欠陥種推論ステップと、
前記欠陥画像のどの画素が前記欠陥種別の推論において影響し易いのかを示す、判断根拠画像を生成する判断根拠画像生成ステップと、
前記欠陥画像の輝度値と前記判断根拠画像の輝度値とに基づいて、前記欠陥の存在を代表する画素であると見なせる代表画素を決定する代表画素決定ステップと、
画像中の任意の画素を指定することで、当該画像中の指定した画素を含む対象に対応する領域を判定する対象領域判定モデルを用いて、前記欠陥画像を入力し、前記代表画素を指定することで、前記欠陥画像において前記欠陥に対応する領域を判定する領域判定ステップと、
前記欠陥画像の各画素について、前記領域判定ステップで前記欠陥に対応すると判定された領域の各画素に、前記欠陥種別に対応する情報を付与し、前記領域判定ステップで前記欠陥に対応すると判定された領域以外の各画素に、欠陥がないことに対応する情報を付与する画素情報付与ステップと、
前記欠陥種別と前記画素情報付与ステップで付与された情報を、前記欠陥画像の推論結果として出力する推論結果出力ステップと、
を有する、疑似セグメンテーションモデル生成方法。
【請求項５】
前記代表画素決定ステップは、
前記判断根拠画像の輝度値と前記対象画像の輝度値とを足し合わせることで足し合わせ画像を生成し、
前記足し合わせ画像のうち、最も輝度が高い画素に基づいて、前記代表画素を決定する、請求項４に記載の疑似セグメンテーションモデル生成方法。
【請求項６】
前記代表画素決定ステップは、
前記判断根拠画像の輝度値と前記対象画像の輝度値とのうち一方に重み付けを行い、足し合わせることで足し合わせ画像を生成し、
前記足し合わせ画像のうち、最も輝度が高い画素に基づいて、前記代表画素を決定する、請求項４に記載の疑似セグメンテーションモデル生成方法。

発明の詳細な説明【技術分野】
【０００１】
本開示は、疑似セグメンテーションモデル生成装置及び疑似セグメンテーションモデル生成方法に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
近年、画像処理、言語処理などの様々な情報処理を実現するための機械学習モデルが、様々な技術領域に利用されている。例えば、検査対象物の欠陥検査では、検査対象物を撮像した撮像画像に対して、深層学習（ＤｅｅｐＬｅａｒｎｉｎｇ：ＤＬ）モデルを利用して、撮像画像に写った欠陥の欠陥種別を推定する検査装置が利用されている。
【０００３】
また、ＤＬモデルを利用して欠陥種別を推定する手法には、撮像画像全体から撮像画像に写った欠陥の種別を推定するクラシフィケーションモデルを用いた、クラシフィケーションによる推定や、撮像画像内の各画素毎に各画素に写った欠陥の種別を推定するセグメンテーションモデルを用いた、セグメンテーションによる推定が知られている。また、撮像画像において欠陥等の対象が存在する領域を推定して対象を矩形等で囲む、ディテクションモデルを用いた、ディテクションによる推定も知られている。
【０００４】
検査装置でセグメンテーションモデルを用いて欠陥種別を推定する場合において、検査装置で利用されるＤＬモデルを訓練する際には、画素単位でラベル付けされた欠陥画像（マーキング画像）を大量に用意し、各欠陥画像をＤＬモデルに入力したときの出力結果と正解のマーキング画像との間の誤差が小さくなるように、ＤＬモデルのパラメータが調整される。
【０００５】
このようなマーキング画像は、例えば、人手を使って、ディスプレイ上に表示された欠陥画像に、画素単位で欠陥種別毎のラベルを付与するラベリング（マーキング）を行うことによって作成される。１枚の欠陥画像を人手により作成するのに数分程度を要し、ＤＬモデルを構築するには、典型的には、数百枚から数千枚のマーキング画像が必要となるため、ＤＬモデルの構築には長時間に亘る煩雑な作業が必要であった。そのため従来、このようなマーキング画像の作成を省力化するための技術が提案されてきた。
【先行技術文献】
【特許文献】
【０００６】
特開２０２０－１５４６０２号公報
特開２０２１－１４９１６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
これらの従来技術では、ＤＬモデルの画素単位の出力結果に基づいて、マーキング画像を作成しており、マーキング画像を作成するためのＤＬモデルを訓練するため、依然としてマーキング画像を作成する必要がある。
【０００８】
そこで、本発明は上記課題に鑑みてなされたものであり、本発明の目的とするところは、マーキング画像を生成する労力を低減しながら、機械学習モデルを利用して、画像データの画素毎に欠陥種別を判定することが可能な疑似セグメンテーションモデル生成装置及び疑似セグメンテーションモデル生成方法を提供することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、画像をセグメンテーションで推論する深層学習モデルを疑似的に生成する疑似セグメンテーションモデル生成装置であって、欠陥が写った画像である欠陥画像を取得する画像取得部と、画像をクラシフィケーションで推論する深層学習モデルを用いて、前記欠陥画像に写った欠陥の欠陥種別を推論する欠陥種別推論部と、前記欠陥画像のどの画素が前記欠陥種別の推論において影響し易いのかを示す、判断根拠画像を生成する判断根拠画像生成部と、前記欠陥画像の輝度値と前記判断根拠画像の輝度値とに基づいて、前記欠陥の存在を代表する画素であると見なせる代表画素を決定する代表画素決定部と、画像中の任意の画素を指定することで、当該画像中の指定した画素を含む対象に対応する領域を判定する対象領域判定モデルを用いて、前記欠陥画像を入力し、前記代表画素を指定することで、前記欠陥画像において前記欠陥に対応する領域を判定する領域判定部と、前記欠陥画像の各画素について、前記領域判定部で前記欠陥に対応すると判定された領域の各画素に、前記欠陥種別に対応する情報を付与し、前記領域判定部で前記欠陥に対応すると判定された領域以外の各画素に、欠陥がないことに対応する情報を付与する画素情報付与部と、前記欠陥種別と前記画素情報付与部で付与された情報を、前記欠陥画像の推論結果として出力する推論結果出力部と、を有する、疑似セグメンテーションモデル生成装置が提供される。
【００１０】
なお、本発明の疑似セグメンテーションモデル生成装置においては、前記代表画素決定部は、前記判断根拠画像の輝度値と前記対象画像の輝度値とを足し合わせることで足し合わせ画像を生成し、前記足し合わせ画像のうち、最も輝度が高い画素に基づいて、前記代表画素を決定してもよい。
（【００１１】以降は省略されています）

関連特許