特許ウォッチ

公開番号2025129439
公報種別公開特許公報(A)
公開日2025-09-04
出願番号2025115999
出願日2025-07-09
発明の名称深層学習モデル生成装置、および深層学習モデル生成方法
出願人日本製鉄株式会社
代理人弁理士法人樹之下知的財産事務所
主分類G06T 7/00 20170101AFI20250828BHJP(計算;計数)
要約【課題】作業負荷を軽減して高精度な深層学習モデルを生成する。
【解決手段】画素毎ラベル付与画像を対象に、画素毎ラベル付与画像に付与された画素毎ラベルと推定結果の画素毎ラベルとの差異が小さくなったことを評価するセグメンテーション評価部と、画像毎ラベル付与画像を対象に、画像毎ラベル付与画像に付与された画像毎ラベルと推定結果の画像毎ラベルとの差異が小さくなったことを評価するクラス分類評価部と、セグメンテーション評価部およびクラス分類評価部の推定結果を補正する推定結果補正部と、を有し、複数のラベルは階層化されており、推定結果補正部は階層化された複数のラベルの上下階層間の関係に基づいて、セグメンテーション評価部およびクラス分類評価部の推定結果を補正し、補正された推定結果に基づいて、セグメンテーション評価部による学習とクラス分類評価部による学習を同時に実施する、深層学習モデル生成装置を提供する。
【選択図】図4
特許請求の範囲【請求項１】
画像を入力すると、前記画像内の画素毎のラベルである画素毎ラベルと、前記画像毎のラベルである画像毎ラベルの少なくとも一方を推定する深層学習モデルを生成する深層学習モデル生成装置であって、
少なくとも、画素毎ラベルが付与された画像である画素毎ラベル付与画像を対象に、前記画素毎ラベル付与画像に付与された画素毎ラベルと推定結果の画素毎ラベルとの差異が小さくなったことを評価するセグメンテーション評価部と、
少なくとも、画像毎ラベルが付与された画像である画像毎ラベル付与画像を対象に、前記画像毎ラベル付与画像に付与された画像毎ラベルと推定結果の画像毎ラベルとの差異が小さくなったことを評価するクラス分類評価部と、
前記セグメンテーション評価部および前記クラス分類評価部の推定結果を補正する推定結果補正部と、を有し、
複数のラベルは、少なくとも１つの前記セグメンテーション評価部で用いるラベルの階層と、少なくとも１つの前記クラス分類評価部で用いるラベルの階層とで、階層化されており、
前記推定結果補正部は、前記セグメンテーション評価部の推定結果および前記クラス分類評価部の推定結果と、前記階層化された複数のラベルの上下階層間の関係に基づいて、前記セグメンテーション評価部および前記クラス分類評価部の推定結果を補正し、
前記推定結果補正部によって補正された推定結果に基づいて、前記セグメンテーション評価部による学習と前記クラス分類評価部による学習を同時に実施する、深層学習モデル生成装置。
続きを表示（約 1,300 文字）【請求項２】
前記階層化された複数のラベルは、少なくとも最下位層に、前記クラス分類評価部で用いるラベルの階層を有し、
前記最下位層以外に、１つ以上の下の階層のラベルを集約したセグメンテーション評価部で用いるラベルの階層を少なくとも１つ有する、請求項１に記載の深層学習モデル生成装置。
【請求項３】
前記推定結果補正部は、１つ上の階層のラベルの推定結果の確信度が第１の閾値を上回る場合は、１つ下の階層の複数のラベルの推定結果のうち、１つ上の階層に属さないラベルの推定結果を無視する、請求項１または請求項２に記載の深層学習モデル生成装置。
【請求項４】
前記推定結果補正部は、１つ下の階層のラベルの推定結果の確信度が第２の閾値を上回る場合は、１つ上の階層のラベルの推定結果の確信度が前記第１の閾値を上回る場合であっても、１つ上の階層のラベルの推定結果を無視する、請求項３に記載の深層学習モデル生成装置。
【請求項５】
前記第１の閾値、および／または、前記第２の閾値をラベル毎に変更する、請求項４に記載の深層学習モデル生成装置。
【請求項６】
前記推定結果補正部は、深層学習モデルの中の、前記セグメンテーション評価部と前記クラス分類評価部によるラベルの推定結果の確信度に相当する出力に対して補正する、請求項１または請求項２に記載の深層学習モデル生成装置。
【請求項７】
前記クラス分類評価部において、更に、前記画素毎ラベル付与画像を対象に、前記画素毎ラベル付与画像に付与された画素毎ラベルから抽出した画像毎ラベルと推定結果の画像毎ラベルとの差異が小さくなったことを評価する項を加算して学習する、請求項１または請求項２に記載の深層学習モデル生成装置。
【請求項８】
前記セグメンテーション評価部において、更に、前記画像毎ラベル付与画像を対象に、推定結果の画素毎ラベルを、前記画像毎ラベル付与画像に付与されたクラス分類評価部用の画像毎ラベルをセグメンテーション評価部用の画像毎ラベルに変換された画像毎ラベルに置換した疑似画素毎ラベルと推定結果の画素毎ラベルとの差異が小さくなったことを評価する項を加算して学習する、請求項１または請求項２に記載の深層学習モデル生成装置。
【請求項９】
前記画素毎ラベル付与画像、前記画像毎ラベル付与画像、およびラベルが付与されていない画像、のうち少なくとも前記画素毎ラベル付与画像を対象とする評価指標であって、前記画素毎ラベル付与画像に付与された画素毎ラベルや前記画像毎ラベル付与画像に付与された画像毎ラベルのラベル情報が必須ではなく、推定結果から算出できる差異が小さくなったことを評価する評価指標を定義し、当該評価指標も加えて評価を行う、請求項１または請求項２に記載の深層学習モデル生成装置。
【請求項１０】
前記画像は、製造中ならびに製造後の鉄鋼製品を対象として得られた画像とする、請求項１または請求項２に記載の深層学習モデル生成装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、深層学習モデル生成装置、および深層学習モデル生成方法に関する。
続きを表示（約 4,300 文字）【背景技術】
【０００２】
例えば鋼板等の検査対象物の表面性状を検査する表面性状検査装置は、検査対象物の表面を撮影した画像に対して、深層学習（ディープラーニング、ＤＬ）モデルを用いて疵の種類とその形状を推定し、それらを出力値とする検査装置である。
上記検査装置で用いられる学習済みの深層学習モデルとは、あらかじめ画素（ピクセル）単位にラベルが付与された疵画像（マーキング画像）を大量に用意しておき、各疵画像を入力したときの推定結果と正解のマーキング画像との誤差が小さくなるように学習したモデルである。
【先行技術文献】
【特許文献】
【０００３】
特開２０２０－１５４６０２号公報
特開２０２１－１４９１６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記深層学習モデルの構築のためには、大量のマーキング画像を用意する必要があると述べたが、マーキング画像を大量に用意するのは非常に業務負荷が高い問題がある。マーキング画像作成の具体的な作業イメージとしては、ペンタブレット上に疵画像を投影し、疵種ごとに画素単位でラベリング（マーキング）していく作業であるが、疵画像一枚マーキングし終わるのに数分は所要し、深層学習モデル構築に必要な数百あるいは数千枚単位の疵画像をマーキングするのは途方もない作業であり、いかにして省力的にマーキング画像を作成しＤＬモデルを構築できるかが課題である。
【０００５】
こうしたマーキング画像をなるべく省力的に収集して深層学習モデルを構築する方法について、公知の手法／先行技術として以下が挙げられる。
（１）クラウドソーシングを用いたマーキング
外部の企業または団体にお金を払って、マーキング画像作成を委託する方法である。しかしながら、一般画像（例えば動物や建物）は特に機密性はないため問題はないが、機密性が高い画像については用いることはできない。
（２）自動マーカー（特許文献１）
学習済みモデルで未マーキングのデータを推論、自信のあるデータはそのままモデルの出力結果をマーキングとして付与し学習データに追加、自信のないデータは人手マーキングを実施し、学習データに追加する手法である。この手法では、自信のないデータのみマーキングすることになるので、作業負荷の軽減は期待できる。しかし出発点となる学習済みモデルは予め用意しておくことから、あらかじめ一定数のマーキングデータを作成しておくことがいずれにせよ必要であり、依然として作業負荷は高いと言える。
【０００６】
（３）画像生成モデルを用いたマーキング画像の人工生成（特許文献２）
公知の画像生成モデル（敵対的生成ネットワーク、ＧＡＮ）を用いて、マーキング画像を人工的に水増しする手法である。画像生成モデルとは、入力された任意の乱数に基づき、学習済みモデルの演算を通じて、画素単位にラベリングされた人工マーキング画像を出力するモデルである。（２）自動マーカーと同様に、出発点となる学習済みモデルは予め用意しておくことから、依然として作業負荷は高いと言える。
以上、（１）（２）（３）から分かるように、画素単位の疵推定モデルを構築するためには大量の疵マーキング画像が必要であるが、その作業負荷を大幅に軽減できる手法は現状提案されていない。
【０００７】
そこで、本発明は、作業負荷を軽減して高精度な深層学習モデルの生成を可能にする深層学習モデル生成装置、および深層学習モデル生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
［１］画像を入力すると、前記画像内の画素毎のラベルである画素毎ラベルと、前記画像毎のラベルである画像毎ラベルの少なくとも一方を推定する深層学習モデルを生成する深層学習モデル生成装置であって、少なくとも、画素毎ラベルが付与された画像である画素毎ラベル付与画像を対象に、前記画素毎ラベル付与画像に付与された画素毎ラベルと推定結果の画素毎ラベルとの差異が小さくなったことを評価するセグメンテーション評価部と、少なくとも、画像毎ラベルが付与された画像である画像毎ラベル付与画像を対象に、前記画像毎ラベル付与画像に付与された画像毎ラベルと推定結果の画像毎ラベルとの差異が小さくなったことを評価するクラス分類評価部と、前記セグメンテーション評価部および前記クラス分類評価部の推定結果を補正する推定結果補正部と、を有し、複数のラベルは、少なくとも１つの前記セグメンテーション評価部で用いるラベルの階層と、少なくとも１つの前記クラス分類評価部で用いるラベルの階層とで、階層化されており、前記推定結果補正部は、前記セグメンテーション評価部の推定結果および前記クラス分類評価部の推定結果と、前記階層化された複数のラベルの上下階層間の関係に基づいて、前記セグメンテーション評価部および前記クラス分類評価部の推定結果を補正し、前記推定結果補正部によって補正された推定結果に基づいて、前記セグメンテーション評価部による学習と前記クラス分類評価部による学習を同時に実施する、深層学習モデル生成装置。
［２］前記階層化された複数のラベルは、少なくとも最下位層に、前記クラス分類評価部で用いるラベルの階層を有し、前記最下位層以外に、１つ以上の下の階層のラベルを集約したセグメンテーション評価部で用いるラベルの階層を少なくとも１つ有する、［１］に記載の深層学習モデル生成装置。
［３］前記推定結果補正部は、１つ上の階層のラベルの推定結果の確信度が第１の閾値を上回る場合は、１つ下の階層の複数のラベルの推定結果のうち、１つ上の階層に属さないラベルの推定結果を無視する、［１］または［２］に記載の深層学習モデル生成装置。
［４］前記推定結果補正部は、１つ下の階層のラベルの推定結果の確信度が第２の閾値を上回る場合は、１つ上の階層のラベルの推定結果の確信度が前記第１の閾値を上回る場合であっても、１つ上の階層のラベルの推定結果を無視する、［３］に記載の深層学習モデル生成装置。
［５］前記第１の閾値、および／または、前記第２の閾値をラベル毎に変更する、［４］に記載の深層学習モデル生成装置。
［６］前記推定結果補正部は、深層学習モデルの中の、前記セグメンテーション評価部と前記クラス分類評価部によるラベルの推定結果の確信度に相当する出力に対して補正する、［１］または［２］に記載の深層学習モデル生成装置。
［７］前記クラス分類評価部において、更に、前記画素毎ラベル付与画像を対象に、前記画素毎ラベル付与画像に付与された画素毎ラベルから抽出した画像毎ラベルと推定結果の画像毎ラベルとの差異が小さくなったことを評価する項を加算して学習する、［１］または［２］に記載の深層学習モデル生成装置。
［８］前記セグメンテーション評価部において、更に、前記画像毎ラベル付与画像を対象に、推定結果の画素毎ラベルを、前記画像毎ラベル付与画像に付与されたクラス分類評価部用の画像毎ラベルをセグメンテーション評価部用の画像毎ラベルに変換された画像毎ラベルに置換した疑似画素毎ラベルと推定結果の画素毎ラベルとの差異が小さくなったことを評価する項を加算して学習する、［１］または［２］に記載の深層学習モデル生成装置。
［９］前記画素毎ラベル付与画像、前記画像毎ラベル付与画像、およびラベルが付与されていない画像、のうち少なくとも前記画素毎ラベル付与画像を対象とする評価指標であって、前記画素毎ラベル付与画像に付与された画素毎ラベルや前記画像毎ラベル付与画像に付与された画像毎ラベルのラベル情報が必須ではなく、推定結果から算出できる差異が小さくなったことを評価する評価指標を定義し、当該評価指標も加えて評価を行う、［１］または［２］に記載の深層学習モデル生成装置。
［１０］前記画像は、製造中ならびに製造後の鉄鋼製品を対象として得られた画像とする、［１］または［２］に記載の深層学習モデル生成装置。
【０００９】
［１１］画像を入力すると、前記画像内の画素毎のラベルである画素毎ラベルと、前記画像毎のラベルである画像毎ラベルの少なくとも一方を推定する深層学習モデルを生成する深層学習モデル生成方法であって、少なくとも、画素毎ラベルが付与された画像である画素毎ラベル付与画像を対象に、前記画素毎ラベル付与画像に付与された画素毎ラベルと推定結果の画素毎ラベルとの差異が小さくなったことを評価するセグメンテーション評価工程と、少なくとも、画像毎ラベルが付与された画像である画像毎ラベル付与画像を対象に、前記画像毎ラベル付与画像に付与された画像毎ラベルと推定結果の画像毎ラベルとの差異が小さくなったことを評価するクラス分類評価工程と、前記セグメンテーション評価工程および前記クラス分類評価工程における推定結果を補正する推定結果補正工程と、を有し、複数のラベルは、少なくとも１つの前記セグメンテーション評価工程で用いるラベルの階層と、少なくとも１つの前記クラス分類評価工程で用いるラベルの階層とで、階層化されており、前記推定結果補正工程では、前記セグメンテーション評価工程における推定結果および前記クラス分類評価工程における推定結果と、前記階層化された複数のラベルの上下階層間の関係に基づいて、前記セグメンテーション評価工程および前記クラス分類評価工程における推定結果を補正し、前記推定結果補正工程において補正された推定結果に基づいて、前記セグメンテーション評価工程における学習と前記クラス分類評価工程における学習を同時に実施する、深層学習モデル生成方法。
【発明の効果】
【００１０】
本発明によれば、複数のラベルを階層化し、かつ、教師データとして画像毎にラベルが付与された画像である画像毎ラベル付与画像を活用し、セグメンテーションとクラス分類を同時に行う学習を行うことによって、作業負荷を軽減して高精度な深層学習モデルを生成することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許