特許ウォッチ

公開番号2024050421
公報種別公開特許公報(A)
公開日2024-04-10
出願番号2023128161
出願日2023-08-04
発明の名称非金属介在物の自動領域識別方法およびそれを組み込んだ介在物判別システム
出願人山陽特殊製鋼株式会社,公立大学法人大阪
代理人個人,個人
主分類G06T 7/00 20170101AFI20240403BHJP(計算;計数)
要約【課題】極値統計法による介在物の大きさ予測において必要となる最大介在物の大きさデータをその光学顕微鏡画像から求めるにあたり、評価対象とする種類の介在物の画像領域をディープラーニングにより自動で精度良く分割識別する技術を提供する。
【解決手段】
生データである判別対象の非金属介在物が含まれる鋼材の光学顕微鏡画像と、この判別対象となる介在物が各種介在物系毎に塗り分けされた正解データである着色画像とのデータ対を複数対備えた一群の学習データセットに基づいた教師データを用いて電子計算機に機械学習で生成させた学習モデルを用いて、介在物の領域が未識別(未知)の鋼材の光学顕微鏡画像が照会されたときに入力画像の特徴量を抽出し、介在物系を判別し、介在物系毎に塗り分ける、非金属介在物の画像について各種介在物系毎の領域に自動で分割識別する介在物判別方法。
【選択図】図1
特許請求の範囲【請求項１】
判別対象の非金属介在物を含む鋼材の光学顕微鏡画像データと、当該光学顕微鏡画像データに対応する判別対象の非金属介在物の画像領域を介在物種別毎に異なる色で塗り分けた着色画像データと、からなるデータ対を複数対備えた一群の学習データセットに基づいて得られた教師データを用いて、電子計算機に機械学習させることで学習済みモデルを生成し、
入力され、照会された鋼材の光学顕微鏡画像に関する特徴量を当該学習済みモデルに基づいて電子計算機によって抽出する工程と、
当該学習済みモデルに基づいて介在物の種類を判別する工程と、
判別結果に基づいて介在物系毎に塗り分けた着色済画像データを取得する工程と、
を順に含む、非金属介在物を含む画像に対して電子計算機が介在物系毎の画像領域を機械学習により自動で分割識別する介在物系の判別方法。
続きを表示（約 1,000 文字）【請求項２】
教師データには、学習データセットのデータ対を元にしてデータ拡張により生成されたデータ対を含むこと、を特徴とする請求項１に記載の介在物系の判別方法。
【請求項３】
光学顕微鏡画像データは、グレースケール画像であって、当該光学顕微鏡画像を３チャンネルのＲＧＢカラー画像に変換した疑似カラー変換画像とした後、データ対の着色画像データとともに機械学習に供することで学習済みモデルを生成させることを特徴とする、請求項１に記載の介在物径の判別方法。
【請求項４】
教師データのデータ対に用いる介在物種別毎に異なる色で塗り分けた着色画像データは、色反転処理された画像に基づいて介在物種別毎に異なる色で塗り分けた着色画像データであることを特徴とする、請求項１に記載の介在物系の判別方法。
【請求項５】
学習済みモデルは、全層畳み込みニューラルネットワークのＵ－Ｎｅｔを用いて機械学習させることで生成されるものであることを特徴とする請求項１に記載の介在物系の判別方法。
【請求項６】
学習済みモデルは、損失関数に重み付き交差エントロピー誤差を使用して判別対象とする種類の介在物の重みが大きくなるように調整して機械学習させることで生成されるものであることを特徴とする請求項１に記載の介在物系の判別方法。
【請求項７】
判別結果に基づいて介在物系毎に塗り分けた着色済画像に基づき、評価対象とする介在物系の長径と短径を計測して介在物の大きさを算出する工程を含むことを特徴とする請求項１に記載の介在物系の判別方法。
【請求項８】
判別結果に基づいて介在物系毎に塗り分けた着色済画像に基づき、評価対象とする介在物系の長径と短径を計測して介在物の大きさを算出し、観察面積の鋼材中の最大介在物を選別して最大介在物の大きさ√ａｒｅａを出力する工程を含むことを特徴とする、請求項１に記載の介在物の判別方法。
【請求項９】
所定の観察面積を有する複数の試験片の各々に対して最大介在物の大きさ√ａｒｅａの算出を行い、得られた複数の最大介在物の大きさデータに基づいて極値統計法を利用して評価鋼材の所定の予測面積における介在物予測径（√ａｒｅａ
max
）を算出する工程を含むこと、を特徴とする請求項８に記載の介在物系の判別方法。
【請求項１０】
請求項１～９のいずれか１項に記載の介在物系の判別方法を備えた介在物判別システム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、鋼材中の非金属介在物の撮影画像についてＡＩの機械学習によって画像領域を自動分割することで非金属介在物を判別する方法及びシステムに関する。特に、本発明は、ディープラーニングにより各種介在物毎にその領域を分割識別することで非金属介在物を判別する方法に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
近年、自動運転技術や医療用画像処理技術、工業用検査方法などの様々な分野で、ＡＩ（人工知能）、特にディープラーニング（深層学習）を用いたセマンティックセグメンテーション（ＳｅｍａｎｔｉｃＳｅｇｍｅｎｔａｔｉｏｎ）が利用されている。ディープラーニングを用いて画像領域を分割する手法としては、畳み込みニューラルネットワーク（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ、以下「ＣＮＮ」という。）が広く利用されるようになってきている。ＣＮＮは畳み込み層とプーリング層と全結合層を有することで、画像領域の分割に有効な手段であるが、画像を細かな領域に分割する作業には向いておらず、基本的に空間分解能は低い。
【０００３】
そこで最近は、全結合層を全層畳み込み層とすることで、セグメンテーションだけに特化する全層畳み込みニューラルネットワーク（ＦｕｌｌｙＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋ、以下「ＦＣＮ」という。）が提案されている。しかし、ＦＣＮにおいても空間分解能が低い問題は解決されていない。そこでさらに、この空間分解能の低さを解決するため、畳み込み時の画像の情報を逆畳み込み時の画像に反映させることで空間分解能を高めることを特徴とするＵ－Ｎｅｔの応用が近年進んでいる（非特許文献１）。
【０００４】
ところで、鋼には、その製造過程を通じて生成される非金属介在物と称される微小な異物が除去しきれずに残留している。軸受鋼などの高強度部品として使用される場面では、使用につれてそれらの非金属介在物に応力が繰り返し集中することでき裂が生じ、それを起点として疲労破壊を生じる場合があることも知られている。
【０００５】
これまでに、鋼中の非金属介在物を評価する方法として様々な方法が提案されており、日本産業規格ＪＩＳＧ０５５５やＡＳＴＭＥ４５等で規定されているように、光学顕微鏡を用いて鏡面研磨された鋼試料を観察することによって行われる顕微鏡法などが知られている。
【０００６】
また、鋼中の非金属介在物を評価する方法として、光学顕微鏡による介在物の観察と、検査基準面積内において観察された介在物の大きさデータをもとにした極値統計評価によって基準体積内の最大介在物径を予測する方法が提案されている（非特許文献２参照）。
【０００７】
また、非金属介在物と非金属介在物誤認要因を自動的に分別するべく、撮像された画像中から対象物の特徴量を算出し、金属材料中に存在する非金属介在物と、被検面に存在する塵埃やしみ等のように非金属介在物ではないものの非金属介在物と誤認される可能性があるもの（非金属介在物誤認要因）とを判定する検査装置が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００８】
特開平１０－６２３５７号公報
【非特許文献】
【０００９】
ＯｌａｆＲｏｎｎｅｂｅｒｇｅｒ他著「Ｕ－ｎｅｔ：ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋｓｆｏｒＢｉｏｍｅｄｉｃａｌＩｍａｇｅＳｅｇｍｅｎｔａｔｉｏｎ」ＭＩＣＣＡＩ，２３４ー２４１頁（２０１５）
「金属疲労微小欠陥と介在物の影響」養賢堂、村上敬宜著（１９９３）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
さて、非金属介在物の周辺への応力集中が影響する範囲は、非金属介在物の大きさと相関すると考えられる。そこで、軸受の寿命を想定する上で、鋼中の非金属介在物の大きさを評価し、把握することは重要である。そして、非金属介在物の中でも、特に大きい非金属介在物の径（最大介在物径）を把握することは、鋼の信頼性を確保する観点から重視される。
（【００１１】以降は省略されています）

関連特許