特許ウォッチ

公開番号2024179020
公報種別公開特許公報(A)
公開日2024-12-26
出願番号2023097501
出願日2023-06-14
発明の名称計算機システム及び推論の不確実性判定方法
出願人株式会社日立製作所
代理人藤央弁理士法人
主分類G06T 7/00 20170101AFI20241219BHJP(計算;計数)
要約【課題】セマンティックセグメンテーションの推論において信頼できない領域を、要因ごとに分類する。
【解決手段】計算機システムは、画像に含まれる画素を複数のクラスに分類するための推論に用いるモデルの定義情報を保持する。モデルは、画素の、複数のクラスの各々に該当する確率を算出するモデルである。計算機システムは、画像の入力を受け付け、複数回の推論の結果に基づいて、画像の各画素について、複数のクラスの確率分布を算出し、画像の各画素について、複数のクラスの確率分布を統計処理することによって、画素に対する推論の不確実性を表す不確実性指標を複数算出し、画像の各画素について、複数の不確実性指標に基づいて、不確実性の区分である不確実性レベルを付与し、画像の各画素の不確実性レベルを提示するための不確実性マップを生成する。
【選択図】図3
特許請求の範囲【請求項１】
計算機システムであって、
プロセッサ及び前記プロセッサに接続される記憶装置を有する計算機を備え、
画像に含まれる画素を複数のクラスに分類するための推論に用いるモデルの定義情報を保持し、
前記モデルは、前記画素の、前記複数のクラスの各々に該当する確率を算出するモデルであって、
前記プロセッサは、
画像の入力を受け付け、
前記定義情報によって定義される前記モデルを変形したモデルを用いて前記画像に対する推論を複数回実行し、
複数回の前記推論の結果に基づいて、前記画像の各画素について、前記複数のクラスの各々について確率分布を算出し、
前記画像の各画素について、前記複数のクラスの各々の前記確率分布を統計処理することによって、前記画素に対する前記推論の不確実性を表す不確実性指標を複数算出し、
前記画像の各画素について、前記複数の不確実性指標に基づいて、不確実性の区分である不確実性レベルを付与し、
前記画像の各画素の前記不確実性レベルを提示するための不確実性マップを生成し、出力することを特徴とする計算機システム。
続きを表示（約 3,300 文字）【請求項２】
請求項１に記載の計算機システムであって、
前記プロセッサは、
前記確率分布の最頻値、中央値、又は平均値が最大の前記クラスの分散を第１不確実性指標として算出し、
前記確率分布の最頻値、中央値、又は平均値の大きさが３番目より小さい前記クラスの前記確率分布の最頻値、中央値、又は平均値の合計を第２不確実性指標として算出し、
前記第１不確実性指標及び前記第２不確実性指標を用いて、前記推論の結果が信頼できることを表す第１レベル、前記推論の結果が信頼できないことを表す第２レベル、前記画素が異なる前記クラスの領域の境界に位置することを表す第３レベルの三つの前記不確実性レベルを付与することを特徴とする計算機システム。
【請求項３】
請求項２に記載の計算機システムであって、
前記プロセッサは、
前記画素の前記第１不確実性指標が第１閾値より小さいか否かを判定し、
前記画素の前記第１不確実性指標が第１閾値より小さい場合、前記第１レベルを付与し、
前記画素の前記第１不確実性指標が第１閾値以上である場合、前記画素の前記第２不確実性指標が第２閾値より大きいか否かを判定し、
前記画素の前記第２不確実性指標が第２閾値より大きい場合、前記第２レベルを付与し、
前記画素の前記第２不確実性指標が第２閾値以下の場合、前記確率分布の最頻値、中央値、又は平均値の大きさが１番目及び２番目の前記クラスの前記確率分布の重なり具合を評価する評価指標を算出し、前記評価指標が前記第１不確実性指標より小さいか否かを判定し、
前記評価指標が前記第１不確実性指標より小さい場合、前記第３レベルを付与することを特徴とする計算機システム。
【請求項４】
請求項３に記載の計算機システムであって、
前記プロセッサは、
前記不確実性レベルが付与されていない前記画素を特定し、
特定された前記画素であって、同じ前記クラスに属する前記画素が形成する判定領域の大きさが第３閾値より小さいか否かを判定し、
前記判定領域が前記第３閾値より小さい場合、前記判定領域に含まれる前記画素に、前記判定領域が小さいことを表す第４レベルを付与することを特徴とする計算機システム。
【請求項５】
請求項３に記載の計算機システムであって、
前記プロセッサは、
ユーザから、確認する前記不確実性レベルの指定を受け付け、
指定された前記不確実性レベルが付与された前記画素を強調表示する前記不確実性マップを生成することを特徴とする計算機システム。
【請求項６】
請求項５に記載の計算機システムであって、
前記プロセッサは、
前記画像を複数の部分画像に分割し、
前記部分画像について、指定された前記不確実性レベルが付与された前記画素の前記部分画像における比率を算出し、
前記比率が第４閾値より大きい前記部分画像を特定し、
特定された前記部分画像に含まれ、かつ、指定された前記不確実性レベルが付与された前記画素を強調表示する前記不確実性マップを生成することを特徴とする計算機システム。
【請求項７】
計算機システムが実行する推論の不確実性判定方法であって、
前記計算機システムは、
プロセッサ及び前記プロセッサに接続される記憶装置を有する計算機を備え、
画像に含まれる画素を複数のクラスに分類するための推論に用いるモデルの定義情報を保持し、
前記モデルは、前記画素の、前記複数のクラスの各々に該当する確率を算出するモデルであって、
前記推論の不確実性判定方法は、
前記計算機システムが、画像の入力を受け付ける第１のステップと、
前記計算機システムが、前記定義情報によって定義される前記モデルを変形したモデルを用いて前記画像に対する推論を複数回実行する第２のステップと、
前記計算機システムが、複数回の前記推論の結果に基づいて、前記画像の各画素について、前記複数のクラス各々について確率分布を算出する第３のステップと、
前記計算機システムが、前記画像の各画素について、前記複数のクラスの各々の前記確率分布を統計処理することによって、前記画素に対する前記推論の不確実性を表す不確実性指標を複数算出する第４のステップと、
前記計算機システムが、前記画像の各画素について、前記複数の不確実性指標に基づいて、不確実性の区分である不確実性レベルを付与する第５のステップと、
前記計算機システムが、前記画像の各画素の前記不確実性レベルを提示するための不確実性マップを生成し、出力する第６のステップと、
を含むことを特徴とする推論の不確実性判定方法。
【請求項８】
請求項７に記載の推論の不確実性判定方法であって、
前記第４のステップは、
前記計算機システムが、前記確率分布の最頻値、中央値、又は平均値が最大の前記クラスの分散を第１不確実性指標として算出するステップと、
前記計算機システムが、前記確率分布の最頻値、中央値、又は平均値の大きさが３番目より小さい前記クラスの前記確率分布の最頻値、中央値、又は平均値の合計を第２不確実性指標として算出するステップと、を含み、
前記第５のステップは、前記計算機システムが、前記第１不確実性指標及び前記第２不確実性指標を用いて、前記推論の結果が信頼できることを表す第１レベル、前記推論の結果が信頼できないことを表す第２レベル、前記画素が異なる前記クラスの領域の境界に位置することを表す第３レベルの三つの前記不確実性レベルを付与するステップを含むことを特徴とする推論の不確実性判定方法。
【請求項９】
請求項８に記載の推論の不確実性判定方法であって、
前記第５のステップは、
前記計算機システムが、前記画素の前記第１不確実性指標が第１閾値より小さいか否かを判定するステップと、
前記画素の前記第１不確実性指標が第１閾値より小さい場合、前記計算機システムが、前記第１レベルを付与するステップと、
前記画素の前記第１不確実性指標が第１閾値以上である場合、前記計算機システムが、前記画素の前記第２不確実性指標が第２閾値より大きいか否かを判定するステップと、
前記画素の前記第２不確実性指標が第２閾値より大きい場合、前記計算機システムが、前記第２レベルを付与するステップと、
前記画素の前記第２不確実性指標が第２閾値以下の場合、前記計算機システムが、前記確率分布の最頻値、中央値、又は平均値の大きさが１番目及び２番目の前記クラスの前記確率分布の重なり具合を評価する評価指標を算出し、前記評価指標が前記第１不確実性指標より小さいか否かを判定するステップと、
前記評価指標が前記第１不確実性指標より小さい場合、前記計算機システムが、前記第３レベルを付与するステップと、を含むことを特徴とする推論の不確実性判定方法。
【請求項１０】
請求項９に記載の推論の不確実性判定方法であって、
前記第５のステップは、
前記計算機システムが、前記不確実性レベルが付与されていない前記画素を特定するステップと、
前記計算機システムが、特定された前記画素であって、同じ前記クラスに属する前記画素が形成する判定領域の大きさが第３閾値より小さいか否かを判定するステップと、
前記計算機システムが、前記判定領域が前記第３閾値より小さい場合、前記判定領域に含まれる前記画素に、前記判定領域が小さいことを表す第４レベルを付与するステップと、を含むことを特徴とする推論の不確実性判定方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、セマンティックセグメンテーションにおける推論結果の不確実性を定量的に評価し、不確実性のレベル付けを行う技術に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
様々な分野において画像を複数の領域に分類する処理に人工知能（ＡＩ）の利用が進んでいる。例えば、材料科学の分野では、ＡＩを用いて、組織画像から特徴量を抽出し、物性との関係性をモデル化することで、新材料開発の効率化が期待されている。組織特徴を解析するＡＩの機械学習モデルとしてセマンティックセグメンテーション（ＳＳ）が広く用いられている。
【０００３】
機械学習モデルの出力である推論結果は、推論の精度とともに、不確実性を評価することが重要である。不確実性を定量化する手法として特許文献１に記載の手法が知られている。特許文献１には、モンテカルロドロップアウトを反復適用し、不確実性を評価することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０１８－２００６７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の不確実性の指標は連続値である。そのため、当該値を用いることによって、信頼できる領域及び信頼できない領域を特定できる。
【０００６】
セマンティックセグメンテーションの推論の不確実性の要因は様々考えられる。しかし、特許文献１に記載の指標を用いても、信頼できない領域がどのような要因に起因するかを判別することは難しい。
【０００７】
本開示は、セマンティックセグメンテーションの推論において信頼できない領域を、要因ごとに分類する技術を提供する。
【課題を解決するための手段】
【０００８】
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、計算機システムであって、プロセッサ及び前記プロセッサに接続される記憶装置を有する計算機を備え、画像に含まれる画素を複数のクラスに分類するための推論に用いるモデルの定義情報を保持し、前記モデルは、前記画素の、前記複数のクラスの各々に該当する確率を算出するモデルであって、前記プロセッサは、画像の入力を受け付け、前記定義情報によって定義される前記モデルを変形したモデルを生成し、当該モデルを用いて前記画像を推論する処理を複数回実行し、複数回の前記推論の結果に基づいて、前記画像の各画素について、前記複数のクラスの各々について確率分布を算出し、前記画像の各画素について、前記複数のクラスの各々の前記確率分布を統計処理することによって、前記画素に対する前記推論の不確実性を表す不確実性指標を複数算出し、前記画像の各画素について、前記複数の不確実性指標に基づいて、不確実性の区分である不確実性レベルを付与し、前記画像の各画素の前記不確実性レベルを提示するための不確実性マップを生成し、出力する。
【発明の効果】
【０００９】
本開示の一つの態様によれば、セマンティックセグメンテーションの推論において信頼できない領域を、要因ごとに分類できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
【図面の簡単な説明】
【００１０】
実施例１の計算機システムの機能構成の一例を示す図である。
実施例１の計算機システムを構成する計算機のハードウェア構成の一例を示す図である。
実施例１の計算機システムの機能の連携を示す図である。
実施例１の教師データＤＢのデータ構造の一例を示す図である。
実施例１のモデルＤＢのデータ構造の一例を示す図である。
実施例１の推論結果ＤＢのデータ構造の一例を示す図である。
実施例１の推論結果ＤＢのデータ構造の一例を示す図である。
実施例１の推論結果ＤＢのデータ構造の一例を示す図である。
実施例１の推論結果ＤＢのデータ構造の一例を示す図である。
セマンティックセグメンテーションの推論の特性を説明する図である。
セマンティックセグメンテーションの推論の特性を説明する図である。
セマンティックセグメンテーションの推論の特性を説明する図である。
セマンティックセグメンテーションの推論の特性を説明する図である。
実施例１の計算機システムが実行する推論処理の一例を説明するフローチャートである。
実施例１の計算機システムが算出するクラスの確率分布の一例を示す図である。
実施例１の計算機システムが実行する不確実性レベル判定処理の一例を説明するフローチャートである。
実施例１の計算機システムが実行する不確実性レベル判定処理の一例を説明するフローチャートである。
実施例１における不確実性指標及び正解率の相関の一例を示す図である。
実施例１における不確実性指標及び正解率の相関の一例を示す図である。
実施例１における評価指標の算出方法の一例を示す図である。
実施例１の計算機システムが実行する不確実性マップ生成処理の一例を説明するフローチャートである。
実施例１の計算機システムが提示するＧＵＩの一例を示す図である。
実施例２の不確実性マップの一例を示す図である。
実施例３の計算機システムの機能構成の一例を示す図である。
実施例３の計算機システムの機能の連携を示す図である。
実施例３の計算機システムが実行する推論処理の一例を説明するフローチャートである。
実施例３の計算機システムが実行する推論結果出力処理の一例を説明するフローチャートである。
実施例３の計算機システムが提示するＧＵＩの一例を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許