特許ウォッチ

公開番号2025123944
公報種別公開特許公報(A)
公開日2025-08-25
出願番号2024019750
出願日2024-02-13
発明の名称計算機システム及びクラス分類の結果の修正支援方法
出願人株式会社日立製作所
代理人藤央弁理士法人
主分類G06N 20/00 20190101AFI20250818BHJP(計算;計数)
要約【課題】セマンティックセグメンテーションの結果を自動的に修正する。
【解決手段】計算機システムは、入力画像の入力を受け付け、予測モデルを変形し、変形された予測モデルを用いて入力画像に対する予測を行い、予測結果を保存する処理を複数回実行し、複数の予測結果に基づいて、入力画像の各画素について、各クラスの確率分布を算出し、各クラスの前記確率分布を統計処理することによって画素のクラス分類の結果に対する不確実性レベルを付与し、各画素について、各クラスの前記確率分布に基づいて当該画素が属するクラスを決定し、各画素が属するクラスを表すベース画像を生成し、入力画像の各画素の前記不確実性レベルを表す不確実性マップを生成し、不確実性マップに基づいて、クラス分類の結果の修正が必要な入力画像の画素を選択し、複数の予測結果を用いて、選択された入力画像の画素のクラス分類の結果を修正する。
【選択図】図17
特許請求の範囲【請求項１】
計算機システムであって、
プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続される入出力インタフェースを備え、
複数のクラスの中から、画像の画素が属するクラスを決定するクラス分類を行うための予測を行う予測モデルの定義情報を保持し、
前記予測モデルは、前記画像の各画素について、各クラスに属する確率を算出する機械学習モデルであって、
前記プロセッサは、
入力画像の入力を受け付け、
前記予測モデルを変形し、変形された前記予測モデルを用いて前記入力画像に対する前記予測を行い、予測結果を保存する処理を複数回実行し、
複数の前記予測結果に基づいて、前記入力画像の各画素について、各クラスの確率分布を算出し、
前記入力画像の各画素について、各クラスの前記確率分布を統計処理することによって前記入力画像の画素の前記クラス分類の結果に対する不確実性レベルを付与し、
前記入力画像の各画素について、各クラスの前記確率分布に基づいて当該画素が属するクラスを決定し、前記入力画像の各画素が属するクラスを表すベース画像を生成し、
前記入力画像の各画素の前記不確実性レベルを表す不確実性マップを生成し、
前記不確実性マップに基づいて、前記クラス分類の結果の修正が必要な前記入力画像の画素を選択し、
複数の前記予測結果を用いて、選択された前記入力画像の画素の前記クラス分類の結果を修正することによって、前記ベース画像を修正することを特徴とする計算機システム。
続きを表示（約 2,700 文字）【請求項２】
請求項１に記載の計算機システムであって、
前記プロセッサは、
前記不確実性レベルとして、前記入力画像の画素の前記クラス分類の結果が信頼できることを表す第１レベル、前記入力画像の画素の前記クラス分類の結果が信頼できないことを表す第２レベル、及び前記入力画像の画素が複数のクラスの境界に位置するために属するクラスが一意に定まらないことを表す第３レベルのいずれかを付与し、
前記クラス分類の結果の修正が必要な前記入力画像の画素として、前記第２レベルが付与された前記入力画像の画素及び前記第３レベルが付与された前記入力画像の画素の少なくともいずれかを選択することを特徴とする計算機システム。
【請求項３】
請求項２に記載の計算機システムであって、
前記プロセッサは、
前記第２レベルが付与された前記入力画像の画素が形成する領域を選択し、
前記領域において属する画素の数が最大のクラスが、前記ベース画像の前記領域において属する画素の数が最大のクラスとは異なる前記予測結果を検索し、
検索された前記予測結果に基づく前記領域に含まれる前記入力画像の画素の前記クラス分類の結果に基づいて、前記ベース画像の前記領域に含まれる前記画素が属するクラスを修正することを特徴とする計算機システム。
【請求項４】
請求項３に記載の計算機システムであって、
前記プロセッサは、修正対象の前記領域を選択するためのインタフェースと、検索された前記予測結果を選択するためのインタフェースと、を提示することを特徴とする計算機システム。
【請求項５】
請求項２に記載の計算機システムであって、
前記プロセッサは、
前記第３レベルが付与された前記入力画像の画素が形成する領域を選択し、
前記ベース画像の前記領域に含まれる前記画素が属するクラスを変更することを特徴とする計算機システム。
【請求項６】
請求項５に記載の計算機システムであって、
前記プロセッサは、
前記入力画像の各画素について、前記確率分布の最頻値が最大であるクラスを、前記入力画像の画素が属するクラスとして決定することによって、前記ベース画像を生成し、
前記ベース画像の前記領域に含まれる画素について、前記確率分布の最頻値が１番大きいクラスの第１確率分布と、前記確率分布の最頻値が２番目に大きいクラスの第２確率分布を特定し、
前記第１確率分布の最頻値及び前記第２確率分布の最頻値の差が所定値より小さい、前記ベース画像の前記領域に含まれる画素が属するクラスを、前記確率分布の最頻値が最大の前記クラス以外のクラスに変更することを特徴とする計算機システム。
【請求項７】
請求項５に記載の計算機システムであって、
前記プロセッサは、修正対象の前記領域を選択するためのインタフェースを提示することを特徴とする計算機システム。
【請求項８】
請求項２に記載の計算機システムであって、
前記予測モデルを生成する学習フェーズにおける検証結果を保持し、
前記検証結果は、前記予測モデルにおける各クラスの正解率に関する情報を含み、
前記プロセッサは、修正された前記ベース画像において、前記正解率が閾値より小さいクラスに関する修正が行われた場合、修正された前記ベース画像の確認を推奨する表示を行うことを特徴とする計算機システム。
【請求項９】
計算機システムが実行するクラス分類の結果の修正支援方法であって、
前記計算機システムは、
プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続される入出力インタフェースを有し、
複数のクラスの中から、画像の画素が属するクラスを決定するクラス分類を行うための予測を行う予測モデルの定義情報を保持し、
前記予測モデルは、前記画像の各画素について、各クラスに属する確率を算出する機械学習モデルであって、
前記クラス分類の結果の修正支援方法は、
前記プロセッサが、入力画像の入力を受け付ける第１のステップと、
前記プロセッサが、前記予測モデルを変形し、変形された前記予測モデルを用いて前記入力画像に対する前記予測を行い、予測結果を保存する処理を複数回実行する第２のステップと、
前記プロセッサが、複数の前記予測結果に基づいて、前記入力画像の各画素について、各クラスの確率分布を算出する第３のステップと、
前記プロセッサが、前記入力画像の各画素について、各クラスの前記確率分布を統計処理することによって前記入力画像の画素の前記クラス分類の結果に対する不確実性レベルを付与する第４のステップと、
前記プロセッサが、前記入力画像の各画素について、各クラスの前記確率分布に基づいて当該画素が属するクラスを決定し、前記入力画像の各画素が属するクラスを表すベース画像を生成する第５のステップと、
前記プロセッサが、前記入力画像の各画素の前記不確実性レベルを表す不確実性マップを生成する第６のステップと、
前記プロセッサが、前記不確実性マップに基づいて、前記クラス分類の結果の修正が必要な前記入力画像の画素を選択し、
前記プロセッサが、複数の前記予測結果を用いて、選択された前記入力画像の画素の前記クラス分類の結果を修正することによって、前記ベース画像を修正する第７のステップと、
を含むことを特徴とするクラス分類の結果の修正支援方法。
【請求項１０】
請求項９に記載のクラス分類の結果の修正支援方法であって、
前記第４のステップは、前記プロセッサが、前記不確実性レベルとして、前記入力画像の画素の前記クラス分類の結果が信頼できることを表す第１レベル、前記入力画像の画素の前記クラス分類の結果が信頼できないことを表す第２レベル、及び前記入力画像の画素が複数のクラスの境界に位置するために属するクラスが一意に定まらないことを表す第３レベルのいずれかを付与するステップを含み、
前記第７のステップは、前記プロセッサが、前記クラス分類の結果の修正が必要な前記入力画像の画素として、前記第２レベルが付与された前記入力画像の画素及び前記第３レベルが付与された前記入力画像の画素の少なくともいずれかを選択するステップを含むことを特徴とするクラス分類の結果の修正支援方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、セマンティックセグメンテーションの結果を修正する技術に関する。
続きを表示（約 3,300 文字）【背景技術】
【０００２】
様々な分野において画像を複数の領域に分類する処理に人工知能（ＡＩ）の利用が進んでいる。例えば、材料科学の分野では、ＡＩを用いて、組織画像から特徴量を抽出し、物性との関係性をモデル化することで、新材料開発の効率化が期待されている。組織特徴を解析するＡＩの機械学習モデルとしてセマンティックセグメンテーション（ＳＳ）が広く用いられている。
【０００３】
機械学習モデルの出力である予測結果は、予測の精度とともに、不確実性を評価することが重要である。不確実性を定量化する手法として特許文献１に記載の手法が知られている。特許文献１には、モンテカルロドロップアウトを反復適用し、不確実性を評価することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０１８－２００６７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の不確実性の指標を可視化した不確実性マップにより、予測が誤っている領域を限定できるが、予測結果の手動で修正する作業は多くの作業工数が発生する。
【０００６】
本開示は、セマンティックセグメンテーションの結果の不確実性に基づいて、当該結果を修正する技術に関する。
【課題を解決するための手段】
【０００７】
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、計算機システムであって、プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続される入出力インタフェースを備え、複数のクラスの中から、画像の画素が属するクラスを決定するクラス分類を行うための予測を行う予測モデルの定義情報を保持し、前記予測モデルは、前記画像の各画素について、各クラスに属する確率を算出する機械学習モデルであって、前記プロセッサは、入力画像の入力を受け付け、前記予測モデルを変形し、変形された前記予測モデルを用いて前記入力画像に対する前記予測を行い、予測結果を保存する処理を複数回実行し、複数の前記予測結果に基づいて、前記入力画像の各画素について、各クラスの確率分布を算出し、前記入力画像の各画素について、各クラスの前記確率分布を統計処理することによって前記入力画像の画素の前記クラス分類の結果に対する不確実性レベルを付与し、前記入力画像の各画素について、各クラスの前記確率分布に基づいて当該画素が属するクラスを決定し、前記入力画像の各画素が属するクラスを表すベース画像を生成し、前記入力画像の各画素の前記不確実性レベルを表す不確実性マップを生成し、前記不確実性マップに基づいて、前記クラス分類の結果の修正が必要な前記入力画像の画素を選択し、複数の前記予測結果を用いて、選択された前記入力画像の画素の前記クラス分類の結果を修正することによって、前記ベース画像を修正する。
【発明の効果】
【０００８】
本開示の一つの態様によれば、クラス分類（セマンティックセグメンテーション）の結果の不確実性に基づいて、クラス分類の結果を表す画像を自動的に修正できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
【図面の簡単な説明】
【０００９】
実施例１の計算機システムの機能構成の一例を示す図である。
実施例１の計算機システムを構成する計算機のハードウェア構成の一例を示す図である。
実施例１の計算機システムの学習フェーズにおける機能の連携を示す図である。
実施例１の教師データＤＢのデータ構造の一例を示す図である。
実施例１のモデルＤＢのデータ構造の一例を示す図である。
実施例１の予測結果ＤＢのデータ構造の一例を示す図である。
実施例１の予測結果ＤＢのデータ構造の一例を示す図である。
実施例１の不確実性評価ＤＢのデータ構造の一例を示す図である。
実施例１の不確実性評価ＤＢのデータ構造の一例を示す図である。
セマンティックセグメンテーションにおける予測の特性を説明する図である。
セマンティックセグメンテーションにおける予測の特性を説明する図である。
セマンティックセグメンテーションにおける予測の特性を説明する図である。
実施例１の計算機システムが学習フェーズにおいて実行する予測処理の一例を説明するフローチャートである。
実施例１の計算機システムが算出するクラスの確率分布の一例を示す図である。
実施例１の計算機システムが実行する不確実性レベル判定処理の一例を説明するフローチャートである。
実施例１の計算機システムが実行する不確実性レベル判定処理の一例を説明するフローチャートである。
実施例１の計算機システムが実行する不確実性レベル判定処理の一例を説明するフローチャートである。
実施例１における不確実性指標及び正解率の相関の一例を示す図である。
実施例１における不確実性指標及び正解率の相関の一例を示す図である。
実施例１における評価指標の算出方法の一例を示す図である。
実施例１の計算機システムが実行する境界領域の処理の一例を示す図である。
実施例１の計算機システムが実行する境界領域の処理の一例を示す図である。
実施例１の計算機システムが実行する境界領域の処理の一例を示す図である。
実施例１の計算機システムが生成するデータのデータ構造の一例を示す図である。
実施例１の計算機システムが生成するデータのデータ構造の一例を示す図である。
実施例１の計算機システムが実行する不確実性マップ生成処理の一例を説明するフローチャートである。
実施例１の計算機システムの予測フェーズにおける機能の連携を示す図である。
実施例１の計算機システムが予測フェーズにおいて実行する予測処理の一例を説明するフローチャートである。
実施例１の計算機システムが実行するクラス分類処理の一例を説明するフローチャートである。
実施例１の計算機システムが実行するクラス分類処理の一例を説明するフローチャートである。
実施例１の計算機システムが実行するクラス分類処理の一例を説明するフローチャートである。
実施例１のクラス分類処理において出力される画像の一例を示す図である。
実施例１のクラス分類処理において出力される画像の一例を示す図である。
実施例１のクラス分類処理において出力される画像の一例を示す図である。
実施例１のクラス分類処理において出力される画像の一例を示す図である。
実施例１のクラス分類処理において出力される画像の一例を示す図である。
実施例１のクラス分類処理において出力される画像の一例を示す図である。
実施例１の計算機システムが提示するＧＵＩの一例を示す図である。
実施例１の計算機システムが提示するＧＵＩの一例を示す図である。
実施例１の計算機システムが提示するＧＵＩの一例を示す図である。
実施例２の計算機システムが予測フェーズにおいて実行するクラス分類処理の一例を説明するフローチャートである。
実施例３の不確実性マップの一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。
（【００１１】以降は省略されています）

関連特許