特許ウォッチ

公開番号2024090414
公報種別公開特許公報(A)
公開日2024-07-04
出願番号2022206316
出願日2022-12-23
発明の名称機械学習システム
出願人株式会社日立ハイテク
代理人ポレール弁理士法人
主分類G06T 7/00 20170101AFI20240627BHJP(計算;計数)
要約【課題】セグメンテーションが代表する認識対象境界付近で信頼性が低下しやすい画像処理に対しても、より顕著な信頼性の低下を判定可能な機械学習システムを提供する。
【解決手段】機械学習モデルの予測結果の信頼性を評価する機械学習システム100であって、入力データ101に対して、所定タスクを実行して予測結果102及び入力データ101から画像特徴量を抽出して、特徴抽出結果202を生成する機械学習モデル201と、特徴抽出結果202を、当該入力データ101における前記画像特徴量の類似性に基づいて、複数の区分領域に区分して、生成ラベル103を生成するラベル生成部203と、予測結果102と生成ラベル103の重なり度合いに基づいて、機械学習モデル201の評価を行う判定部204を有する。
【選択図】図2
特許請求の範囲【請求項１】
機械学習モデルの予測結果の信頼性を評価する機械学習システムであって、
入力データに対して、所定タスクを実行して予測結果および前記入力データから画像特徴量を抽出して、特徴抽出結果を生成する機械学習モデルと、
前記特徴抽出結果を、当該入力データにおける前記画像特徴量の類似性に基づいて、複数の区分領域に区分して、生成ラベルを生成するラベル生成部と、
前記予測結果と前記生成ラベルの重なり度合いに基づいて、前記機械学習モデルの評価を行う判定部を有する機械学習システム。
続きを表示（約 1,100 文字）【請求項２】
請求項１に記載の機械学習システムにおいて、
前記判定部は、前記重なり度合いが低い領域を判定する機械学習システム。
【請求項３】
請求項２に記載の機械学習システムにおいて、
前記ラベル生成部は、
前記特徴抽出結果を、複数の分割領域に分割する分割部と、
前記画像特徴量を用いて、前記分割領域の特徴を示す領域特徴量を計算し、当該領域特徴量を用いて、前記複数の分割領域それぞれの類似度を評価する類似度評価部と、
前記類似度に基づいて、類似する分割領域を統合して、前記区分領域を生成する統合部を有する機械学習システム。
【請求項４】
請求項３に記載の機械学習システムにおいて、
前記類似度評価部は、近接する分割領域同士の類似度を評価する機械学習システム。
【請求項５】
請求項４に記載の機械学習システムにおいて、
前記統合部は、所定の分割領域に近接する分割領域に類似する分割領域がない場合、前記所定の分割領域を前記区分領域とする機械学習システム。
【請求項６】
請求項３に記載の機械学習システムにおいて、
前記統合部は、所定の制約の範囲で前記分割領域の統合を実行する機械学習システム。
【請求項７】
請求項３に記載の機械学習システムにおいて、
前記分割部は、スーパーピクセルもしくはニューラルネットワークにより前記分割領域に分割する機械学習システム。
【請求項８】
請求項７に記載の機械学習システムにおいて、
前記分割部は、前記ニューラルネットワークにより前記分割領域に分割し、当該ニューラルネットワークは前記入力データを前記画像特徴量に応じて分割するためのパラメータを有し、
前記パラメータは、前記画像特徴量から算出されるコスト行列と分割位置から算出されるコスト行列から計算される前記分割領域への分割結果を利用して更新される機械学習システム。
【請求項９】
請求項２に記載の機械学習システムにおいて、
さらに、前記重なり度合いが低いと判定された領域を、操作者に提示する教示部をさらに有する機械学習システム。
【請求項１０】
請求項９に記載の機械学習システムにおいて、
さらに、前記重なり度合いが低いと判定された領域に対して操作者が入力した教示情報を用いて、前記機械学習モデルを更新する学習部を有する機械学習システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、いわゆる機械学習に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
現在、様々な分野で、機械学習モデルを利用した機械学習が利用されている。機械学習においては、機械学習モデルの学習、管理、運用を支援するために、機械学習モデルの予測結果の信頼性を評価することが重要である。例えば、特許文献１では、機械学習モデルの精度を監視することを課題とし、機械学習モデルの出力を異なるモデルの出力と比較することで精度劣化を検出することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
国際公開第２０２１／０７９４７８号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、機械学習モデルの出力と精度劣化を検出するためのモデルの出力とを比較し、合致しない場合に精度劣化として検出する方法が記載されている。しかしながら、特にセグメンテーション等の画像処理に適用する場合は、機械学習モデルの出力が不安定になりやすい認識対象の境界付近の領域を多く検出してしまう。そのため精度劣化の検出感度の調整が難しい。また、認識対象の境界付近に検出が発生しやすいため、誤検出を抑えるために検出感度を低くすると認識対象の中心部分の誤認識を見逃してしまう。そこで、本発明では、セグメンテーションのような画像分類より高度なタスクにおいて、認識対象境界付近で信頼性低下の影響を軽減し、より顕著な信頼性の低い領域を判定することを目的とする。
【課題を解決するための手段】
【０００５】
前述の課題を解決するための本発明の構成は、機械学習モデルの予測結果の信頼性を評価する機械学習システムであって、入力データに対して、所定タスクを実行して予測結果および前記入力データから画像特徴量を抽出して、特徴抽出結果を生成する機械学習モデルと、前記特徴抽出結果を、当該入力データにおける前記画像特徴量の類似性に基づいて、複数の区分領域に区分して、生成ラベルを生成するラベル生成部と、前記予測結果と前記生成ラベルの重なり度合いに基づいて、前記機械学習モデルの評価を行う判定部を有する機械学習システムである。
【発明の効果】
【０００６】
本発明によれば、セグメンテーション等の高度な画像処理などのタスクを実行する機械学習モデルであっても安定した信頼性の評価が可能となる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【０００７】
本発明の一実施形態における機械学習システム１００を用いた機械学習モデルの評価の概要を説明するための図である。
実施例１における機械学習システム１００の機能ブロック図である。
実施例１における処理フローを示すフローチャートである。
実施例１におけるラベル生成部２０３の機能ブロック図である。
実施例１におけるラベル生成部２０３での処理を模式的に示す図である。
実施例１におけるラベル生成部２０３での処理フローを示すフローチャートである。
実施例１における教師なし画像分割において利用するニューラルネットワークの構成図である。
実施例２における機械学習システム１００の機能ブロック図である。
実施例２における教示部８０３の画面例を示す図である。
実施例３における処理フローを示すフローチャートである。
実施例５における機械学習システム１００の一実装例を示す図である。
【発明を実施するための形態】
【０００８】
以下、図面を用いて本発明の一実施形態を説明する。図１は、本実施形態における機械学習システム１００を用いた機械学習モデルの評価の概要を説明するための図である。図１においては、画像データを対象とする。以下、機械学習システム１００の処理の概要を説明する。機械学習システム１００は、まず、入力データ１０１を機械学習モデルに入力し、予測結果１０２を得る。また、機械学習システム１００は、得られた予測結果１０２を生成ラベル１０３と比較する。そして、機械学習システム１００は、比較した結果を機械学習モデルの評価結果を出力する。例えば、機械学習システム１００は、評価結果として、信頼性が低いと判定された領域を判定結果１０４として出力する。
【０００９】
ここで、本実施形態における機械学習モデルは、セグメンテーションのモデルを想定する。このため、本実施形態は、セマンティックセグメンテーション、インスタンスセグメンテーション、パノプティックセグメンテーションといった種々のセグメンテーションモデルに対して利用可能である。
【００１０】
なお、上述の予測結果１０２は、機械学習モデルに対して入力データ１０１を入力して得られた予測結果１０２である。このため、図１においては、予測結果１０２を、画像データである入力データ１０１について、予測されたクラスを異なるテクスチャで示している。なお、このクラスは、図示される犬などの形状を区分する区分領域に対して、クラス番号等が付加された情報である。
（【００１１】以降は省略されています）

関連特許