特許ウォッチ

公開番号2025099897
公報種別公開特許公報(A)
公開日2025-07-03
出願番号2023216879
出願日2023-12-22
発明の名称情報処理装置、サーバ、及びそれらを含む情報処理システム
出願人株式会社日立製作所
代理人藤央弁理士法人
主分類G06T 7/00 20170101AFI20250626BHJP(計算;計数)
要約【課題】機械学習モデルの性能を向上できる低ロバストのデータを効率的に収集する。
【解決手段】情報処理装置であって、演算処理を実行する演算部と、前記演算部がアクセス可能な記憶部とを有する計算機によって構成され、機械学習モデルを含む画像処理プログラムを実行して画像データの認識結果を出力する画像処理部と、前記画像処理部における推論の注目領域を特定する推論可視化分析部と、前記特定された注目領域を用いて前記画像データのロバスト性を判定するロバスト性判定部と、前記ロバスト性が第一の所定基準より低いと判定された画像データを前記記憶部に格納する収集データ格納部と、前記収集データ格納部に格納された画像データを外部に送信するインタフェース部と、を備える。
【選択図】図7
特許請求の範囲【請求項１】
情報処理装置であって、
演算処理を実行する演算部と、前記演算部がアクセス可能な記憶部とを有する計算機によって構成され、
機械学習モデルを含む画像処理プログラムを実行して画像データの認識結果を出力する画像処理部と、
前記画像処理部における推論の注目領域を特定する推論可視化分析部と、
前記特定された注目領域を用いて前記画像データのロバスト性を判定するロバスト性判定部と、
前記ロバスト性が第一の所定基準より低いと判定された画像データを前記記憶部に格納する収集データ格納部と、
前記収集データ格納部に格納された画像データを外部に送信するインタフェース部と、を備えることを特徴とする情報処理装置。
続きを表示（約 1,600 文字）【請求項２】
前記第一の所定基準は画像の面積に対する注目領域の面積の比率で定められることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
情報処理装置から画像データを収集するサーバであって、
演算処理を実行する演算部と、前記演算部がアクセス可能な記憶部とを有する計算機によって構成され、
データ収集基準と適合すると判定されて、前記情報処理装置が収集した画像データを前記記憶部に格納するデータセット格納部と、
前記格納された画像データに対する画像処理における推論の注目領域を特定する推論注目領域可視化部と、
前記特定された注目領域を用いて前記画像データのロバスト性を判定するロバスト性判定部と、
前記ロバスト性が第一の所定基準より低いと判定された画像データの画像特徴量を抽出する特徴量抽出部と、
前記抽出された画像特徴量を用いてデータ収集基準を生成するデータ収集基準生成部と、
前記生成されたデータ収集基準を前記情報処理装置に送信するインタフェース部と、を備えることを特徴とするサーバ。
【請求項４】
前記サーバは、異なる機械学習モデルを含む画像処理プログラムを実行して画像データを認識する複数の情報処理装置と通信するものであり、
前記データセット格納部は、前記複数の情報処理装置ごとに収集データを格納する領域が分かれて構成され、
前記データ収集基準生成部は、前記複数の情報処理装置ごとにデータ収集基準を生成し、
前記インタフェース部は、前記複数の情報処理装置ごとにデータ収集基準を送信する、ことを特徴とする請求項３に記載のサーバ。
【請求項５】
前記第一の所定基準は画像の面積に対する注目領域の面積の比率で定められることを特徴とする請求項３に記載のサーバ。
【請求項６】
前記特徴量抽出部は、前記ロバスト性が前記第一の所定基準より低いと判定された画像データの画像特徴量から低次元の情報を抽出するし、
前記データ収集基準生成部は、複数の前記画像特徴量をクラスタリングして類似する画像特徴量をグループ化した結果を用いて前記データ収集基準を生成することを特徴とする請求項３に記載のサーバ。
【請求項７】
前記ロバスト性の判定結果に基づいて機械学習モデルの再学習データを格納する再学習データ格納部と、
前記特定された注目領域の情報を用いて前記再学習データを前処理する前処理部と、
前記前処理部で加工された画像データを用いて前記機械学習モデルを再学習する再学習部と、を備え、
前記インタフェース部は、前記再学習された機械学習モデルを前記情報処理装置に送信することを特徴とする請求項３に記載のサーバ。
【請求項８】
前記前処理部は、前記特定された注目領域のうち第二の所定基準以上の領域に対してデータを加工することを特徴とする請求項７に記載のサーバ。
【請求項９】
前記第二の所定基準は、画像の面積に対する注目領域の面積の比率で定められることを特徴とする請求項８に記載のサーバ。
【請求項１０】
前記ロバスト性の判定結果に基づいて機械学習モデルの再学習データを格納する再学習データ格納部と、
前記特定された注目領域の情報を用いて前記再学習データを前処理する前処理部と、
前記前処理部で加工された画像データを用いて前記機械学習モデルを再学習する再学習部と、を備え、
前記インタフェース部は、前記再学習された機械学習モデルと前記生成されたデータ収集基準とを前記情報処理装置に送信することを特徴とする請求項３に記載のサーバ。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置及びサーバに関し、特に、機械学習モデルを含む画像認識プログラムの性能向上のためのデータ収集やデータ選定の効果や効率を改善する技術に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
近年、ディープニューラルネットワーク（ＤＮＮ）などの機械学習を用いた画像認識プログラムが実用化されており、例えば製造ラインの異常検査システムや、人の侵入や行動などを監視するシステム、物流現場における自動搬送装置など、様々な機器、サービス、ソリューションへ画像認識技術が適用されている。
【０００３】
様々なアプリケーションでＤＮＮを用いるためには、学習データを効率よく収集し、選定することが重要であるが、作業者による目視確認や定性的な判断によって学習データを収集や選定する必要があり人的コストが大きくなる。また、作成したＤＮＮを長期的に運用し続けると、設計時には気付かなかった推論の不安定性や、周辺環境の変化による性能劣化への対応が必要となり、データの収集と選定のためのコストが課題となる。
【０００４】
運用中のＤＮＮ（以後、運用版ＤＮＮと称する）の性能を向上させるためは、性能向上に効果的なデータを選定し収集する必要がある。例えば、画像認識タスクにおいて、認識ミスをしたデータや、これまで認識できなかった新たなカテゴリ（種別）が映ったデータを集めて再学習することで、高性能化や高機能化を実現できる。
【０００５】
一方、認識結果が正解のデータの中にも、確信度が低いが偶然正解したものや、認識すべき物体の一部が他の物体に隠れると認識できなくなるものや、光量やノイズの影響によって認識できなくなるもの等、認識の安定性や頑健性が低いデータもある（以下では、これらを低ロバストデータと称する）。すなわち、運用版ＤＮＮが誤認識したデータや未知のデータだけではなく、運用版ＤＮＮにとっての低ロバストデータも再学習することによって、信頼性や安定性が高いアプリケーションを実現するために必要である。
【０００６】
運用版ＤＮＮの学習に有効なデータを効率的に準備する方法として様々な既存技術が検討されているが、特許文献１には、複数の入力画像を学習済みモデルに入力し、前記複数の入力画像の夫々から推論される予測ラベルを前記学習済みモデルに出力させると共に、前記複数の入力画像の夫々における、前記学習済みモデルの予測根拠となった特徴領域を取得する情報処理装置であって、前記入力画像を、加工を施す対象の画像として登録する登録指示を受け付ける加工受付手段と、前記加工受付手段が前記登録指示を受け付けた場合、前記入力画像を、加工を施す対象の画像として登録する登録手段と、前記学習済みモデルの再学習を行うための学習データを更新する更新指示を受け付ける更新受付手段と、前記更新受付手段が前記更新指示を受け付けた場合、前記加工を施す対象の画像の少なくとも１つの画像に対して加工処理を行い、前記加工処理が行われた画像を用いて前記学習データを更新する更新手段と、を備えることを特徴とする情報処理装置が記載されている。
【０００７】
また、特許文献２には、機械学習によって画像を認識する学習器が学習を実施するために用いる画像データを収集するデータ収集システムであって、前記学習器が十分に学習するために必要な前記画像データの要件を表す要件変数と前記要件変数の要件値を指定する要件定義データを受け取る要件定義処理部を備え、前記要件定義処理部はさらに、前記要件変数の優先度を指定する優先度データを受け取り、前記要件定義処理部はさらに、前記要件変数と前記要件値を前記優先度の順番にしたがって提示するとともに、前記要件変数のうち前記要件値が指定されているものの割合を表す要件値回答率を提示する、要件確認画面を提供することを特徴とするデータ収集システムが記載されている。
【先行技術文献】
【特許文献】
【０００８】
特開２０２３－８４９８１号公報
特開２０２２－２０５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に記載されている発明は、画像分類ＡＩの精度向上のための学習データを効率的に生成するものであるが、学習データの加工・生成基準は開発者による目視や経験則に基づいた判定が必要となるため、運用版ＤＮＮの性能向上のために有効な学習データを準備することが困難である。また、特許文献２に記載されている発明は、学習データとして用いる画像データの範囲を適切に設定するが、開発者が収集データの要件を定義するものであって、運用版ＤＮＮの性能向上に必要なデータのうち、低ロバストのデータを定義するためには別の技術が必要となる。
【００１０】
本発明は、運用中の機械学習モデルの推論性能を向上できる低ロバストのデータの効率的な収集を目的とする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許