特許ウォッチ

公開番号2025089055
公報種別公開特許公報(A)
公開日2025-06-12
出願番号2023204013
出願日2023-12-01
発明の名称情報処理装置、情報処理方法、及びプログラム
出願人キヤノン株式会社
代理人個人
主分類G06T 5/60 20240101AFI20250605BHJP(計算;計数)
要約【課題】学習モデルで処理した画像を評価する際のユーザの負担を軽減可能にする。
【解決手段】情報処理装置は、基準画像、および基準画像と同一シーンの別画像を学習モデルで処理した比較画像を局所領域に分割し、基準画像と比較画像の同座標位置の局所領域間の類似度を取得し、その類似度に基づいて、基準画像および比較画像の局所領域を表示する際の画面出力内容を決定する。そして、情報処理装置は、画面出力内容に応じて表示された局所領域に対するユーザの評価結果を取得し、その評価結果に基づいて、学習モデルの再学習に用いる画像を選択する。
【選択図】図1
特許請求の範囲【請求項１】
基準画像、および前記基準画像と同一シーンの別画像を学習モデルで処理した比較画像を、局所領域に分割する分割手段と、
前記基準画像と前記比較画像の同座標位置の局所領域間の類似度を取得する類似度取得手段と、
前記類似度に基づいて、前記基準画像および前記比較画像の前記局所領域を表示する際の画面出力内容を決定する出力内容決定手段と、
前記画面出力内容に応じて前記表示された前記局所領域に対するユーザの評価結果を取得する結果取得手段と、
前記ユーザの評価結果に基づいて、前記学習モデルの再学習に用いる画像を選択する選択手段と、
を有することを特徴とする情報処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記分割手段は、前記基準画像および前記比較画像を複数の前記局所領域に分割し、
前記類似度取得手段は、前記基準画像と前記比較画像の前記同座標位置の局所領域ごとに前記類似度を取得し、
前記出力内容決定手段は、前記複数の局所領域を前記類似度に基づく順番に配した領域を含む前記画面出力内容を決定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記出力内容決定手段は、前記複数の局所領域を、前記類似度の低い順番、前記類似度が高い順番、またはユーザにより指定された順番に配した前記領域を含む前記画面出力内容を決定することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記選択手段は、前記ユーザにより再学習が必要と評価された前記局所領域の画像に類似した画像を、前記学習モデルの再学習に用いる画像として選択することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記別画像は、前記基準画像とは異なる条件で前記同一シーンを撮影した画像、または前記基準画像に所定の画像処理を施した画像であることを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記分割手段は、ユーザの指定に基づく領域、前記基準画像および前記比較画像に対して物体検出を行った結果の同座標位置の物体領域、もしくは前記基準画像および前記比較画像に対して意味的領域分割を行った結果の同座標位置の意味的領域を、前記局所領域とすることを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記類似度取得手段は、画像特徴量を用いて前記類似度を取得することを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記類似度取得手段が用いる前記画像特徴量は、輝度、明度、彩度の画素値、画素値の少なくともいずれかであることを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記類似度取得手段は、前記画像特徴量を特徴ベクトルに変換して前記類似度を取得することを特徴とする請求項８に記載の情報処理装置
【請求項１０】
前記出力内容決定手段は、前記基準画像および前記比較画像の前記局所領域の画像と、前記類似度の値と、ユーザによる選択の指示を受け付ける領域とを、少なくとも有する局所領域対比情報を配した、前記画面出力内容を決定することを特徴とする請求項１に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、機械学習に用いる画像を扱う情報処理技術に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
学習モデルを用いた推論処理によって、ノイズを有する画像からノイズが除去あるいは低減された画像を生成したり、解像度の低い画像から解像度の高い超解像画像を生成したりする画像生成技術が知られている。また、そのような画像生成技術において、画像を用いて学習モデルを学習し、その学習モデルのパラメータを更新することで画像生成処理の性能を向上させる方法が知られている。効率よく学習モデルの性能を上げるためには、学習モデルの性能を正しく評価し、その評価結果に基づいて再学習に用いる画像を適切に選定することが重要となる。学習モデルの性能を評価する手法として、基準となる画像と学習モデルで推論処理した画像との差分を、人間が目視により比較するような主観評価という手法が知られている。この主観評価の結果、画像内の特定の局所的な領域について、学習モデルの性能を向上させる必要があると評価（判断）した場合、その局所的な領域内の画像に類似した画像を取得し、その画像を再学習データとして学習モデルの再学習を行う。そうすることで、学習モデルが苦手としている特定の領域についての性能が向上し、画像内の局所的な領域ごとに生じる性能の不均一性が改善される。また、再学習に用いる画像を取得する手法としては、例えば、特定の領域にそれぞれ類似した複数の画像を検索して表示し、それら複数の検索結果の画像のなかから、ユーザが再学習データに用いる画像を選定するような手法がある。
【０００３】
なお、検索された複数の画像を表示する技術としては、特許文献１に開示されているような技術がある。特許文献１には、ユーザが目的画像中から注目すべき部分領域を選択し、その部分領域に重み（重要度）を付けて目的画像と検索画像の類似度を算出し、その類似度の順に検索結果を並び替えて表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０１０－１２２９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述したように、主観評価では、基準となる画像と、学習モデルで推論処理した画像との差分を、人間が目視により比較することが行われる。しかしながら、学習モデルの性能を正しく評価するためには、膨大な数の画像を用いた評価を行う必要があり、評価に要する時間と労力がユーザにとって大きな負担になっている。特に、画像内の局所的な領域ごとに主観評価を行う際には、さらに多く時間と労力と時間が必要になる。
【０００６】
そこで、本発明では、学習モデルで処理した画像を評価する際のユーザの負担を軽減可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の情報処理装置は、基準画像、および前記基準画像と同一シーンの別画像を学習モデルで処理した比較画像を、局所領域に分割する分割手段と、前記基準画像と前記比較画像の同座標位置の局所領域間の類似度を取得する類似度取得手段と、前記類似度に基づいて、前記基準画像および前記比較画像の前記局所領域を表示する際の画面出力内容を決定する出力内容決定手段と、前記表示する画面出力内容に含まれる前記局所領域に対するユーザの評価結果を取得する結果取得手段と、前記ユーザの評価結果に基づいて、前記学習モデルの再学習に用いる画像を選択する選択手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、学習モデルで処理した画像を評価する際のユーザの負担の軽減が可能となる。
【図面の簡単な説明】
【０００９】
情報処理装置の機能構成例を示す図である。
情報処理装置に適用可能なハードウェア構成例を示す図である。
情報処理全体のフローチャートである。
基準画像と比較画像に基づく再学習データ選択のフローチャートである。
基準画像と比較画像の局所領域および類似度の説明図である。
画面出力内容に対応した画面表示例を示す図である。
画像・類似度領域の画面表示例を示す図である。
パラメータ入力領域の画面表示例を示す図である。
処理受付領域の画面表示例を示す図である。
データセット群の分類方法の説明図である。
類似するデータセット選択方法の説明図である。
第２の実施形態における画面出力内容の決定例を示す図である。
物体検出と意味的領域分割による局所領域の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明に係る実施形態を、図面を参照しながら説明する。以降に挙げる各実施形態は本発明を限定するものではなく、また、本実施形態で説明されている複数の特徴の全てが本発明の解決手段に必須のものとは限らず、それら複数の特徴は任意に組み合わせられてもよい。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。以下の各実施形態において、同一もしくは同様の構成や処理工程には同一の参照番号を付して、重複する説明は省略する。
（【００１１】以降は省略されています）

関連特許