特許ウォッチ

公開番号2025023542
公報種別公開特許公報(A)
公開日2025-02-17
出願番号2023127756
出願日2023-08-04
発明の名称情報処理装置、情報処理方法及びプログラム
出願人キヤノン株式会社
代理人個人
主分類G06T 7/00 20170101AFI20250207BHJP(計算;計数)
要約【課題】規模の小さな生徒モデルに対して、複数の教師モデルのうちで優先する教師モデルの知識を優先的に学習させる。
【解決手段】情報処理装置は、第1の画像に対して第1の特徴抽出処理を行い第1の特徴情報を抽出する第1の抽出手段と、第2の画像に対して第2の特徴抽出処理を行い第2の特徴情報を抽出する第2の抽出手段と、第1の画像又は第2の画像に対して第3の特徴抽出処理を行い第3の特徴情報を抽出する第3の抽出手段と、第1の特徴情報及び第2の特徴情報に対して優先度を設定する設定手段と、第1の特徴情報、第2の特徴情報、第3の特徴情報、及び優先度に基づいて、第1の特徴情報及び第2の特徴情報と、第3の特徴情報との比較を行い比較結果を出力する比較手段と、比較手段の出力に基づいて、第3の特徴抽出処理に関するパラメータを制御する制御手段とを有する。
【選択図】図2
特許請求の範囲【請求項１】
第１の画像に対して第１の特徴抽出処理を行い第１の特徴情報を抽出する第１の抽出手段と、
第２の画像に対して第２の特徴抽出処理を行い第２の特徴情報を抽出する第２の抽出手段と、
前記第１の画像又は前記第２の画像に対して第３の特徴抽出処理を行い第３の特徴情報を抽出する第３の抽出手段と、
前記第１の特徴情報及び前記第２の特徴情報に対して優先度を設定する設定手段と、
前記第１の特徴情報、前記第２の特徴情報、前記第３の特徴情報、及び前記優先度に基づいて、前記第１の特徴情報及び前記第２の特徴情報と、前記第３の特徴情報との比較を行い比較結果を出力する比較手段と、
前記比較手段の出力に基づいて、前記第３の特徴抽出処理に関するパラメータを制御する制御手段とを有することを特徴とする情報処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記第１の画像と前記第２の画像とは同じ画像であり、
前記比較手段は、前記第１の特徴情報と前記第３の特徴情報とを比較した結果、前記第２の特徴情報と前記第３の特徴情報とを比較した結果、及び前記優先度に基づいて得られる前記比較結果を出力することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記比較手段は、前記第１の特徴情報と前記第３の特徴情報との距離、及び前記第２の特徴情報と前記第３の特徴情報との距離に対して前記優先度に基づいて重み付けを行い、重み付けされた距離の和を前記比較結果として出力することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記第１の画像と前記第２の画像とは異なる画像であり、
前記比較手段は、前記第１の特徴情報と前記第２の特徴情報と前記優先度とに基づいて取得した重み付きの特徴情報と、前記第３の特徴情報とを比較して得られる比較結果を出力することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記比較手段は、前記優先度に基づいてそれぞれ重み付けした前記第１の特徴情報と前記第２の特徴情報とから得られる特徴情報と、前記第３の特徴情報とを比較することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記第１の抽出手段及び前記第２の抽出手段は、学習済のモデルであることを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記設定手段は、前記第１の抽出手段及び前記第２の抽出手段の学習に用いた学習データの属性に基づいて前記優先度を設定することを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記設定手段は、前記第１の抽出手段及び前記第２の抽出手段を評価したときの評価結果に基づいて前記優先度を設定することを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記設定手段は、前記第３の抽出手段の使用が想定されている環境の属性に基づいて前記優先度を設定することを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
学習済の抽出手段であって、請求項１に記載の第３の抽出手段と、
２枚の画像から前記第３の抽出手段により抽出された特徴情報の類似度を取得する類似度取得手段と、
前記類似度取得手段により取得された前記類似度に基づいて、該２枚の画像に写る物体が同一の物体であるか否かを判定する判定手段とを有することを特徴とする情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
近年、撮影された画像内に写っているオブジェクトの画像を高度に処理して有用な情報を抽出する技術が多く提案されている。その中でも、ディープネットと呼ばれる多階層ニューラルネットワークを用いて、入力される画像中に存在する物体が、予め登録されたクラスのいずれに属するのかを特定する画像識別技術に関して、盛んに研究開発されている。
【先行技術文献】
【特許文献】
【０００３】
米国特許出願公開第２０２１／０１５８１５６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ディープネットを用いた識別処理において識別精度を向上させるために、学習済の多階層ニューラルネットワーク（モデルとも呼ばれる）を複数用意して、それらの識別結果を組み合わせるアンサンブルという手法の検討が行われている。アンサンブル手法とは、独立して学習させたモデルを複数個用意して、それらの予測結果、或いはそれらが出力する個別の特徴ベクトルを統合した特徴ベクトルを用いることで、単一のモデルよりも高い精度を得る手法のことを言う。
【０００５】
また、ディープネットを用いた識別処理を実用化する際には、処理量（演算量）が多いことが問題になることも多い。特にアンサンブル手法を適用する場合には、複数のモデルそれぞれを動作させる必要があり、単独のモデルを使用する場合に比べて何倍もの処理量になる場合もある。処理量の問題に対応するために、蒸留と呼ばれる技術により、学習済の多階層ニューラルネットワークが有する知識を、処理量が異なる別の多階層ニューラルネットワークに学習させる、ということも行われている。蒸留技術は、学習済みの大規模なモデル（以下、「教師モデル」とも称す）の出力データを元に小規模なモデル（以下、「生徒モデル」とも称す）を訓練する手法である。蒸留技術を用いることで、識別精度の劣化をある程度防ぎつつ処理量を削減することが可能となっている。
【０００６】
特許文献１には、複数の学習済モデルのアンサンブル結果を教師データとして蒸留を行い、アンサンブル結果よりもさらに精度を向上させた生徒モデルを得る技術が提案されている。特許文献１では、複数の教師モデル全体のパラメータ数よりも大きなパラメータ数を持つ生徒モデルに対して、蒸留を行っている。
【０００７】
特許文献１では、パラメータ数の大きな（ディープネットの規模の大きな）生徒モデルへ蒸留を行うことを提案しているが、一般に蒸留は、パラメータ数の小さい（ディープネットの規模の小さな）生徒モデルに対して行い、処理量を低減させることが多い。そのような場合、規模の大きなアンサンブルで実現された精度を、規模の小さな生徒モデルでは実現できない可能性がある。特許文献１では、このような規模の小さな生徒モデルに蒸留するということに関しては考慮されていない。
【０００８】
本発明は、規模の小さな生徒モデルに対して、複数の教師モデルのうちで優先する教師モデルの知識を優先的に学習させることを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る情報処理装置は、第１の画像に対して第１の特徴抽出処理を行い第１の特徴情報を抽出する第１の抽出手段と、第２の画像に対して第２の特徴抽出処理を行い第２の特徴情報を抽出する第２の抽出手段と、前記第１の画像又は前記第２の画像に対して第３の特徴抽出処理を行い第３の特徴情報を抽出する第３の抽出手段と、前記第１の特徴情報及び前記第２の特徴情報に対して優先度を設定する設定手段と、前記第１の特徴情報、前記第２の特徴情報、前記第３の特徴情報、及び前記優先度に基づいて、前記第１の特徴情報及び前記第２の特徴情報と、前記第３の特徴情報との比較を行い比較結果を出力する比較手段と、前記比較手段の出力に基づいて、前記第３の特徴抽出処理に関するパラメータを制御する制御手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、規模の小さな生徒モデルに対して、複数の教師モデルのうちで優先する教師モデルの知識を優先的に学習させることが可能となる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許