特許ウォッチ

公開番号2024051819
公報種別公開特許公報(A)
公開日2024-04-11
出願番号2022158159
出願日2022-09-30
発明の名称情報処理装置、情報処理方法およびプログラム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類G06N 20/00 20190101AFI20240404BHJP(計算;計数)
要約【課題】量子化効率の良い特徴抽出器を提供する。
【解決手段】情報処理装置であって、学習済みのパラメータを含むモデルにデータを入力することによって特徴量を取得する取得手段と、前記パラメータに基づく異なる2以上のノルムの比、または、前記特徴量に基づく異なる2以上のノルムの比、または、前記モデルの中間特徴に基づく異なる2以上のノルムの比の少なくともいずれかのノルムの比に基づいた制約を決定する決定手段と、前記決定された制約に基づいて、前記モデルのパラメータを更新する学習手段とを有する。
【選択図】図3
特許請求の範囲【請求項１】
学習済みのパラメータを含むモデルにデータを入力することによって特徴量を取得する取得手段と、
前記パラメータに基づく異なる２以上のノルムの比、または、前記特徴量に基づく異なる２以上のノルムの比、または、前記モデルの中間特徴に基づく異なる２以上のノルムの比の少なくともいずれかのノルムの比に基づいた制約を決定する決定手段と、
前記決定された制約に基づいて、前記モデルのパラメータを更新する学習手段と、を有することを特徴とする情報処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記特徴量に基づいて当該特徴量によって示されるデータが１以上のカテゴリに含まれる尤度を算出するための重み行列を保持する保持手段と、
前記特徴量と前記重み行列とに基づいて、当該特徴量によって示されるデータが１以上のカテゴリに含まれる尤度を算出する算出手段と、を有し、
前記学習手段は、前記算出された尤度と、前記データに対する教師データと、に基づいて、前記パラメータを更新し、
前記決定手段は、前記特徴量に基づく異なる２以上のノルムの比または前記モデルの中間特徴に基づく異なる２以上のノルムの比に基づいて決定された第１特徴量を前記重み行列に含むように前記制約を決定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第１特徴量は、１つの成分の絶対値が大きい特徴量であることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記学習手段は、前記第１特徴量が示すカテゴリに、前記特徴量を含まないように前記パラメータを更新することを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記学習手段は、前記第１特徴量を更新しないことを特徴とする請求項２に記載の情報処理装置。
【請求項６】
前記決定手段は、各要素が次元数の平方根の逆数のベクトルである第２特徴量を前記重み行列に含むように前記制約を決定することを特徴とする請求項２に記載の情報処理装置。
【請求項７】
前記決定手段は、前記第１特徴量の要素の最大絶対値が、超球面の一様分布のうち要素の最大値が一定値を超えない条件と、前記第１特徴量の要素の最大値以外からなるベクトルの長さが一定値を超える条件とを用いて求めた値に基づいて前記制約を決定することを特徴とする請求項２に記載の情報処理装置。
【請求項８】
前記取得手段は、学習されたパラメータに基づいて、前記第１特徴量の要素の最大絶対値と等しいまたは所定値以内の差である要素を有する特徴量を出力した場合にエラーを出力することを特徴とする請求項２に記載の情報処理装置。
【請求項９】
前記取得手段は、学習されたパラメータに基づいて、１つの要素を除いてすべての要素で絶対値が所定値より小さい特徴量を出力した場合にエラーを出力することを特徴とする請求項２に記載の情報処理装置。
【請求項１０】
前記学習手段は、前記パラメータに基づく異なる２以上のノルムの比が正則化項を満たすためのロス関数に基づいて、前記パラメータを更新することを特徴とする請求項１に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、ディープネットの処理に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
近年、物体が写っている撮影された画像を処理して有用な情報を抽出する技術が提案されている。特に、ディープネット（あるいはディープニューラルネット、ディープラーニング）と呼ばれる多階層のニューラルネットワークを用いる技術に関して、盛んに研究されている。
【先行技術文献】
【非特許文献】
【０００３】
ＢｅｎｏｉｔＪａｃｏｂ，ＳｋｉｒｍａｎｔａｓＫｌｉｇｙｓ，ＢｏＣｈｅｎ，ＭｅｎｇｌｏｎｇＺｈｕ，ＭａｔｔｈｅｗＴａｎｇ，ＡｎｄｒｅｗＨｏｗａｒｄ，ＨａｒｔｗｉｇＡｄａｍ，ＤｍｉｔｒｙＫａｌｅｎｉｃｈｅｎｋｏ，ＱｕａｎｔｉｚａｔｉｏｎａｎｄＴｒａｉｎｉｎｇｏｆＮｅｕｒａｌＮｅｔｗｏｒｋｓｆｏｒＥｆｆｉｃｉｅｎｔＩｎｔｅｇｅｒ－Ａｒｉｔｈｍｅｔｉｃ－ＯｎｌｙＩｎｆｅｒｅｎｃｅ．ａｒＸｉｖ：１７１２．０５８７７．
ＨａｏＷａｎｇ，ＹｉｔｏｎｇＷａｎｇ，ＺｈｅｎｇＺｈｏｕ，ＸｉｎｇＪｉ，ＤｉｈｏｎｇＧｏｎｇ，ＪｉｎｇｃｈａｏＺｈｏｕ，ＺｈｉｆｅｎｇＬｉ，ＷｅｉＬｉｕ，ＣｏｓＦａｃｅ：ＬａｒｇｅＭａｒｇｉｎＣｏｓｉｎｅＬｏｓｓｆｏｒＤｅｅｐＦａｃｅＲｅｃｏｇｎｉｔｉｏｎ．ａｒＸｉｖ：１８０１．０９４１４．
ＫａｉｍｉｎｇＨｅ，ＸｉａｎｇｙｕＺｈａｎｇ，ＳｈａｏｑｉｎｇＲｅｎ，ＪｉａｎＳｕｎ，ＤｅｅｐＲｅｓｉｄｕａｌＬｅａｒｎｉｎｇｆｏｒＩｍａｇｅＲｅｃｏｇｎｉｔｉｏｎ．ａｒＸｉｖ：１５１２．０３３８５．
Ｍａｒｓａｇｌｉａ，Ｇ．１９７２．ＣｈｏｏｓｉｎｇａＰｏｉｎｔｆｒｏｍｔｈｅＳｕｒｆａｃｅｏｆａＳｐｈｅｒｅ．ＡｎｎａｌｓｏｆＭａｔｈｅｍａｔｉｃａｌＳｔａｔｉｓｔｉｃｓ４３（２）：６４５－６４６．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１では、ディープネットの重みが量子化されているかのような処理結果となる制約を加える。しかしながら、特定のタスクを行うためのディープネットにおいては、非特許文献１を適用しても、量子化効率が低い特徴量が生成される場合があった。
【０００５】
本発明は上述した問題を解決するためになされたものであり、量子化効率の良い特徴抽出器を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するための一手段として、本発明の情報処理装置は以下の構成を備える。すなわち、学習済みのパラメータを含むモデルにデータを入力することによって特徴量を取得する取得手段と、前記パラメータに基づく異なる２以上のノルムの比、または、前記特徴量に基づく異なる２以上のノルムの比、または、前記モデルの中間特徴に基づく異なる２以上のノルムの比の少なくともいずれかのノルムの比に基づいた制約を決定する決定手段と、前記決定された制約に基づいて、前記モデルのパラメータを更新する学習手段とを有する。
【発明の効果】
【０００７】
以上の構成からなる本発明によれば、量子化効率の良い特徴抽出器を提供できる。
【図面の簡単な説明】
【０００８】
情報処理装置１のハードウェア構成例を示すブロック図
情報処理装置１の機能構成例を示すブロック図
制約の一例を説明するための概念図
情報処理装置１が実行する処理を説明するためのフローチャート
学習処理の一例を説明するための概念図
情報処理装置１が実行する処理を説明するためのフローチャート
【発明を実施するための形態】
【０００９】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１０】
＜実施形態１＞
本発明の目的は、ディープネットの出力を量子化に適する分布になるように学習することによる、より精度劣化の小さい量子化を実現することである。従来、特定のタスクを行うためのディープネットにおいては、非特許文献１を適用しても、量子化効率が低い特徴量が生成される場合があった。例えば、非特許文献２では、ディープネットを用いて顔画像を特徴量に変換し照合処理をする。非特許文献２に示される手法においては、特徴量同士の余弦の値に基づく距離評価を行うため、出力される特徴量は円周上に分布するものとみなせる。ゆえに低い確率ながら、１つの要素だけ絶対値の大きい特徴量が出力されることがあり、このような特徴量の存在は量子化時に丸め誤差が大きく発生する原因となる。そこで本実施形態では、ディープネットの出力に関して、量子化に適しない特定の向きに近づかないようにディープネットのパラメータを学習する。本実施形態における処理では、ディープネットの出力が量子化に適しない特定の向きに近づかないように学習されるため、ディープネットの出力がより量子化に適する分布となり、より精度劣化の小さい量子化ができる。
（【００１１】以降は省略されています）

関連特許