TOP
|
特許
|
意匠
|
商標
特許ウォッチ
Twitter
他の特許を見る
10個以上の画像は省略されています。
公開番号
2024051819
公報種別
公開特許公報(A)
公開日
2024-04-11
出願番号
2022158159
出願日
2022-09-30
発明の名称
情報処理装置、情報処理方法およびプログラム
出願人
キヤノン株式会社
代理人
個人
,
個人
,
個人
,
個人
,
個人
主分類
G06N
20/00 20190101AFI20240404BHJP(計算;計数)
要約
【課題】 量子化効率の良い特徴抽出器を提供する。
【解決手段】 情報処理装置であって、学習済みのパラメータを含むモデルにデータを入力することによって特徴量を取得する取得手段と、前記パラメータに基づく異なる2以上のノルムの比、または、前記特徴量に基づく異なる2以上のノルムの比、または、前記モデルの中間特徴に基づく異なる2以上のノルムの比の少なくともいずれかのノルムの比に基づいた制約を決定する決定手段と、前記決定された制約に基づいて、前記モデルのパラメータを更新する学習手段とを有する。
【選択図】 図3
特許請求の範囲
【請求項1】
学習済みのパラメータを含むモデルにデータを入力することによって特徴量を取得する取得手段と、
前記パラメータに基づく異なる2以上のノルムの比、または、前記特徴量に基づく異なる2以上のノルムの比、または、前記モデルの中間特徴に基づく異なる2以上のノルムの比の少なくともいずれかのノルムの比に基づいた制約を決定する決定手段と、
前記決定された制約に基づいて、前記モデルのパラメータを更新する学習手段と、を有することを特徴とする情報処理装置。
続きを表示(約 1,100 文字)
【請求項2】
前記特徴量に基づいて当該特徴量によって示されるデータが1以上のカテゴリに含まれる尤度を算出するための重み行列を保持する保持手段と、
前記特徴量と前記重み行列とに基づいて、当該特徴量によって示されるデータが1以上のカテゴリに含まれる尤度を算出する算出手段と、を有し、
前記学習手段は、前記算出された尤度と、前記データに対する教師データと、に基づいて、前記パラメータを更新し、
前記決定手段は、前記特徴量に基づく異なる2以上のノルムの比または前記モデルの中間特徴に基づく異なる2以上のノルムの比に基づいて決定された第1特徴量を前記重み行列に含むように前記制約を決定することを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記第1特徴量は、1つの成分の絶対値が大きい特徴量であることを特徴とする請求項2に記載の情報処理装置。
【請求項4】
前記学習手段は、前記第1特徴量が示すカテゴリに、前記特徴量を含まないように前記パラメータを更新することを特徴とする請求項2に記載の情報処理装置。
【請求項5】
前記学習手段は、前記第1特徴量を更新しないことを特徴とする請求項2に記載の情報処理装置。
【請求項6】
前記決定手段は、各要素が次元数の平方根の逆数のベクトルである第2特徴量を前記重み行列に含むように前記制約を決定することを特徴とする請求項2に記載の情報処理装置。
【請求項7】
前記決定手段は、前記第1特徴量の要素の最大絶対値が、超球面の一様分布のうち要素の最大値が一定値を超えない条件と、前記第1特徴量の要素の最大値以外からなるベクトルの長さが一定値を超える条件とを用いて求めた値に基づいて前記制約を決定することを特徴とする請求項2に記載の情報処理装置。
【請求項8】
前記取得手段は、学習されたパラメータに基づいて、前記第1特徴量の要素の最大絶対値と等しいまたは所定値以内の差である要素を有する特徴量を出力した場合にエラーを出力することを特徴とする請求項2に記載の情報処理装置。
【請求項9】
前記取得手段は、学習されたパラメータに基づいて、1つの要素を除いてすべての要素で絶対値が所定値より小さい特徴量を出力した場合にエラーを出力することを特徴とする請求項2に記載の情報処理装置。
【請求項10】
前記学習手段は、前記パラメータに基づく異なる2以上のノルムの比が正則化項を満たすためのロス関数に基づいて、前記パラメータを更新することを特徴とする請求項1に記載の情報処理装置。
(【請求項11】以降は省略されています)
発明の詳細な説明
【技術分野】
【0001】
本発明は、ディープネットの処理に関する。
続きを表示(約 2,300 文字)
【背景技術】
【0002】
近年、物体が写っている撮影された画像を処理して有用な情報を抽出する技術が提案されている。特に、ディープネット(あるいはディープニューラルネット、ディープラーニング)と呼ばれる多階層のニューラルネットワークを用いる技術に関して、盛んに研究されている。
【先行技術文献】
【非特許文献】
【0003】
Benoit Jacob, Skirmantas Kligys, Bo Chen, Menglong Zhu, Matthew Tang, Andrew Howard, Hartwig Adam, Dmitry Kalenichenko, Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference. arXiv:1712.05877.
Hao Wang, Yitong Wang, Zheng Zhou, Xing Ji, Dihong Gong, Jingchao Zhou, Zhifeng Li, Wei Liu,CosFace: Large Margin Cosine Loss for Deep Face Recognition. arXiv:1801.09414.
Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, Deep Residual Learning for Image Recognition. arXiv:1512.03385.
Marsaglia, G. 1972. Choosing a Point from the Surface of a Sphere. Annals of Mathematical Statistics 43 (2):645-646.
【発明の概要】
【発明が解決しようとする課題】
【0004】
非特許文献1では、ディープネットの重みが量子化されているかのような処理結果となる制約を加える。しかしながら、特定のタスクを行うためのディープネットにおいては、非特許文献1を適用しても、量子化効率が低い特徴量が生成される場合があった。
【0005】
本発明は上述した問題を解決するためになされたものであり、量子化効率の良い特徴抽出器を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するための一手段として、本発明の情報処理装置は以下の構成を備える。すなわち、学習済みのパラメータを含むモデルにデータを入力することによって特徴量を取得する取得手段と、前記パラメータに基づく異なる2以上のノルムの比、または、前記特徴量に基づく異なる2以上のノルムの比、または、前記モデルの中間特徴に基づく異なる2以上のノルムの比の少なくともいずれかのノルムの比に基づいた制約を決定する決定手段と、前記決定された制約に基づいて、前記モデルのパラメータを更新する学習手段とを有する。
【発明の効果】
【0007】
以上の構成からなる本発明によれば、量子化効率の良い特徴抽出器を提供できる。
【図面の簡単な説明】
【0008】
情報処理装置1のハードウェア構成例を示すブロック図
情報処理装置1の機能構成例を示すブロック図
制約の一例を説明するための概念図
情報処理装置1が実行する処理を説明するためのフローチャート
学習処理の一例を説明するための概念図
情報処理装置1が実行する処理を説明するためのフローチャート
【発明を実施するための形態】
【0009】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【0010】
<実施形態1>
本発明の目的は、ディープネットの出力を量子化に適する分布になるように学習することによる、より精度劣化の小さい量子化を実現することである。従来、特定のタスクを行うためのディープネットにおいては、非特許文献1を適用しても、量子化効率が低い特徴量が生成される場合があった。例えば、非特許文献2では、ディープネットを用いて顔画像を特徴量に変換し照合処理をする。非特許文献2に示される手法においては、特徴量同士の余弦の値に基づく距離評価を行うため、出力される特徴量は円周上に分布するものとみなせる。ゆえに低い確率ながら、1つの要素だけ絶対値の大きい特徴量が出力されることがあり、このような特徴量の存在は量子化時に丸め誤差が大きく発生する原因となる。そこで本実施形態では、ディープネットの出力に関して、量子化に適しない特定の向きに近づかないようにディープネットのパラメータを学習する。本実施形態における処理では、ディープネットの出力が量子化に適しない特定の向きに近づかないように学習されるため、ディープネットの出力がより量子化に適する分布となり、より精度劣化の小さい量子化ができる。
(【0011】以降は省略されています)
この特許をJ-PlatPatで参照する
関連特許
キヤノン株式会社
枠部材
1か月前
キヤノン株式会社
トナー
25日前
キヤノン株式会社
トナー
25日前
キヤノン株式会社
トナー
25日前
キヤノン株式会社
アンテナ
16日前
キヤノン株式会社
記録装置
24日前
キヤノン株式会社
除電装置
23日前
キヤノン株式会社
撮像装置
17日前
キヤノン株式会社
撮像装置
16日前
キヤノン株式会社
撮像装置
5日前
キヤノン株式会社
撮像装置
1か月前
キヤノン株式会社
撮像装置
13日前
キヤノン株式会社
撮像装置
11日前
キヤノン株式会社
撮像装置
11日前
キヤノン株式会社
現像装置
9日前
キヤノン株式会社
現像装置
9日前
キヤノン株式会社
撮像装置
5日前
キヤノン株式会社
記録装置
5日前
キヤノン株式会社
撮像装置
26日前
キヤノン株式会社
撮像装置
19日前
キヤノン株式会社
通信装置
2日前
キヤノン株式会社
電子機器
1か月前
キヤノン株式会社
発光素子
1か月前
キヤノン株式会社
半導体装置
18日前
キヤノン株式会社
光走査装置
13日前
キヤノン株式会社
レンズ鏡筒
12日前
キヤノン株式会社
異常判定装置
1か月前
キヤノン株式会社
画像形成装置
16日前
キヤノン株式会社
画像形成装置
1か月前
キヤノン株式会社
画像形成装置
16日前
キヤノン株式会社
有機発光素子
16日前
キヤノン株式会社
画像読取装置
13日前
キヤノン株式会社
画像形成装置
1か月前
キヤノン株式会社
画像形成装置
12日前
キヤノン株式会社
画像形成装置
1か月前
キヤノン株式会社
画像形成装置
11日前
続きを見る
他の特許を見る