特許ウォッチ

公開番号2025119420
公報種別公開特許公報(A)
公開日2025-08-14
出願番号2024014302
出願日2024-02-01
発明の名称情報処理装置、情報処理方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06N 3/084 20230101AFI20250806BHJP(計算;計数)
要約【課題】局所的な特徴と全体の特徴の統合を促進するための技術を提供すること。
【解決手段】情報処理装置は、局所的な複数段階の特徴変換である第1変換を行う第1演算部と、第1変換よりも広域の特徴変換である第2変換を行う第2演算部と、を備える。ここで、第2変換は、特徴量の要素数および次元数を第1変換とは異なる増減方向に変化させる特徴変換である。
【選択図】図3
特許請求の範囲【請求項１】
局所的な複数段階の特徴変換である第１変換を行う第１演算部と、
前記第１変換よりも広域の特徴変換である第２変換を行う第２演算部と、
を備え、
前記第２変換は、特徴量の要素数および次元数を前記第１変換とは異なる増減方向に変化させる特徴変換である
ことを特徴とする情報処理装置。
続きを表示（約 850 文字）【請求項２】
前記第１演算部は、入力情報を入力したニューラルネットワークにおける演算処理を行って、１次元テンソルの特徴量を算出することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第２演算部は、前記１次元テンソルの特徴量の要素数を増加させる線形変換を行い、該線形変換により得られる特徴量の要素の並び替えにより３次元の特徴量を算出することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記第２演算部は、全結合層により前記線形変換を行うことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記第２演算部は、前記３次元の特徴量と、前記入力情報と、を融合した情報を特徴量として算出することを特徴とする請求項３に記載の情報処理装置。
【請求項６】
前記第２演算部は、前記第１演算部における２つの特徴量を融合した情報を特徴量として算出することを特徴とする請求項３に記載の情報処理装置。
【請求項７】
前記２つの特徴量は、前記第１演算部における最終層の特徴量と前記第１演算部における中間特徴量であることを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記２つの特徴量は、前記第１演算部における２つの中間特徴量であることを特徴とする請求項６に記載の情報処理装置。
【請求項９】
さらに、
前記第２演算部により得られる特徴量を入力した階層型ニューラルネットワークにおける演算処理を行って、１次元テンソルの特徴量を算出する第３演算部を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記第１演算部が使用する階層型ニューラルネットワークにおける層数は、前記第３演算部が使用する階層型ニューラルネットワークにおける層数よりも多い、ことを特徴とする請求項９に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、特徴変換技術に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
重みを共有する局所的な処理を繰り返すことで特徴変換を行うＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ（ＣＮＮ）がある。また例えば、入力データを複数の領域に分割して領域間の関連度を調べ、関連度に基づいてどの領域の特徴を抽出するかを決定するＶｉｓｉｏｎＴｒａｎｓｆｏｒｍｅｒ（ＶｉＴ）がある（非特許文献１）。ＣＮＮやＶｉＴは、局所領域を単位とした特徴変換を複数層で繰り返すことで、徐々に局所の特徴を統合してパターンを見分けることができる。
【０００３】
さらに、入力データ全体の特徴と局所の特徴の統合を促進するために、ＦｅａｔｕｒｅＰｙｒａｍｉｄＮｅｔｗｏｒｋ（非特許文献２）や、ＳｔａｃｋｅｄＨｏｕｒｇｌａｓｓＮｅｔｗｏｒｋ（非特許文献３）と呼ばれる、集約（畳み込み）と分解（逆畳み込み処理やアップサンプリング処理）を逐次的・段階的に繰り返す手法が広く行われる。
【先行技術文献】
【非特許文献】
【０００４】
Ｄｏｓｏｖｉｔｓｋｉｙ，Ａｌｅｘｅｙ，ｅｔａｌ． ”Ａｎｉｍａｇｅｉｓｗｏｒｔｈ１６ｘ１６ｗｏｒｄｓ：Ｔｒａｎｓｆｏｒｍｅｒｓｆｏｒｉｍａｇｅｒｅｃｏｇｎｉｔｉｏｎａｔｓｃａｌｅ．” ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：２０１０．１１９２９（２０２０）．
Ｌｉｎ，Ｔｓｕｎｇ－Ｙｉ，ｅｔａｌ． ”Ｆｅａｔｕｒｅｐｙｒａｍｉｄｎｅｔｗｏｒｋｓｆｏｒｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎ．” ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥｃｏｎｆｅｒｅｎｃｅｏｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎａｎｄｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎ．２０１７．
Ｎｅｗｅｌｌ，Ａｌｅｊａｎｄｒｏ，ＫａｉｙｕＹａｎｇ，ａｎｄＪｉａＤｅｎｇ． ”Ｓｔａｃｋｅｄｈｏｕｒｇｌａｓｓｎｅｔｗｏｒｋｓｆｏｒｈｕｍａｎｐｏｓｅｅｓｔｉｍａｔｉｏｎ．” ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ－ＥＣＣＶ２０１６：１４ｔｈＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅ，Ａｍｓｔｅｒｄａｍ，ＴｈｅＮｅｔｈｅｒｌａｎｄｓ，Ｏｃｔｏｂｅｒ１１－１４，２０１６，Ｐｒｏｃｅｅｄｉｎｇｓ，ＰａｒｔＶＩＩＩ１４．ＳｐｒｉｎｇｅｒＩｎｔｅｒｎａｔｉｏｎａｌＰｕｂｌｉｓｈｉｎｇ，２０１６．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＦｅａｔｕｒｅＰｙｒａｍｉｄＮｅｔｗｏｒｋやＳｔａｃｋｅｄＨｏｕｒｇｌａｓｓＮｅｔｗｏｒｋのような方法は、特徴の空間的配置関係を常に維持し、各段階の変換の自由度も小さいため、過学習を起こしにくい。ただし、変換の段階数が多いため、処理効率が悪い。一方で、全結合層（ＭＬＰ、Ｍｕｌｔｉｌａｙｅｒｐｅｒｃｅｐｔｒｏｎ）を用いる方法は、局所や全体の区別なく一括変換するため、処理効率が良い。ただし、変換の自由度が高いため、過学習を起こし易く、目的とする推論結果が得られないことがある。本発明では、局所的な特徴と全体の特徴の統合を促進するための技術を提供する。
【課題を解決するための手段】
【０００６】
本発明の一様態は、局所的な複数段階の特徴変換である第１変換を行う第１演算部と、前記第１変換よりも広域の特徴変換である第２変換を行う第２演算部と、を備え、前記第２変換は、特徴量の要素数および次元数を前記第１変換とは異なる増減方向に変化させる特徴変換であることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、局所的な特徴と全体の特徴の統合を促進することができる。
【図面の簡単な説明】
【０００８】
ニューラルネットワークにおける演算処理を行う情報処理装置のハードウェア構成例を示すブロック図。
推論装置として動作する情報処理装置の機能構成例を示すブロック図。
演算部２０２の構成例を示すブロック図。
ニューラルネットワークの具体例を示す図。
ニューラルネットワークにおける処理過程を示す図。
再構成部３０３における処理の具体例を示す図。
ニューラルネットワークの具体例を示す図。
ニューラルネットワークにおける処理過程を示す図。
ニューラルネットワークの具体例を示す図。
ＲｅｓＮｅｔ部４０１の中間特徴量を取得する方法を示す図。
ＲｅｓＮｅｔ部４０１の中間特徴量を取得する方法を示す図。
演算部２０２の構成例を示す図。
ニューラルネットワークの具体例を示す図。
ニューラルネットワークにおける処理過程のフローチャート。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１０】
［第１の実施形態］
本実施形態において用いるニューラルネットワークは、従来の畳み込み層のように空間位置関係を維持したまま段階的に特徴を集約していく層と、全結合層により特徴を空間方向に再度広げる層と、を有する階層型ニューラルネットワークである。このような構成を有することにより、本実施形態に係るニューラルネットワークは、効率的に変換処理を行うことができる。
（【００１１】以降は省略されています）

関連特許