特許ウォッチ

公開番号2024058386
公報種別公開特許公報(A)
公開日2024-04-25
出願番号2022165716
出願日2022-10-14
発明の名称情報処理装置、情報処理方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06N 3/04 20230101AFI20240418BHJP(計算;計数)
要約【課題】入力データの相関関係をより早くに求めると共に、階層型ニューラルネットワークによる処理の精度を向上させるための技術を提供すること。
【解決手段】入力データの特徴群を取得し、該取得した特徴群に基づき、階層型ニューラルネットワークの階層におけるそれぞれの正規化レイヤによる正規化処理を行って、出力特徴群を取得する。
【選択図】図1
特許請求の範囲【請求項１】
入力データの特徴群を取得する第１取得手段と、
前記第１取得手段が取得した特徴群に基づき、階層型ニューラルネットワークの階層におけるそれぞれの正規化レイヤによる正規化処理を行って、出力特徴群を取得する第２取得手段と
を備えることを特徴とする情報処理装置。
続きを表示（約 1,300 文字）【請求項２】
前記第１取得手段は、前記入力データに対して、階層型ニューラルネットワークにおける全結合層による変換処理を行うことで前記特徴群を取得することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第１取得手段は、入力画像におけるそれぞれの領域に対して、階層型ニューラルネットワークにおける全結合層による変換処理を行うことで、前記入力画像におけるそれぞれの領域の特徴を取得することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記第２取得手段は、前記階層型ニューラルネットワークにおけるそれぞれの階層に対応する変換手段を備え、
前記変換手段は、
前記第１取得手段が取得した特徴群もしくは前段の変換手段により生成された特徴群を入力特徴群とし、該入力特徴群におけるそれぞれの特徴の変換結果を要素とする行列における要素を、該特徴の並び方向に正規化する第１正規化レイヤと、
前記入力特徴群におけるそれぞれの特徴の変換結果を要素とする行列と、前記第１正規化レイヤによる正規化の結果と、を合成する第１合成レイヤと、
前記入力特徴群におけるそれぞれの特徴の変換結果を要素とする行列における要素を、該特徴の要素の並び方向に正規化する第２正規化レイヤと、
前記第１合成レイヤによる合成の結果と、前記第２正規化レイヤによる正規化の結果と、を合成した特徴群を生成する第２合成レイヤと
を備える
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記階層型ニューラルネットワークにおけるそれぞれの階層に対応する変換手段のうち動作順において最後に動作する変換手段はさらに、前記第２合成レイヤにより生成された特徴群に基づいてＭｕｌｔｉＬａｙｅｒＰｅｒｃｅｐｔｏｒｏｎの処理を行うことで、前記入力データとしての画像における物体に対するそれぞれのカテゴリの尤度を表す特徴列を生成することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記変換結果は、前記入力特徴群とパラメータとの積の結果であることを特徴とする請求項４に記載の情報処理装置。
【請求項７】
前記変換結果は、前記入力特徴群とパラメータとの循環畳み込みの結果であることを特徴とする請求項４に記載の情報処理装置。
【請求項８】
前記第１正規化レイヤおよび前記第２正規化レイヤは、Ｓｏｆｔｍａｘ関数を用いて正規化を行うことを特徴とする請求項４に記載の情報処理装置。
【請求項９】
さらに、
前記出力特徴群に基づいて顔検出を行う手段を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
さらに、
学習済み階層型ニューラルネットワークにおける階層の入出力を用いて、前記階層型ニューラルネットワークにおける階層の学習を行う学習手段を備えることを特徴とする請求項１に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、階層型ニューラルネットワークを用いた情報処理技術に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
近年、物体が撮影された画像を処理して有用な情報を抽出する技術が提案されている。特に、ディープネット（あるいはディープニューラルネット、ディープラーニング）と呼ばれる多階層のニューラルネットワークを用いる技術に関して、盛んに研究されている。
【先行技術文献】
【非特許文献】
【０００３】
ＡｓｈｉｓｈＶａｓｗａｎｉ，ＮｏａｍＳｈａｅｅｒ，ＮｉｋｉＰａｒｍａｒ，ＪａｋｏｂＵｓｚｋｏｒｅｉｔ，ＬｌｉｏｎＪｏｎｅｓ，ＡｉｄａｎＮ．Ｇｏｍｅｚ，ＬｕｋａｓｚＫａｉｓｅｒ，ＩｌｌｉａＰｏｌｏｓｕｋｈｉｎ，ＡｔｔｅｎｔｉｏｎＩｓＡｌｌＹｏｕＮｅｅｄ．ａｒＸｉｖ：１７０６．０３７６２
ＡｌｅｘｅｙＤｏｓｏｖｉｔｓｋｉｙ，ＬｕｃａｓＢｅｙｅｒ，ＡｌｅｘａｎｄｅｒＫｏｌｅｓｎｉｋｏｖ，ＤｉｒｋＷｅｉｓｓｅｎｂｏｒｎ，ＸｉａｏｈｕａＺｈａｉ，ＴｈｏｍａｓＵｎｔｅｒｔｈｉｎｅｒ，ＭｏｓｔａｆａＤｅｈｇｈａｎｉ，ＭａｔｔｈｉａｓＭｉｎｄｅｒｅｒ，ＧｅｏｒｇＨｅｉｇｏｌｄ，ＳｙｌｖａｉｎＧｅｌｌｙ，ＪａｋｏｂＵｓｚｋｏｒｅｉｔ，ＮｅｉｌＨｏｕｌｓｂｙ，ＡＮＩＭＡＧＥＩＳＷＯＲＴＨ１６Ｘ１６ＷＯＲＤＳ：ＴＲＡＮＳＦＯＲＭＥＲＳＦＯＲＩＭＡＧＥＲＥＣＯＧＮＩＴＩＯＮＡＴＳＣＡＬＥ．ａｒＸｉｖ：２０１０．１１９２９
ＪｉａｎｋａｎｇＤｅｎｇ，ＪｉａＧｕｏ，ＹｕｘｉａｎｇＺｈｏｕ，ＪｉｎｋｅＹｕ，ＩｒｅｎｅＫｏｔｓｉａ，ＳｔｅｆａｎｏｓＺａｆｅｉｒｉｏｕ，ＲｅｔｉｎａＦａｃｅ：Ｓｉｇｌｅ－ｓｔａｇｅＤｅｎｓｅＦａｃｅＬｏｃａｌｉｓａｔｉｏｎｉｎｔｈｅＷｉｌｄ．ａｒＸｉｖ：２０１９．００６４１
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１では、ディープネットの処理時に、入力データの相関関係を表すアテンションと呼ばれる係数を計算することで精度を向上させている。しかしながら、非特許文献１に開示されている手法では、入力データの相関関係を評価するときに入力データの数の二乗のオーダーの計算時間を要するため、特に入力データの数が多い場合には、より多くの計算時間を要することになる。本発明では、入力データの相関関係をより早くに求めると共に、階層型ニューラルネットワークによる処理の精度を向上させるための技術を提供する。
【課題を解決するための手段】
【０００５】
本発明の一様態は、入力データの特徴群を取得する第１取得手段と、前記第１取得手段が取得した特徴群に基づき、階層型ニューラルネットワークの階層におけるそれぞれの正規化レイヤによる正規化処理を行って、出力特徴群を取得する第２取得手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、入力データの相関関係をより早くに求めると共に、階層型ニューラルネットワークによる処理の精度を向上させることができる。
【図面の簡単な説明】
【０００７】
情報処理装置１の機能構成例を示すブロック図。
入力画像における物体に対するカテゴリ尤度を表す特徴列を取得するために情報処理装置１が行う処理のフローチャート。
ステップＳ２０３における処理の詳細を示すフローチャート。
変換部１０１による処理および特徴変換部１０２による処理を実現させる１つのディープネットによる処理構成を示すブロック図。
情報処理装置２の機能構成例を示すブロック図。
情報処理装置２によるサブ特徴変換の学習処理のフローチャート。
教師ネットワーク２２が有する階層処理のふるまいにサブ特徴変換が似るように変換部１０２２の学習を行うための構成を示すブロック図。
コンピュータ装置のハードウェア構成例を示すブロック図。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【０００９】
［第１の実施形態］
本実施形態では、階層型ニューラルネットワークとしてディープネットを用いたケースについて説明するが、他の種類の階層型ニューラルネットワークを用いたケースであっても、以下の説明は同様に適用される。
【００１０】
本実施形態では、ディープネットの処理時のアテンションの利用による精度の向上と、アテンションの計算速度の向上を図る。本実施形態では、ディープネットにおける処理の途中で算出される特徴の配列（集合）である特徴列（特徴群）に対し、特徴列の座標方向と特徴列の次元方向の２つの方向に対する正規化処理の結果を用いてアテンションを求める。本実施形態では、正規化処理の結果を求める為の計算量が少なくなるように順序を選択して合成することで、処理中のデータ数に相当する特徴数が多い場合であっても、アテンションの計算速度を向上しつつ、ディープネットの処理の精度向上ができる。
（【００１１】以降は省略されています）

関連特許