特許ウォッチ

公開番号2024091962
公報種別公開特許公報(A)
公開日2024-07-05
出願番号2024072918,2022153997
出願日2024-04-26,2017-08-09
発明の名称画像処理装置、画像処理方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06V 10/82 20220101AFI20240628BHJP(計算;計数)
要約【課題】従来のような演算コストの大きな処理を行うことなく、例えばサイズや姿勢といったものに対してロバストに認識処理を高速に行うための技術を提供すること。
【解決手段】入力画像を階層型ニューラルネットワークを用いて処理して得られる該階層型ニューラルネットワークの複数の層の出力を連結して連結階層特徴を生成する。連結階層特徴を用いて入力画像の領域の属性を表す属性スコアマップを、属性ごとに生成する。生成した属性ごとの属性スコアマップを統合して認識対象についての認識結果を生成して出力する。
【選択図】図1
特許請求の範囲【請求項１】
入力画像を階層型ニューラルネットワークを用いて処理して得られる該階層型ニューラルネットワークの複数の層の出力を連結して連結階層特徴を生成する特徴生成手段と、
前記連結階層特徴を用いて前記入力画像の領域の属性を表す属性スコアマップを、属性ごとに生成するマップ生成手段と、
前記マップ生成手段が生成した属性ごとの属性スコアマップを統合して認識対象についての認識結果を生成して出力する出力手段と
を備えることを特徴とする画像処理装置。
続きを表示（約 900 文字）【請求項２】
前記出力手段は、前記マップ生成手段が生成した属性ごとの属性スコアマップを統合して前記入力画像における物体の有無についての結果を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記出力手段は、前記マップ生成手段が生成した属性ごとの属性スコアマップを統合して前記入力画像における物体の有無についての結果を生成すると共に、前記入力画像における各領域のカテゴリのラベルについての結果を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記マップ生成手段は、前記領域に物体の基準点が存在するか否かの尤度を判定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記マップ生成手段は、物体の各サブカテゴリごとの尤度のスコアマップを算出することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記サブカテゴリは、物体の奥行き回転、物体の面内回転、物体の姿勢、物体の形状、物体の材質、物体の関心領域の形状、物体の関心領域のサイズ、物体の関心領域のアスペクト比、のうち少なくとも一つに関して区別されたサブカテゴリであることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記出力手段は、前記属性スコアマップの解像度よりも詳細な解像度の前記認識結果を生成することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記出力手段は、前記物体のサイズについて推定を行うことを特徴とする請求項２乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記出力手段は、前記入力画像の審美性に関する結果を生成することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
前記出力手段は、前記入力画像の分類の結果を生成することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、認識技術に関するものである。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
映像データから特徴量を抽出し、判別器を用いて映像データ中の被写体を判定する技術が知られている。このような技術の一つに、ニューラルネットワークの一種であるＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ（以降、ＣＮＮ）がある。ＣＮＮは、局所的畳み込みの演算処理を複数段階で逐次的に行うという性質を持つ。
【０００３】
非特許文献１に記載の技術では、ＣＮＮを画像データに適用して物体を検出している。具体的には、（１）画像をＣＮＮで演算処理する。さらに（２）関心領域（ＲｅｇｉｏｎｏｆＩｎｔｅｒｅｓｔ）ごとにＣＮＮの最終層の特徴量を集計し、物体か否かを判定する。この処理を全関心領域に対して行う。
【先行技術文献】
【特許文献】
【０００４】
特願２０１５－１１５１７１
【非特許文献】
【０００５】
ＳｈａｏｑｉｎｇＲｅｎ，ＫａｉｍｉｎｇＨｅ，ＲｏｓｓＧｉｒｓｈｉｃｋ，ＪｉａｎＳｕｎ，ＦａｓｔｅｒＲ－ＣＮＮ：ＴｏｗａｒｄｓＲｅａｌ－ＴｉｍｅＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎｗｉｔｈＲｅｇｉｏｎＰｒｏｐｏｓａｌＮｅｔｗｏｒｋｓ，ＮＩＰＳ２０１５
Ｍ．Ｄ．Ｚｅｉｌｅｒ，Ｒ．Ｆｅｒｇｕｓ，ＶｉｓｕａｌｉｚｉｎｇａｎｄＵｎｄｅｒｓｔａｎｄｉｎｇＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋｓ，ＥＣＣＶ２０１４
ＨｙｅｏｎｗｏｏＮｏｈ，ＳｅｕｎｇｈｏｏｎＨｏｎｇ，ＢｏｈｙｕｎｇＨａｎ，ＬｅａｒｎｉｎｇＤｅｃｏｎｖｏｌｕｔｉｏｎＮｅｔｗｏｒｋｆｏｒＳｅｍａｎｔｉｃＳｅｇｍｅｎｔａｔｉｏｎ，ＩＣＣＶ２０１５
Ａ．Ｋｒｉｚｈｅｖｓｋｙｅｔａｌ．，ＩｍａｇｅＮｅｔＣｌａｓｓｉｆｉｃａｔｉｏｎｗｉｔｈＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ，ＮＩＰＳ２０１２
ＥｍｍａｎｏｕｉｌＺ．ＰｓａｒａｋｉｓａｎｄＧｅｏｒｇｉｏｓＤ．Ｅｖａｎｇｅｌｉｄｉｓ，ＡｎＥｎｈａｎｃｅｄＣｏｒｒｅｌａｔｉｏｎ－ＢａｓｅｄＭｅｔｈｏｄｆｏｒＳｔｅｒｅｏＣｏｒｒｅｓｐｏｎｄｅｎｃｅｗｉｔｈＳｕｂ－ＰｉｘｅｌＡｃｃｕｒａｃｙ，ＩＣＣＶ２００５
ＷｅｉＬｕｏ，ＸｉａｏｇａｎｇＷａｎｇ，ＸｉａｏｏｕＴａｎｇ，Ｃｏｎｔｅｎｔ－ＢａｓｅｄＰｈｏｔｏＱｕａｌｉｔｙＡｓｓｅｓｓｍｅｎｔ，ＩＣＣＶ２０１１
Ｌａｚｅｂｎｉｋ，Ｓｃｈｍｉｄ，Ｐｏｎｃｅ，ＢｅｙｏｎｄＢａｇｓｏｆＦｅａｔｕｒｅｓ：ＳｐａｔｉａｌＰｙｒａｍｉｄＭａｔｃｈｉｎｇｆｏｒＲｅｃｏｇｎｉｚｉｎｇＮａｔｕｒａｌＳｃｅｎｅＣａｔｅｇｏｒｉｅｓ，ＣＶＰＲ２００６
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１のような従来の手法では、関心領域ごとに特徴の集計を行う。そのため物体の候補領域が多い場合や、複数の認識タスクを同時に行う場合に演算コストが大きいという課題がある。
【０００７】
本発明はこのような問題に鑑みてなされたものであり、従来のような演算コストの大きな処理を行うことなく、例えばサイズや姿勢といったものに対してロバストに認識処理を高速に行うための技術を提供する。
【課題を解決するための手段】
【０００８】
本発明の一様態は、入力画像を階層型ニューラルネットワークを用いて処理して得られる該階層型ニューラルネットワークの複数の層の出力を連結して連結階層特徴を生成する特徴生成手段と、前記連結階層特徴を用いて前記入力画像の領域の属性を表す属性スコアマップを、属性ごとに生成するマップ生成手段と、前記マップ生成手段が生成した属性ごとの属性スコアマップを統合して認識対象についての認識結果を生成して出力する出力手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明の構成によれば、従来のような演算コストの大きな処理を行うことなく、例えばサイズや姿勢といったものに対してロバストに認識処理を高速に行うことができる。
【図面の簡単な説明】
【００１０】
画像処理装置の機能構成例を示すブロック図。
画像処理装置の機能構成例を示すブロック図。
画像処理装置が行う認識処理のフローチャート。
ステップＳ１～Ｓ４の処理のフローチャート。
各層の演算処理を示す図。
処理結果を示す図。
学習データの例を示す図
領域の判定に関する属性の統合手順のフローチャート。
物体の検出に関する属性の統合手順のフローチャート。
第１の実施形態の変形例を説明する図。
画像処理装置の機能構成例を示すブロック図。
人物の検出のための統合手順のフローチャート。
属性判定の例および結果出力例を示す図。
画像処理装置の機能構成例を示すブロック図。
画像処理装置の動作のフローチャート。
水平線情報値、合焦情報値、測光情報値を示す図。
画像処理装置の機能構成例を示す図。
画像処理装置の機能構成例を示すブロック図。
画像処理装置の動作のフローチャート。
第４の実施形態の派生の形態を説明する図。
コンピュータ装置のハードウェア構成例を示すブロック図。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許