特許ウォッチ

公開番号2025032847
公報種別公開特許公報(A)
公開日2025-03-12
出願番号2023138337
出願日2023-08-28
発明の名称画像解析装置、画像解析装置の制御方法、及びプログラム
出願人キヤノン株式会社
代理人個人
主分類G06T 7/00 20170101AFI20250305BHJP(計算;計数)
要約【課題】画像中の対象物を構成する複数の部位間の対応付けをより好適な態様で実現する。
【解決手段】特徴抽出部320は、対象物が撮像された画像から当該対象物の特徴量を抽出する。検出領域推定部330は、特徴抽出部320が抽出した上記特徴量から、上記対象物の複数の部位を検出する。角度推定部340は、検出された複数の部位それぞれを対象部位として、当該対象部位を基点として対象物が延伸する方向に延伸する半直線と、画像中の基準となる方向に延伸する直線と、がなす角度を推定する。対応付け判定部370は、検出領域推定部330による複数の部位の検出結果と、角度推定部340による上記角度の推定結果と、に基づいて、対象物の複数の部位のうち、互いに紐づいた関係にある2つの部位間の対応付けを行う。
【選択図】図3
特許請求の範囲【請求項１】
対象物が撮像された画像から当該対象物の特徴量を抽出する抽出手段と、
前記抽出手段が抽出した前記特徴量から、前記対象物の複数の部位を検出する検出手段と、
前記検出手段により検出された前記複数の部位それぞれを対象部位として、当該対象部位を基点として前記対象物が延伸する方向に延伸する半直線と、画像中の基準となる方向に延伸する直線と、がなす角度を推定する角度推定手段と、
前記検出手段による前記複数の部位の検出結果と、前記角度推定手段による前記角度の推定結果と、に基づいて、前記対象物の当該複数の部位のうち、互いに紐づいた関係にある２つの部位間の対応付けを行う対応付け手段と、
を有することを特徴とする、画像解析装置。
続きを表示（約 1,800 文字）【請求項２】
前記抽出手段は、前記画像を入力として、当該画像中の前記対象物の特徴量を出力するように学習されたニューラルネットワークにより実現されることを特徴とする、請求項１に記載の画像解析装置。
【請求項３】
前記抽出手段により抽出された前記特徴量に基づき、前記画像中の各画素が、前記互いに紐づいた関係にある２つの部位を結ぶ領域に存在する尤度を推定する尤度推定手段と、
前記検出手段により検出された前記複数の部位と、前記角度推定手段により当該複数の部位それぞれについて推定された前記角度と、に基づき、前記対応付け手段による対応付けの判定の対象とする２つの部位の組み合わせごとに参照する、当該２つの部位の組み合わせに対応する領域を決定する決定手段と、
を有し、
前記対応付け手段は、前記決定手段により決定された前記２つの部位の組み合わせに対応する領域ごとに、前記尤度推定手段により当該領域中の各画素について推定された前記尤度に基づき、当該２つの部位間の対応付けを行うか否かを判定する
ことを特徴とする、請求項１に記載の画像解析装置。
【請求項４】
前記対応付け手段は、前記決定手段により決定された前記２つの部位の組み合わせに対応する領域ごとに、当該２つの部位それぞれに対応する領域中の基準点から当該部位ごとに推定された前記角度に対応する方向に延伸させた半直線により形成される一連の線分上に位置する複数の画素それぞれについて推定された前記尤度を基に算出される対応付けスコアに基づき、当該２つの部位間の対応付けを行うか否かを判定することを特徴とする、請求項３に記載の画像解析装置。
【請求項５】
前記対応付け手段は、
前記検出手段により検出された前記複数の部位のうちの２つの部位の組み合わせごとに、当該２つの部位それぞれに対応する領域中の基準点から当該部位ごとに推定された前記角度に対応する方向に延伸させた半直線の交点と、
当該２つの部位それぞれに対応する前記基準点間を結ぶ直線の中点と、
の間の距離を基に算出される対応付けスコアに基づき、当該２つの部位間の対応付けを行うか否かを判定する
ことを特徴とする、請求項１に記載の画像解析装置。
【請求項６】
前記対応付けスコアは、前記交点と前記中点との間の距離が短いほど、対象となる２つの部位間が互いに紐づいた関係にあることをより示す高い値となるように算出されることを特徴とする、請求項５に記載の画像解析装置。
【請求項７】
画像解析装置の制御方法であって、
対象物が撮像された画像から当該対象物の特徴量を抽出する抽出ステップと、
前記抽出ステップにて抽出された前記特徴量から、前記対象物の複数の部位を検出する検出ステップと、
前記検出ステップにて検出された前記複数の部位それぞれを対象部位として、当該対象部位を基点として前記対象物が延伸する方向に延伸する半直線と、画像中の基準となる方向に延伸する直線と、がなす角度を推定する角度推定ステップと、
前記検出ステップにおける前記複数の部位の検出結果と、前記角度推定ステップにおける前記角度の推定結果と、に基づいて、前記対象物の当該複数の部位のうち、互いに紐づいた関係にある２つの部位間の対応付けを行う対応付け手段と、
を有することを特徴とする、画像解析装置の制御方法。
【請求項８】
コンピュータを、
対象物が撮像された画像から当該対象物の特徴量を抽出する抽出手段と、
前記抽出手段が抽出した前記特徴量から、前記対象物の複数の部位を検出する検出手段と、
前記検出手段により検出された前記複数の部位それぞれを対象部位として、当該対象部位を基点として前記対象物が延伸する方向に延伸する半直線と、画像中の基準となる方向に延伸する直線と、がなす角度を推定する角度推定手段と、
前記検出手段による前記複数の部位の検出結果と、前記角度推定手段による前記角度の推定結果と、に基づいて、前記対象物の当該複数の部位のうち、互いに紐づいた関係にある２つの部位間の対応付けを行う対応付け手段と、
を有することを特徴とする画像解析装置として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、画像解析装置、画像解析装置の制御方法、及びプログラムに関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
近年では、対象物体が撮像された画像に対して認識処理を施すことで、種々の情報を抽出する技術が提案されている。特に、ディープネット（例えば、ディープラーニングに基づき構築されるディープニューラルネットワーク）とも称される多階層のニューラルネットワークを用いる技術が注目されており、盛んに研究が行われている。
【０００３】
画像中の任意の物体の検出が行われる際に、物体全体を１つの物体として検出する方法の他に、物体の複数の部分領域を検出し、検出された部分領域の対応関係を推論する方法が挙げられる。なお、本開示では、物体の複数の部分領域の対応関係を推論する処理を、便宜上、対応付け処理とも称する。対応付け処理により、物体を高精度に検出することが可能となり、かつ複数の部分領域の対応付けがなされた情報を用いることで、多様な機能を実現することが可能となる。特許文献１には、対象となる人物の複数の部位を検出し、当該複数の部位の検出結果を撮像装置のオートフォーカス（ＡＦ）機能の制御に利用する技術が開示されている。また、特許文献２には、複数の人物を対象として関節点の対応付けを行うための技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－４８０７７号公報
特開２０２０－１９４２９４号公報
【非特許文献】
【０００５】
ＲｅａｌｔｉｍｅＭｕｌｔｉ－Ｐｅｒｓｏｎ２ＤＰｏｓｅＥｓｔｉｍａｔｉｏｎｕｓｉｎｇＰａｒt ＡｆｆｉｎｉｔｙＦｉｅｌｄｓ，ＺｈｅＣａｏ，ＴｏｍａｓＳｉｍｏｎ，Ｓｈｉｈ－ＥｎＷｅｉ，ＹａｓｅｒＳｈｅｉｋｈ（２０１６）
ＲｉｃｈＦｅａｔｕｒｅＨｉｅｒａｒｃｈｉｅｓｆｏｒＡｃｃｕｒａｔｅＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎａｎｄＳｅｍａｎｔｉｃＳｅｇｍｅｎｔａｔｉｏｎ．，ＲｏｓｓＧｉｒｓｈｉｃｋｅｔａｌ．，２０１４ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ
ＳＳＤ：ＳｉｎｇｌｅＳｈｏｔＭｕｌｔｉＢｏｘＤｅｔｅｃｔｏｒ，ＷｅｉＬｉｕｅｔａｌ．，ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ－ＥＣＣＶ２０１６
ＹｏｕＯｎｌｙＬｏｏｋＯｎｃｅ：Ｕｎｉｆｉｅｄ，Ｒｅａｌ－ＴｉｍｅＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎ，ＪｏｓｅｐｈＲｅｄｍｏｎｅｔａｌ．，２０１６ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ディープラーニングを用いて検出対象の部位を検出し、同一の対象の各部位の対応付け処理を行うためには、検出対象の学習画像の他に各部位の位置やサイズ等の正解情報（ＧＴ：ＧｒｏｕｎｄＴｒｕｔｈ）が用いられる。また、このようなケースでは、ニューラルネットワークの学習に際して、上記学習画像及び上記正解画像に加えて、部位間の対応付けを表すＧＴ情報を準備して学習が行われる。
一方で、ニューラルネットワークの学習に際して、特許文献２や非特許文献１に代表される一般的な対応付けの手法では、判定対象の２点間の直線領域の対応付け情報をもとに対応付けの判定が行われる。そのため、対象物の一部が湾曲している状況（例えば、人物が上半身を湾曲させている状況）等のように、その物体の一般的な形状と異なる特殊な形状がとられている状況下では、対象物を構成する各部位の対応付け処理の精度が低下する場合がある。
【０００７】
本発明は上記の問題を鑑み、画像中の対象物を構成する複数の部位間の対応付けをより好適な態様で実現することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像解析装置は、対象物が撮像された画像から当該対象物の特徴量を抽出する抽出手段と、前記抽出手段が抽出した前記特徴量から、前記対象物の複数の部位を検出する検出手段と、前記検出手段により検出された前記複数の部位それぞれを対象部位として、当該対象部位を基点として前記対象物が延伸する方向に延伸する半直線と、画像中の基準となる方向に延伸する直線と、がなす角度を推定する角度推定手段と、前記検出手段による前記複数の部位の検出結果と、前記角度推定手段による前記角度の推定結果と、に基づいて、前記対象物の当該複数の部位のうち、互いに紐づいた関係にある２つの部位間の対応付けを行う対応付け手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像中の対象物を構成する複数の部位間の対応付けをより好適な態様で実現することが可能となる。
【図面の簡単な説明】
【００１０】
撮像装置の概略的な構成の一例を示した図である。
撮像装置及び画像解析装置のハードウェア構成の一例を示した図である。
撮像装置及び画像解析装置の機能構成の一例を示した図である。
撮像装置の処理の一例を示したフローチャートである。
ニューラルネットワークのネットワーク構造の一例を示した図である。
学習装置の機能構成の一例を示した図である。
学習装置の処理の一例を示したフローチャートである。
撮像装置及び画像解析装置の機能構成の一例を示した図である。
学習装置の機能構成の一例を示した図である。
対応付けスコアの算出方法の一例を示した図である。
対応付け処理の一例について説明するための図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許