特許ウォッチ

公開番号2025082066
公報種別公開特許公報(A)
公開日2025-05-28
出願番号2023195295
出願日2023-11-16
発明の名称画像処理装置、画像処理方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 7/00 20170101AFI20250521BHJP(計算;計数)
要約【課題】演算量の増加を抑えながら、様々な姿勢をとる人体についての姿勢推定精度を高める。
【解決手段】画像に対する回転処理により、互いに回転関係にある複数の回転画像を生成する。複数の回転画像のそれぞれに対して、回転画像において人体が存在すると推定される人体領域を判定する人体検出処理を行う。複数の回転画像のそれぞれから検出された複数の人体領域の中から選択された一部の人体領域に対し、人体の姿勢を検出する姿勢検出処理を行う。
【選択図】図1
特許請求の範囲【請求項１】
画像に対する回転処理により、互いに回転関係にある複数の回転画像を生成する回転手段と、
前記複数の回転画像のそれぞれに対して、前記回転画像において人体が存在すると推定される人体領域を判定する人体検出処理を行う人体検出手段と、
前記複数の回転画像のそれぞれから検出された複数の人体領域の中から選択された一部の人体領域に対し、人体の姿勢を検出する姿勢検出処理を行う、姿勢検出手段と、
を備えることを特徴とする画像処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記一部の人体領域は、前記人体領域に人体が存在する尤度に従って、前記複数の人体領域から選択されることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記人体検出手段は、ディープニューラルネットワークを用いて、前記回転画像から、前記回転画像についての前記人体領域及び前記尤度を推定することを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記一部の人体領域は、前記人体領域の位置と前記人体領域の大きさとの少なくとも一方に従って、前記複数の人体領域から選択されることを特徴とする、請求項１に記載の画像処理装置。
【請求項５】
前記画像処理装置は、続けて撮像された複数の画像のそれぞれについて、前記画像に写る人体の姿勢を検出し、
前記一部の人体領域は、前記人体領域の位置と前記人体領域の大きさとの少なくとも一方と、過去に検出された前記人体領域の位置と前記人体領域の大きさとの少なくとも一方と、の間の類似性に基づいて、前記複数の人体領域から選択されることを特徴とする、請求項４に記載の画像処理装置。
【請求項６】
前記姿勢検出手段は、前記複数の人体領域のうち選択されなかった人体領域に対する姿勢検出処理を省略することを特徴とする、請求項１に記載の画像処理装置。
【請求項７】
前記複数の人体領域に対して順序が設定され、
前記姿勢検出手段は、所定の条件が満たされるまで、前記順序に従って選択された前記人体領域に対して順次前記姿勢検出処理を行うことを特徴とする、請求項１に記載の画像処理装置。
【請求項８】
前記所定の条件は、前記姿勢検出処理の結果が所定の信頼度を有することであり、
前記姿勢検出手段は、前記姿勢検出処理の結果に関連する前記所定の条件が満たされたことに応じて、前記姿勢検出処理を終了することを特徴とする、請求項７に記載の画像処理装置。
【請求項９】
前記回転画像から前記人体領域の画像を切り出す切り出し手段をさらに備え、
前記姿勢検出手段は、前記人体領域の画像に対して前記姿勢検出処理を行うことを特徴とする、請求項１に記載の画像処理装置。
【請求項１０】
前記複数の人体領域を人物ごとにグルーピングする設定手段をさらに備え、
前記姿勢検出手段は、それぞれのグループについて、前記グループに含まれる複数の人体領域から選択された一部の前記人体領域に対し、前記姿勢検出処理を行うことを特徴とする、請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に画像に基づいて姿勢を推定する技術に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
人物の行動認識及びモーションキャプチャのために姿勢推定技術が活用されている。例えば、非特許文献１は、人体検出技術によって画像中の人体を検出し、人体領域に対して姿勢推定処理を行うトップダウン方式の姿勢推定技術を開示している。非特許文献１では、ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋ（以下ＤＮＮ）を用いた姿勢推定モデルによって、高い認識精度が得られている。
【０００３】
姿勢推定技術においては、立位姿勢をとる人体に対する推定精度と比較して、他の姿勢（例えば転倒姿勢）をとる人体に対する推定精度が低下する傾向がある。これは、機械学習に用いる学習データに含まれる、立位姿勢以外の姿勢をとる人体のデータが比較的少ないことが原因の１つである。このような課題を解決するために、特許文献１は、以下の２つの技術を提案している。１つ目は、検出対象画像から人体の頭部及び腰を検出し、頭部が上方に、腰が下方に位置するように検出対象画像を回転する方法である。２つ目は、検出対象画像に対する回転処理により複数の回転画像を生成し、それぞれの回転画像に対して姿勢推定処理を行う方法である。２つ目の方法においては、姿勢推定結果の信頼度に基づいて適切な姿勢推定結果が選択される。
【先行技術文献】
【特許文献】
【０００４】
特開２０１９－２１９９８９号公報
【非特許文献】
【０００５】
Yufei Xu et al. "ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation", arXiv:2204.12484 (2022).
Zheng Ge et al. "YOLOX: Exceeding YOLO Series in 2021", arXiv:2107.08430 (2021).
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１が提案する１つ目の技術には、立位姿勢以外の姿勢をとる人体の頭部及び腰の位置を推定することが容易ではないという課題がある。このため、適切に検出対象画像を回転することは容易ではなかった。結果として、姿勢の推定精度において課題が残っていた。また、特許文献１が提案する２つ目の技術には、１人の人物についての複数の回転画像のそれぞれに対して個別に姿勢推定処理が行われる。このため、大きな演算量が必要であった。
【０００７】
本発明は、演算量の増加を抑えながら、様々な姿勢をとる人体についての姿勢推定精度を高めることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一実施形態に係る画像処理装置は以下の構成を備える。すなわち、
画像に対する回転処理により、互いに回転関係にある複数の回転画像を生成する回転手段と、
前記複数の回転画像のそれぞれに対して、前記回転画像において人体が存在すると推定される人体領域を判定する人体検出処理を行う人体検出手段と、
前記複数の回転画像のそれぞれから検出された複数の人体領域の中から選択された一部の人体領域に対し、人体の姿勢を検出する姿勢検出処理を行う、姿勢検出手段と、
を備える。
【発明の効果】
【０００９】
演算量の増加を抑えながら、様々な姿勢をとる人体についての姿勢推定精度を高めることができる。
【図面の簡単な説明】
【００１０】
一実施形態に係る画像処理装置の機能構成例を示すブロック図。
一実施形態に係る画像処理方法における処理例を示すフローチャート。
検出対象画像の例を示す模式図。
回転画像の例を示す模式図。
人体検出処理の結果例を示す模式図。
人体領域のグルーピング例を示す模式図。
姿勢検出処理の結果の出力例を示す模式図。
一実施形態に係る画像処理方法における処理例を示すフローチャート。
人体領域のグルーピング例を示す模式図。
姿勢検出処理の結果例を示す模式図。
姿勢検出処理の結果の出力例を示す模式図。
一実施形態に係る画像処理装置のハードウェア構成例を示す図。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許