特許ウォッチ

公開番号2024056441
公報種別公開特許公報(A)
公開日2024-04-23
出願番号2022163309
出願日2022-10-11
発明の名称画像処理装置、画像処理装置の制御方法およびプログラム
出願人キヤノン株式会社
代理人個人
主分類H04N 23/60 20230101AFI20240416BHJP(電気通信技術)
要約【課題】被写体の動きが速い場合の被写体追跡の精度を向上させることができる画像処理装置、画像処理装置の制御方法およびプログラムを提供することを目的とする。
【解決手段】逐次の入力画像で特定の被写体を追跡する画像処理装置101は、特定の被写体に対応する基準画像を登録する基準画像登録回路202、入力画像に設定される複数の部分領域304毎に基準画像との相関度を求める相関度算出回路203、部分領域304毎に入力画像内の所定の基準位置からの距離を算出する距離算出回路204、部分領域304毎に相関度と距離とを用いて評価値を算出する評価値算出回路205、評価値に基づいて複数の部分領域304のうち特定の被写体を含む領域を決定する追跡処理制御回路206を備える。評価値算出回路205は、評価値を算出する際に距離が評価値に寄与する度合いを、相関度算出回路203で相関度を求めるときのフレームレートに応じて変化させる。
【選択図】図2
特許請求の範囲【請求項１】
逐次供給される複数の入力画像に亘って特定の被写体を追跡する画像処理装置であって、
前記特定の被写体に対応する基準画像を登録する登録手段と、
前記入力画像に設定される複数の部分領域の各々について前記基準画像との相関度を求める相関算出手段と、
前記複数の部分領域の各々について前記入力画像内の所定の基準位置からの距離を算出する距離算出手段と、
前記複数の部分領域の各々について前記相関度と前記距離とを用いて評価値を算出する評価算出手段と、
前記評価値に基づいて前記複数の部分領域の各々のうち前記特定の被写体を含む領域を決定する決定手段と、
前記評価算出手段が前記評価値を算出する際に前記距離が前記評価値に寄与する度合いを、前記相関算出手段で前記相関度を求めるときのフレームレート、前記特定の被写体の種類、または前記特定の被写体の速度に応じて変化させる変化手段と、を備えることを特徴とする画像処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記変化手段は、前記逐次供給される前記入力画像のレートを、前記相関算出手段で前記相関度を求めるときのフレームレートとして扱うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変化手段は、前記逐次供給される前記入力画像を周期的に間引いたレートを、前記相関算出手段で前記相関度を求めるときのフレームレートとして扱うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
機械学習によって獲得された辞書データを参照することによって、前記特定の被写体および前記特定の被写体の種類を初期の前記入力画像から検出する検出手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記入力画像における前記特定の被写体の速度を記憶する速度記憶手段を備え、
前記変化手段は、後続して入力された前記入力画像に設定される前記複数の部分領域の各々について前記評価算出手段が前記評価値を算出する際に前記距離が前記評価値に寄与する度合いを、前記速度記憶手段で記憶された前記特定の被写体の速度に応じて変化させることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
逐次供給される複数の入力画像に亘って特定の被写体を追跡する画像処理装置の制御方法であって、
前記特定の被写体に対応する基準画像を登録する登録工程と、
前記入力画像に設定される複数の部分領域の各々について前記基準画像との相関度を求める相関算出工程と、
前記複数の部分領域の各々について前記入力画像内の所定の基準位置からの距離を算出する距離算出工程と、
前記複数の部分領域の各々について前記相関度と前記距離とを用いて評価値を算出する評価算出工程と、
前記評価値に基づいて前記複数の部分領域の各々のうち前記特定の被写体を含む領域を決定する決定工程と、
前記評価算出工程が前記評価値を算出する際に前記距離が前記評価値に寄与する度合いを、前記相関算出工程で前記相関度を求めるときのフレームレート、前記特定の被写体の種類、または前記特定の被写体の速度に応じて変化させる変化工程と、を備えることを特徴とする画像処理装置の制御方法。
【請求項７】
請求項１に記載の画像処理装置の各手段をコンピュータに実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、画像処理装置の制御方法およびプログラムに関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
時系列的に逐次供給される１フレームの画像において特定の被写体を検出し、その検出した被写体を追跡する技術が非常に有用であり、例えば、動画像における人間の顔領域や人体領域の特定に利用されている。このような技術は、電話会議、マン・マシン・インターフェース、セキュリティ、任意の被写体を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。
【０００３】
また、デジタルスチルカメラやデジタルビデオカメラなどにおいて、撮像画像に含まれる任意の被写体を抽出および追跡して、被写体に対する焦点状態や露出状態を最適化する技術が知られている。例えば、特許文献１には、撮像画像に含まれる顔の位置を検出（抽出）および追跡し、その顔に対して、焦点を合わせると共に最適な露出で撮影する画像処理装置が開示されている。このとき、検出された顔を追跡することにより、時系列に対して安定的な制御が可能になる。また、特許文献２は、あるフレームで検出された顔を、後続するフレームで検出する追跡処理を行うことを開示している。特定の被写体を後続するフレームで追跡する方法としては、特許文献２に開示されるような、テンプレートマッチングの手法を利用する方法が知られている。なお、テンプレートマッチングとは、追跡対象となる特定の被写体を含む画像領域を切り出した部分画像を基準画像（テンプレート画像）として登録し、基準画像と最も相関度が高い領域を算出し、特定の被写体を追跡する技術である。
【先行技術文献】
【特許文献】
【０００４】
特開２００５－３１８５５４号公報
特開２００１－０６０２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
テンプレートマッチングを用いた被写体追跡方法では、被写体を追跡するためのフレーム画像と、基準画像（テンプレート画像）との相関度に基づいて被写体を追跡する。ここで、フレーム画像内に基準画像と類似する、しかし追跡すべき被写体とは異なる領域が存在する場合、その領域（以下、「類似領域」という）を被写体と誤検出することがある。この問題は、特に、フレーム画像中で被写体の見えが基準画像から変化している場合に発生しやすい。そこで、時系列的に連続な２つのフレーム画像間においては、被写体の位置が大きく変化しないという仮定を導入し、相関度の高い複数の領域のうち、画像間の移動距離が大きい領域は、被写体を含む領域でないとみなすことが考えられる。以下、被写体を含む領域を「被写体領域」という。これにより、被写体の動きが遅い場合には、類似領域を被写体領域と誤検出する可能性を低減することができるであろう。しかしながら、被写体の動きが速い場合、時系列的に連続な２つのフレーム画像間における被写体領域の位置変化は大きいため、被写体の動きが速い場合には上述の仮定の導入により、むしろ誤検出の可能性が高くなるおそれがある。
【０００６】
本発明は、上記の課題に鑑みてなされたものである。本発明は、被写体の動きが速い場合の被写体追跡の精度を向上させることができる画像処理装置、画像処理装置の制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の画像処理装置は、逐次供給される複数の入力画像に亘って特定の被写体を追跡する画像処理装置であって、前記特定の被写体に対応する基準画像を登録する登録手段と、前記入力画像に設定される複数の部分領域の各々について前記基準画像との相関度を求める相関算出手段と、前記複数の部分領域の各々について前記入力画像内の所定の基準位置からの距離を算出する距離算出手段と、前記複数の部分領域の各々について前記相関度と前記距離とを用いて評価値を算出する評価算出手段と、前記評価値に基づいて前記複数の部分領域の各々のうち前記特定の被写体を含む領域を決定する決定手段と、前記評価算出手段が前記評価値を算出する際に前記距離が前記評価値に寄与する度合いを、前記相関算出手段で前記相関度を求めるときのフレームレート、前記特定の被写体の種類、または前記特定の被写体の速度に応じて変化させる変化手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、被写体の動きが速い場合の被写体追跡の精度を向上させることができる。
【図面の簡単な説明】
【０００９】
第１実施形態に係わる画像処理装置の概略構成を示すブロック図である。
第１実施形態における被写体追跡回路の構成を示すブロック図である。
テンプレートマッチングを説明するための図である。
第１実施形態における距離とゲイン（ＧＡＩＮ）の関係を示す図である。
第１実施形態における被写体追跡処理を示すフローチャートである。
第２実施形態における距離とゲイン（ＧＡＩＮ）の関係を示す図である。
第２実施形態における被写体追跡処理を示すフローチャートである。
第３実施形態における被写体追跡回路の構成を示すブロック図である。
第３実施形態における被写体追跡処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の各実施形態について図面を参照しながら詳細に説明する。ただし、以下の各実施形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施形態に記載されている構成によって限定されることはない。例えば、本発明を構成する各部は、同様の機能を発揮し得る任意の構成のものと置換することができる。また、任意の構成物が付加されていてもよい。また、各実施形態のうちの、任意の２以上の構成（特徴）を組み合わせることもできる。なお、各図面を通じて同一の構成要素には同一の符号を付し、その説明を簡略化又は省略することがある。
（【００１１】以降は省略されています）

関連特許