特許ウォッチ

公開番号2025132822
公報種別公開特許公報(A)
公開日2025-09-10
出願番号2024030637
出願日2024-02-29
発明の名称画像処理装置および画像処理方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 7/00 20170101AFI20250903BHJP(計算;計数)
要約【課題】1フレームの画像から、画像中に含まれる複数の被写体のうちの先頭被写体を精度よく推定可能な画像処理装置および画像処理方法を提供すること。
【解決手段】画像処理装置は、所定の方向に移動する複数の被写体を含んだ1フレームの画像データを取得する。画像処理装置は、画像データから、複数の被写体の所定の方向における順位を推論する機械学習モデルを有し、機械学習モデルは、複数の被写体の領域ごとに、順位が特定の順位に近いほど大きい、または小さい値を有する評価値を出力する。
【選択図】図1
特許請求の範囲【請求項１】
所定の方向に移動する複数の被写体を含んだ１フレームの画像データを取得する取得手段と、
前記画像データから、前記複数の被写体の前記所定の方向における順位を推論する機械学習モデルと、を有する画像処理装置であって、
前記機械学習モデルは、前記複数の被写体の領域ごとに、前記順位が特定の順位に近いほど大きい、または小さい値を有する評価値を出力する、
ことを特徴とする画像処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記機械学習モデルは、前記順位が特定の順位に近いほど正解率が高くなるように学習されていることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記機械学習モデルはニューラルネットワークを用いた機械学習モデルであり、訓練用データセットに含まれる入力画像データに対する前記ニューラルネットワークの出力と、前記入力画像データに対応する教師データとを引数とする評価関数の出力が収束条件を満たすように前記ニューラルネットワークのパラメータを修正するように学習されていることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記評価関数が、順位の評価関数の重み付け加算によって表され、前記特定の順位に対応する前記順位の評価関数の重みが他の順位に対応する前記順位の評価関数の重みより大きいことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記順位の評価関数が順位ごとの評価関数であることを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記順位の評価関数が順位の組み合わせごとの評価関数であることを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記機械学習モデルの学習に用いられる訓練用データセットが入力画像データと対応する教師データの組から構成され、前記教師データが、前記評価値の分布を表すヒートマップの形態を有することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記機械学習モデルの学習に用いられる訓練用データセットが入力画像データと対応する教師データの組から構成され、前記教師データが、前記評価値として基準位置までの距離または前記距離に基づく値の形態を有することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記入力画像データが、撮影シーンの３Ｄモデリングによって生成された画像データであることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記入力画像データには、他の入力画像データを加工することによって生成された入力画像データが含まれ、前記他の入力画像データを加工することによって生成された入力画像データに対する教師データが、前記他の入力画像データに対する教師データに基づいて生成されることを特徴とする請求項７に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特には複数の被写体の位置関係を推定する技術に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
陸上競技やレースなど、複数の被写体が同様の方向に移動するシーンの撮影では、特定の被写体ではなく、特定の位置（例えば先頭）の被写体を追尾したい場合がある。そのため、特許文献１では、同一被写体について複数の異なる方向から撮影した画像を用いて被写体の特徴部位（頭部、関節など）の３次元位置を検出して被写体の位置関係を特定する方法が提案されている。また、特許文献２では、同一方向に移動する複数の被写体から、移動方向に基づいて先頭の被写体を検出する方法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
米国特許出願公開第2020/0401793号明細書
特開２０２２－０２２７６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の方法は、同一の人物被写体を複数の撮像装置で撮影した画像から被写体の関節を検出する必要がある。そのため、１つの撮像装置で撮影した１フレームの画像に基づいて、先頭の被写体を検出することができない。特許文献２もまた、被写体の移動方向を検出するために複数の画像が必要である。
【０００５】
本発明はその一態様において、１フレームの画像から、画像中に含まれる複数の被写体のうちの先頭被写体を精度よく推定可能な画像処理装置および画像処理方法を提供する。
【課題を解決するための手段】
【０００６】
本発明はその一態様において、所定の方向に移動する複数の被写体を含んだ１フレームの画像データを取得する取得手段と、画像データから、複数の被写体の所定の方向における順位を推論する機械学習モデルと、を有する画像処理装置であって、機械学習モデルは、複数の被写体の領域ごとに、順位が特定の順位に近いほど大きい、または小さい値を有する評価値を出力する、ことを特徴とする画像処理装置を提供する。
【発明の効果】
【０００７】
本発明によれば、１フレームの画像から、画像中に含まれる複数の被写体のうちの先頭被写体を精度よく推定可能な画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【０００８】
実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図
実施形態に係る物体検出部の動作に関するフローチャート
実施形態に係る物体検出部の動作に関するフローチャート
実施形態に係る物体検出部の構成例を示すブロック図
実施形態に係る物体検出部の別の構成例を示すブロック図
実施形態における入力画像の例を示す図
実施形態におけるＮＮに対する入力画像とＮＮが出力するヒートマップとの例を示す図
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１０】
なお、以下では、本発明を画像処理装置の一例としてのデジタルカメラで実施する形態について説明する。しかし、本発明に撮像機能は必須でなく、１つ以上の演算回路またはプロセッサを有する任意の電子機器で実施可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、スマートフォン、スマートウォッチ、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。
（【００１１】以降は省略されています）

関連特許