特許ウォッチ

公開番号2024146290
公報種別公開特許公報(A)
公開日2024-10-15
出願番号2023059093
出願日2023-03-31
発明の名称画像処理装置、学習装置および制御方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 7/00 20170101AFI20241004BHJP(計算;計数)
要約【課題】学習の目的あるいはユースケースに応じた効率的な学習を可能とする。
【解決手段】画像処理装置は、検出タスクを実行する検出器の学習に利用される画像データを生成する。画像処理装置は、検出タスクの検出対象を含む入力画像を取得する取得手段と、入力画像に対してデータ拡張処理を適用し拡張画像を生成する処理手段と、拡張画像に含まれる互いに異なる複数の領域それぞれに対して検出器の学習における学習重要度を決定する決定手段と、を備える。
【選択図】図4
特許請求の範囲【請求項１】
検出タスクを実行する検出器の学習に利用される画像データを生成する画像処理装置であって、
前記検出タスクの検出対象を含む入力画像を取得する取得手段と、
前記入力画像に対してデータ拡張処理を適用し拡張画像を生成する処理手段と、
前記拡張画像に含まれる互いに異なる複数の領域それぞれに対して前記検出器の学習における学習重要度を決定する決定手段と、
を備えることを特徴とする画像処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記決定手段は、前記検出対象の画像状態との差に基づいて前記複数の領域それぞれの学習重要度を決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の領域は、前記データ拡張処理によりボケ加工された物体の領域を含む
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記複数の領域は、前記データ拡張処理により追加されかつ前記検出対象を遮蔽する遮蔽物の領域を含む
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記遮蔽物は、前記データ拡張処理によりボケ加工がされている
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記決定手段は、前記検出対象の合焦度との差に基づいて前記複数の領域それぞれの学習重要度を決定する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記決定手段は、前記検出器の学習における誤検出損失の重みづけを前記学習重要度として決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記決定手段は、前記検出器の学習における未検出損失の重みづけをさらに決定し、
前記未検出損失の重みづけは、前記検出対象の領域以外の領域に対してゼロに設定される
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記複数の領域は、前記データ拡張処理により追加されかつ前記検出対象を遮蔽する遮蔽物の領域と、該遮蔽物に起因する半透明領域と前記検出対象の領域との混合領域を含み、
前記遮蔽物は、前記データ拡張処理によりブレ加工がされており、前記半透明領域は、前記ブレ加工に起因する領域であり、
前記混合領域に対する前記未検出損失の重みづけは、前記検出対象の領域に対する前記未検出損失の重みづけよりも小さく設定される
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記複数の領域は、前記データ拡張処理により追加されかつ前記検出対象を遮蔽する遮蔽物の領域を含み、
前記検出対象の領域は、前記遮蔽物により複数の部分領域に分断されており、
前記複数の部分領域のそれぞれに対する前記未検出損失の重みづけは、面積が大きいほど大きく設定される
ことを特徴とする請求項８に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、ニューラルネットワークの学習に関するものである。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
近年、画像認識の分野に関する研究が盛んに行われており、ニューラルネットワーク（ＮＮ）を用いて画像中の物体領域を検出する手法が多様に提案されている。また、リアルタイムに取得された撮像画像において、物体検出を行いながら精度よく被写体を追尾することが課題となっている。特に、被写体の一部が他の物体に遮られてしまった場合、被写体を精度よく検出することが課題となっている。
【０００３】
また、ＮＮを用いた画像認識において学習精度を向上させるために、様々なデータ拡張（データオーギュメンテーション：ＤＡ）の手法が提案されている。データ拡張とは、画像データに対して人為的に画像処理（ボケ、ブレ、画像合成、回転、平行移動、拡大縮小、上下左右反転、ノイズの付与、色調変化、明暗変化など）を加えることにより学習データの水増しを行う手法である。特許文献１では、複数の画像データのボケ度が均一になるように個々の画像データに付加するボケを調節する手法が提案されている。特許文献２では、対象物が一部隠れているような場合においても検出精度が下がらないようにすべく、対象物が隠れるように遮蔽物画像を合成する手法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０２１－１９６９９５号公報
特開２０２１－３３７０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、カメラが人物の頭部を検出しピントを合わせるという状況において、カメラと頭部の間に遮蔽物が存在する場合、遮蔽物を頭部であると誤検出し遮蔽物にピントを合わせてしまうことがある。その場合、遮蔽物と頭部それぞれに対する距離の差が大きい場合、頭部がボケた写真が撮影されてしまい問題となる。一方、距離の差が小さい場合には、頭部と遮蔽物の両方にピントが合うことになり問題にならない。すなわち、学習の目的あるいはユースケースに応じて、画像内の各領域の重要度が変化することになる。しかしながら、上述の特許文献に開示される技術においては、学習の目的あるいはユースケースに応じた効率的な学習を行うことが出来ないという課題がある。
【０００６】
本発明は、このような問題に鑑みてなされたものであり、学習の目的あるいはユースケースに応じた効率的な学習を可能とする技術を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、検出タスクを実行する検出器の学習に利用される画像データを生成する画像処理装置は、
前記検出タスクの検出対象を含む入力画像を取得する取得手段と、
前記入力画像に対してデータ拡張処理を適用し拡張画像を生成する処理手段と、
前記拡張画像に含まれる互いに異なる複数の領域それぞれに対して前記検出器の学習における学習重要度を決定する決定手段と、
を備える。
【発明の効果】
【０００８】
本発明によれば、学習の目的に応じた効率的な学習を可能とする技術を提供することができる。
【図面の簡単な説明】
【０００９】
画像処理装置のハードウェア構成を示す図である。
学習データ生成装置の機能構成を示す図である。
学習装置の機能構成を示す図である。
学習データ生成装置が実行する処理のフローチャートである。
第１実施形態における重要度の決定を説明する図である。
第２実施形態におけるＤＡ部が実行する処理のフローチャートである。
第２実施形態における重要度の決定を説明する図である。
第３実施形態における重要度の決定を説明する図である。
第４実施形態における重要度決定部が実行する処理のフローチャートである。
第４の実施形態における重要度の決定を説明する図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
（【００１１】以降は省略されています）

関連特許