特許ウォッチ

公開番号2024056578
公報種別公開特許公報(A)
公開日2024-04-23
出願番号2022163584
出願日2022-10-11
発明の名称画像処理装置、撮影装置、画像処理装置の制御方法及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06V 10/82 20220101AFI20240416BHJP(計算;計数)
要約【課題】オブジェクトの誤検出を低減する。
【解決手段】画像処理装置であって、1つ以上のオブジェクトを含む画像から特徴量を抽出する特徴抽出手段と、前記特徴量に基づいて、オブジェクトの少なくとも一部を含む1つ以上の検出領域を推定する領域推定手段と、前記特徴量に基づいて、各検出領域が複数のカテゴリの各々に属する可能性を示すカテゴリ尤度を推定する尤度推定手段と、前記カテゴリ尤度に基づいて、前記1つ以上の検出領域から注目領域を選択する選択手段とを備える。
【選択図】図3
特許請求の範囲【請求項１】
１つ以上のオブジェクトを含む画像から特徴量を抽出する特徴抽出手段と、
前記特徴量に基づいて、オブジェクトの少なくとも一部を含む１つ以上の検出領域を推定する領域推定手段と、
前記特徴量に基づいて、各検出領域が複数のカテゴリの各々に属する可能性を示すカテゴリ尤度を推定する尤度推定手段と、
前記カテゴリ尤度に基づいて、前記１つ以上の検出領域から注目領域を選択する選択手段と、
を備えることを特徴とする画像処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記領域推定手段は、オブジェクトの少なくとも一部を内包する枠情報として前記検出領域を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記注目領域と、前記カテゴリ尤度に基づいて、前記１つ以上の検出領域のうちの前記注目領域以外の他の検出領域とを統合する統合手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記統合手段は、前記注目領域のカテゴリ尤度と、前記他の検出領域のカテゴリ尤度との類似度が閾値以上である場合に統合処理を実行することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記統合手段は、前記注目領域と、前記他の検出領域との距離が所定値以下である場合に統合処理を実行することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記領域推定手段は、検出領域内にオブジェクトが含まれている度合いを示すオブジェクト占有度をさらに推定し、
前記統合手段は、前記オブジェクト占有度が閾値以上となる検出領域を統合対象から予め除外した上で統合処理を実行することを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記選択手段は、前フレームにおける注目領域のカテゴリ尤度と、現フレームにおける前記１つ以上の検出領域のカテゴリ尤度とに基づいて、前記１つ以上の検出領域から注目領域を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記カテゴリは、オブジェクトの種類であることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記カテゴリは、彩度であることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
１つ以上のオブジェクトを含む画像から特徴量を抽出する特徴抽出手段と、
前記特徴量に基づいて、オブジェクトの少なくとも一部を含む１つ以上の検出領域を推定する領域推定手段と、
前記特徴量に基づいて、各検出領域が複数のカテゴリの各々に属する可能性を示すカテゴリ尤度を推定する尤度推定手段と、
前記画像を表示手段に表示させる表示制御手段と、
前記表示手段に表示された前記画像上で座標の指定を受け付ける座標入力手段と、
前記座標に基づいて、前記１つ以上の検出領域から注目領域を選択する選択手段と、
前記カテゴリ尤度に基づいて、前記注目領域と、前記１つ以上の検出領域のうちの前記注目領域以外の他の検出領域とを統合する統合手段と、
を備えることを特徴とする画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、撮影装置、画像処理装置の制御方法及びプログラムに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
近年、深層学習の発達に伴い、様々なカテゴリのオブジェクトの情報を用いて対象物らしさを学習させ、その学習結果を用いて動物や乗り物など、任意のオブジェクトを検出する技術が実現されてきている。
【０００３】
非特許文献１、非特許文献２、および非特許文献３は、いずれも深層学習を用いて画像から様々なカテゴリのオブジェクトを同時に検出するマルチオブジェクト検出に関する技術を開示している。オブジェクト検出では、人物のような特定のオブジェクトだけでなく、人物以外の任意のオブジェクトについても、適切な注目領域を自動的に、あるいは、ユーザの意図通りに設定することが期待されている。
【先行技術文献】
【非特許文献】
【０００４】
ＲｉｃｈＦｅａｔｕｒｅＨｉｅｒａｒｃｈｉｅｓｆｏｒＡｃｃｕｒａｔｅＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎａｎｄＳｅｍａｎｔｉｃＳｅｇｍｅｎｔａｔｉｏｎ．，ＲｏｓｓＧｉｒｓｈｉｃｋｅｔａｌ．，２０１４ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ
ＳＳＤ：ＳｉｎｇｌｅＳｈｏｔＭｕｌｔｉＢｏｘＤｅｔｅｃｔｏｒ，ＷｅｉＬｉｕｅｔａｌ．，ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ - ＥＣＣＶ２０１６
ＹｏｕＯｎｌｙＬｏｏｋＯｎｃｅ：Ｕｎｉｆｉｅｄ，Ｒｅａｌ－ＴｉｍｅＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎ，ＪｏｓｅｐｈＲｅｄｍｏｎｅｔａｌ．，２０１６ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、注目オブジェクトではない周囲の別の領域を注目領域として検出してしまう誤検出が生じることがある。誤検出は、検出したいオブジェクトを高いスコアで認識できない時や、周囲に他にも高いスコアを有するオブジェクトがある場合に起こりやすい。例えば、連続するフレーム間で追尾処理を行っている場合、前フレームでの検出情報に基づいて現フレームでのオブジェクト検出を行うため、誤検出によって誤った追尾を行ってしまう可能性がある。
【０００６】
本発明は、上記の課題に鑑みてなされたものであり、オブジェクトの誤検出を低減するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成する本発明の一態様による画像処理装置は、
１つ以上のオブジェクトを含む画像から特徴量を抽出する特徴抽出手段と、
前記特徴量に基づいて、オブジェクトの少なくとも一部を含む１つ以上の検出領域を推定する領域推定手段と、
前記特徴量に基づいて、各検出領域が複数のカテゴリの各々に属する可能性を示すカテゴリ尤度を推定する尤度推定手段と、
前記カテゴリ尤度に基づいて、前記１つ以上の検出領域から注目領域を選択する選択手段と、
を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、オブジェクトの誤検出を低減することが可能となる。
【図面の簡単な説明】
【０００９】
実施形態１に係るシステム構成の一例を示す図。
実施形態１に係る画像処理装置及び撮影装置のハードウェア構成例を示す図。
実施形態１に係る画像処理装置及び撮影装置の機能構成例を示す図。
実施形態１及び実施形態２に係る処理の流れを示したフローチャート。
実施形態１に係るニューラルネットワークのネットワーク構造を説明する図。
実施形態１に係る画像処理装置及び撮影装置の構成例を示す図。
実施形態１の変形例２に係る学習処理の流れを示したフローチャート。
実施形態２に係る画像処理装置及び撮影装置の構成例を示す図。
実施形態２の変形例１に係る画像処理装置及び撮影装置の構成例を示す図。
実施形態２に係る統合処理の手順を説明する図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
（【００１１】以降は省略されています）

関連特許