特許ウォッチ

公開番号2023076286
公報種別公開特許公報(A)
公開日2023-06-01
出願番号2021189620
出願日2021-11-22
発明の名称画像処理装置、画像処理方法、撮像装置
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類H04N 23/60 20230101AFI20230525BHJP(電気通信技術)
要約【課題】実行する処理に応じた適切な領域を撮像画像から取得するための技術を提供すること。
【解決手段】撮像画像からオブジェクトの一部若しくは全部を検出対象として検出する。該撮像画像から検出したそれぞれの検出対象について、該撮像画像中のオブジェクトの領域もしくは該撮像画像中のオブジェクトの情報において該検出対象の領域が含む割合を占有度として求める。実行する処理に応じた占有度の検出対象の領域を選択する。
【選択図】図3
特許請求の範囲【請求項１】
撮像画像からオブジェクトの一部若しくは全部を検出対象として検出する検出手段と、
前記検出手段が前記撮像画像から検出したそれぞれの検出対象について、前記撮像画像中のオブジェクトの領域もしくは前記撮像画像中のオブジェクトの情報において該検出対象の領域が含む割合を占有度として求める演算手段と、
実行する処理に応じた占有度の検出対象の領域を選択する選択手段と
を備えることを特徴とする画像処理装置。
続きを表示（約 1,300 文字）【請求項２】
前記選択手段は、前記処理に対応する範囲に属する占有度の検出対象の領域を、前記処理の対象となる領域として選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、前記処理に対応する範囲に属する占有度の検出対象の領域から、前記撮像画像に対してユーザが指示した座標位置に基づいて、前記処理の対象となる領域を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記選択手段は、前記処理に対応する範囲に属する占有度の検出対象の領域から、前記撮像画像を撮像した装置の撮像パラメータに基づいて、前記処理の対象となる領域を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記演算手段は、前記検出手段が前記撮像画像から検出したそれぞれの検出対象について、前記撮像画像におけるオブジェクトの画素数に対する該検出対象の領域の画素数の割合を占有度として求めることを特徴とする請求項１ないし４の何れか１項に記載の画像処理装置。
【請求項６】
前記演算手段は、前記検出手段が前記撮像画像から検出したそれぞれの検出対象について、前記撮像画像においてオブジェクトの領域に対応するラベルが付与された画素の数に対する、該検出対象に対応するラベルが付与された画素の数の割合を占有度として求めることを特徴とする請求項１ないし４の何れか１項に記載の画像処理装置。
【請求項７】
前記演算手段は、前記検出手段が前記撮像画像から検出したそれぞれの検出対象について、前記撮像画像中のオブジェクトのパーツの数に対する、該検出対象の領域に含まれる該オブジェクトのパーツの数の割合を占有度として求めることを特徴とする請求項１ないし４の何れか１項に記載の画像処理装置。
【請求項８】
更に、
撮像画像を撮像する撮像手段と、
請求項１ないし７の何れか１項に記載の画像処理装置と、
前記選択手段が選択した領域に対して前記処理を実行する処理手段と
を備えることを特徴とする撮像装置。
【請求項９】
前記処理は、追尾処理、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、を含むことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の検出手段が、撮像画像からオブジェクトの一部若しくは全部を検出対象として検出する検出工程と、
前記画像処理装置の演算手段が、前記検出工程で前記撮像画像から検出したそれぞれの検出対象について、前記撮像画像中のオブジェクトの領域もしくは前記撮像画像中のオブジェクトの情報において該検出対象の領域が含む割合を占有度として求める演算工程と、
前記画像処理装置の選択手段が、実行する処理に応じた占有度の検出対象の領域を選択する選択工程と
を備えることを特徴とする画像処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像領域の選択技術に関するものである。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
従来のデジタルカメラは、カメラが自動的に検出した被写体や、ユーザが任意で選択した被写体に対して、好適な画像を取得する機能が搭載されている。例えば、自動的に焦点を合わせるオートフォーカス（ＡＦ）機能、自動的に明るさを調整するオートエクスポージャー（ＡＥ）機能、自動的に適切な色に調整するオートホワイトバランス（ＡＷＢ）機能である。また、事前に選択された被写体を後のフレームにおいても追従し続けることで、その被写体にフォーカスを合わせ続けたり、明るさや色を調整し続ける追尾機能を有するカメラも知られている。これらの機能は、入力画像において、被写体が存在する注目領域の情報を用いて行われるため、注目領域を適切に設定する必要がある。
【０００３】
入力画像から、被写体の注目領域の情報を抽出するためには、対象物（以降、オブジェクト）の検出技術が必要である。これまでは人物の顔や顔器官（瞳、鼻、口など）、人物の全身などの特定のカテゴリのオブジェクトに対して行われるものが多かった。例えば、特許文献１には、人物の顔および顔器官に対して、ユーザがフォーカスを合わせる位置を任意に選択できる方法が開示されている。
【０００４】
一方で近年、深層学習の発達に伴い、様々なカテゴリの物体の情報を用いて物体らしさを学習させることで、動物や乗り物など、任意の被写体を検出する技術が実現されてきている。
【０００５】
非特許文献１、非特許文献２、非特許文献３はいずれも、深層学習を用いて画像から様々なカテゴリの物体を同時に検出するマルチオブジェクト検出に関する技術を開示している。人物のような特定の被写体だけでなく、このような任意の被写体についても、適切な注目領域を自動的に、あるいは、ユーザの意図通りに設定することが望まれる。
【先行技術文献】
【特許文献】
【０００６】
特開２０１９－１２０７４８号公報
【非特許文献】
【０００７】
ＲｉｃｈＦｅａｔｕｒｅＨｉｅｒａｒｃｈｉｅｓｆｏｒＡｃｃｕｒａｔｅＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎａｎｄＳｅｍａｎｔｉｃＳｅｇｍｅｎｔａｔｉｏｎ．，ＲｏｓｓＧｉｒｓｈｉｃｋｅｔａｌ．，２０１４ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ
ＳＳＤ：ＳｉｎｇｌｅＳｈｏｔＭｕｌｔｉＢｏｘＤｅｔｅｃｔｏｒ，ＷｅｉＬｉｕｅｔａｌ．，ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ ? ＥＣＣＶ２０１６
ＹｏｕＯｎｌｙＬｏｏｋＯｎｃｅ：Ｕｎｉｆｉｅｄ，Ｒｅａｌ－ＴｉｍｅＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎ，ＪｏｓｅｐｈＲｅｄｍｏｎｅｔａｌ．，２０１６ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ
【発明の概要】
【発明が解決しようとする課題】
【０００８】
被写体が存在する注目領域については、前述したＡＦ機能、ＡＥ機能、ＡＷＢ機能、追尾機能ごとに適切なサイズや位置が異なる。例えば、オブジェクト自体を追尾する追尾機能の初期領域として注目領域が用いられる際には、注目領域内の情報量が多い方がよく、よって、オブジェクトの全体を捉えるようなサイズの大きい注目領域が望まれる。一方で、ＡＦ機能の領域として注目領域が用いられる際には、オブジェクトの部分を捉えるようなサイズの小さな注目領域が望まれることが多い。
【０００９】
特許文献１では、ユーザがＡＦ機能の対象を顔全体に設定するのか、顔器官に設定するのかを切り替える方法について言及されているが、ＡＦ機能を実現するための最適な領域サイズの決定方法については言及されていない。また、ＡＦ以外の機能、例えば追尾機能・ＡＥ機能・ＡＷＢ機能を実現するのに最適な領域サイズについても言及されていない。
【００１０】
非特許文献１、非特許文献２、非特許文献３では、物体らしいものの検出について言及されているに留まっており、その検出される領域がＡＦ機能や追尾機能に適しているか否かについては言及されていない。そのため、それらの注目領域を利用する機能によってはユーザが期待する動作を得られない可能性がある。本発明では、実行する処理に応じた適切な領域を撮像画像から取得するための技術を提供する。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許