特許ウォッチ

公開番号2025040140
公報種別公開特許公報(A)
公開日2025-03-24
出願番号2023146870
出願日2023-09-11
発明の名称画像処理装置、画像処理方法、およびプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類G06T 7/11 20170101AFI20250314BHJP(計算;計数)
要約【課題】
撮像画像における前景オブジェクトの影領域を適切に抽出すること。
【解決手段】
背景生成部は、入力部が取得した撮像画像に基づき背景画像の生成を行う。第一抽出部は、撮像画像から前景オブジェクト領域である第一画像領域の抽出を行う。第二抽出部は、撮像画像から少なくとも前景オブジェクトの影領域を含み、かつ前景オブジェクト領域の少なくとも一部を含み得る第二画像領域の抽出を行う。差分画像生成部は、前景オブジェクトマスク画像および第二画像領域マスク画像に基づき影マスク画像の生成を行う。差分画像生成部は、第二画像領域マスク画像の第二マスク領域から、前景オブジェクトマスク画像の第一マスク領域除外することで、影マスク画像を生成する。
【選択図】図3
特許請求の範囲【請求項１】
撮像装置の撮像対象となる空間に存在するオブジェクトを撮像して得られた撮像画像を取得する取得手段と、
前記撮像画像から前記オブジェクトのうち前景オブジェクトに対応する第一画像領域を抽出する第一抽出手段と、
前記撮像画像から前記前景オブジェクトの影と前記前景オブジェクトの少なくとも一部とに対応する第二画像領域を抽出する第二抽出手段と、
前記第二画像領域から前記第一画像領域を除外した第三画像領域を、前記前景オブジェクトの影に対応する画像領域として抽出する第三抽出手段と、
を備えたことを特徴とする画像処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記撮像画像より前記前景オブジェクト及び前記前景オブジェクトの影に対応する画像領域を含まない背景画像を生成する背景生成手段をさらに備え、
前記第一抽出手段は、前記撮像画像と前記背景画像との色情報の差分に基づき前記第一画像領域を抽出し、
前記第二抽出手段は、前記撮像画像と前記背景画像との輝度情報の差分に基づき前記第二画像領域を抽出する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第一抽出手段は、前記色情報の差分が所定の閾値よりも大きい画像領域を前記第一画像領域として抽出する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記色情報の差分は、前記撮像画像と前記背景画像との対応する画素間において、画素値の色成分の差分の合計である、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記色成分の差分の合計は、前記画素値がＲＧＢ値である場合、同じ色成分間の差分、２色成分の和の差分、及び３色成分の和の差分を含む、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第二抽出手段は、前記輝度情報の差分が所定の閾値よりも大きい画像領域を前記第二画像領域として抽出する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記輝度情報の差分は、前記撮像画像と前記背景画像との対応する画素間において、前記背景画像の輝度値に対する前記撮像画像の輝度値の差分である、
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
撮像装置の撮像対象となる空間に存在するオブジェクトを撮像して得られた撮像画像を取得するステップと、
前記撮像画像から前記オブジェクトのうち前景オブジェクトに対応する第一画像領域を抽出するステップと、
前記撮像画像から前記前景オブジェクトの影と前記前景オブジェクトの少なくとも一部とに対応する第二画像領域を抽出するステップと、
前記第二画像領域から前記第一画像領域を除外した第三画像領域を、前記前景オブジェクトの影に対応する画像領域として抽出するステップと、
を有することを特徴とする画像処理方法。
【請求項９】
コンピュータを請求項１乃至７のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、撮像画像からオブジェクトの影領域を抽出する画像処理技術に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
複数の撮像画像から注目する前景オブジェクトの仮想視点画像を生成する技術がある。仮想視点画像は、例えば、複数の撮像画像から視体積交差法などの方法で前景オブジェクトの三次元モデルを生成し、これを任意の位置に設定した仮想視点に基づき生成する。仮想視点画像は、前景オブジェクトの影が再現されていないと、前景オブジェクトが背景画像と馴染まず不自然な画像となる場合があるため、仮想視点画像には前景オブジェクトだけでなく前景オブジェクトの影も表示することが望ましい。但し、前景オブジェクトが存在する会場によっては、光源の配置が複雑でリアルな影を三次元モデルから生成することが困難な場合がある。このような場合、撮像画像から前景オブジェクトの影領域を抽出して、仮想視点画像のレンダリング時に付与することで、実際の影を再現した自然な仮想視点画像を生成することができる。
【０００３】
特許文献１には、影領域を抽出する技術として、前景オブジェクトに対応する画像領域のうち、背景画像の対応する画像領域に対して輝度値が低く色変化が所定範囲内である領域を影領域と特定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０１７－８４３６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１のように背景画像よりも輝度値が低く色変化が所定範囲内にある画素は前景オブジェクトに対応する画像領域にも存在し得るため、前景オブジェクト領域を影領域と誤判定して、影領域を適切に特定できない場合がある。
【課題を解決するための手段】
【０００６】
本開示の技術は、画像処理装置であって、撮像装置の撮像対象となる空間に存在するオブジェクトを撮像して得られた撮像画像を取得する取得手段と、前記撮像画像から前記オブジェクトのうち前景オブジェクトに対応する第一画像領域を抽出する第一抽出手段と、前記撮像画像から前記前景オブジェクトの影と前記前景オブジェクトの少なくとも一部とに対応する第二画像領域を抽出する第二抽出手段と、前記第二画像領域から前記第一画像領域を除外した第三画像領域を、前記前景オブジェクトの影に対応する画像領域として抽出する第三抽出手段と、
を備えたことを特徴とする。
【発明の効果】
【０００７】
本開示によれば、撮像画像における前景オブジェクトの影領域を適切に抽出することが出来る。
【図面の簡単な説明】
【０００８】
本開示における画像処理装置のソフトウェア構成図
本開示における画像処理装置のハードウェア構成図
本開示における画像処理を示すフローチャート
本開示における画像処理の各ステップの処理結果として得られる画像を示す図
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら、本開示の技術を実施するための形態について説明する。以下の実施形態は本開示の技術を限定するものではなく、本実施形態で説明されている特徴の組み合わせの全てが本開示の解決手段に必須のものとは限らない。また、同一の構成については同じ符号を付して説明する。
【００１０】
＜実施形態１＞
本実施形態は、前景オブジェクトを含む撮像画像を入力として、背景差分法により前景オブジェクト領域に対応する前景オブジェクトマスク画像と、前景オブジェクトの影領域に対応する影マスク画像を生成する。撮像画像は、撮像装置の撮像対象となる空間に存在するオブジェクトを撮像して得られ、オブジェクトには前景オブジェクトと背景オブジェクトが含まれる。
（【００１１】以降は省略されています）

関連特許