特許ウォッチ

公開番号2025035401
公報種別公開特許公報(A)
公開日2025-03-13
出願番号2023142417
出願日2023-09-01
発明の名称画像処理システム、画像処理方法、およびプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類G06T 7/00 20170101AFI20250306BHJP(計算;計数)
要約【課題】前景背景分離における様々なパラメータの設定・調整を容易に行う画像処理システム、方法及びプログラムを提供する。
【解決手段】画像処理システムのおける画像処理方法は、複数の撮像装置によって得られた複数の撮像画像それぞれに正解シルエット画像が対応付けられた学習データを用いて、撮像画像からオブジェクトのシルエットを抽出するためのパラメータを推定する学習モデルをトレーニングする学習手段と、複数の撮像装置のうちいずれかの撮像装置と撮像条件が一致する特定の撮像装置によって得られた撮像画像からオブジェクトのシルエットを抽出するためのパラメータを、学習手段によって得られた学習済みモデルを用いて推定する推定手段と、推定手段によって推定されたパラメータを用いて、特定の撮像装置による撮像画像からオブジェクトのシルエットを抽出してシルエット画像を生成する生成手段と、を有する。
【選択図】図5
特許請求の範囲【請求項１】
複数の撮像装置によって得られた複数の撮像画像それぞれに正解シルエット画像が対応付けられた学習データを用いて、撮像画像からオブジェクトのシルエットを抽出するためのパラメータを推定する学習モデルをトレーニングする学習手段と、
前記複数の撮像装置のうちいずれかの撮像装置と、少なくとも一つの撮像条件が一致する特定の撮像装置によって得られた撮像画像からオブジェクトのシルエットを抽出するためのパラメータを、前記学習手段によって得られた学習済みモデルを用いて推定する推定手段と、
前記推定手段によって推定されたパラメータを用いて、前記特定の撮像装置による撮像画像からオブジェクトのシルエットを抽出してシルエット画像を生成する生成手段と、
を有することを特徴とする画像処理システム。
続きを表示（約 1,000 文字）【請求項２】
前記学習手段は、前記学習データに含まれる複数の撮像画像それぞれにおける注目領域を示す情報に基づき、各注目領域においてシルエットの精度が重視されるように前記学習モデルをトレーニングする、ことを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記学習手段は、前記学習モデルから出力されたパラメータを用いて生成されたシルエット画像と、前記学習データに含まれる対応する正解シルエット画像とに基づき損失関数を最小化するように前記学習モデルをトレーニングする、ことを特徴とする請求項１又は２に記載の画像処理システム。
【請求項４】
前記学習モデルは、前記パラメータの種類に応じた入力層、中間層、出力層を持つニューラルネットワークである、ことを特徴とする請求項１に記載の画像処理システム。
【請求項５】
前記パラメータの種類には、撮像画像における色差の重み、撮像画像における色を輝度値に変換して入力する場合の重み、シルエット抽出後のフィルタ処理で使用するフィルタの種類及び／又はサイズ、撮像画像がＲＡＷ画像フォーマットで入力される場合の色空間、のうち少なくともいずれかが含まれる、ことを特徴とする請求項４に記載の画像処理システム。
【請求項６】
前記生成手段は、背景差分法によって、前記特定の撮像装置による撮像画像からオブジェクトのシルエットを抽出する、ことを特徴とする請求項１に記載の画像処理システム。
【請求項７】
前記パラメータの種類には、前記背景差分法における閾値がさらに含まれる、ことを特徴とする請求項６に記載の画像処理システム。
【請求項８】
前記推定手段は、前記特定の撮像装置による撮像画像に対し、当該撮像画像における注目領域を示す情報に基づき、当該注目領域におけるシルエットの精度が重視されるように前記推定を行うことを特徴とする請求項１に記載の画像処理システム。
【請求項９】
前記注目領域を示す情報は、撮像画像における注目領域とそれ以外の領域とを２値で表したマスク画像である、ことを特徴とする請求項２又は８に記載の画像処理システム。
【請求項１０】
前記推定手段によって推定されたパラメータとは異なるデフォルトのパラメータを用いて前記生成手段が生成したシルエット画像に基づき、前記特定の撮像装置を決定する決定手段をさらに有する、ことを特徴とする請求項１に記載の画像処理システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、撮像画像からシルエット画像を生成する技術に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
撮像装置を用いて得られた撮像画像から前景となる被写体（オブジェクト）のシルエットを表した画像（シルエット画像）を得る技術が、様々な分野で利用されている。例えば、仮想視点からの見えを表す仮想視点映像技術では、異なる視点の複数の撮像画像から得られた複数のシルエット画像を用いて、前景となるオブジェクトの三次元形状推定が行われる。撮像画像からシルエット画像を得る際の手法としては、背景画像との差分に基づく背景差分法、フレーム間の差分に基づくフレーム間差分法、機械学習を用いた方法など様々な手法がある。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－１８２３２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
背景差分法やフレーム間差分法といった機械学習以外の手法によって高精度なシルエット画像を得るには、前景となるオブジェクトのシルエットを背景から分離するためのパラメータの設定・調整が必要となる。しかし、例えば複数の撮像装置間の撮像条件が異なっていたり、撮像装置それぞれの画角内の背景が異なっていたりすることも、実際の撮像環境では起こり得る。そのため、複数の撮像装置による視点の異なる複数の撮像画像に対し同じパラメータを適用して、各撮像画像に対応する高精度のシルエット画像を得ることは困難である。さらには、例えばスタジアム等で行われるイベントでは１００台程度の撮像装置が設置される場合もあり、多数の撮像装置の撮像画像それぞれに対し最適なパラメータを個別に設定・調整することは非常に多くの手間を要する。この点、特許文献１は、シルエットの特徴を学習したモデルを用いて得られたシルエット画像に基づき、背景差分法におけるパラメータの１つである閾値を推定する技術を開示する。この特許文献１の技術によれば、適切な閾値を効率良く設定することが可能である。しかしながら、特許文献１は背景差分法における閾値以外のパラメータについては考慮外としている。本開示は係る点に鑑み成されたものである。
【課題を解決するための手段】
【０００５】
本開示に係る画像処理システムは、複数の撮像装置によって得られた複数の撮像画像それぞれに正解シルエット画像が対応付けられた学習データを用いて、撮像画像からオブジェクトのシルエットを抽出するためのパラメータを推定する学習モデルをトレーニングする学習手段と、前記複数の撮像装置のうちいずれかの撮像装置と、少なくとも一つの撮像条件が一致する特定の撮像装置によって得られた撮像画像からオブジェクトのシルエットを抽出するためのパラメータを、前記学習手段によって得られた学習済みモデルを用いて推定する推定手段と、前記推定手段によって推定されたパラメータを用いて、前記特定の撮像装置による撮像画像からオブジェクトのシルエットを抽出してシルエット画像を生成する生成手段と、を有することを特徴とする。
【発明の効果】
【０００６】
本開示によれば、前景背景分離における様々なパラメータの設定・調整を容易に行うことができる。
【図面の簡単な説明】
【０００７】
画像処理装置のハードウェア構成の一例を示すブロック図。
画像処理装置の機能構成の一例を示すブロック図。
ＤＮＮの構成図。
学習フェーズの動作概要を表す説明図。
学習フェーズの処理の流れを示すフローチャート。
（ａ）は撮像画像の一例、（ｂ）はその正解シルエット画像の一例、（ｃ）は注目領域マスクの一例。
推論フェーズの動作概要を表す説明図。
推論フェーズの処理の流れを示すフローチャート。
シルエット抽出処理の流れを示すフローチャート。
（ａ）～（ｄ）は、変形例を説明する図。
抽出パラメータの調整の要否を判定する処理の流れを示すフローチャート。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら、本発明を実施するための形態について説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明し、重複した説明は省略する。また、参照符号において番号の後ろに付与したアルファベットのみが異なる用語については、同一機能を持つ装置の別インスタンスを示すものとする。
【０００９】
［実施形態１］
本実施形態では、前景背景分離の一手法である背景差分法における抽出パラメータを機械学習モデルを用いて推定し、得られた抽出パラメータに基づきシルエット画像を生成・出力する画像処理システムを一例として説明する。なお、背景差分法は、オブジェクトが存在しない（すなわち、背景だけが映る）背景画像と、オブジェクトが存在する（すなわち、前景と背景が映る）撮像画像とを比較し、両者の差分に基づいてオブジェクトのシルエットを抽出する手法である。本実施形態では、バスケットボールのコートを囲むように配置された複数の撮像装置（カメラ）によって得られた複数の撮像画像それぞれからシルエット画像を生成する場合を具体例として説明を行うこととする。
【００１０】
＜画像処理装置のハードウェア構成＞
図１は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。画像処理装置１００は、例えばＰＣ等の情報処理装置であり、ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、補助記憶装置１１４、表示部１１５、操作部１１６、通信Ｉ／Ｆ１１７及びバス１１８を有する。
（【００１１】以降は省略されています）

関連特許