特許ウォッチ

公開番号2025055560
公報種別公開特許公報(A)
公開日2025-04-08
出願番号2023164909
出願日2023-09-27
発明の名称制御装置、画像処理システム、画像処理システムの制御方法およびプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類G06T 7/254 20170101AFI20250401BHJP(計算;計数)
要約【課題】背景画像を適切に更新することができない。
【解決手段】画像処理装置は、複数の撮像手段の撮像により得られた複数の撮像画像を取得する取得手段と、複数の撮像画像から背景差分法により前景領域を抽出する抽出手段と、前記背景差分法に用いられる背景画像を、複数の撮像画像に基づき更新しながら生成する生成手段とを有する。生成手段は、複数の撮像手段それぞれの撮像において注目する対象に基づき前記複数の撮像手段が分類されたグループごとに、設定された背景画像の更新方法に従い、前記グループに含まれる1または複数の撮像手段により得られた撮像画像を用いて、前記背景画像を更新する。
【選択図】図8
特許請求の範囲【請求項１】
複数の撮像手段の撮像により得られた複数の撮像画像を取得する取得手段と、
前記複数の撮像画像から背景差分法により前景領域を抽出する抽出手段と、
前記背景差分法に用いられる背景画像を、前記複数の撮像画像に基づき更新しながら生成する生成手段と、
を有し、
前記生成手段は、
前記複数の撮像手段それぞれの撮像において注目する対象に基づき前記複数の撮像手段が分類されたグループごとに、設定された背景画像の更新方法に従い、前記グループに含まれる１または複数の撮像手段により得られた撮像画像を用いて、前記背景画像を更新する
ことを特徴とする画像処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記更新方法は、ＵＩ画面を介したユーザ操作に基づき設定される
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記更新方法として、前記背景画像を更新する速度が、前記ＵＩ画面を介した前記ユーザ操作に基づき設定される
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記背景画像を更新する速度は、前記分類したグループごとに設定される
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記背景画像を更新する速度は、前記複数の撮像手段が撮像する試合の進行単位で設定される
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記背景画像を更新する速度として、前記背景画像の更新を停止する停止モード、前記背景画像を第１の速度で即時に更新する即時モード、前記第１の速度よりも低速な第２の速度で前記背景画像を更新する高速モード、前記第２の速度よりも低速な第３の速度で前記背景画像を中速で更新する中速モード、前記第３の速度よりも低速な第４の速度で前記背景画像を低速で更新する低速モードの何れが設定される
ことを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記即時モードが設定された場合、
前記生成手段は、前記撮像手段の撮像により得られた前記撮像画像をそのまま前記背景画像に反映する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記更新方法として、前記撮像手段の撮像により得られた前記撮像画像のうちの部分領域を前記背景画像の更新に用いることが、前記ＵＩ画面を介した前記ユーザ操作に基づき設定される
ことを特徴とする請求項２に記載の画像処理装置。
【請求項９】
前記複数の撮像手段それぞれは、当該複数の撮像手段それぞれの撮像時の仰角が対応づけられた前記グループに分類される
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記更新方法として、前記背景画像を更新する更新周期、前記背景画像であると判定する判定時間、前記背景画像であると判定する判定周期、前記背景画像の判定閾値のうちの何れかが設定される
ことを特徴とする請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、画像から前景領域を抽出するための技術に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
撮像装置による撮像で得た画像（以下「撮像画像」という）から、前景となるオブジェクト（以下「前景オブジェクト」という）に対応する画像領域（以下「前景領域」という）を抽出する手法は、様々な目的で使用されており、その手法も様々である。当該手法には、例えば、撮像画像と何らかの手法で取得した背景の画像（以下「背景画像」という）とを比較することにより、互いに対応する画素の画素値の差で予め定められた閾値以上の画素を前景領域として抽出する手法、いわゆる、背景差分法がある。背景差分法による前景領域の抽出では、背景が動的に変化したり、日照若しくは照明などの環境光に変化があったりして、撮像画像と背景画像との差分が大きくなると、前景領域を適切に抽出することができなくなる。
【０００３】
この点、特許文献１では、設定されたタイミングで生成された背景画像に更新する技術が開示されている。この特許文献１の技術を用いることで、背景が動的に変化したり、日照若しくは照明などの環境光に変化があったりしたとしても、背景画像として書き込まれて、前景領域として抽出されなくなる。
【先行技術文献】
【特許文献】
【０００４】
特開２０２１－１６３３０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に開示された技術では、複数の撮像装置の撮像領域全体のうちの一部の領域に人が長い時間存在すると背景画像を更新しづらいという課題があった。例えば、野球の場合、試合中、グラウンドに引かれた白線のうちホームベース付近の白線が消えたりして画像が変わりやすいが、ホームベース付近には、キャッチャーや審判員が長い時間存在するため背景画像を更新しづらいという課題があった。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る画像処理装置は、複数の撮像手段の撮像により得られた複数の撮像画像を取得する取得手段と、前記複数の撮像画像から背景差分法により前景領域を抽出する抽出手段と、前記背景差分法に用いられる背景画像を、前記複数の撮像画像に基づき更新しながら生成する生成手段と、を有し、前記生成手段は、前記複数の撮像手段それぞれの撮像において注目する対象に基づき前記複数の撮像手段が分類されたグループごとに、設定された背景画像の更新方法に従い、前記グループに含まれる１または複数の撮像手段により得られた撮像画像を用いて、前記背景画像を更新することを特徴とする。
【発明の効果】
【０００７】
本開示によれば、背景画像を更新することができる。
【図面の簡単な説明】
【０００８】
システムの構成例を示す図である。
装置のハードウェア構成例を示す図である。
画像処理装置のソフトウェア構成例を示す図である。
背景部分更新機能を説明するための図である。
制御装置のソフトウェア構成例を示す図である。
カメラ分類情報例を示す図である。
カメラの分類を説明するための図である。
（ａ）は背景生成の設定制御処理の流れを示すフローチャートであり、（ｂ）は背景生成の設定処理の流れを示すフローチャートである。
各背景更新モードの設定パラメータ例を示す図である。
背景更新設定用のＵＩ例を示す図である。
背景更新設定用のＵＩ例を示す図である。
背景更新処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本開示の実施形態を説明する。なお、以下の実施形態は特許請求の範囲に係る発明に限定されるものではなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。なお、各図において、同一の要素については同一の参照番号を付し、重複する説明は省略または簡略化する。なお、フローチャートにおける各工程（ステップ）について先頭に「Ｓ」付けて表記する。
【００１０】
＜実施形態１＞
本実施形態に係る仮想視点画像生成システムについて説明する。本実施形態では、複数の撮像装置を撮像対象ごとにグループ化し、グループ化した撮像装置ごとに背景更新を行うタイミングを設定し、該撮像対象に前景オブジェクトとなる人物がいない瞬間を狙って背景更新を行う態様について説明する。
（【００１１】以降は省略されています）

関連特許