特許ウォッチ

公開番号2025006757
公報種別公開特許公報(A)
公開日2025-01-17
出願番号2023107741
出願日2023-06-30
発明の名称画像処理システム及び画像処理方法
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類G06T 7/11 20170101AFI20250109BHJP(計算;計数)
要約【課題】画像処理装置への実装コストを抑制しつつ、高精度の3次元形状データを生成し得るシルエット画像を生成する。
【解決手段】画像処理システム100は、特定領域の一部を少なくとも含む領域を撮像する第1撮像手段によるオブジェクトの撮像により得られる画像のデータを第1入力画像のデータとして学習済モデルに入力することにより、第1入力画像におけるオブジェクトが存在する領域を示す第1シルエット画像のデータを生成する第1画像処理装置と、第1撮像手段とは異なる第2撮像手段によるオブジェクトの撮像により得られる画像のデータを第2入力画像のデータとして、第2入力画像と、オブジェクトが存在しない状態における第2撮像手段による撮像により得られる背景画像との差分を算出することにより、第2入力画像におけるオブジェクトが存在する領域を示す第2シルエット画像のデータを出力する第2画像処理装置と、を有する。
【選択図】図1
特許請求の範囲【請求項１】
特定領域の一部を少なくとも含む領域を撮像する第１撮像手段によるオブジェクトの撮像により得られる画像のデータを第１入力画像のデータとして、学習済モデルに入力することにより、前記第１入力画像における前記オブジェクトが存在する領域を示す第１シルエット画像のデータを生成する第１画像処理装置と、
前記第１撮像手段とは異なる第２撮像手段による前記オブジェクトの撮像により得られる画像のデータを第２入力画像のデータとして、前記第２入力画像と、前記第２撮像手段が撮像する領域に前記オブジェクトが存在しない状態における、前記第２撮像手段による撮像により得られる画像である背景画像との差分を算出することにより、前記第２入力画像における前記オブジェクトが存在する領域を示す第２シルエット画像のデータを生成する第２画像処理装置と、
を有することを特徴とする画像処理システム。
続きを表示（約 1,400 文字）【請求項２】
前記第２撮像手段は、前記特定領域を含まない領域を撮像すること、
を特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記特定領域は、前記オブジェクトが略静止した状態で存在し得る領域であること、
を特徴とする請求項１に記載の画像処理システム。
【請求項４】
前記特定領域は、前記オブジェクトの色と、前記第１撮像手段又は前記第２撮像手段である撮像装置が撮像する領域の背景の色との差分が所定の基準よりも小さい領域であること、
を特徴とする請求項１に記載の画像処理システム。
【請求項５】
前記特定領域は、前記オブジェクトの影、又は、前記第１撮像手段又は前記第２撮像手段である撮像装置が撮像する領域の一部において前記オブジェクトの像の反射よる虚像が生じ得る領域であること、
を特徴とする請求項１に記載の画像処理システム。
【請求項６】
画角に前記特定領域の一部を少なくとも含む１以上の撮像装置のうちの一部を前記第１撮像手段として設定すること、
を特徴とする請求項１に記載の画像処理システム。
【請求項７】
画角に前記特定領域の一部を少なくとも含む２以上の撮像装置のうちの、前記撮像装置間の光軸ベクトルが互いに成す角度が所定の角度以上となる前記撮像装置を前記第１撮像手段として設定すること、
を特徴とする請求項１に記載の画像処理システム。
【請求項８】
画角に前記特定領域の一部を少なくとも含む１以上の撮像装置のうちの、前記撮像装置の光軸ベクトルと前記撮像装置の撮像対象のフィールド面とが成す角度が所定の角度以上又は所定の角度以下となる前記撮像装置を前記第１撮像手段として設定すること、
を特徴とする請求項１に記載の画像処理システム。
【請求項９】
前記第１画像処理装置は、
前記第１撮像手段による前記オブジェクトの撮像により得られる画像のデータを前記第１入力画像のデータとして取得する第１取得手段と、
取得された前記第１入力画像のデータを前記学習済モデルに入力することにより、前記第１シルエット画像のデータを生成する第１生成手段と、
生成された前記第１シルエット画像を出力する第１出力手段と、
を有し、
前記第２画像処理装置は、
前記第２撮像手段による前記オブジェクトの撮像により得られる画像のデータを前記第２入力画像のデータとして取得する第２取得手段と、
取得された前記第２入力画像と、前記背景画像との差分を算出することにより、前記第２シルエット画像のデータを生成する第２生成手段と、
生成された前記第２シルエット画像を出力する第２出力手段と、
を有すること、
を特徴とする請求項１に記載の画像処理システム。
【請求項１０】
前記第１画像処理装置が生成する前記第１シルエット画像のデータと前記第２画像処理装置が生成する前記第２シルエット画像のデータとを用いて、前記オブジェクトの形状を示す３次元形状データを生成する第３画像処理装置、
を更に有すること、
を特徴とする請求項１に記載の画像処理システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、画像における前景領域を示すシルエット画像の生成技術に関する。
続きを表示（約 2,900 文字）【背景技術】
【０００２】
撮像装置による同期した撮像により得られる複数の画像（以下「撮像画像」と呼ぶ。）のデータを用いて、注目するオブジェクト（以下、単に「オブジェクト」と呼ぶ。）の３次元形状を示す３次元形状データを生成する技術がある。３次元形状データは、各撮像画像からオブジェクトに対応する領域（以下「オブジェクト領域」と呼ぶ。）を抽出することにより生成されたシルエット画像を用いて、視体積交差法等の手法により生成される。撮像画像からシルエット画像を生成するための手法としては、例えば、背景差分法又は機械学習法が存在する。背景差分法では、ある撮像装置が撮像する画角において、オブジェクトが存在しない期間における撮像により得られる撮像画像を背景画像として、この背景画像と、オブジェクトの存在する期間における撮像により得られる撮像画像との差分を取る。更に、この差分に基づいて当該撮像画像におけるオブジェクト領域と背景領域とを分離することにより、当該オブジェクト領域を示すシルエット画像（以下「オブジェクトのシルエット画像」と呼ぶ。）を生成する。機械学習法では、まず、オブジェクトの存在する期間における撮像により得られる撮像画像と、教師データである、当該撮像画像におけるオブジェクト領域を示すデータとをペアとした学習データを十分な数だけ準備する。続いて、当該学習データを用いて学習モデルに学習させた結果である学習済モデルを生成する。更に、この学習済モデルを用いて、撮像画像におけるオブジェクト領域と背景領域とを分離することにより、オブジェクトのシルエット画像を生成する。
【０００３】
撮像装置の画角に含まれる特徴に応じて、撮像画像におけるオブジェクト領域と背景領域とを分離する好適な分離手法は異なる。分離手法として背景差分法を用いる場合、以下のような領域では、撮像画像からオブジェクト領域が検出されないこと（以下「オブジェクトの未検出」と呼ぶ。）がある。例えば、動きの少ないオブジェクトの存在する領域、オブジェクトの色と類似する色の固定的な背景が存在する領域、及び、動きがあり、その一部にオブジェクトの色と類似する色の背景が存在する領域である。また、以下のような領域では、撮像画像からオブジェクト領域以外の領域を前景領域として誤検出してしまうこと（以下「オブジェクトの誤検出」と呼ぶ。）がある。例えば、オブジェクトの影が発生する領域、及び、オブジェクトの像が光沢のある床又は濡れたフィールド面等で反射することにより虚像が発生する領域である。
【０００４】
これらのオブジェクトの未検出又は誤検出は、３次元形状データの欠け又は削り残しの要因となる。そのため、背景差分法よる分離処理では未検出又は誤検出が発生する可能性がある領域については、機械学習法による分離処理を行うことが有用である。一方、一般に、機械学習法による分離処理では、背景差分法による分離処理よりも、計算コストが高くなってしまう。また、機械学習法による分離処理は、周辺画素の統計情報からオブジェクトの形状を推論するために、背景差分法による分離処理よりも、シルエット画像におけるオブジェクト領域の境界の精度が劣化してしまう。特許文献１には、ある１つの撮像装置の画角内において、背景差分法による分離処理を行う領域と、機械学習法による分離処理を行う領域とを分担する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
特開２０２１－５６９６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示の技術では、１台の撮像装置に対応する画像処理装置に、背景差分法による分離処理及び機械学習法による分離処理の両方を行うための構成を備える必要があり、１台の画像処理装置に掛かる実装コストが増大してしまう。
【課題を解決するための手段】
【０００７】
本開示に係る画像処理システムは、特定領域の一部を少なくとも含む領域を撮像する第１撮像手段によるオブジェクトの撮像により得られる画像のデータを第１入力画像のデータとして、学習済モデルに入力することにより、前記第１入力画像における前記オブジェクトが存在する領域を示す第１シルエット画像のデータを生成する第１画像処理装置と、前記第１撮像手段とは異なる第２撮像手段による前記オブジェクトの撮像により得られる画像のデータを第２入力画像のデータとして、前記第２入力画像と、前記第２撮像手段が撮像する領域に前記オブジェクトが存在しない状態における、前記第２撮像手段による撮像により得られる画像である背景画像との差分を算出することにより、前記第２入力画像における前記オブジェクトが存在する領域を示す第２シルエット画像のデータを生成する第２画像処理装置と、を有する。
【発明の効果】
【０００８】
本開示によれば、画像処理装置への実装コストを抑制しつつ、高精度の３次元形状データを生成することが可能なシルエット画像を生成することができる。
【図面の簡単な説明】
【０００９】
画像処理システムにおける機能構成の一例を示すブロック図である。
第１画像処理部、第２画像処理部、及び第３画像処理部におけるハードウェア構成の一例を示すブロック図である。
画像処理システムの適用例を示す図である。
第１又は第２撮像部、及び第１又は第２画像処理部の決定工程の流れの一例を示すフローチャートである。
撮像装置の画角の一例を示す図である。
第１画像処理部、第２画像処理部、及び第３画像処理部の処理フローの一例を示すフローチャートである。
第１又は第２撮像部、及び第１又は第２画像処理部の決定工程の流れの一例を示すフローチャートである。
オブジェクトの影及び虚像の一例を説明するための図である。
画像処理システムの他の撮像対象への適用例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら、本開示を実施するための形態について説明する。以下の実施形態は本開示を限定するものではなく、本実施形態で説明されている特徴の組み合わせの全てが本開示の解決手段に必須のものとは限らない。同一の構成については、同じ符号を付して説明する。また、参照符号において番号の後ろに付与したアルファベットのみが異なる用語については、同一の機能を有する装置であって、互いに異なる装置を示すものとする。例えば、図１に示す第１撮像部１１０Ａと第１撮像部１１０Ｂとは、互いに同一の機能を有する互いに異なる装置であることを示している。なお、同一の機能を有するとは、撮像機能等の少なくとも特定の機能を互いに有することを指し、例えば第１撮像部１１０Ａと第１撮像部１１０Ｂとが有する機能及び性能の一部は、互いに異なっていてもよい。
（【００１１】以降は省略されています）

関連特許