特許ウォッチ

公開番号2024159105
公報種別公開特許公報(A)
公開日2024-11-08
出願番号2023074879
出願日2023-04-28
発明の名称画像処理システム、画像処理装置
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類H04N 23/95 20230101AFI20241031BHJP(電気通信技術)
要約【課題】本発明は複数の撮像データに基づく複数の画像データを処理する画像処理システムにおける画像処理チューニング工程を効率的にすることを目的とする。
【解決手段】複数の撮像データに基づく複数の画像データを処理する画像処理システムに画像データを供給する画像処理装置は、撮像対象を撮像する撮像手段から第一の撮像データを取得する。撮像手段が撮像した第二の撮像データを記憶する記憶手段から第二の撮像データを取得する。モードの設定に応じて、取得した第一の撮像データ又は取得した第二の撮像データに対して所定の画像処理を行うことにより、画像データを取得する。画像データを外部機器に送信する。
【選択図】図4
特許請求の範囲【請求項１】
複数の撮像データに基づく複数の画像データを処理する画像処理システムに画像データを供給する画像処理装置であって、
撮像対象を撮像する撮像手段から第一の撮像データを取得する第一の取得手段と、
前記撮像手段が撮像した第二の撮像データを記憶する記憶手段から前記第二の撮像データを取得する第二の取得手段と、
モードの設定に応じて、前記第一の取得手段が取得した前記第一の撮像データ又は前記第二の取得手段が取得した前記第二の撮像データに対して所定の画像処理を行うことにより、画像データを取得する画像処理手段と、
前記画像処理手段で取得された前記画像データを外部機器に送信する画像データ送信手段と、
を有することを特徴とする画像処理装置。
続きを表示（約 1,400 文字）【請求項２】
前記画像処理装置において、
第一のモードが設定されている場合は、前記画像処理手段は前記第一の取得手段が取得した前記第一の撮像データに対して所定の画像処理を行うことにより前記画像データを取得し、
第二のモードが設定されている場合は、前記画像処理手段は前記第二の取得手段が取得した前記第二の撮像データに対して所定の画像処理を行うことにより前記画像データを取得する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記外部機器と時刻情報の同期を行う時刻同期手段と、
前記時刻同期手段により同期された前記時刻情報に基づいて、
前記撮像手段が前記撮像対象を撮像する撮像タイミングを生成する撮像タイミング生成手段と、
前記第二の取得手段が前記記憶手段から前記第二の撮像データを取得する取得タイミングを生成する取得タイミング生成手段と、
を更に有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記撮像タイミング生成手段と前記取得タイミング生成手段とは、モード設定に応じて排他的に動作し、
前記画像処理装置において、
前記第一のモードが設定されている場合は、前記撮像タイミング生成手段が前記撮像タイミングの生成を行い、
前記第二のモードが設定されている場合は、前記取得タイミング生成手段が前記取得タイミングの生成を行う
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像処理装置において前記第一のモードが設定されている場合は、前記画像データ送信手段は前記撮像手段が撮像を行う前記所定の間隔で、前記画像データを前記外部機器に送信する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像処理装置において前記第二のモードが設定されている場合は、前記画像データ送信手段は前記撮像手段が撮像を行う前記所定の間隔とは異なる間隔で、前記画像データを前記外部機器に送信する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第一の撮像データおよび前記第二の撮像データは、前記撮像手段の撮像によって得られた撮像画像データと撮像時刻であるタイムコード情報とが対応付けられたデータである
ことを特徴とする請求項６に記載の画像処置装置。
【請求項８】
外部装置からタイムコード情報を受信する受信手段を更に有し、
前記画像処理装置において前記第二のモードが設定されている場合は、前記第二の取得手段は前記受信手段が受信した前記タイムコードに基づいて、前記記憶手段から前記第二の撮像データを取得する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記所定の画像処理とは前記撮像画像データにおける前景に関する画像データを抽出する前景背景分離処理のことである
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記撮像手段及び前記記憶手段は前記画像処理装置の外部にある
ことを特徴とする請求項９に記載の画像処置装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、複数の撮像データに基づく複数の画像データを処理する画像処理システム、および画像処理装置に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
複数の撮像装置を異なる位置に設置して多視点で同期撮像し、当該撮像により得られた複数の画像（以下「撮像画像」という。）を用いてユーザが指定した任意の視点から見た画像（以下「仮想視点画像」という。）を生成する技術がある。仮想視点画像によれば、例えば、サッカー又はバスケットボール等のハイライトシーンを様々な角度からユーザに視聴させることが出来るため、通常の撮像画像と比較してより高い臨場感をユーザに与えることが出来る。高精度の仮想視点画像を生成するためには、各撮像装置で同時刻に撮像された撮像画像に基づいて三次元形状データを生成する必要があるため、各撮像装置で同時刻に撮像された撮像画像を同期して取得する必要がある。また、監視カメラ技術の分野においても、複数の撮像装置により同時刻に撮像された撮像画像を並べて表示するために、同時刻に各撮像装置で撮像された撮像画像を同期して取得する必要がある。
【０００３】
特許文献１には、仮想視点画像を生成するシステムに関する技術が開示されている。また、特許文献２には、複数の撮像装置により撮像された複数の画像を同期させて再生する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０１９－５０５９３号公報
特開２０２３－３０９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像処理システムにおいて、良好な仮想視点画像を得るにあたり、撮影条件（照明条件や日照状況）や、被写体条件（被写体の数／サイズ、静体／動体の配置状況）等に応じて画像処理を異ならせる必要がある。具体的には、複数の撮像装置それぞれに接続された各画像処理装置における画像処理パラメータを最適にする必要がある。例えば、特許文献１に記載されたシステムにおいては、仮想視点画像の生成の前処理として、前景背景分離処理を実施するが、その処理に必要な閾値等がこれに該当する。また、カメラの振動による画像のブレを低減させるブレ補正処理等に必要となるパラメータも画像処理装置の画像処理パラメータに該当する。画像処理パラメータを最適にするにあたり、被写体の撮像から画像処理、画像生成、画像評価までのワークフローを複数回実行するケースが発生する（画像処理チューニング工程）。しかし、そのワークフローを複数回実行している中で被写体条件／日照条件に変更があると、出力される画像も都度変更され画像処理装置の画像処理パラメータを評価することが困難になる。一方で、撮影条件／被写体条件を複数回のワークフローの間一定に保つ／再現させることが現実的に困難なケースも存在する。
【０００６】
さらに、画像処理チューニング工程と本撮影工程で切り替え時においてシステムの組み直し、例えば装置の変更や着脱、また、ケーブルの接続し直し等が発生しないことがシステムの運用面において望ましい。特許文献２に開示された技術は、本撮影工程／画像処理チューニング工程それぞれで適用できる撮像画像の同期再生技術については開示されているが、同一システム／装置を用いた本撮影工程／画像処理チューニング工程のそれぞれに必要な同期再生技術については開示されていない。
【０００７】
本発明は、上述の課題の少なくとも１つを鑑みなされたものであり、複数の撮像データに基づく複数の画像データを処理する画像処理システムにおける画像処理チューニング工程を効率的にすることを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の一態様に係る画像処理装置は、複数の撮像データに基づく複数の画像データを処理する画像処理システムに画像データを供給する画像処理装置であって、撮像対象を撮像する撮像手段から第一の撮像データを取得する第一の取得手段と、前記撮像手段が撮像した第二の撮像データを記憶する記憶手段から前記第二の撮像データを取得する第二の取得手段と、モードの設定に応じて、前記第一の取得手段が取得した前記第一の撮像データ又は前記第二の取得手段が取得した前記第二の撮像データに対して所定の画像処理を行うことにより、画像データを取得する画像処理手段と、前記画像処理手段で取得された前記画像データを外部機器に送信する画像データ送信手段と、を有する。
【発明の効果】
【０００９】
本発明によれば、複数の撮像装置を有する画像処理システムにおける画像処理チューニング工程を効率的にすることが出来る。
【図面の簡単な説明】
【００１０】
本発明を適用できる画像処理システムの一例
センサシステムの配置及び接続の一例
画像処理装置における機能ブロック図
制御ステーションにおけるフローチャート図
画像処理システムのリアルタイム再生モードにおけるシーケンス図
画像処理システムの録画再生モードにおけるシーケンス図
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許