特許ウォッチ

公開番号2024055333
公報種別公開特許公報(A)
公開日2024-04-18
出願番号2022162167
出願日2022-10-07
発明の名称撮像装置、撮像装置の制御方法、プログラム、情報処理装置、及び撮像システム
出願人キヤノン株式会社
代理人個人,個人,個人
主分類H04N 23/60 20230101AFI20240411BHJP(電気通信技術)
要約【課題】合成した映像が停止している映像と違和感のない映像とするために遅延する時間から差分時間を算出して出力をする撮像装置を提供する。
【解決手段】撮像装置であって、周期的な信号を発信する同期信号発信装置が出力する信号に合わせて撮像した画像に画像処理を行い、映像を生成する撮像部と、撮像部の画角を変更可能なパンチルト部と、撮像部が生成した映像を出力する出力部と、同期信号発信装置が出力する信号を検知した際のパンチルト部における状態の情報である状態情報を取得し、状態情報を含むパケットを生成するパケット生成部と、状態情報を取得した時間である第1の時間とパケット生成部がパケットを出力する時間である第2の時間との差分である差分時間を算出し、差分時間をパケットに付加する時間付加部と、を有する、ことを特徴とする。
【選択図】図2

特許請求の範囲【請求項１】
周期的な信号を発信する同期信号発信装置が出力する信号に合わせて撮像した画像に画像処理を行い、映像を生成する撮像部と、
前記撮像部の画角を変更可能なパンチルト部と、
前記撮像部が生成した前記映像を出力する出力部と、
前記同期信号発信装置が出力する前記信号を検知した際の前記パンチルト部における状態の情報である状態情報を取得し、前記状態情報を含むパケットを生成するパケット生成部と、
前記状態情報を取得した時間である第１の時間と前記パケット生成部が前記パケットを出力する時間である第２の時間との差分である差分時間を算出し、前記差分時間を前記パケットに付加する時間付加部と、を有する、
ことを特徴とする撮像装置。
続きを表示（約 830 文字）【請求項２】
同期した時間を提供する時間提供部を有し、
前記時間付加部は、前記第２の時間を前記時間提供部から取得することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記状態情報と前記第１の時間を保持する情報保持部を有することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記情報保持部は、前記出力部が前記映像を出力する際に前記時間提供部から前記第１の時間を、前記時間提供部からは前記状態情報をそれぞれ取得することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記情報保持部は、前記同期信号発信装置が出力する前記信号を前記撮像部からの通知によって検知し、前記状態情報を取得することを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記出力部は、前記同期信号発信装置が出力する前記信号に合わせて前記映像を出力することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記時間付加部は、前記差分時間が前記映像における１フレームよりも大きな時間であった場合、前記パケットに前記差分時間を付加し、前記差分時間が前記映像における１フレームよりも小さい時間であった場合、前記パケットに前記差分時間を付加しないことを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記差分時間を付加した前記パケットを、前記撮像装置とは異なる他の撮像装置に対して送付する通信部を有することを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記他の撮像装置は少なくとも１つ以上であることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記他の撮像装置における差分時間を付加したパケットを受信するパケット受信部を有することを特徴とする請求項８に記載の撮像装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、撮像装置、撮像装置の制御方法、プログラム、情報処理装置、及び撮像システムに関するものである。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
近年カメラ映像で撮影した映像と、バーチャル空間の背景映像を合成したコンテンツが求められている。特にパンチルト駆動するカメラの映像をコンピュータなどの情報処理装置に送り、情報処理装置で生成されたバーチャル空間の映像と合成したコンテンツは、動画配信やバーチャル会議などで活用が求められている。こうしたパンチルトカメラとバーチャル空間の融合に、パンチルトカメラのピッチ角、ヨー角をはじめとしたカメラの姿勢に関する情報をＥＴＨＥＲＮＥＴ（登録商標）などのネットワーク経由で送信するプロトコルがある。当該プロトコルは、撮像装置が情報処理装置の作るバーチャル空間のワールド座標系のカメラとして振る舞うためのプロトコルであって、例えばＦｒｅｅＤプロトコルがある。
【０００３】
一方、複数のカメラ連携を想定して、カメラのＨＤＭＩ（登録商標）などの映像に対して位相同期信号用いて映像のタイミングを同期し、カメラ間の映像生成の誤差を補正する技術が知られている。こうした技術背景から複数のカメラが連携した環境において、同期信号による映像の同期とＦｒｅｅＤプロトコルといったバーチャル空間の映像の同期を併用することが求められている。
【０００４】
こうした位相同期信号による補正はフレーム間のずれを補正することが目的とされているが、ＦｒｅｅＤプロトコルはネットワーク経由で配信される為、１フレームよりも大きなレイテンシを要し、映像信号と比較して遅延量が大きい。映像信号にＦｒｅｅＤといったメカ駆動情報と同期を行う技術としては特許文献１に示すような、雲台付きカメラと映像を同期させる技術があるが、パンチルト駆動の開始や終了のタイミングといった１フレーム内における時間同期をするものであった。
【０００５】
また、特許文献２ではレンズとカメラといった異なるデバイス間でハード線を基準とした同期を行っているが、映像信号と、ネットワークといった異なる通信体系で同期をとるものではない。
【先行技術文献】
【特許文献】
【０００６】
特開２０１９－８７８８０号公報
特開２０１７－１７５３８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１や特許文献２ではフレーム内の同期された映像信号と、パンチルト情報がネットワーク経由で通信された情報の遅延といった、スケールの異なる遅延量に関して同期を行っていない。
【０００８】
映像はフレーム内の時間におけるずれを同期しても、パンチルト情報がもたらされる時間が遅延してしまうため、パンチルト情報を用いて生成した３次元グラフィックと映像情報を合成した際に差異が発生してしまう。例えばパンチルトが停止した際の映像と、停止する直前のまだ駆動しているパンチルト情報に基づいた３次元グラフィックを合成すると、３次元グラフィックから生成された映像（３次元グラフィック映像）は、パンチルトが駆動中の情報をもとに生成される。そのため、停止している映像と合成した映像にユーザは違和感を覚えてしまう。
【０００９】
そこで、本発明では、合成した映像が停止している映像と違和感のない映像とするために遅延する時間から差分時間を算出して出力をする撮像装置を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の一側面としての撮像装置は、周期的な信号を発信する同期信号発信装置が出力する信号に合わせて撮像した画像に画像処理を行い、映像を生成する撮像部と、撮像部の画角を変更可能なパンチルト部と、撮像部が生成した映像を出力する出力部と、同期信号発信装置が出力する信号を検知した際のパンチルト部における状態の情報である状態情報を取得し、状態情報を含むパケットを生成するパケット生成部と、状態情報を取得した時間である第１の時間とパケット生成部がパケットを出力する時間である第２の時間との差分である差分時間を算出し、差分時間をパケットに付加する時間付加部と、を有する、ことを特徴とする。
【発明の効果】
（【００１１】以降は省略されています）

関連特許