特許ウォッチ

公開番号2024119737
公報種別公開特許公報(A)
公開日2024-09-03
出願番号2023191402
出願日2023-11-09
発明の名称制御装置、制御方法及びプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類G06T 19/00 20110101AFI20240827BHJP(計算;計数)
要約
【課題】三次元区間に複雑な形状の大型構造物が存在する場合でも、簡単な操作で所望のカメラパスを得ることができる技術を提供する。
【解決手段】三次元空間の特定エリアにおける仮想視点の移動経路を示すカメラパスを構造物の形状データに基づいて決定する。そして、入力される操作信号が示す仮想視点の位置が特定エリアに含まれる場合、当該操作信号が示す仮想視点の位置をカメラパスに基づいて補正して仮想視点情報を生成する。
【選択図】図8
特許請求の範囲【請求項１】
三次元空間に存在する構造物の形状を表す形状データを取得する取得手段と、
仮想視点画像を生成するための仮想視点を制御する操作信号を受信する受信手段と、
前記操作信号に基づいて特定される仮想視点の位置及び姿勢を示す仮想視点情報を生成する生成手段と、
を有し、
前記生成手段は、
前記三次元空間の特定エリアにおける仮想視点の移動経路を示すカメラパスを前記構造物の前記形状データに基づいて決定し、
前記操作信号に基づいて特定される仮想視点の位置が前記特定エリアに含まれる場合、当該操作信号が示す仮想視点の位置が前記カメラパス上となるように補正して前記仮想視点情報を生成する、
ことを特徴とする制御装置。
続きを表示（約 1,600 文字）【請求項２】
前記生成手段は、前記受信手段によって時系列に受信された前記操作信号に基づいて特定される仮想視点の位置が、前記特定エリア外から前記特定エリア内へと進入したときに前記カメラパスを決定する、ことを特徴とする請求項１に記載の制御装置。
【請求項３】
前記生成手段は、前記特定エリア外から前記特定エリア内へと進入したときの前記仮想視点の位置を起点として前記カメラパスを決定する、ことを特徴とする請求項２に記載の制御装置。
【請求項４】
前記生成手段は、前記受信手段によって時系列に受信された前記操作信号に基づいて特定される仮想視点の位置が、前記特定エリア外から前記特定エリア内へと進入することが予測されるときに前記カメラパスを決定する、ことを特徴とする請求項１に記載の制御装置。
【請求項５】
前記生成手段は、前記特定エリア外から前記特定エリア内へと進入することが予測されるときの当該進入が予測される前記仮想視点の位置を起点として前記カメラパスを決定する、ことを特徴とする請求項２に記載の制御装置。
【請求項６】
前記形状データには、前記構造物の高さを三次元座標で定義した高さ情報が含まれ、
前記カメラパスには、前記移動経路における仮想視点の高さ情報が含まれ、
前記生成手段は、
前記カメラパスの決定において、前記形状データに含まれる前記高さ情報が示す前記構造物の地面から表面までの高さと、前記操作信号が示す仮想視点の位置が前記特定エリアに含まれることになったときの当該仮想視点の高さとを合算した高さを、前記移動経路における仮想視点の高さとし、
前記カメラパスに含まれる高さ情報に基づいて前記操作信号が示す仮想視点の位置の高さを補正して前記仮想視点情報を生成する、
ことを特徴とする請求項１に記載の制御装置。
【請求項７】
前記カメラパスには、前記移動経路における仮想視点の姿勢情報がさらに含まれ、
前記生成手段は、前記操作信号が示す仮想視点の位置が前記特定エリアに含まれる場合、前記カメラパスに含まれる姿勢情報に基づいて、前記操作信号が示す仮想視点の姿勢を補正して前記仮想視点情報を生成する、
ことを特徴とする請求項１に記載の制御装置。
【請求項８】
前記特定エリアは、前記構造物の俯瞰図において、前記構造物の高さが一定ではない部分を含むように設定され、
前記生成手段は、受信した前記操作信号が示す仮想視点の位置が前記俯瞰図上で前記特定エリアに含まれることになった場合、または、受信した前記操作信号が示す仮想視点の位置が前記俯瞰図上で前記特定エリアに含まれることが予測される場合に、前記カメラパスの決定を行う、
ことを特徴とする請求項１に記載の制御装置。
【請求項９】
前記形状データには、前記高さが一定ではない部分の二次元座標の情報が含まれ、
前記生成手段は、前記操作信号が示す仮想視点の位置が前記俯瞰図上で前記特定エリアに含まれることになったときの位置及び前記形状データに含まれる前記構造物の高さが一定ではない部分の二次元座標に基づいて、前記カメラパスを決定する、
ことを特徴とする請求項８に記載の制御装置。
【請求項１０】
前記構造物は、高さが一定の直線区間と高さが徐々に変化するカーブ区間とで構成される構造物であり、
前記形状データには、前記カーブ区間の円弧の中心点を、前記構造物の俯瞰図上の二次元座標で定義した情報が含まれ、
前記生成手段は、前記二次元座標で定義される前記カーブ区間の円弧の中心点を基準として円弧を描くカメラパスを決定する、
ことを特徴とする請求項９に記載の制御装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、仮想視点画像を生成するための仮想視点の制御技術に関する。
続きを表示（約 3,200 文字）【背景技術】
【０００２】
複数の撮像装置を異なる位置に設置して同期撮像し、当該撮像により得られた複数の撮像画像を用いて、ユーザの操作で指定された仮想的な視点からの見えを表す画像（仮想視点画像）を生成する技術がある。仮想視点画像の生成に際してユーザは、例えば所望のオブジェクト（被写体）を捉える仮想視点に対応した生成済みの仮想視点画像を参照しながら、新たな仮想視点の位置及び姿勢を、ジョイスティック等を操作して時系列で連続的に設定する。こうして設定される仮想視点の移動経路は、一般に「カメラパス」と呼ばれる。ユーザは、撮像対象の三次元空間全体を対象として仮想視点を移動させることができるが、例えばオブジェクトとしての人物が複雑な形状の大型構造物の上を走っている等の場合には当該大型構造物との関係で不自然な仮想視点とならないように配慮する必要がある。この点、特許文献１は、仮想カメラ（≒仮想視点）の可動範囲を示すカメラ領域の一部が建物の壁等の障害物（進入禁止領域）と重複した場合、カメラ領域を障害物の外へ移動させて仮想視点の位置を補正する技術を開示している。また、特許文献２は、仮想カメラ（≒仮想視点）の移動経路をデフォルトの移動経路からユーザが変更した場合において、障害物（例えば狭い通路の壁）との距離が所定の距離以下にならないように移動経路を補正する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
特開２０１２－０６３９５８号公報
特開２００５－２５０８００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
大型構造物の形状が複雑になると、上記特許文献１及び２の技術によって不自然ではないカメラパスを得るには煩雑な操作が必要とされるなど、ユーザが所望のカメラパスを簡便な操作で得ることは困難であった。本開示は、上記課題を鑑みてなされたものである。
【課題を解決するための手段】
【０００５】
本開示に係る制御装置は、三次元空間に存在する構造物の形状を表す形状データを取得する取得手段と、仮想視点画像を生成するための仮想視点を制御する操作信号を受信する受信手段と、前記操作信号に基づいて特定される仮想視点の位置及び姿勢を示す仮想視点情報を生成する生成手段と、を有し、前記生成手段は、前記三次元空間の特定エリアにおける仮想視点の移動経路を示すカメラパスを前記構造物の前記形状データに基づいて決定し、前記操作信号に基づいて特定される仮想視点の位置が前記特定エリアに含まれる場合、当該操作信号が示す仮想視点の位置が前記カメラパス上となるように補正して前記仮想視点情報を生成する、ことを特徴とする。
【発明の効果】
【０００６】
本開示によれば、三次元空間に複雑な形状の大型構造物が存在する場合でも、簡単な操作で所望のカメラパスを得ることができる。
【図面の簡単な説明】
【０００７】
（ａ）はバンクに複数の撮像装置が設置された状態を示す図、（ｂ）は世界座標系と仮想視点座標系（カメラ座標系）の定義を説明する図。
画像処理システムの構成例を示す図。
ジョイスティックの説明図。
情報処理装置及び制御装置のハードウェア構成例を示す図。
制御装置の機能構成例を示すブロック図。
（ａ）及び（ｂ）は構造物データに含まれる情報の一例を示す図。
仮想視点情報を生成する処理の流れを示すフローチャート。
仮想視点のスタート位置及びスタート姿勢が指定された状態を示す図。
補正制御エリア内に仮想カメラの位置が含まれる状態を示す図。
基準カメラパスの一例を示す図。
二次元的な移動経路に対して高さ情報（Ｚ座標）が付与される様子を説明する図。
仮想カメラのパン軸の角度を決定する方法を説明する図。
仮想カメラのチルト軸の角度を決定する方法を説明する図。
ＢＭＸフリースタイルのパーク競技で使用されるコースの一例を示す図
パーク競技のコース内に設定された補正制御エリアの位置を示す図
スパインの補正制御エリアにおける仮想カメラの二次元的な移動経路を示した図
スパインの補正制御エリアにおける仮想カメラの三次元的な移動経路を示した図
【発明を実施するための形態】
【０００８】
以下、本実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【０００９】
＜課題の確認＞
例えば広大・平坦なフィールド上で行われるサッカーを対象に仮想視点画像を生成する場合を考える。ユーザは、例えば選手を後方から捉えた位置から当該選手の追従を開始し、ゴールに向けてボールが蹴られたタイミングで当該選手を前方から捉える位置に回り込むといったカメラパスを高い自由度で撮像空間内に設定することができる。ここで「撮像空間」は、複数の撮像装置が現実に撮像を行う三次元空間に対応する、コンピュータグラフィック等で表現された仮想的な三次元空間を意味する。これに対し、例えば自転車のトラック競技を対象に仮想視点画像を生成する場合を考える。自転車のトラック競技では、一般に「バンク」と呼ばれる、傾斜が徐々に変化し最大傾斜が３０度～４５度あるカーブ区間と平坦な直線区間とが連続的に繋がれた周回走路上を選手は走ることになる。この場合、前述の特許文献１及び２の技術によっても、自然なカメラパスを設定することは困難であった。例えば、バンク上を周回する選手と並走するようなカメラパスを特許文献１の技術を適用して設定するとする。この場合、選手がカーブ区間に入っていく段階では、当該選手と並走する仮想視点の移動に伴って走路面の傾斜角度が徐々に増していき、カメラ領域と進入禁止領域とが重複する度に仮想視点の位置が補正されることになる。そうして得られるカメラパスは、仮想視点が選手の移動に伴って上下にジグザグの軌跡を描くこととなり、視聴に耐え得るような仮想視点画像が得られない。また、選手がカーブ区間から出て行く段階では、選手の移動に伴って走路面の傾斜角度が徐々に緩やかになっていき、カメラ領域と進入禁止領域とが重複することがないため仮想視点の位置がまったく補正されないことになる。そうして得られるカメラパスでは、仮想視点と走路面との距離が徐々に乖離してしまう。これを回避するためには、高さが徐々に変化する走路面から一定の高さに仮想視点を維持するための繊細な操作が必要となり、ユーザ負担が大きくなる。また、特許文献２の技術を適用した場合は、例えば傾斜角度が緩やかなカーブ区間の入り口で仮想視点の位置の補正を行い、その状態を維持したまま傾斜角度の大きい箇所へ移動すると、仮想視点の位置がバンク内部に埋もれてしまう。これを回避するためには、デフォルトのカメラパス上から仮想視点の位置を一旦外してから再度補正を行う必要があるが、これでは仮想視点の操作が極めて煩雑になる。
【００１０】
以上のとおり従来技術では、例えば、バンクのような複雑な立体形状を持つ大型構造物の上をオブジェクトが移動するような場合、違和感のない自然なカメラパスを設定するためには複雑な仮想視点の操作が要求される。本開示の技術は係る点に鑑みてなされたもので、その目的は、より簡易な操作で自然なカメラパスを設定できるようにすることにある。
（【００１１】以降は省略されています）

関連特許