特許ウォッチ

公開番号2025107638
公報種別公開特許公報(A)
公開日2025-07-22
出願番号2024000971
出願日2024-01-09
発明の名称情報処理装置、情報処理方法、およびプログラム
出願人キヤノン株式会社
代理人弁理士法人秀和特許事務所
主分類G06T 19/00 20110101AFI20250714BHJP(計算;計数)
要約【課題】仮想物体と現実物体との位置関係に不整合がなく、仮想物体と現実物体が重ならない画像を得る。
【解決手段】情報処理装置は、現実空間を撮像した現実画像を取得する取得手段と、仮想空間に配置される仮想物体のデータに基づいて、前記仮想物体が配置された前記仮想空間を表す仮想画像を生成する生成手段と、前記現実画像と前記仮想画像とを合成して合成画像を生成する合成手段と、前記現実画像に含まれる現実物体と前記仮想画像に含まれる前記仮想物体とが重なるか否かに基づいて、前記合成画像内での前記現実物体および前記仮想物体の位置を調整するフレーミング制御を行う制御手段とを有し、前記合成手段は、前記フレーミング制御に基づいて撮像された前記現実画像と、前記フレーミング制御に基づいて生成された前記仮想画像とを合成する。
【選択図】図4
特許請求の範囲【請求項１】
現実空間を撮像した現実画像を取得する取得手段と、
仮想空間に配置される仮想物体のデータに基づいて、前記仮想物体が配置された前記仮想空間を表す仮想画像を生成する生成手段と、
前記現実画像と前記仮想画像とを合成して合成画像を生成する合成手段と、
前記現実画像に含まれる現実物体と前記仮想画像に含まれる前記仮想物体とが重なるか否かに基づいて、前記合成画像内での前記現実物体および前記仮想物体の位置を調整するフレーミング制御を行う制御手段と
を有し、
前記合成手段は、前記フレーミング制御に基づいて撮像された前記現実画像と、前記フレーミング制御に基づいて生成された前記仮想画像とを合成する
ことを特徴とする情報処理装置。
続きを表示（約 1,400 文字）【請求項２】
前記制御手段は、前記現実物体と前記仮想物体とが重ならない場合に、前記現実物体および前記仮想物体が前記合成画像内に収まるように前記フレーミング制御を行う
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記制御手段は、前記現実物体とは異なる第２の現実物体と、前記仮想物体とは異なる第２の仮想物体とが重なる場合に、前記第２の現実物体および前記第２の仮想物体が前記合成画像の画角から外れるように前記フレーミング制御を行う
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記制御手段は、
前記現実物体とは異なる第２の現実物体と、前記仮想物体とは異なる第２の仮想物体とが、移動をして衝突するか否かを予測し、
衝突すると予測した場合に、前記第２の現実物体と前記第２の仮想物体とが衝突する位置が前記合成画像の画角から外れるように前記フレーミング制御を行う
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記制御手段は、前記現実物体および前記仮想物体のそれぞれに対して、前記フレーミング制御を行う
ことを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記制御手段は、さらに、前記現実物体と前記仮想物体とが重なるか否かに基づいて、前記現実画像を取得する第１のタイミングと、前記仮想画像を生成する第２のタイミングを指定し、
前記合成手段は、前記フレーミング制御に基づいて前記第１のタイミングで取得された前記現実画像と、前記フレーミング制御に基づいて前記第２のタイミングで生成された前記仮想画像とを合成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項７】
現実空間を撮像した現実画像を取得する取得手段と、
仮想空間に配置される仮想物体のデータに基づいて、前記仮想物体が配置された前記仮想空間を表す仮想画像を生成する生成手段と、
前記現実画像に含まれる現実物体と前記仮想画像に含まれる前記仮想物体とが重なるか否かに基づいて、前記現実画像を取得する第１のタイミングと、前記仮想画像を生成する第２のタイミングを制御する制御手段と、
前記第１のタイミングで取得された前記現実画像と、前記第２のタイミングで生成された前記仮想画像とを合成して合成画像を生成する合成手段と
を有することを特徴とする情報処理装置。
【請求項８】
前記制御手段は、前記仮想物体のデータに含まれる前記仮想物体の移動情報に基づいて所定時間後の前記仮想物体の位置を予測し、前記現実物体と前記予測した位置に配置される前記仮想物体とが重なるか否かを判定する
ことを特徴とする請求項６に記載の情報処理装置。
【請求項９】
前記制御手段は、前記現実物体と前記仮想物体とが重なる場合に、前記所定時間後の前記仮想物体の位置を予測する
ことを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記制御手段は、前記現実物体と前記予測した位置に配置される前記仮想物体とが重ならない場合に、前記所定時間後のタイミングを前記第２のタイミングとして指定する
ことを特徴とする請求項８に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
近年、拡張現実（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ：ＡＲ）、複合現実（ＭｉｘｅｄＲｅａｌｉｔｙ：ＭＲ）などの技術が、各種機器で利用されている。例えば、ＡＲ技術およびＭＲ技術は、頭部装着型表示装置（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ：ＨＭＤ）、スマートフォン、およびタブレット端末などカメラを搭載した機器で利用されている。これらの機器は、カメラで撮影した現実の被写体（以下、現実物体と記載）と、現実にはない仮想的な物体を表すコンピュータグラフィックス（以下、仮想物体と記載）を１枚の画像に合成して、表示したり記録したりすることができる。ＡＲ技術およびＭＲ技術は、例えばゲームなどに利用される。ＡＲおよびＭＲを実現する機器は、被写体の人物を、現実には存在しない仮想のキャラクタと、あたかも同じ空間にいるかのように撮影することができる。
【０００３】
また、ユーザの操作によらず、自動でフレーミングおよびレリーズなどの撮影に関する制御を行い、自律的に撮影動作を行うことが可能な撮像装置(以下、自動撮影カメラと載)が普及している。自動撮影カメラは、セキュリティカメラといった、防犯用途で所望の場所を撮影するための製品として普及している。近年では、自動撮影カメラの用途は多様化し、個人利用者を対象として、動き回る人物の画像を撮影する自動撮影カメラが登場している。
【０００４】
特許文献１に記載の情報処理装置、および特許文献２に記載の画像表示装置は、ＭＲ表示が可能なＨＭＤへの搭載が想定され、現実の風景に対して仮想物体を合成して提示する。特許文献１の情報処理装置は、現実物体と仮想物体との接触を表現することで、インタラクションを実現する。当該情報処理装置は、現実物体の形状を表すモデルとして、物体の視覚的な輪郭を表現する輪郭モデルと、物体の３次元的表面形状を表現する表面モデルの２種類のモデルを取得する。当該情報処理装置は、表面モデルを利用して現実物体と仮想物体の間の接触判定を行い、輪郭モデルを利用して画像の合成を行う。
【０００５】
特許文献２の画像表示装置は、現実物体と仮想物体との幾何学的大きさの整合性を保つために、仮想物体に対し、撮像光学系の焦点距離またはデジタルズーム倍率との少なくとも一方を調整して、現実世界の画像に仮想世界の物体を合成する。
【先行技術文献】
【特許文献】
【０００６】
特開２０１８－１４２２７３号公報
特開２０１５－００７７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
自動撮影カメラは、ＡＲ技術およびＭＲ技術の普及に伴い、現実空間内に存在する被写体と、仮想空間内に存在する被写体とを合成した画像を自動で撮影できることが望ましい。しかしながら、現実画像と仮想画像とを合成する際、現実物体と仮想物体との位置関係に不整合が生じ、現実物体と仮想物体が重なる様態、または現実物体および仮想物体の一方が他方にめり込む様態の合成画像が生成されることがある。
【０００８】
特許文献１に記載の技術は、ＭＲシステムで仮想物体からのインタラクションを実現するための技術であり、現実物体と仮想物体の大部分が重なる状態を想定していない。また、特許文献２に記載の技術は、現実物体と仮想物体の見た目の大きさに関する不整合を解消するための技術であり、位置関係の不整合および物体の重なりは解消しない。このように、自動撮影カメラで現実物体と仮想物体を合成した場合、空間内での現実物体と仮想物体とが位置関係の不整合によって重なり合うことにより、合成画像は不自然な画像になるおそれがある。
【０００９】
そこで、本発明は、仮想物体と現実物体との位置関係に不整合がなく、仮想物体と現実物体が重ならない画像を得ることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の態様は、現実空間を撮像した現実画像を取得する取得手段と、仮想空間に配置される仮想物体のデータに基づいて、前記仮想物体が配置された前記仮想空間を表す仮想画像を生成する生成手段と、前記現実画像と前記仮想画像とを合成して合成画像を生成する合成手段と、前記現実画像に含まれる現実物体と前記仮想画像に含まれる前記仮想物体とが重なるか否かに基づいて、前記合成画像内での前記現実物体および前記仮想物体の位置を調整するフレーミング制御を行う制御手段とを有し、前記合成手段は、前記フレーミング制御に基づいて撮像された前記現実画像と、前記フレーミング制御に基づいて生成された前記仮想画像とを合成することを特徴とする情報処理装置である。
（【００１１】以降は省略されています）

関連特許