特許ウォッチ

公開番号2024160556
公報種別公開特許公報(A)
公開日2024-11-14
出願番号2023075689
出願日2023-05-01
発明の名称画像処理装置、画像処理方法、及びプログラム
出願人キヤノン株式会社
代理人個人
主分類H04N 13/293 20180101AFI20241107BHJP(電気通信技術)
要約【課題】HMDの使用者にとって違和感のない画像を提供可能にする。
【解決手段】画像処理装置は、撮像装置が現実世界を撮像した撮像画像を取得し、また、現実世界の空間内における撮像装置の動き情報を取得する。さらに画像処理装置は、撮像装置の動き情報に基づいて、撮像画像との合成に関連する合成情報を含むコンピュータグラフィックス画像を生成し、その合成情報を含むコンピュータグラフィックス画像を、画像のチャンネルと合成情報のチャンネルとに分離し、画像のチャンネルに対しては撮像装置の動き情報に応じた画素補間による補正を行い、合成情報のチャンネルに対しては撮像装置の動き情報に応じた画素置換による補正を行う。そして、画像処理装置は、撮像画像と、補正されたコンピュータグラフィックス画像と、を合成する。
【選択図】図2
特許請求の範囲【請求項１】
撮像装置が現実世界を撮像した撮像画像を取得する取得手段と、
前記現実世界の空間内における前記撮像装置の動き情報を取得する動作取得手段と、
前記撮像装置の動き情報に基づいて、前記撮像画像との合成に関連する合成情報を含むコンピュータグラフィックス画像を、生成するＣＧ生成手段と、
前記合成情報を含むコンピュータグラフィックス画像を、画像のチャンネルと前記合成情報のチャンネルとに分離し、前記画像のチャンネルに対しては前記撮像装置の動き情報に応じた画素補間による補正を行い、前記合成情報のチャンネルに対しては前記撮像装置の動き情報に応じた画素置換による補正を行うＣＧ補正手段と、
前記撮像画像と、前記ＣＧ補正手段によって前記補正されたコンピュータグラフィックス画像と、を合成する合成手段と、
を有することを特徴とする画像処理装置。
続きを表示（約 1,500 文字）【請求項２】
前記取得手段は、前記撮像画像に対応した前記現実世界の奥行情報をも取得し、
前記合成情報は、奥行情報と透明度情報の少なくとも一つを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ＣＧ補正手段は、前記撮像装置の動き情報を基にホモグラフィ行列を算出し、前記ホモグラフィ行列から算出される変換座標を基に前記補正を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記変換座標は単位座標以下の座標情報であり、前記画素補間による補正は、前記座標情報に応じたカラー情報を平滑化した値を、画素補間の補正値として用いる補正であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記変換座標は単位座標以下の座標情報であり、前記画素置換による補正は、前記座標情報に応じた合成情報を、画素置換の補正値として用いる補正であることを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記変換座標は単位座標以下の座標情報であり、前記画素置換による補正は、前記座標情報に応じた合成情報の最小値、中間値、最大値、近傍値のいずれかの値を、画素置換の補正値として用いる補正であることを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記取得手段は、前記撮像画像に対応した前記現実世界の奥行情報をも取得し、
前記撮像画像を、画像のチャンネルと前記奥行情報のチャンネルとに分離し、前記画像のチャンネルに対しては前記撮像装置の動き情報に応じた画素補間による補正を行い、前記奥行情報のチャンネルに対しては前記撮像装置の動き情報に応じた画素置換による補正を行う撮像画像補正手段を更に有し、
前記合成手段は、前記撮像画像補正手段によって前記補正された撮像画像と、前記ＣＧ補正手段によって前記補正されたコンピュータグラフィックス画像と、を合成することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
撮像装置が現実世界を撮像した撮像画像と前記撮像画像に対応した前記現実世界の奥行情報とを取得する取得手段と、
前記現実世界の空間内における前記撮像装置の動き情報を取得する動作取得手段と、
前記撮像装置の動き情報に基づいてコンピュータグラフィックス画像を生成するＣＧ生成手段と、
前記撮像画像を、画像のチャンネルと前記奥行情報のチャンネルとに分離し、前記画像のチャンネルに対しては前記撮像装置の動き情報に応じた画素補間による補正を行い、前記奥行情報のチャンネルに対しては前記撮像装置の動き情報に応じた画素置換による補正を行う撮像画像補正手段と、
前記撮像画像補正手段によって前記補正された撮像画像と、前記ＣＧ生成手段によって生成された前記コンピュータグラフィックス画像と、を合成する合成手段と、
を有することを特徴とする画像処理装置。
【請求項９】
前記撮像画像補正手段は、前記撮像装置の動き情報を基にホモグラフィ行列を算出し、前記ホモグラフィ行列から算出される変換座標を基に前記補正を行うことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記変換座標は単位座標以下の座標情報であり、前記画素補間による補正は、前記座標情報に応じたカラー情報を平滑化した値を、画素補間の補正値として用いる補正であることを特徴とする請求項９に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、撮像画像とＣＧ画像を合成する画像処理技術に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として、いわゆるＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ：複合現実感）技術が知られている。ＭＲ技術を実現する装置の一つとして、ビデオシースルー型ＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）が知られている。ビデオシースルー型ＨＭＤは、ＨＭＤ使用者の瞳位置から観察されるのと略一致する現実世界をビデオカメラなどで撮像し、その撮像画像にＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）画像を合成したＭＲ画像を表示するような構成となされている。
【０００３】
撮像画像にＣＧ画像を合成したＭＲ画像を生成する処理は、ＨＭＤと通信可能になされた外部の画像処理装置等によって行われることが多い。画像処理装置は、ＨＭＤのカメラで撮像した撮像画像を受信し、その撮像画像を基にＨＭＤの位置姿勢（ＨＭＤ使用者の頭部の位置姿勢）を計算し、その計算結果を基にＣＧ画像を生成して撮像画像に合成したＭＲ画像を、ＨＭＤへ送信する。すなわち画像処理装置で生成されるＭＲ画像内のＣＧ画像には、ＨＭＤの位置姿勢計算やその計算結果に基づく生成処理などの時間遅延が含まれる。したがって、その時間遅延を含むＣＧ画像を撮像画像に合成したＭＲ画像をＨＭＤ使用者が観た場合、撮像画像に対してＣＧ画像が遅れた違和感のある画像になることがある。
これに対し、特許文献１には、ＨＭＤ使用者の頭部の動作に合わせて、ＣＧ画像の遅延を打ち消すように画像補正を行った後、撮像画像と合成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０１９－９５９１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、現実世界を撮像した撮像画像にＣＧ画像を合成してＭＲ画像を生成する場合、撮像画像に映っている物体等とＣＧ画像との間の奥行き関係が正しくなされている必要がある。しかしながら特許文献１に開示された技術のようにＣＧ画像の遅延を打ち消す画像補正を行った場合、撮像画像内の物体等とＣＧ画像との間の奥行き関係が合わなくなってしまうことがあり、ＨＭＤ使用者にとって違和感がある画像になることがある。
【０００６】
そこで本発明は、ＨＭＤの使用者にとって違和感のない画像を提供可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、撮像装置が現実世界を撮像した撮像画像を取得する取得手段と、前記現実世界の空間内における前記撮像装置の動き情報を取得する動作取得手段と、前記撮像装置の動き情報に基づいて、前記撮像画像との合成に関連する合成情報を含むコンピュータグラフィックス画像を、生成するＣＧ生成手段と、前記合成情報を含むコンピュータグラフィックス画像を、画像のチャンネルと前記合成情報のチャンネルとに分離し、前記画像のチャンネルに対しては前記撮像装置の動き情報に応じた画素補間による補正を行い、前記合成情報のチャンネルに対しては前記撮像装置の動き情報に応じた画素置換による補正を行うＣＧ補正手段と、前記撮像画像と、前記ＣＧ補正手段によって前記補正されたコンピュータグラフィックス画像と、を合成する合成手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ＨＭＤの使用者にとって違和感のない画像を提供可能となる。
【図面の簡単な説明】
【０００９】
ＭＲシステムの全体構成例を示す図である。
第１の実施形態に係るＭＲシステムの詳細な構成例を示す図である。
第１の実施形態に係る画像処理のフローチャートである。
時間差を基にＣＧ画像を補正する構成例を示す図である。
時間差を基にＣＧ画像を補正する処理のフローチャートである。
時間差に基づくＣＧ画像の補正の概要説明に用いる図である。
時間差に基づくＣＧ画像の補正の詳細説明に用いる図である。
第１の実施形態におけるＣＧ画像の補正の詳細な説明に用いる図である。
第２の実施形態に係る画像処理装置の構成例を示す図である。
第２の実施形態に係る画像処理のフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明に係る実施形態を、図面を参照しながら説明する。以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。以下の各実施形態において、同一の構成には同じ参照符号を付して説明する。
（【００１１】以降は省略されています）

関連特許