特許ウォッチ

公開番号2024148447
公報種別公開特許公報(A)
公開日2024-10-18
出願番号2023061577
出願日2023-04-05
発明の名称情報処理装置、情報処理方法、プログラム、および記憶媒体
出願人キヤノン株式会社
代理人弁理士法人秀和特許事務所
主分類H04N 23/65 20230101AFI20241010BHJP(電気通信技術)
要約【課題】消費電力を大きく増加させることなく、違和感のない合成映像を表示することができる技術を提供する。
【解決手段】本発明の情報処理装置は、現実空間映像を取得する取得手段と、仮想空間映像を生成する生成手段と、前記現実空間映像に前記仮想空間映像を重畳した合成映像を表示するように制御する制御手段とを有し、前記合成映像を表示せずに前記現実空間映像を表示する場合には、第1の画質の現実空間映像が表示され、前記合成映像を表示する場合に、前記取得手段は、前記第1の画質よりも高い第2の画質の現実空間映像を一時的に取得し、前記制御手段は、前記第2の画質の現実空間映像に基づいて前記仮想空間映像の重畳位置を決定することを特徴とする。
【選択図】図3
特許請求の範囲【請求項１】
現実空間映像を取得する取得手段と、
仮想空間映像を生成する生成手段と、
前記現実空間映像に前記仮想空間映像を重畳した合成映像を表示するように制御する制御手段と
を有し、
前記合成映像を表示せずに前記現実空間映像を表示する場合には、第１の画質の現実空間映像が表示され、
前記合成映像を表示する場合に、前記取得手段は、前記第１の画質よりも高い第２の画質の現実空間映像を一時的に取得し、
前記制御手段は、前記第２の画質の現実空間映像に基づいて前記仮想空間映像の重畳位置を決定する
ことを特徴とする情報処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記合成映像は、前記第１の画質の現実空間映像に前記仮想空間映像を重畳した映像である
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記合成映像を表示する前記場合は、ユーザーが被写体に注目している場合と、前記現実空間映像に所定の被写体が写っている場合との少なくとも一方を含む
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記ユーザーが被写体に注目している前記場合は、前記ユーザーの視線が所定の時間以上変化していない場合を含む
ことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記現実空間映像は、現実空間における、前記ユーザーの顔が向けられた方向に対応する部分の映像であり、
前記ユーザーが被写体に注目している前記場合は、前記ユーザーの顔が向けられた方向が所定の時間以上変化していない場合を含む
ことを特徴とする請求項３に記載の情報処理装置。
【請求項６】
前記第１の画質の現実空間映像は、第１の解像度の現実空間映像であり、
前記第２の画質の現実空間映像は、前記第１の解像度よりも高い第２の解像度の現実空間映像である
ことを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記第１の画質の現実空間映像は、第１の読み出し方式で撮像素子から読み出した現実空間映像であり、
前記第２の画質の現実空間映像は、第２の読み出し方式で撮像素子から読み出した現実空間映像である
ことを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記第１の画質の現実空間映像は、所定の画像処理が施されていない現実空間映像であり、
前記第２の画質の現実空間映像は、前記所定の画像処理が施された現実空間映像であることを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記所定の画像処理は、光学補正処理とエッジ強調処理の少なくとも一方を含む
ことを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記所定の画像処理は、学習済みモデルを用いた画像処理を含む
ことを特徴とする請求項８に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、プログラム、および記憶媒体に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
現実空間と仮想空間との繋ぎ目のない結合を目的とした複合現実感（ＭＲ：Ｍｉｘｅｄ
Ｒｅａｌｉｔｙ）に関する技術の１つとして、ビデオシースルー方式のヘッドマウントディスプレイ（ＨＭＤ）を用いるＭＲシステムが知られている。これは、ビデオカメラなどの撮像装置が撮像した現実空間映像上に、撮像装置の位置姿勢に応じて生成したコンピュータグラフィックス（ＣＧ）の映像を重畳表示し、それをＨＭＤのディスプレイなどの表示装置を通して観察するものである。
【０００３】
例えば、博物館や美術館などでＭＲシステムを使用すれば、美術品などの展示物に対してＣＧ映像を重畳することによって、より分かり易い解説を観覧者に提供することができる。また、ＭＲシステムを用いて各種シミュレーションを行うこともできる。例えば、ユーザーの各種パーツ（例えば顔）のＣＧ映像のデータをＨＭＤなどのＭＲデバイスに予め格納しておけば、ユーザーは、ウィンドウショッピング時にマネキン人形に自身のパーツのＣＧ映像を重畳することによって、疑似的な試着を行うことができる。各種インテリア（例えば絵画や家具）のＣＧ映像のデータをＭＲデバイスに予め格納しておけば、ユーザーは、部屋にＣＧ映像を重畳（配置）することによって、部屋のレイアウトを疑似的に確認することができる。
【０００４】
ＭＲシステムにおいて、ＣＧ映像を重畳すべき位置と実際にＣＧ映像が重畳された位置との間にずれがあると、違和感のある合成映像（現実空間映像にＣＧ映像を重畳した合成映像）が表示されることがある。違和感のない合成映像を表示するためには、ＣＧ映像を重畳すべき位置を高精度に検出する必要がある。現実空間映像として高解像度の映像を用いれば、ＣＧ映像を重畳すべき位置を高精度に検出することができる。
【０００５】
特許文献１には、低解像度画像と内容が同じ高解像度画像を生成する技術が開示されている。特許文献１に開示の技術では、高解像度画像と低解像度画像が任意のタイミングで取得され、高解像度画像の特徴点に対応する低解像度画像の対応点が検出される。そして、特徴点と対応点に基づいて高解像度画像を変形することによって、低解像度画像と内容が同じ高解像度画像が生成される。
【先行技術文献】
【特許文献】
【０００６】
特開２００９－１４７７３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、高解像度の現実空間映像を得ようとすると、処理負荷が増し、消費電力も増す。ＨＭＤなどのＭＲデバイスには携帯性が要求されることもあり、バッテリーで駆動できる程度に低い消費電力が要求されることもある。
【０００８】
本発明は、消費電力を大きく増加させることなく、違和感のない合成映像を表示することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の態様は、現実空間映像を取得する取得手段と、仮想空間映像を生成する生成手段と、前記現実空間映像に前記仮想空間映像を重畳した合成映像を表示するように制御する制御手段とを有し、前記合成映像を表示せずに前記現実空間映像を表示する場合には、第１の画質の現実空間映像が表示され、前記合成映像を表示する場合に、前記取得手段は、前記第１の画質よりも高い第２の画質の現実空間映像を一時的に取得し、前記制御手段は、前記第２の画質の現実空間映像に基づいて前記仮想空間映像の重畳位置を決定することを特徴とする情報処理装置である。
【００１０】
本発明の第２の態様は、現実空間映像を取得する取得ステップと、仮想空間映像を生成する生成ステップと、前記現実空間映像に前記仮想空間映像を重畳した合成映像を表示するように制御する制御ステップとを有し、前記合成映像を表示せずに前記現実空間映像を表示する場合には、第１の画質の現実空間映像が表示され、前記合成映像を表示する場合に、前記取得ステップでは、前記第１の画質よりも高い第２の画質の現実空間映像を一時的に取得し、前記制御ステップでは、前記第２の画質の現実空間映像に基づいて前記仮想空間映像の重畳位置を決定することを特徴とする情報処理方法である。
（【００１１】以降は省略されています）

関連特許