特許ウォッチ

公開番号2024147198
公報種別公開特許公報(A)
公開日2024-10-16
出願番号2023060057
出願日2023-04-03
発明の名称情報処理システム、情報処理方法、プログラム
出願人キヤノン株式会社
代理人弁理士法人秀和特許事務所
主分類G06T 19/00 20110101AFI20241008BHJP(計算;計数)
要約【課題】MR画像の表示がユーザに与える違和感を減少させる技術を提供する。
【解決手段】情報処理システムは、生成手段、判定手段、マスキング手段、合成手段、制御手段を有する。生成手段は、第1の時刻の現実空間の状態に基づき第1の仮想物体を生成する。判定手段は、第1の時刻よりも後の第2の時刻の現実空間における現実物体の奥行情報と第1の仮想物体の奥行情報とに基づき、現実物体が第1の仮想物体よりも手前に位置する第1の範囲を判定する。マスキング手段は、第1の範囲を透明にする処理、または、取り除く処理であるマスキング処理を第1の仮想物体に行う。合成手段は、マスキング処理が行われた第1の仮想物体と、第2の時刻以降の現実空間の画像とを合成して、合成画像を生成する。制御手段は、合成画像を表示するように表示手段を制御する。
【選択図】図2
特許請求の範囲【請求項１】
第１の時刻の現実空間の状態に基づき第１の仮想物体を生成する生成手段と、
奥行き方向の距離に関する情報である奥行情報を取得する取得手段と、
前記第１の時刻よりも後の第２の時刻の前記現実空間における物体である現実物体の前記奥行情報と前記第１の仮想物体の前記奥行情報とに基づき、前記第１の仮想物体のうち、前記現実物体が前記第１の仮想物体よりも手前に位置する第１の範囲を判定する判定手段と、
前記第１の範囲を透明にする処理、または、取り除く処理であるマスキング処理を前記第１の仮想物体に行うマスキング手段と、
前記マスキング処理が行われた前記第１の仮想物体と、前記第２の時刻以降の第３の時刻の前記現実空間の画像とを合成して、合成画像を生成する合成手段と、
前記合成画像を表示するように表示手段を制御する制御手段と、
を有することを特徴とする情報処理システム。
続きを表示（約 1,500 文字）【請求項２】
前記第３の時刻は、前記第２の時刻よりも後の時刻である、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記第３の時刻は、前記第２の時刻と同じ時刻である、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項４】
前記現実空間の画像は、撮像手段により前記現実空間が撮像された画像である、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項５】
撮像手段の向きの変化、および、前記合成画像におけるユーザが見ている位置の少なくともいずれかに基づき、前記第２の時刻の前記現実空間の画像と前記第２の時刻よりも後の時刻の前記現実空間の画像とのうちから、前記第３の時刻の前記現実空間の画像を選択する選択手段をさらに有し、
前記現実空間の画像は、前記撮像手段により前記現実空間が撮像された画像である、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項６】
前記選択手段は、前記撮像手段の向きの変化が閾値よりも大きい場合に、前記第３の時刻の前記現実空間の画像として、前記第２の時刻よりも後の時刻の前記現実空間の画像を選択する、
ことを特徴とする請求項５に記載の情報処理システム。
【請求項７】
前記選択手段は、前記合成画像におけるユーザが見ている位置が前記第１の範囲から所定距離より離れている場合に、前記第３の時刻の前記現実空間の画像として、前記第２の時刻よりも後の時刻の前記現実空間の画像を選択する、
ことを特徴とする請求項５に記載の情報処理システム。
【請求項８】
前記第１の時刻と前記第３の時刻の間における前記撮像手段の動きに応じて、前記第１の仮想物体の位置および姿勢を制御する再投影手段をさらに有し、
前記判定手段は、前記再投影手段により位置および姿勢が制御された後の前記第１の仮想物体の前記奥行情報と前記現実物体の前記奥行情報とに基づき前記第１の範囲を判定し、
前記マスキング手段は、前記第１の範囲を透明にする処理、または、取り除く処理である前記マスキング処理を、前記再投影手段により位置および姿勢が制御された後の前記第１の仮想物体に行う、
ことを特徴とする請求項４から７のいずれか１項に記載の情報処理システム。
【請求項９】
前記取得手段は、前記第１の時刻の前記現実空間の画像に写ったマーカーの位置に基づき、前記第１の仮想物体の前記奥行情報を取得する、
ことを特徴とする請求項１から７のいずれか１項に記載の情報処理システム。
【請求項１０】
第１の時刻の現実空間の状態に基づき第１の仮想物体を生成する生成ステップと、
奥行き方向の距離に関する情報である奥行情報を取得する取得ステップと、
前記第１の時刻よりも後の第２の時刻の前記現実空間における物体である現実物体の前記奥行情報と前記第１の仮想物体の前記奥行情報とに基づき、前記第１の仮想物体のうち、前記現実物体が前記第１の仮想物体よりも手前に位置する第１の範囲を判定する判定ステップと、
前記第１の範囲を透明にする処理、または、取り除く処理であるマスキング処理を前記第１の仮想物体に行うマスキングステップと、
前記マスキング処理が行われた前記第１の仮想物体と、前記第２の時刻以降の第３の時刻の前記現実空間の画像とを合成して、合成画像を生成する合成ステップと、
前記合成画像を表示するように表示手段を制御する制御ステップと、
を有することを特徴とする情報処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理システム、情報処理方法、プログラムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
近年、現実空間と仮想世界をリアルタイムにシームレスに融合させる技術として、複合現実技術、いわゆるＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ）技術が知られている。ＭＲ技術には、ビデオシースルーのＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）が利用される。例えば、使用者の瞳位置から観察される被写体をビデオカメラなどで撮像した撮像画像に、仮想物体（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）を合成する技術が存在する。
【０００３】
このような技術では、複数のカメラおよび各種センサなどを用いてＨＭＤの位置姿勢が求められて、使用者の体験する空間の位置情報が割り出される。そして、この位置情報に基づき仮想物体が描画されることによって、使用者は、現実空間の画像に仮想画像が合成されたＭＲ画像を見ることができる。ここで、使用者が、ＭＲ画像に没入することが重要である。
【０００４】
そこで、特許文献１では、制御装置は、現実空間のオブジェクトと仮想空間のオブジェクトとの重なり部分における仮想空間のオブジェクトの範囲を除去した後に、その仮想空間のオブジェクトと現実空間のオブジェクトとを合成する。このことで、制御装置は、３次元的に整合の取れた画像を提供する。また、特許文献２では、現実空間を撮像するカメラのフレームレートに合わせて、合成する仮想空間の再投影処理を行うことで画像遅延を使用者に感じさせない装置の技術が記載されている。
【先行技術文献】
【特許文献】
【０００５】
特開２００２―１５７６０６号公報
特許２０１９－０９５９１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の技術では、現実空間のオブジェクトと仮想空間のオブジェクトを合成する場合に、仮想空間のオブジェクトをレンダリングする期間において現実空間のオブジェクトの位置が動いてしまう。その期間に現実空間のオブジェクトの位置が変化してしまうと、現実空間を撮像した画像におけるオブジェクトの位置と仮想画像における範囲の除去が行われた位置とが一致しない。このため、ＭＲ画像への没入感を損なわれ、ユーザに違和感を与えてしまう。
【０００７】
そこで、本発明は、ＭＲ画像の表示がユーザに与える違和感を減少させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の１つの態様は、
第１の時刻の現実空間の状態に基づき第１の仮想物体を生成する生成手段と、
奥行き方向の距離に関する情報である奥行情報を取得する取得手段と、
前記第１の時刻よりも後の第２の時刻の前記現実空間における物体である現実物体の前記奥行情報と前記第１の仮想物体の前記奥行情報とに基づき、前記第１の仮想物体のうち
、前記現実物体が前記第１の仮想物体よりも手前に位置する第１の範囲を判定する判定手段と、
前記第１の範囲を透明にする処理、または、取り除く処理であるマスキング処理を前記第１の仮想物体に行うマスキング手段と、
前記マスキング処理が行われた前記第１の仮想物体と、前記第２の時刻以降の第３の時刻の前記現実空間の画像とを合成して、合成画像を生成する合成手段と、
前記合成画像を表示するように表示手段を制御する制御手段と、
を有することを特徴とする情報処理システムである。
【０００９】
本発明の１つの態様は、
第１の時刻の現実空間の状態に基づき第１の仮想物体を生成する生成ステップと、
奥行き方向の距離に関する情報である奥行情報を取得する取得ステップと、
前記第１の時刻よりも後の第２の時刻の前記現実空間における物体である現実物体の前記奥行情報と前記第１の仮想物体の前記奥行情報とに基づき、前記第１の仮想物体のうち、前記現実物体が前記第１の仮想物体よりも手前に位置する第１の範囲を判定する判定ステップと、
前記第１の範囲を透明にする処理、または、取り除く処理であるマスキング処理を前記第１の仮想物体に行うマスキングステップと、
前記マスキング処理が行われた前記第１の仮想物体と、前記第２の時刻以降の第３の時刻の前記現実空間の画像とを合成して、合成画像を生成する合成ステップと、
前記合成画像を表示するように表示手段を制御する制御ステップと、
を有することを特徴とする情報処理方法である。
【発明の効果】
【００１０】
本発明によれば、ＭＲ画像の表示がユーザに与える違和感を減少させる技術を提供することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許