特許ウォッチ

公開番号2024071199
公報種別公開特許公報(A)
公開日2024-05-24
出願番号2022182029
出願日2022-11-14
発明の名称コンピュータプログラム、情報処理端末、及びその制御方法
出願人株式会社バンダイ,株式会社バンダイナムコピクチャーズ
代理人弁理士法人大塚国際特許事務所
主分類G06T 19/00 20110101AFI20240517BHJP(計算;計数)
要約【課題】本発明は例えば、現実空間の撮像画像に好適にオブジェクトを合成して出力する仕組みを提供する。
【解決手段】本情報処理端末は、所定の模型を含む周辺環境を撮像し、撮像された撮像画像の各画素について、カメラからの距離情報を取得する。また、本情報処理端末は、撮像画像に含まれる所定の模型の少なくとも1つのパーツの姿勢及びカメラからの距離に関する情報を認識し、認識した少なくとも1つのパーツを基準に、生成するオブジェクトの位置情報を決定する。さらに、本情報処理端末は、生成するオブジェクトの各画素のうち、それぞれの位置情報が撮像画像の対応する画素の距離情報よりもカメラに近いことを示す画素をオブジェクトとして描画し、オブジェクト画像を生成し、撮像画像にオブジェクト画像を重畳した合成画像を表示部に出力する。
【選択図】図5
特許請求の範囲【請求項１】
情報処理端末のコンピュータを、
所定の模型を含む周辺環境を撮像する撮像手段と、
前記撮像手段によって撮像された撮像画像の各画素について、前記撮像手段からの距離情報を取得する取得手段と、
前記撮像画像に含まれる前記所定の模型の少なくとも１つのパーツの姿勢及び前記撮像手段からの距離に関する情報を認識する認識手段と、
前記認識手段によって認識した前記少なくとも１つのパーツを基準に、生成するオブジェクトの位置情報を決定する位置決定手段と、
前記生成するオブジェクトの各画素のうち、それぞれの位置情報が前記撮像画像の対応する画素の距離情報よりも前記撮像手段に近いことを示す画素をオブジェクトとして描画し、オブジェクト画像を生成するオブジェクト生成手段と、
前記撮像画像に前記オブジェクト画像を重畳した合成画像を表示部に出力する出力手段と、
として機能させることを特徴とするコンピュータプログラム。
続きを表示（約 1,100 文字）【請求項２】
前記オブジェクト生成手段は、前記生成するオブジェクトの各画素のうち、それぞれの位置情報が前記撮像画像の対応する画素の距離情報よりも前記撮像手段に近いことを示さない画素については描画しないことを特徴とする請求項１に記載のコンピュータプログラム。
【請求項３】
前記情報処理端末のコンピュータを、さらに、前記所定の模型を含む撮像画像に対して合成するエフェクトを選択する選択手段として機能させ、
前記認識手段は、前記選択されたエフェクトに関連するパーツを認識することを特徴とする請求項２に記載のコンピュータプログラム。
【請求項４】
前記認識手段は、撮像画像を入力とし、前記所定の模型のパーツごとに形状、角度、及び距離に関する情報を出力するように学習させた学習済みモデルを用いて、前記選択されたエフェクトに関連するパーツを認識することを特徴とする請求項３に記載のコンピュータプログラム。
【請求項５】
前記オブジェクト生成手段は、前記選択手段によって選択されたエフェクトに対応する、予め記憶されているオブジェクトのモデル情報に基づいて、前記オブジェクト画像を生成することを特徴とする請求項３に記載のコンピュータプログラム。
【請求項６】
前記位置決定手段は、前記少なくとも１つのパーツの姿勢及び前記撮像手段からの距離に関する情報に基づいて、前記生成するオブジェクトの角度及び距離に関する情報を含む前記位置情報を決定することを特徴とする請求項１に記載のコンピュータプログラム。
【請求項７】
前記所定の模型の前記少なくとも１つのパーツとは、頭部、胸部、腹部、腰部、腕部、及び脚部の少なくとも１つであることを特徴とする請求項３に記載のコンピュータプログラム。
【請求項８】
前記選択されたエフェクトに関連するパーツとは、前記生成するオブジェクトの近傍に位置するパーツであることを特徴とする請求項７に記載のコンピュータプログラム。
【請求項９】
前記取得手段は、前記撮像画像の各画素についての前記距離情報として、深度情報を示すグレースケールの深度マップを取得することを特徴とする請求項１に記載のコンピュータプログラム。
【請求項１０】
前記認識手段は、さらに、前記所定の模型に含まれる各パーツの姿勢及び前記撮像手段からの距離に関する情報を認識し、前記所定の模型の基準姿勢を示す基準ボーン構造を含む三次元データを、認識した各パーツに従って更新し、更新した前記三次元データに基づいて前記所定の模型の姿勢を認識することを特徴とする請求項１に記載のコンピュータプログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、コンピュータプログラム、情報処理端末、及びその制御方法に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
従来より、現実空間に文字やＣＧなどの情報を重畳させてユーザに提示することで、拡張された現実空間を該ユーザに提示するＡＲ（Augmented Reality）などのＸＲ（Cross Reality）技術が様々な分野で利用されている。例えば、特許文献１には、フィギュアの台座に設けられたマークを携帯端末のカメラで認識して、マークに対応付けて用意された演出用の映像等を生成し、携帯端末の画面にフィギュアと映像とを重ね合わせて表示する拡張現実感システムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
特許第５５５１２０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来技術では、フィギュア画像と演出用の映像とを重ね合わせて表示しており、フィギュア画像と演出用の映像とが重複する位置ではフィギュア画像が隠れるようになっている。つまり、上記従来技術では、演出用の映像全てをフィギュア画像の前面に表示している。しかし、立体感や臨場感を出すには、演出用の映像など撮像画像に重ね合わせるオブジェクトは、当該フィギュアとの位置関係に応じてフィギュアの前面に露出したり、背面に隠れたりすることが望ましい。また、撮像した映像にリアルタイムでオブジェクトを付加するために、それらの処理負荷をできる限り低減させる必要がある。
【０００５】
本発明は例えば、現実空間の撮像画像に好適にオブジェクトを合成して出力する仕組みを提供する。
【課題を解決するための手段】
【０００６】
本発明は、例えば、コンピュータプログラムであって、情報処理端末のコンピュータを、所定の模型を含む周辺環境を撮像する撮像手段と、前記撮像手段によって撮像された撮像画像の各画素について、前記撮像手段からの距離情報を取得する取得手段と、前記撮像画像に含まれる前記所定の模型の少なくとも１つのパーツの姿勢及び前記撮像手段からの距離に関する情報を認識する認識手段と、前記認識手段によって認識した前記少なくとも１つのパーツを基準に、生成するオブジェクトの位置情報を決定する位置決定手段と、前記生成するオブジェクトの各画素のうち、それぞれの位置情報が前記撮像画像の対応する画素の距離情報よりも前記撮像手段に近いことを示す画素をオブジェクトとして描画し、オブジェクト画像を生成するオブジェクト生成手段と、前記撮像画像に前記オブジェクト画像を重畳した合成画像を表示部に出力する出力手段と、として機能させることを特徴とする。
【０００７】
また、本発明は、例えば、情報処理端末であって、所定の模型を含む周辺環境を撮像する撮像手段と、前記撮像手段によって撮像された撮像画像の各画素について、前記撮像手段からの距離情報を取得する取得手段と、前記撮像画像に含まれる前記所定の模型の少なくとも１つのパーツの姿勢及び前記撮像手段からの距離に関する情報を認識する認識手段と、前記認識手段によって認識した前記少なくとも１つのパーツを基準に、生成するオブジェクトの位置情報を決定する位置決定手段と、前記生成するオブジェクトの各画素のうち、それぞれの位置情報が前記撮像画像の対応する画素の距離情報よりも前記撮像手段に近いことを示す画素をオブジェクトとして描画し、オブジェクト画像を生成するオブジェクト生成手段と、前記撮像画像に前記オブジェクト画像を重畳した合成画像を表示部に出力する出力手段とを備えることを特徴とする。
【０００８】
また、本発明は、例えば、情報処理端末の制御方法であって、所定の模型を含む周辺環境を撮像手段によって撮像する撮像工程と、前記撮像工程で撮像された撮像画像の各画素について、前記撮像手段からの距離情報を取得する取得工程と、前記撮像画像に含まれる前記所定の模型の少なくとも１つのパーツの姿勢及び前記撮像手段からの距離に関する情報を認識する認識工程と、前記認識工程で認識した前記少なくとも１つのパーツを基準に、生成するオブジェクトの位置情報を決定する位置決定工程と、前記生成するオブジェクトの各画素のうち、それぞれの位置情報が前記撮像画像の対応する画素の距離情報よりも前記撮像手段に近いことを示す画素をオブジェクトとして描画し、オブジェクト画像を生成するオブジェクト生成工程と、前記撮像画像に前記オブジェクト画像を重畳した合成画像を表示部に出力する出力工程とを含むことを特徴とする。
【発明の効果】
【０００９】
本発明によれば例えば、現実空間の撮像画像に好適にオブジェクトを合成して出力することができる。
【図面の簡単な説明】
【００１０】
一実施形態に係るシステムの構成例を示す図。
一実施形態に係る情報処理端末の構成例を示す図。
一実施形態に係るシステムが提供するＸＲギミックの一例を示す図。
一実施形態に係るＸＲギミックの画面遷移を示す図。
一実施形態に係るエフェクト合成に関する機能構成を示す図。
一実施形態に係るエフェクト合成の処理手順に応じた一連の画像例を示す図。
一実施形態に係る基本制御の処理手順を示すフローチャート。
一実施形態に係るエフェクト合成出力の処理手順を示すフローチャート。
一実施形態に係る物体認識の処理手順を示すフローチャート。
一実施形態に係るオブジェクト生成の処理手順を示すフローチャート。
一実施形態に係るボーン構造の生成方法を示す図。
一実施形態に係る物体認識の処理手順を示すフローチャート。
一実施形態に係るフィギュアの変形例を示す図。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許