特許ウォッチ

公開番号2025161298
公報種別公開特許公報(A)
公開日2025-10-24
出願番号2024064382
出願日2024-04-12
発明の名称情報処理システム、装着装置及びプログラム
出願人大日本印刷株式会社
代理人個人,個人
主分類G06T 19/00 20110101AFI20251017BHJP(計算;計数)
要約【課題】現実世界に存在するかのように作品等の見せ方を工夫した情報処理システム、装着装置及びプログラムを提供する。
【解決手段】体験者の頭部に装着する装着装置1は、表示部37と、撮影部36と、撮影部36による撮影画像に基づき対象物を認識する対象物認識部12と、テキストが関連付けられた作品画像を記憶する作品情報DB4aに記憶されたテキストを参照して対象物認識部12が認識した対象物に関連する作品画像をキューブオブジェクトに配置し、両眼視差を利用した立体視画像である配置画像を生成する配置画像生成部15と、配置画像生成部15が生成した配置画像に対象物を重畳させた重畳画像を、表示部37に出力する画像出力部16と、を備える。
【選択図】図2
特許請求の範囲【請求項１】
表示部と、
撮影部と、
テキストが関連付けられたアイテム画像を複数記憶する記憶部と、
前記撮影部による撮影画像に基づき対象物を認識する対象物認識手段と、
前記テキストを参照して前記対象物認識手段が認識した前記対象物に関連する前記アイテム画像を三次元空間に配置した、配置画像を生成する画像生成手段と、
前記画像生成手段が生成した前記配置画像に前記対象物を重畳させた重畳画像を、前記表示部に出力する画像出力手段と、
を備える、情報処理システム。
続きを表示（約 1,500 文字）【請求項２】
請求項１に記載の情報処理システムにおいて、
前記対象物認識手段が認識した前記対象物に近傍した位置に前記配置画像を重畳させて出力する画像出力手段を備える、情報処理システム。
【請求項３】
請求項１に記載の情報処理システムにおいて、
前記記憶部を参照し、前記対象物認識手段が認識した前記対象物に該当する前記アイテム画像の有無を確認する画像確認手段を備え、
前記画像生成手段は、前記画像確認手段により前記対象物に該当する前記アイテム画像が確認できた場合に、前記対象物に該当する前記アイテム画像と前記アイテム画像に関連する他の前記アイテム画像とを前記記憶部から取得し、前記アイテム画像及び関連する他の前記アイテム画像を前記三次元空間に配置した前記配置画像を生成する、情報処理システム。
【請求項４】
請求項３に記載の情報処理システムにおいて、
前記画像出力手段は、前記対象物認識手段が認識した前記対象物の位置に前記対象物に該当する前記アイテム画像を重畳させて、前記配置画像を出力する、情報処理システム。
【請求項５】
請求項４に記載の情報処理システムにおいて、
前記画像出力手段は、前記対象物の位置に重畳する前記対象物に該当する前記アイテム画像を非表示にして、前記配置画像を出力する、情報処理システム。
【請求項６】
請求項３に記載の情報処理システムにおいて、
前記画像確認手段により前記対象物に該当する前記アイテム画像が確認できなかった場合に、前記対象物に関する情報を、外部装置から取得する情報取得手段を備え、
前記画像生成手段は、前記情報取得手段が取得した前記対象物に関する情報に基づき、前記対象物に関連する他の前記アイテム画像を前記記憶部から取得し、取得した他の前記アイテム画像を前記対象物との関係性に基づいて配置した前記配置画像を生成する、情報処理システム。
【請求項７】
請求項１に記載の情報処理システムにおいて、
前記画像出力手段が出力した前記配置画像に対する体験者による操作を受け付ける配置画像操作受付手段と、
前記配置画像操作受付手段が受け付けた前記操作に対応して態様を変更した前記配置画像を、前記表示部に出力する操作画像出力手段と、
を備える、情報処理システム。
【請求項８】
請求項７に記載の情報処理システムにおいて、
前記配置画像操作受付手段が受け付ける前記配置画像に対する前記操作は、前記配置画像の位置の移動、前記配置画像の回転又は前記配置画像の拡大若しくは縮小に関する操作を含む、情報処理システム。
【請求項９】
請求項１に記載の情報処理システムにおいて、
前記画像出力手段が出力した前記配置画像に有する前記アイテム画像に対する体験者による選択操作を受け付けるアイテム選択手段と、
前記アイテム選択手段が選択操作を受け付けた前記アイテム画像に関連付けられた前記テキストを含む説明画像を、前記表示部に出力する説明画像出力手段と、
を備える、情報処理システム。
【請求項１０】
請求項１に記載の情報処理システムにおいて、
少なくとも前記撮影部と前記表示部とは、体験者の頭部に装着する装着装置に有し、
前記画像生成手段は、両眼視差を利用した立体視画像である前記配置画像を生成する、情報処理システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理システム、装着装置及びプログラムに関する。
続きを表示（約 4,100 文字）【背景技術】
【０００２】
従来、不特定多数の顧客を対象としてＷｅｂ３Ｄにより美術館データベースに格納する絵画等の美術品画像を配信するシステムが開示されている（例えば、特許文献１）。
また、美術品に限らず、様々な作品群の見せ方を、ユーザに分かりやすいように工夫した画像出力装置が開示されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
特開２００３－２９６５８７号公報
特開２０２１－０４３４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載のシステムでは、ユーザが背景と建物、室内、ボード模様等を選んで３Ｄ美術館モデルを選択し、そこに美術品画像を配置するものであった。また、特許文献２に記載の画像出力装置においては、三次元空間を出力するものであった。
そして、いずれの文献も、仮想空間に作品を配置するものであり、没入感を得られるものの現実の世界とは切り離されたものになっていた。
【０００５】
そこで、本発明は、現実世界に存在するかのように作品等の見せ方を工夫した情報処理システム、装着装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、表示部と、撮影部と、テキストが関連付けられたアイテム画像を複数記憶する記憶部と、前記撮影部による撮影画像に基づき対象物を認識する対象物認識手段と、前記テキストを参照して前記対象物認識手段が認識した前記対象物に関連する前記アイテム画像を三次元空間に配置した、配置画像を生成する画像生成手段と、前記画像生成手段が生成した前記配置画像に前記対象物を重畳させた重畳画像を、前記表示部に出力する画像出力手段と、を備える、情報処理システムである。
第２の発明は、第１の発明の情報処理システムにおいて、前記対象物認識手段が認識した前記対象物に近傍した位置に前記配置画像を重畳させて出力する画像出力手段を備える、情報処理システムである。
第３の発明は、第１の発明の情報処理システムにおいて、前記記憶部を参照し、前記対象物認識手段が認識した前記対象物に該当する前記アイテム画像の有無を確認する画像確認手段を備え、前記画像生成手段は、前記画像確認手段により前記対象物に該当する前記アイテム画像が確認できた場合に、前記対象物に該当する前記アイテム画像と前記アイテム画像に関連する他の前記アイテム画像とを前記記憶部から取得し、前記アイテム画像及び関連する他の前記アイテム画像を前記三次元空間に配置した前記配置画像を生成する、情報処理システムである。
第４の発明は、第３の発明の情報処理システムにおいて、前記画像出力手段は、前記対象物認識手段が認識した前記対象物の位置に前記対象物に該当する前記アイテム画像を重畳させて、前記配置画像を出力する、情報処理システムである。
第５の発明は、第４の発明の情報処理システムにおいて、前記画像出力手段は、前記対象物の位置に重畳する前記対象物に該当する前記アイテム画像を非表示にして、前記配置画像を出力する、情報処理システムである。
第６の発明は、第３の発明から第５の発明までのいずれかの情報処理システムにおいて、前記画像確認手段により前記対象物に該当する前記アイテム画像が確認できなかった場合に、前記対象物に関する情報を、外部装置から取得する情報取得手段を備え、前記画像生成手段は、前記情報取得手段が取得した前記対象物に関する情報に基づき、前記対象物に関連する他の前記アイテム画像を前記記憶部から取得し、取得した他の前記アイテム画像を前記対象物との関係性に基づいて配置した前記配置画像を生成する、情報処理システムである。
第７の発明は、第１の発明から第６の発明までのいずれかの情報処理システムにおいて、前記画像出力手段が出力した前記配置画像に対する体験者による操作を受け付ける配置画像操作受付手段と、前記配置画像操作受付手段が受け付けた前記操作に対応して態様を変更した前記配置画像を、前記表示部に出力する操作画像出力手段と、を備える、情報処理システムである。
第８の発明は、第７の発明の情報処理システムにおいて、前記配置画像操作受付手段が受け付ける前記配置画像に対する前記操作は、前記配置画像の位置の移動、前記配置画像の回転又は前記配置画像の拡大若しくは縮小に関する操作を含む、情報処理システムである。
第９の発明は、第１の発明から第８の発明までのいずれかの情報処理システムにおいて、前記画像出力手段が出力した前記配置画像に有する前記アイテム画像に対する体験者による選択操作を受け付けるアイテム選択手段と、前記アイテム選択手段が選択操作を受け付けた前記アイテム画像に関連付けられた前記テキストを含む説明画像を、前記表示部に出力する説明画像出力手段と、を備える、情報処理システムである。
第１０の発明は、第１の発明から第９の発明までのいずれかの情報処理システムにおいて、少なくとも前記撮影部と前記表示部とは、体験者の頭部に装着する装着装置に有し、前記画像生成手段は、両眼視差を利用した立体視画像である前記配置画像を生成する、情報処理システムである。
第１１の発明は、第１の発明から第９の発明までのいずれかの情報処理システムにおいて、少なくとも前記撮影部と、前記表示部とは、携帯端末に有する、情報処理システムである。
第１２の発明は、第１の発明から第１１の発明までのいずれかの情報処理システムにおいて、異なる位置に有する複数の前記撮影部と、複数の前記撮影部の各々に対応した複数の前記表示部と、を備え、前記画像出力手段は、前記配置画像に前記対象物を重畳させた前記重畳画像を、各撮影部に対応する各表示部に出力する、情報処理システムである。
第１３の発明は、体験者の頭部に装着する装着装置であって、表示部と、撮影部と、前記撮影部による撮影画像に基づき対象物を認識する対象物認識手段と、テキストが関連付けられたアイテム画像を記憶する記憶部に記憶された前記テキストを参照して前記対象物認識手段が認識した前記対象物に関連する前記アイテム画像を三次元空間に配置し、両眼視差を利用した立体視画像である配置画像を生成する画像生成手段と、前記画像生成手段が生成した前記配置画像に前記対象物を重畳させた重畳画像を、前記表示部に出力する画像出力手段と、を備える、装着装置である。
第１４の発明は、撮影装置及び表示装置に対して通信可能に接続されたコンピュータを、前記撮影装置による撮影画像に基づき対象物を認識する対象物認識手段と、テキストが関連付けられたアイテム画像を記憶する記憶部に記憶された前記テキストを参照して前記対象物認識手段が認識した前記対象物に関連する前記アイテム画像を三次元空間に配置した、配置画像を生成する画像生成手段と、前記画像生成手段が生成した前記配置画像に前記対象物を重畳させた重畳画像を、前記表示装置に出力する画像出力手段と、して機能させるためのプログラムである。
【発明の効果】
【０００７】
本発明によれば、現実世界に存在するかのように作品等の見せ方を工夫した情報処理システム、装着装置及びプログラムを提供することができる。
【図面の簡単な説明】
【０００８】
本実施形態に係る画像処理システムの全体概要図である。
本実施形態に係る装着装置の機能ブロック図である。
本実施形態に係る作品情報ＤＢに有するデータの例を示す図である。
本実施形態に係る装着装置の装着例及び装着装置での表示例を示す図である。
本実施形態に係る装着装置の配置画像出力処理を示すフローチャートである。
本実施形態に係る装着装置での表示例を示す図である。
本実施形態に係る装着装置での表示例を示す図である。
本実施形態に係る装着装置の配置画像操作処理を示すフローチャートである。
本実施形態に係る装着装置での表示例及び操作方法の一覧表を示す図である。
本実施形態に係る装着装置での表示例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（実施形態）
＜画像処理システム１００＞
図１は、本実施形態に係る画像処理システム１００の全体概要図である。
図２は、本実施形態に係る装着装置１の機能ブロック図である。
【００１０】
図１に示す画像処理システム１００（情報処理システム）は、装着装置１と、作品サーバ４と、外部サーバ７（外部装置）とを備えたシステムである。
画像処理システム１００では、作品サーバ４の作品情報ＤＢ４ａに記憶されたテキストを参照して、認識した対象物に関連する作品に係る作品画像（アイテム画像）をキューブ状の空間の３Ｄ（３－Ｄｉｍｅｎｓｉｏｎｓ）画像であるキューブオブジェクト（三次元空間）に配置した配置画像を生成する。そして、画像処理システム１００では、生成した配置画像に対象物を重畳させた重畳画像を、装着装置１に出力する。そうすることで、装着装置１によって、現実世界に存在するかのように作品画像を、装着装置１を装着した体験者Ｐの目の前に見せることができる。
また、体験者Ｐが配置画像に触れたりするＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ）の環境を、体験者Ｐに提供できる。
（【００１１】以降は省略されています）

関連特許