特許ウォッチ

公開番号2024150737
公報種別公開特許公報(A)
公開日2024-10-23
出願番号2024126118,2021543052
出願日2024-08-01,2020-08-28
発明の名称投影システム、投影システム制御装置及び投影方法
出願人国立大学法人東北大学
代理人個人,個人,個人,個人,個人
主分類G09G 5/00 20060101AFI20241016BHJP(教育;暗号方法;表示;広告;シール)
要約【課題】投影面に投影される画像を投影面の移動に合わせて移動させる技術において、移動する投影面上に順番に投影される複数の画像の投影面上の位置のずれを抑制する技術を提供すること。
【解決手段】コンテンツ画像とパターン画像とを投影する投影機と、パターン画像の投影時に投影面を撮影するカメラと、撮影結果に基づき投影面の位置、向き又は形状の変化を表すテクスチャ変形値を算出するカメラ変形値算出部と、撮影結果に写るパターン画像とテクスチャ変形値とに基づき前記投影機によって投影される画像を前記投影面の状態に応じた画像に変換する画像変形の投影機変形値を取得する投影機変形値取得部と、を備え、前記所定の条件には、輝度値の異なる無地の領域を複数種類有する輝度値の異なる複数の無地の領域が含まれるという条件が含まれる、投影システム。
【選択図】図1
特許請求の範囲【請求項１】
コンテンツ画像と所定の条件を満たすパターン画像とを、表面が無地ではない投影面に投影する投影機と、
前記パターン画像が投影されているタイミングである撮影タイミングに前記投影面を撮影するカメラと、
前記カメラによる撮影結果であるカメラ画像に基づいて前記投影面の位置、向き又は形状の変化を表すテクスチャ変形値を算出するカメラ変形値算出部と、
前記カメラ画像に写る前記パターン画像と前記テクスチャ変形値と基づき、前記投影機によって投影される画像を前記投影面の状態に応じた画像に変換する画像変形の投影機変形値を取得する投影機変形値取得部と、
を備え、
前記所定の条件には、輝度値の異なる複数の無地の領域が含まれるという条件が含まれ、
前記カメラ変形値算出部は、前記カメラ画像に写る領域であり、前記無地の領域内の領域であって前記投影面の移動又は回転の速さと前記カメラによる撮影のタイミングの間隔とに応じた距離だけ前記無地の領域の外周から離れた位置に位置する領域、に写る前記投影面の表面の模様に基づいて、前記テクスチャ変形値を算出する、
投影システム。
続きを表示（約 2,100 文字）【請求項２】
前記所定の条件は、さらに、外周からの距離が所定の距離以内の領域である外領域に、輝度値の異なる無地の領域を、前記外領域以外の領域よりも多く有する、という条件を含む、
請求項１に記載の投影システム。
【請求項３】
前記所定の条件は、さらに、前記外領域以外の領域において、輝度値の異なる複数種類の前記無地の領域を、単位面積あたりに各種類について１又は複数有し、１つ１つの前記無地の領域の面積は前記投影面上の表面の模様に応じた所定の面積よりも大きい、という条件を含む、
請求項２に記載の投影システム。
【請求項４】
前記所定の条件は、さらに、前記パターン画像が多角形であるという条件と、前記外領域以外の領域における単位面積中には各種類の前記無地の領域がそれぞれ１又は複数存在し種類ごとの前記無地の領域の合計の面積は種類に依らず単位面積当たりに略同一、という条件と、前記外領域内の領域であって前記多角形の頂点を含む所定の大きさの領域を隅領域として、前記外領域内の前記隅領域以外の領域における単位面積中には各種類の前記無地の領域がそれぞれ１又は複数存在し種類ごとの前記無地の領域の合計の面積は種類に依らず単位面積当たりに略同一という条件と、前記隅領域は、１種類の無地の領域である、という条件と、を含む、
請求項３に記載の投影システム。
【請求項５】
前記所定の条件は、さらに、前記パターン画像が円又は楕円であるという条件と、前記外領域以外の領域における単位面積中には各種類の前記無地の領域がそれぞれ１又は複数存在し種類ごとの前記無地の領域の合計の面積は種類に依らず単位面積当たりに略同一、という条件と、前記外領域内の領域における単位面積中には各種類の前記無地の領域がそれぞれ１又は複数存在し種類ごとの前記無地の領域の合計の面積は種類に依らず単位面積当たりに略同一、という条件と、を含む、
請求項３に記載の投影システム。
【請求項６】
前記投影機変形値取得部は、さらに、前記投影面上の反射率の分布を示す画像に基づいて、前記投影機変形値を取得する、
請求項１に記載の投影システム。
【請求項７】
前記投影面上には、同一の形状の２種類のパターン画像が投影され、一方のパターン画像における各ピクセルの輝度値と他方のパターン画像における対応する各ピクセルの輝度値との合計値は、ピクセルによらず略同一である、
請求項１に記載の投影システム。
【請求項８】
前記投影面が平面であって投影機１又はカメラ２が所定の性能を満たす場合に前記投影面に表示される画像を仮想画像とし、前記仮想画像と前記投影機が投影する画像とのずれを画像ずれとして、２つ前の撮影タイミングに撮影されたカメラ画像に基づいて取得された投影機変形値と１つ前の撮影タイミングに撮影されたカメラ画像に基づいて取得された投影機変形値とに基づいて、前記画像ずれを減少させるように前記投影機変形値取得部が取得した投影機変形値を補正する補正部、
をさらに備える請求項１に記載の投影システム。
【請求項９】
前記所定の面積は、前記投影面の位置、向き、又は形状の変化の速さと、前記投影面の表面の模様とに応じた面積である、
請求項１に記載の投影システム。
【請求項１０】
コンテンツ画像と所定の条件を満たすパターン画像とを、表面が無地ではない投影面に投影する投影機と、
前記パターン画像が投影されているタイミングである撮影タイミングに前記投影面を撮影するカメラと、
前記カメラによる撮影結果であるカメラ画像に基づいて前記投影面の位置、向き又は形状の変化を表すテクスチャ変形値を算出するカメラ変形値算出部と、
前記カメラ画像に写る前記パターン画像と前記テクスチャ変形値とに基づき、前記投影機によって投影される画像を前記投影面の状態に応じた画像に変換する画像変形の投影機変形値を取得する投影機変形値取得部と、
前記投影機変形値に基づき前記コンテンツ画像を画像変形する処理と、前記投影機変形値に基づき前記パターン画像を画像変形する処理と、を実行する送信画像取得部と、
を備え、
前記所定の条件には、輝度値の異なる複数の無地の領域が含まれるという条件が含まれ、複数種類の前記無地の領域の少なくとも１つの面積が所定の面積より大きい、という条件を含み、
前記カメラ変形値算出部は、前記カメラ画像に写る領域であり、前記無地の領域内の領域であって前記投影面の移動又は回転の速さと前記カメラによる撮影のタイミングの間隔とに応じた距離だけ前記無地の領域の外周から離れた位置に位置する領域、に写る前記投影面の表面の模様に基づいて、前記テクスチャ変形値を算出する、
投影システム制御装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、投影システム、投影システム制御装置及び投影方法に関する。本願は、２０１９年８月２９日に、日本に出願された特願２０１９－１５６８７６号に基づき優先権を主張し、その内容をここに援用する。
続きを表示（約 3,600 文字）【背景技術】
【０００２】
従来、移動する投影面に画像を追従させるプロジェクションマッピングの技術では、画像が投影された状態にある投影面をカメラで撮影し、撮影結果に基づいて投影面の動きに画像（投影コンテンツ）を追従させる。このようなプロジェクションマッピングの技術では、プロジェクタやカメラの位置合わせや投影面へのマーキングが予め必要であり、ユーザが技術を使いにくいという問題がある。そこで、例えば、投影面上のテクスチャに投影コンテンツが重畳した場合に得られるカメラ画像をシミュレートしながら追従する方法が提案されている（非特許文献１）。この方法の場合、投影面上のテクスチャと投影面上の投影コンテンツとのそれぞれを、カメラ画像を用いて追跡できれば、事前の位置合わせやマーキング等が不要である。しかしながら、このような方法は、演算量が多く、投影面の移動にコンテンツ画像を追従させることが困難である。その他にも、例えば、投影面を無地のものに限定し、かつ、投影面の形状を既知のものに限定する（非特許文献２）ことで、シミュレートすることなく投影コンテンツを追従させる方法も提案されている。しかしながら、追跡の手がかりとして投影面上のテクスチャを利用できないという問題がある。
【０００３】
そして、これらの提案された２つの方法はいずれもコンテンツ画像の動きをカメラで追うことができるほどの特徴がコンテンツ画像に無ければならないという問題もある。そこで、投影面が無地ではない場合について、人が知覚しにくいパターン画像を投影する映像の中に隠し、パターン画像によってコンテンツ画像の動きを追うことが提案されている。しかしながら、この方法は、カメラによって複数の連続する画像を撮影する必要がある（特許文献１、非特許文献３）。そのため、投影面の移動に追従できる限界がカメラのシャッタースピードに依存し、投影面の移動が速い場合には、うまく動作しないという問題がある。このように、投影面が無地ではない場合については、投影面上に順番に投影される複数の画像の、投影面上の位置のずれが大きくなってしまう場合があった。
【先行技術文献】
【特許文献】
【０００４】
国際公開第２０１７／００２２９３号
【非特許文献】
【０００５】
S. Audet, M. Okutomi, M. Tanaka, “Augmenting moving planar surfaces robustly with videoprojection and direct image alignment”, Virtual Reality, vol. 17, 2013.
S. Kagami and K. Hashimoto, “Sticky projection mapping: 450-fps tracking projection onto a moving planar surface”, Proc. SIGGRAPH Asia 2015 Emerging Technologies, 2015.
Ramesh Raskar, Greg Welch, Matt Cutts, Adam Lake, Lev Stesin, and Henry Fuchs “The Office of the Future: A Unified Approach to Image-Based Modeling and Spatially Immersive Displays”, Computer Graphics Proceedings, Annual Conference Series, 1998.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記事情に鑑み、本発明は、投影面に投影される画像を投影面の移動に合わせて移動させる技術において、移動する投影面上に順番に投影される複数の画像の投影面上の位置のずれを抑制する技術を提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の一態様は、コンテンツ画像と所定の条件を満たすパターン画像とを、表面が無地ではない投影面に投影する投影機と、前記パターン画像が投影されているタイミングである撮影タイミングに前記投影面を撮影するカメラと、前記カメラによる撮影結果であるカメラ画像に基づいて前記投影面の位置、向き又は形状の変化を表すテクスチャ変形値を算出するカメラ変形値算出部と、前記カメラ画像に写る前記パターン画像と前記テクスチャ変形値と基づき、前記投影機によって投影される画像を前記投影面の状態に応じた画像に変換する画像変形の投影機変形値を取得する投影機変形値取得部と、を備え、前記所定の条件には、輝度値の異なる複数の無地の領域が含まれるという条件が含まれ、前記カメラ変形値算出部は、前記カメラ画像に写る領域であり、前記無地の領域内の領域であって前記投影面の移動又は回転の速さと前記カメラによる撮影のタイミングの間隔とに応じた距離だけ前記無地の領域の外周から離れた位置に位置する領域、に写る前記投影面の表面の模様に基づいて、前記テクスチャ変形値を算出する、投影システムである。
【０００８】
本発明の一態様は、コンテンツ画像と所定の条件を満たすパターン画像とを、表面が無地ではない投影面に投影する投影機と、前記パターン画像が投影されているタイミングである撮影タイミングに前記投影面を撮影するカメラと、前記カメラによる撮影結果であるカメラ画像に基づいて前記投影面の位置、向き又は形状の変化を表すテクスチャ変形値を算出するカメラ変形値算出部と、前記カメラ画像に写る前記パターン画像と前記テクスチャ変形値とに基づき、前記投影機によって投影される画像を前記投影面の状態に応じた画像に変換する画像変形の投影機変形値を取得する投影機変形値取得部と、前記投影機変形値に基づき前記コンテンツ画像を画像変形する処理と、前記投影機変形値に基づき前記パターン画像を画像変形する処理と、を実行する送信画像取得部と、を備え、前記所定の条件には、輝度値の異なる複数の無地の領域が含まれるという条件が含まれ、複数種類の前記無地の領域の少なくとも１つの面積が所定の面積より大きい、という条件を含み、前記カメラ変形値算出部は、前記カメラ画像に写る領域であり、前記無地の領域内の領域であって前記投影面の移動又は回転の速さと前記カメラによる撮影のタイミングの間隔とに応じた距離だけ前記無地の領域の外周から離れた位置に位置する領域、に写る前記投影面の表面の模様に基づいて、前記テクスチャ変形値を算出する、投影システム制御装置である。
【０００９】
本発明の一態様は、コンテンツ画像と所定の条件を満たすパターン画像とを、表面が無地ではない投影面に投影する投影ステップと、前記パターン画像が投影されているタイミングである撮影タイミングに前記投影面を撮影する撮影ステップと、前記撮影ステップによる撮影結果であるカメラ画像に基づいて前記投影面の位置、向き又は形状の変化を表すテクスチャ変形値を算出するカメラ変形値算出ステップと、前記カメラ画像に写る前記パターン画像と前記テクスチャ変形値とに基づき、前記投影ステップにおいて投影される画像を前記投影面の状態に応じた画像に変換する画像変形の投影機変形値を取得する投影機変形値取得ステップと、前記投影機変形値に基づき前記コンテンツ画像を画像変形する処理と、前記投影機変形値に基づき前記パターン画像を画像変形する処理と、を実行する送信画像取得ステップと、を有し、前記所定の条件には、輝度値の異なる複数の無地の領域が含まれるという条件が含まれ、前記カメラ変形値算出ステップは、前記カメラ画像に写る領域であり、前記無地の領域内の領域であって前記投影面の移動又は回転の速さと前記カメラによる撮影のタイミングの間隔とに応じた距離だけ前記無地の領域の外周から離れた位置に位置する領域、に写る前記投影面の表面の模様に基づいて、前記テクスチャ変形値を算出する、投影方法である。
【発明の効果】
【００１０】
本発明により、投影面に投影される画像を投影面の移動に合わせて移動させる技術において、移動する投影面上に順番に投影される複数の画像の投影面上の位置のずれを抑制する技術を提供することが可能となる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許