TOP特許意匠商標
特許ウォッチ DM通知 Twitter
公開番号2019164318
公報種別公開特許公報(A)
公開日20190926
出願番号2018053558
出願日20180320
発明の名称映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体
出願人パナソニックIPマネジメント株式会社
代理人特許業務法人北斗特許事務所
主分類G09G 5/00 20060101AFI20190830BHJP(教育;暗号方法;表示;広告;シール)
要約【課題】表示画像の表示遅延を低減し、かつ表示画像の描画範囲の制限を低減する映像表示システムを提供する。
【解決手段】映像表示システムは、描画部24と、補正部25と、表示部20と、投影部と、本体部とを備えている。描画部24は、画像を描画する。補正部25は、描画部24で描画された画像を補正する。表示部20は、補正部25で補正された画像を表示する。投影部は、表示部20の出力光により、画像に対応する虚像を対象空間に投影する。本体部は、表示部20及び投影部が実装される。描画部24は、本体部1の姿勢変化である第1姿勢変化を表す第1姿勢信号に基づいて、対象空間での虚像の表示位置を補正する第1補正処理を実行する。補正部25は、本体部1の姿勢変化であって第1姿勢変化よりも変化速度の速い第2姿勢変化を表す第2姿勢信号に基づいて、対象空間での虚像の表示位置を補正する第2補正処理を実行する。
【選択図】図4
特許請求の範囲約 1,100 文字を表示【請求項1】
画像を描画する描画部と、
前記描画部で描画された前記画像を補正する補正部と、
前記補正部で補正された前記画像を表示する表示部と、
前記表示部の出力光により、前記画像に対応する虚像を対象空間に投影する投影部と、
前記表示部及び前記投影部が実装される本体部と、を備え、
前記描画部は、前記本体部の姿勢変化である第1姿勢変化を表す第1姿勢信号に基づいて、前記対象空間での前記虚像の表示位置を補正する第1補正処理を実行し、
前記補正部は、前記本体部の姿勢変化であって前記第1姿勢変化よりも変化速度の速い第2姿勢変化を表す第2姿勢信号に基づいて、前記対象空間での前記虚像の表示位置を補正する第2補正処理を実行する
映像表示システム。
【請求項2】
前記補正部は、前記画像に前記第2補正処理とは別の歪み補正を更に実行する
請求項1に記載の映像表示システム。
【請求項3】
前記補正部は、
前記画像を保存するバッファと、
前記バッファで保存された前記画像に前記第2補正処理を実行し、前記第2補正処理を実行した前記画像を前記表示部に出力する補正部本体と、を備える
請求項1又は2に記載の映像表示システム。
【請求項4】
前記第1姿勢信号を出力する第1検出部と、
前記第2姿勢信号を出力する第2検出部と、を更に備える
請求項1〜3のいずれか1項に記載の映像表示システム。
【請求項5】
請求項1〜4のいずれか1項に記載の映像表示システムと、
前記映像表示システムが設けられた移動体本体と、を備える
移動体。
【請求項6】
画像を表示する表示部と、
前記表示部の出力光により、前記画像に対応する虚像を対象空間に投影する投影部と、
前記表示部及び前記投影部が設けられた本体部と、を有する映像表示システムを用いた映像表示方法であって、
前記画像を描画する描画処理と、
前記描画処理で描画された前記画像を補正して前記表示部に出力する補正処理と、を含み、
前記描画処理は、前記本体部の姿勢変化である第1姿勢変化を表す第1姿勢信号に基づいて、前記対象空間での前記虚像の表示位置を補正する第1補正処理を含み、
前記補正処理は、前記本体部の姿勢変化であって前記第1姿勢変化よりも変化速度の速い第2姿勢変化を表す第2姿勢信号に基づいて、前記対象空間での前記虚像の表示位置を補正する第2補正処理を含む
映像表示方法。
【請求項7】
コンピュータに、
請求項6に記載の映像表示方法を実行させるためのプログラム。

発明の詳細な説明約 19,000 文字を表示【技術分野】
【0001】
本開示は、一般に映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体に関し、より詳細には、対象空間に虚像を投影する映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体に関する。
【背景技術】
【0002】
従来、対象空間に虚像を投影する映像表示システムとして、特許文献1に記載のヘッドアップディスプレイ装置が知られている。このヘッドアップディスプレイ装置は、表示器から出力された表示光を車両のフロントガラスに照射することで、ユーザに、表示器の表示画像の虚像を車両の前方の実景と重ねて視認させている。
【0003】
このヘッドアップディスプレイ装置は、車両振動入力部と、表示制御部と、を備えている。車両振動入力部には、車両の振動情報(すなわち車両の姿勢情報)が入力される。表示制御部は、振動情報に基づいて表示画像を補正することで、虚像の表示位置を補正する。より詳細には、表示制御部は、表示画像を第1のレイヤーに描画した後、第1のレイヤーに描画された表示画像の表示位置を、車両の振動を相殺する方向に移動させる。なお、第1のレイヤーは、表示器の表示面に対応して仮想的に設けられた面である。この結果、車両が振動しても、虚像の表示位置が、実景中の対象物に対して所定の位置関係を保つように補正される。
【先行技術文献】
【特許文献】
【0004】
特開2017−13590号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記のヘッドアップディスプレイ装置では、振動情報に基づく表示画像の表示位置の補正は、表示画像を描画する描画処理にて実行される。このため、表示部の表示遅延(例えば数フレーム分の遅延)が発生し易い。また、表示画像の表示位置をずらす補正を行うと、ずらした分、表示画像が表示面の外に切れる。この画像切れを低減するには、表示画像を描画するときに、描画可能な描画範囲を狭い範囲に制限する必要がある。
【0006】
本開示は、上記事由に鑑みて、表示画像の表示遅延を低減し、かつ表示画像の描画範囲の制限を低減することができる映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体を提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示の一態様に係る映像表示システムは、描画部と、補正部と、表示部と、投影部と、本体部と、を備える。前記描画部は、画像を描画する。前記補正部は、前記描画部で描画された前記画像を補正する。前記表示部は、前記補正部で補正された前記画像を表示する。前記投影部は、前記表示部の出力光により、前記画像に対応する虚像を対象空間に投影する。前記本体部は、前記表示部及び前記投影部が設けられる。前記描画部は、前記本体部の姿勢変化である第1姿勢変化を表す第1姿勢信号に基づいて、前記対象空間での前記虚像の表示位置を補正する第1補正処理を実行する。前記補正部は、前記本体部の姿勢変化であって前記第1姿勢変化よりも変化速度の速い第2姿勢変化を表す第2姿勢信号に基づいて、前記対象空間での前記虚像の表示位置を補正する第2補正処理を実行する。
【0008】
本開示の一態様に係る移動体は、前記映像表示システムと、移動体本体と、を備える。前記移動体本体は、前記映像表示システムが設けられる。
【0009】
本開示の一態様に係る 映像表示方法は、表示部と、投影部と、本体部と、を有する映像表示システムを用いた映像表示方法である。前記表示部は、画像を表示する。前記投影部は、前記表示部の出力光により、前記画像に対応する虚像を対象空間に投影する。前記本体部は、前記表示部及び前記投影部が設けられている。上記の映像表示方法は、描画処理と、補正処理と、を含む。前記描画処理は、前記画像を描画する。前記補正処理は、前記描画処理で描画された前記画像を補正して前記表示部に出力する。前記描画処理は、前記本体部の姿勢変化である第1姿勢変化を表す第1姿勢信号に基づいて、前記対象空間での前記虚像の表示位置を補正する第1補正処理を含む。前記補正処理は、前記本体部の姿勢変化であって前記第1姿勢変化よりも変化速度の速い第2姿勢変化を表す第2姿勢信号に基づいて、前記対象空間での前記虚像の表示位置を補正する第2補正処理を含む。
【0010】
本開示の一態様に係るプログラムは、コンピュータに、前記映像表示方法を実行させるためのプログラムである。
【発明の効果】
【0011】
本開示は、表示画像の表示遅延を低減し、かつ表示画像の描画範囲の制限を低減することができる、という利点がある。
【図面の簡単な説明】
【0012】
図1は、本実施形態に係る映像表示システムの構成を示すブロック図である。
図2は、同上の映像表示システムを備える自動車の概念図である。
図3は、同上の映像表示システムを用いた場合の運転者の視野を示す概念図である。
図4は、同上の映像表示システムの画像表示部の構成を示すブロック図である。
【発明を実施するための形態】
【0013】
(実施形態)
(1)概要
本実施形態に係る映像表示システム10は、図1及び図2に示すように、例えば、移動体本体としての自動車100に用いられるヘッドアップディスプレイ(HUD:Head-Up Display)である。本実施形態では、映像表示システム10と、映像表示システム10が設けられた自動車100(移動体本体)と、を含む全体を移動体とする。
【0014】
映像表示システム10は、自動車100のウインドシールド101に下方から画像を投影するように、自動車100の車室内に配置されている。図2の例では、ウインドシールド101の下方のダッシュボード102内に、映像表示システム10が配置されている。映像表示システム10からウインドシールド101に画像が投影されると、ユーザ(運転者)200は、ウインドシールド101に投影された画像を、自動車100の前方(車外)に設定された対象空間400内に表示された虚像300として視認する。
【0015】
ここでいう「虚像」は、映像表示システム10から出射される画像光がウインドシールド101等の反射物にて発散するとき、その発散光線によって、実際に物体があるように結ばれる像を意味する。また、ウインドシールド101は、画像700が投影される投影対象物である。
【0016】
そのため、自動車100を運転しているユーザ200は、図3に示すように、自動車100の前方に広がる実景に重ねて、映像表示システム10にて投影される虚像300を見ることができる。したがって、映像表示システム10によれば、種々の運転支援情報を虚像300として実景と重ねて表示して、ユーザ200に視認させることができる。運転支援情報は、例えば、車速情報、ナビゲーション情報、歩行者情報、前方車両情報、車線逸脱情報、及び車両コンディション情報等である。これにより、ユーザ200は、ウインドシールド101の前方に視線を向けた状態から僅かな視線移動だけで、運転支援情報を視覚的に取得することができる。
【0017】
対象空間400に表示される虚像300は、例えば、ナビゲーション情報として自動車100の進行方向を示す情報であり、路面600上に右折又は左折を示す矢印である。この種の虚像300は、拡張現実(AR:Augmented Reality)技術を用いて表示される画像であって、ユーザ200から見た実景(路面600、建物、周辺車両、及び歩行者等)における特定の位置に重畳して表示される。
【0018】
対象空間400に表示成される虚像300は、映像表示システム10の光軸500に交差する仮想面501上に形成される。光軸500は、自動車100の前方の対象空間400において、自動車100の前方の路面600に沿っている。虚像300が形成される仮想面501は、路面600に対して略垂直である。例えば、路面600が水平面である場合には、虚像300は鉛直面に沿って表示される。
【0019】
映像表示システム10は、図1に示すように、画像表示部2と、投影部3と、本体部1と、を備えている。画像表示部2は、表示面20aを有し、表示面20aに画像700を表示する。投影部3は、画像表示部2の出力光により、画像700に対応する虚像300(図2参照)を対象空間400(図2参照)に投影する投影処理を実行する。本体部1には、これら画像表示部2及び投影部3が設けられている。
【0020】
このような本体部1が自動車100に搭載された状態では、例えば、路面600の状況、及び自動車100の加減速等に起因して、本体部1の姿勢が自動車100の姿勢と共に変化する。具体的には、例えば、自動車100が減速等により前傾姿勢になれば本体部1も前傾姿勢となり、自動車100が加速等により後傾姿勢になれば本体部1も後傾姿勢になる。映像表示システム10の本体部1の姿勢が変化すると、虚像300と実景との相対的な配置関係が変化する。そのため、例えば、本体部1の姿勢が変化した場合に、虚像300は、ユーザ200から見た実景において本来重畳すべき特定の位置からずれた位置に表示される。
【0021】
そこで、映像表示システム10は、図4に示すように、本体部1の姿勢変化に応じて、虚像300が実景の本来重畳すべき特定の位置に表示されるように、対象空間400での虚像300の表示位置を補正する第1補正部41及び第2補正部42を備えている。第1補正部41は、本体部1の姿勢変化である第1姿勢変化に応じて、虚像300の表示位置を補正する第1補正処理を実行する。第2補正部42は、本体部1の姿勢変化である第2姿勢変化に応じて、虚像300の表示位置を補正する第2補正処理を実行する。第2補正部42は、第1補正部による第1補正処理の実行タイミングとは異なるタイミングで第2補正処理を実行する。なお、第2姿勢変化は、第1姿勢変化よりも変化速度の速い姿勢変化である。
【0022】
第1姿勢変化とは、本体部1の姿勢変化の変化速度が比較的遅い姿勢変化である。つまり、第1姿勢変化とは、第1周波数未満の周波数の振動(姿勢変化)である。換言すれば、第1姿勢変化とは、本体部1の姿勢変化の発生頻度が第1頻度よりも低い姿勢変化である。さらに換言すれば、第1姿勢変化とは、本体部1の姿勢変化後の姿勢が一定時間継続するような本体部1の姿勢変化である。このような第1姿勢変化は、例えば、自動車100の加減速による姿勢変化などである。
【0023】
第2姿勢変化とは、本体部1の姿勢変化の変化速度が比較的速い姿勢変化である。第2姿勢変化と第1姿勢変化とを比べると、第2姿勢変化は、第1姿勢変化の変化速度よりも速い姿勢変化である。つまり、第2姿勢変化とは、本体部1における第2周波数以上の周波数の振動(姿勢変化)である。換言すれば、第2姿勢変化とは、本体部1の姿勢変化の発生頻度が第2頻度よりも高い姿勢変化である。さらに換言すれば、第2姿勢変化とは、時間経過に伴って本体部1の姿勢が変化するような本体部1の姿勢変化である。このような第2姿勢変化は、例えば、自動車100が凸凹道を走行したときの自動車100の上下動に伴って生じる。上記の第1周波数及び第2周波数は、互いに同じ値であってもよく、異なる値であってもよい。上記の第1頻度及び第2頻度は、互いに同じ値であってもよく、異なる値であってもよい。
【0024】
これにより、本体部1の姿勢変化に応じて、虚像300の表示位置が補正される。そのため、例えば、自動車100に第1姿勢変化又は第2姿勢変化を生じても、映像表示システム10は、虚像300を、ユーザ200から見た実景において本来重畳すべき特定の位置に重畳して表示することが可能である。
【0025】
そして、映像表示システム10では、第1補正部41及び第2補正部42は、自動車100の姿勢変化の種類(第1姿勢変化又は第2姿勢変化)に応じて、使い分けられている。したがって、自動車100の姿勢変化に連動して本体部1に様々な姿勢変化が生じた場合でも、姿勢変化の種類(第1姿勢変化又は第2姿勢変化)に応じて、画像表示部2での複数の処理段階の中の適した処理段階で、虚像300の表示位置を補正できる。
【0026】
例えば、第2姿勢変化に対する虚像300の表示位置の補正処理は、リアルタイム性が要求されるため、リアルタイムで処理可能な処理段階で実行される。第1姿勢変化に対する虚像の表示位置の補正処理は、リアルタイム性が要求されないため、補正処理の際に画像700の描画範囲が制限され難い処理段階で実行される。その結果、本体部1の姿勢変化に応じて虚像300の表示位置を補正するとき、虚像300の表示遅延を低減し、かつ虚像300に対応する画像700の描画範囲の制限を低減できる、という利点がある。
【0027】
(2)構成
映像表示システム10は、図1に示すように、本体部1と、画像表示部2と、投影部3と、振動センサ5と、ローパスフィルタ6と、ハイパスフィルタ7と、を備えている。振動センサ5とローパスフィルタ6とで、本体部1の第1姿勢変化を検出して第1姿勢信号として出力する第1検出部が構成されている。振動センサ5とハイパスフィルタ7とで、本体部1の第2姿勢変化を検出して第2姿勢信号として出力する第2検出部が構成されている。
【0028】
本体部1は、例えば、筐体にて構成されている。本体部1内には、画像表示部2、投影部3、振動センサ5、ローパスフィルタ6及びハイパスフィルタ7が収容(実装)されている。本体部1は、図2に示すように、自動車100のダッシュボード102内に固定される。本体部1は、筐体でなく、例えば、フレーム又は板材等であってもよい。なお、画像表示部2は、後述のように、表示部20と、画像形成部21と、を備えるが、表示部20及び画像形成部21のうち、画像形成部21は、本体部1に設けられても設けられなくてもよい。
【0029】
振動センサ5は、本体部1に加わる振動を検出するセンサであり、本体部1に加わる振動を検出することで、本体部1の第1姿勢変化及び第2姿勢変化を検出している。すなわち、本体部1に加わる振動には、第1周波数未満の周波数の振動(第1姿勢変化の情報)と、第2周波数以上の周波数の振動(第2姿勢変化の情報)とが含まれている。本体部1は自動車100に固定されているため、本体部1に加わる振動は、自動車100に加わる振動と同じである。このため、振動センサ5は、自動車100に加わる振動を検出することで、本体部1に加わる振動を検出する。振動センサ5は、自動車100に加わる振動の情報として、例えば自動車100の振動で変化する自動車100のピッチ角を検出する。振動センサ5は、検出した振動に応じた信号をローパスフィルタ6及びハイパスフィルタ7に出力する。
【0030】
ローパスフィルタ6は、振動センサ5から出力された信号のうち、第1周波数以上の周波数の信号は通過させず、第1周波数未満の周波数の信号(すなわち第1姿勢変化を表す信号)を通過させる。そして、ローパスフィルタ6は、通過させた信号を第1姿勢信号として画像表示部2に出力する。ハイパスフィルタ7は、振動センサ5から出力された信号のうち、第2周波数未満の周波数の信号は通過させず、第2周波数以上の周波数の信号(すなわち第2姿勢変化を表す信号)を通過させる。そして、ハイパスフィルタ7は、通過させた信号を第2姿勢信号として画像表示部2に出力する。第1姿勢信号は、本体部1の第1姿勢変化を表す姿勢信号である。第2姿勢信号は、本体部1の第2姿勢変化を表す姿勢信号である。振動センサ5は、例えばジャイロセンサ(角速度センサ)である。なお、振動センサ5は、ジャイロセンサに限定されず、例えば加速度センサでもよい。
【0031】
画像表示部2は、表示面20aを有し、表示面20aに画像700を表示し、表示した画像700を投影部3に向けて照射する。画像表示部2は、図1に示すように、表示部20と、画像形成部21と、を有している。表示部20は、画像700を表示する表示処理を実行し、表示した画像700を表示部20の前方に照射する。画像形成部21は、表示部20に表示される画像700を形成する画像形成処理を実行する。本実施形態では、画像700は、自動車100の目的地までの走行経路を案内するために、自動車100が走行する路面上に表示される矢印を表す画像である。以下、矢印画像700とも記載する。したがって、虚像300も矢印を表す像である(図3参照)。
【0032】
より詳細には、画像形成部21は、自動車100に搭載されたナビゲーション装置からナビゲーション情報を取得する。ナビゲーション情報は、例えば、自動車100が向かう目的地までの走行経路、及び、直近の交差点までの距離などのナビゲーション情報である。そして、画像形成部21は、取得したナビゲーション情報に基づいて、自動車100が走行経路上の直近の交差点に一定距離まで接近したと判定すると、上記の交差点での進行方向を案内するための矢印画像700を形成する。その際、矢印画像700は、その虚像300が対象空間400内の既定位置(例えば上記の交差点に沿って重なる位置)401に表示されるように形成される。そして、画像形成部21は、形成した矢印画像700を表示部20に出力する。これにより、本体部1に姿勢変化が生じていなければ、矢印画像700の虚像300は、対象空間400の既定位置(例えば上記の交差点に沿って重なる位置)401に表示される。
【0033】
また、画像形成部21は、ローパスフィルタ6からの第1姿勢信号及びハイパスフィルタ7からの第2姿勢信号を取得することで、本体部1の第1姿勢変化及び第2姿勢変化に関する姿勢情報を取得する。本体部1に姿勢変化が生じた場合は、虚像300と実景との相対的な配置関係が変化するため、対象空間400において、虚像300が、実景における本体重畳すべき特定の位置(例えば交差点)からずれた位置に表示される。例えば、自動車100が後傾姿勢になると、ユーザ200の視線が上がり、ユーザ200から見た実景が相対的に下方に移動する。この結果、対象空間400内において、虚像300が、交差点よりも上がった位置に表示される。このため、画像形成部21は、取得した姿勢情報に基づいて表示面20aでの画像700の表示位置を補正することで、対象空間400において、虚像300の表示位置を、既定位置401から、交差点に沿って重なる位置へと補正する。
【0034】
投影部3は、画像表示部2の表示面20aからの出力光により、画像700に対応する虚像300を対象空間400に投影する。本実施形態では、映像表示システム10は上述したようにヘッドアップディスプレイであるため、投影部3は、ウインドシールド101(図2参照)に画像700を投影する。
【0035】
投影部3は、図1に示すように、第1ミラー31と、第2ミラー32と、を有している。第1ミラー31及び第2ミラー32は、画像表示部2から、出力光の光路上に、第1ミラー31、第2ミラー32の順で配置されている。より詳細には、第1ミラー31は、画像表示部2の出力光が入射するように、画像表示部2の表示面20aの前方に配置されている。第1ミラー31は、画像表示部2の出力光を、第2ミラー32に向けて反射する。第2ミラー32は、第1ミラー31で反射された画像表示部2の出力光が入射するような位置(例えば第1ミラー31の前方下側の位置)に配置されている。第2ミラー32は、第1ミラー31で反射された画像表示部2の出力光を、上方(すなわちウインドシールド101)に向けて反射する。第1ミラー31は、例えば凸面鏡であり、第2ミラー32は、例えば凹面鏡である。
【0036】
この構成により、投影部3は、画像表示部2の表示面20aに表示された画像700を、適当な大きさに拡大又は縮小して、投影画像としてウインドシールド101に投影する。この結果、対象空間400に虚像300が表示される。つまり、自動車100を運転しているユーザ200の視野内では、映像表示システム10から投影された画像700の虚像300が、自動車100の前方に広がる実景に重ねて表示される。
【0037】
図4を参照して、画像形成部21及び表示部20について詳しく説明する。
【0038】
画像形成部21は、図4に示すように、描画部24と、補正部25と、を備えている。描画部24は、表示部20に表示される画像700(図1参照)を描画する描画処理を実行する。描画部24は、描画部本体241と、描画バッファ242と、を備えている。描画部本体241は、画像700を形成し、描画バッファ242は、描画部本体241で描画された画像700を一時的に保存して補正部25に出力する。補正部25は、描画部24で描画された画像700に各種の補正を行う補正処理を実行して、補正処理した画像700を表示部20に出力する。
【0039】
本実施形態では、描画部本体241は、画像形成部21が取得した上記のナビゲーション情報に基づいて、上述のように、交差点での進行方向を案内するための画像(矢印画像)700を描画する。
【0040】
また、描画部本体241は、ローパスフィルタ6からの第1姿勢信号に基づいて、本体部1の第1姿勢変化による虚像300と実景とのずれを相殺するように、画像700を補正する。この画像700の補正処理(第1補正処理)は、画像700の描画時に実行される。より詳細には、描画部本体241は、ローパスフィルタ6からの第1姿勢信号に基づいて、本体部1に第1姿勢変化が生じたと判定する。このように判定したとき、描画部本体241は、本体部1の第1姿勢変化による虚像300と実景とのずれが相殺されるように画像700を描画することで、画像700を補正する。これにより、本体部1に第1姿勢変化が生じても、対象空間400において、虚像300が、ユーザ200から見た実景における本来重畳すべき特定の位置(例えば交差点に沿って重なる位置)に位置に表示される。このように、描画部本体241(したがって描画部24)は、本体部1の第1姿勢変化に応じて虚像300の表示位置を補正する第1補正部41としても機能している。
【0041】
このように、描画部本体241は、第1姿勢信号に基づいて、本体部1の第1姿勢変化に応じて、虚像300の表示位置を補正する補正処理(第1補正処理)を画像700に実行する。本実施形態では、描画部本体241(したがって描画部24)が、本体部1の第1姿勢変化に応じて虚像300の表示位置を補正する第1補正部41として機能している。
【0042】
より詳細には、描画部本体241は、画像700を描画するときは、まず、対象空間400に対応した3次元仮想空間内で、画像700に対応した3次元画像を描画する。そして、描画部本体241は、描画した3次元画像を、3次元仮想空間内の所定の射影面に射影することで2次元画像に変換し、この2次元画像を画像700とする。また、描画部本体241は、画像700の描画時に画像を補正するときは、上記の3次元仮想空間内で上記の3次元画像を描画したときに、上記の3次元画像の位置及び/又は角度を補正することで、画像700を補正する。
【0043】
このように、本体部1の第1姿勢変化に対する虚像300の表示位置の補正処理(すなわちリアルタイム性が要求されない補正処理)は、画像700の描画時に実行される。これにより、画像700を表示面20aに表示したときに、画像700の一部が表示面20aの外に切れること(すなわち画像切れ)を抑制できる。すなわち、リアルタイム性よりも画像切れを低減することができる。この結果、画像700の描画範囲が制限されることを低減できる。
【0044】
補正部25は、図4に示すように、映像補正部251と、出力バッファ252(バッファ)と、振動・歪み補正部253(補正部本体)と、を備えている。
【0045】
映像補正部251は、描画バッファ242から出力された画像(すなわち描画部24で描画された画像)700に色調補正処理を行う。色調補正処理とは、画像700の各部の色を調整する補正処理である。より詳細には、映像補正部251は、描画部24で描画された画像700の各部の色を、定められた色となるように補正する。例えば、描画部24で描画された画像700において、白色と定められた部分に赤味がかっている場合は、その赤味がかかった部分を白色に補正する。映像補正部251は、色調補正した画像700を出力バッファ252に出力する。
【0046】
出力バッファ252は、映像補正部251から出力された画像700を一時的に保存して振動・歪み補正部253に出力する。
【0047】
振動・歪み補正部253は、出力バッファ252から出力された画像(すなわち描画部24で描画された画像)700に、振動補正処理(第2補正処理)及び歪み補正処理を実行する。振動・歪み補正部253は、補正した画像700を表示部20に出力する。
【0048】
振動補正処理(第2補正処理)では、振動・歪み補正部253は、ハイパスフィルタ7からの第2姿勢信号に基づいて、本体部1の第2姿勢変化による虚像300と実景とのずれを相殺するように、出力バッファ252から出力された画像700を補正する。より詳細には、振動・歪み補正部253は、ハイパスフィルタ7からの第2姿勢信号に基づいて、本体部1に振動(すなわち第2姿勢変化)が生じたと判定する。このように判定したとき、振動・歪み補正部253は、本体部1の振動による虚像300と実景とのずれを相殺するように、出力バッファ252から出力された画像700を補正する。この補正処理では、画像700が表示面20aに表示されたとき、画像700が所定方向(本体部1の振動による虚像300と実景とのずれを相殺する方向)にずれて表示されるように、画像700を補正する。このように、振動・歪み補正部253は、第2姿勢信号に基づいて、虚像300の表示位置を補正する補正処理(第2補正処理)を画像700に実行する。本実施形態では、振動・歪み補正部253(したがって補正部25)が、本体部1の第2姿勢変化に応じて虚像300の表示位置を補正する第2補正部42として機能している。
【0049】
この振動補正により、本体部1に第2姿勢変化が生じても、対象空間400において、虚像300が、ユーザ200から見た実景における本来重畳すべき特定の位置(例えば交差点に沿って重なる位置)に位置に表示される。このように、補正部25は、本体部1の第2姿勢変化に応じて虚像300の表示位置を補正する第2補正部42としても機能している。
【0050】
歪み補正処理では、振動・歪み補正部253は、ウインドシールド101及び投影部3での反射で虚像300に生じる歪みが無くなるように、出力バッファ252から出力された画像700を補正する。本実施形態では、歪み補正処理は、振動補正処理の後に実行される。すなわち、振動補正処理及び歪み補正処理は、この順で連続して行われる。
【0051】
このように、本体部1の第2姿勢変化に対する虚像300の表示位置の補正処理(すなわちリアルタイム性が要求される補正処理)は、出力バッファ252の後段かつ表示部20の前段(すなわち画像形成過程の最終段)で実行される。これにより、表示部20での表示遅延を低減して、本体部1の第2姿勢変化に対する虚像300の表示位置の補正を実行することができる。
【0052】
画像形成部21の画像形成処理は、画像700の形成に際して順次実行される複数のステップを含む。複数のステップの各々は、描画部本体241、描画バッファ242、映像補正部251、出力バッファ252、及び振動歪み補正部253の各々の処理に対応している。第1補正部41及び第2補正部42は、上記の複数のステップのうちの異なるステップ(描画部本体241の処理に対応するステップ、振動歪み補正部253の処理に対応するステップ)で第1補正処理及び第2補正処理を実行している。つまり、第1補正部41は、描画部本体241の処理に対応するステップで第1補正処理を実行する。第2補正部42は、振動歪み補正部253の処理に対応するステップで第2補正処理を実行する。このように、第1補正処理及び第2補正処理が、異なるステップで実行されることで、第1補正処理及び第2補正処理をそれらの特性(例えばリアルタイム性の有無)に合わせた処理段階で実行することができる。
【0053】
描画部24及び補正部25はそれぞれ、例えば、CPU(Central Processing Unit)及びメモリを主構成とするマイクロコンピュータにて構成されている。言い換えれば、描画部24及び補正部25はそれぞれ、CPU及びメモリを有するコンピュータにて実現されており、CPUがメモリに格納されているプログラムを実行することにより、コンピュータが描画部24又は補正部25として機能する。描画部24のプログラムは描画部24のメモリに予め記録され、補正部25のプログラムは補正部25のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の記録媒体に記録されて提供されてもよい。
【0054】
表示部20は、図4に示すように、液晶パネル201、光源装置202、及び表示制御部203を有している。液晶パネル201は、画像形成部21で形成された画像700を表示する。光源装置202は、液晶パネル201に表示された画像700を液晶パネル201の前方に照らし出す。表示制御部203は、液晶パネル201及び光源装置202を制御する。
【0055】
液晶パネル201は、例えばLCD(Liquid Crystal Display)である。液晶パネル201は、光源装置202の前方に配置されている。液晶パネル201の前面(すなわち光源装置202とは反対側の表面)が、表示面20aを構成する。表示面20aに画像700が表示される。
【0056】
光源装置202は、液晶パネル201のバックライトとして用いられる。光源装置202の出力光は、液晶パネル201を透過して表示面20aから出力される。光源装置202は、発光ダイオード又はレーザダイオード等の固体発光素子を用いて、液晶パネル201の背面の略全域に光を照射する面光源である。
【0057】
表示制御部203は、画像形成部21から表示部20に出力された画像700に基づいて、液晶パネル201を駆動することで、表示面20aに画像700を表示させる。また、表示制御部203は、光源装置202を点灯させて、液晶パネル201に表示された画像700を液晶パネル201の前方に照らし出す。このとき液晶パネル201の前方に照らし出された光は、液晶パネル201に表示された画像700を反映した光である。したがって、液晶パネル201に表示された画像は、光源装置202の出力光によって、液晶パネル201の前方に投影される。
【0058】
表示制御部203は、例えば、CPU(Central Processing Unit)及びメモリを主構成とするマイクロコンピュータにて構成されている。言い換えれば、表示制御部203は、CPU及びメモリを有するコンピュータにて実現されており、CPUがメモリに格納されているプログラムを実行することにより、コンピュータが表示制御部203として機能する。プログラムは、表示制御部203のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の記録媒体に記録されて提供されてもよい。
【0059】
このように構成された映像表示システム10によれば、本体部1の姿勢変化に応じて虚像300の表示位置を補正するときに、虚像300に対応する画像700の表示遅延を低減し、かつ虚像300に対応する画像700の描画範囲の制限を低減することができる。より詳細には、本体部1の姿勢変化に応じて対象空間400での虚像300の表示位置を補正するとき、その補正処理は、本体部1の第1姿勢変化に対する第1補正処理と、本体部1の第2姿勢変化に対する第2補正処理とに分けて実行される。そして、リアルタイム性が要求される第2補正処理は、表示部20の前段の処理部(すなわち画像出力の最終段)である補正部25で実行される。このため、第2補正処理による表示部20の表示遅延を低減することができる。
【0060】
また、リアルタイム性が要求されない第1補正処理は、描画部24で実行される。このため、描画時に第1補正処理を考慮した描画を行うことで、画像700の描画範囲を制限することなく、第1補正処理を実行することができる。
【0061】
(4)変形例
上記の実施形態は、本開示の様々な実施形態の一つに過ぎない。上記の実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。さらに、上記の実施形態に係る態様は、単体の映像表示システムで具現化されることに限らない。例えば、映像表示システム10を備える移動体、映像表示システム10を用いた映像表示方法で、上記の実施形態に係る態様が具現化されてもよい。また、上記の映像表示方法をコンピュータに実行させるためのプログラム、このプログラムを記憶した記憶媒体等で、上記の実施形態に係る態様が具現化されてもよい。以下に説明する変形例は、適宜組み合わせて適用可能である。
【0062】
上記の実施形態では、1つの振動センサ5で、本体部1の第1姿勢変化及び第2姿勢変化の両方を検出し、2つのフィルタ6,7で、検出した第1姿勢変化及び第2姿勢変化を別々の姿勢信号に分離して出力したが、このように限定されない。例えば、振動センサ5を、第1振動センサ(第1検出部)と第2振動センサ(第2検出部)との2つのセンサに分けて設けてもよい。第1振動センサは、本体部1の第1姿勢変化を検出し、検出した第1姿勢変化を第1姿勢信号として出力する。第2振動センサは、本体部1の第2姿勢変化を検出し、検出した第2姿勢変化を第2姿勢信号として出力する。この場合は、ローパスフィルタ6及びハイパスフィルタ7は省略される。
【0063】
また、投影部3は、少なくとも光学素子を有していればよく、第1ミラー31及び第2ミラー32の2つのミラーを有することは必須でなく、ミラーを1つのみ、又は3つ以上有していてもよい。さらに、投影部3は、例えばレンズ等、ミラー以外の光学部品を有していてもよい。
【0064】
また、映像表示システム10は、自動車100の進行方向の前方に設定された対象空間400に虚像300を投影する構成に限らず、例えば、自動車100の進行方向の側方、後方、又は上方等に虚像300を投影してもよい。
【0065】
また、映像表示システム10は、自動車100に用いられるヘッドアップディスプレイに限らず、例えば、二輪車、電車、航空機、建設機械、及び船舶等、自動車100以外の移動体本体にも適用可能である。さらに、映像表示システム10は、移動体に限らず、例えば、アミューズメント施設で用いられてもよい。また、映像表示システム10は、ヘッドマウントディスプレイ(HMD:Head Mounted Display)等のウェアラブル端末、医療設備、又は据置型の装置として用いられてもよい。また、映像表示システム10は、例えば、電子ビューファインダ等として、デジタルカメラ等の機器に組み込まれて使用されてもよい。
【0066】
また、本実施形態では、描画部24、補正部25及び表示制御部203は、互いに異なるCPU及びメモリで構成されるが、1つのCPU及び1つのメモリを、描画部24、補正部25及び表示制御部203で共用してもよい。また、1つのCPU及び1つのメモリを、描画部24、補正部25及び表示制御部203のうちの何れか2つで共有してもよい。
【0067】
また、描画部24は、CPUで構成される代わりに、GPU(Graphics Processing Unit)で構成されてもよい。また、補正部25は、CPUで構成される代わりに、FPGA(field-pro grammablegate array)で構成されてもよい。
【0068】
(まとめ)
以上説明したように、第1の態様に係る映像表示システム(10)は、描画部(24)と、補正部(25)と、表示部(20)と、投影部(3)と、本体部(1)と、を備えている。描画部(24)は、画像(700)を描画する。補正部(25)は、描画部(24)で描画された画像(700)を補正する。表示部(20)は、補正部(25)で補正された画像(700)を表示する。投影部(3)は、表示部(20)の出力光により、画像(700)に対応する虚像(300)を対象空間(400)に投影する。本体部(1)は、表示部(20)及び投影部(3)が設けられる。描画部(24)は、本体部(1)の姿勢変化である第1姿勢変化を表す第1姿勢信号に基づいて、対象空間(400)での虚像(300)の表示位置を補正する第1補正処理を実行する。補正部(25)は、本体部(1)の姿勢変化であって第1姿勢変化よりも変化速度の速い第2姿勢変化を表す第2姿勢信号に基づいて、対象空間(400)での虚像(300)の表示位置を補正する第2補正処理を実行する。
【0069】
この構成によれば、本体部(1)の姿勢変化に応じて虚像(300)の表示位置を補正するときに、虚像(300)に対応する画像(700)の表示遅延を低減し、かつ虚像(300)に対応する画像(700)の描画範囲の制限を低減することができる。より詳細には、本体部(1)の姿勢変化に応じて対象空間(400)での虚像(300)の表示位置を補正するとき、その補正処理は、第1補正処理と、第2補正処理とに分けて実行される。第1補正処理は、本体部(1)の姿勢変化である第1姿勢変化に対する補正処理であり、第2補正処理は、本体部(1)の姿勢変化であって第1姿勢変化よりも変化速度の速い第2姿勢変化に対する補正処理である。そして、リアルタイム性が要求される第2補正処理は、表示部(20)の前段の処理部(すなわち画像出力の最終段)である補正部(25)で実行される。このため、第2補正処理による表示部(20)の表示遅延を低減することができる。
【0070】
また、リアルタイム性が要求されない第1補正処理は、描画部(24)で実行される。このため、描画時に第1補正処理を考慮した描画を行うことで、画像(700)の描画範囲を制限することなく、第1補正処理を実行することができる。
【0071】
第2の態様に係る映像表示システム(10)では、第1の態様において、補正部(25)は、画像(700)に第2補正処理とは別の歪み補正処理を更に実行する。
【0072】
この構成によれば、補正部(25)は、歪み補正処理を行う補正部と兼用することができる。これにより、第2補正処理と歪み補正処理とを一緒に行うことができ、処理効率を向上することができる。
【0073】
第3の態様に係る映像表示システム(10)では、第1又は第2の態様において、補正部(25)は、バッファ(252)と、を備える。バッファ(252)は、画像(700)を保存する。補正部本体(253)は、バッファ(252)で保存された画像(700)に第2補正処理を実行し、第2補正処理を実行した画像(700)を表示部(20)に出力する。
【0074】
この構成によれば、バッファ(252)の後段かつ表示部(20)の前段で第2補正処理が行われる。このため、第2補正処理による表示部(20)の表示遅延をより一層低減することができる。
【0075】
第4の態様に係る映像表示システム(10)では、第1〜第3のいずれか1つの態様において、第1検出部(5,6)と、第2検出部(5,7)と、を更に備える。第1検出部(5,6)は、第1姿勢信号を出力する。第2検出部(5,7)は、第2姿勢信号を出力する。
【0076】
この構成によれば、第1姿勢信号を出力する第1検出部(5,6)と、第2姿勢信号を出力する第2検出部(5,7)と、を備えた映像表示システムを提供することができる。
【0077】
第5の態様に係る移動体は、第1〜第4のいずれか1つの態様に記載の映像表示システム(10)と、映像表示システム(10)が設けられた移動体本体(100)と、を備える。
【0078】
この構成によれば、上記の効果を奏する映像表示システムを移動体で実施することができる。
【0079】
第6の態様に係る映像表示方法は、表示部(20)と、投影部(3)と、本体部(1)と、を有する映像表示システムを用いた映像表示方法である。表示部(20)は、画像(700)を表示する。投影部(3)は、表示部(20)の出力光により、画像(700)に対応する虚像(300)を対象空間(400)に投影する。本体部(1)は、表示部(20)及び投影部(3)が設けられる。上記の映像表示方法は、描画処理と、補正処理と、を含む。描画処理は、画像(700)を描画する。補正処理は、描画処理で描画された画像(700)を補正して表示部(20)に出力する。描画処理は、本体部(1)の姿勢変化である第1姿勢変化を表す第1姿勢信号に基づいて、対象空間(400)での虚像(300)の表示位置を補正する第1補正処理を含む。補正処理は、本体部(1)の姿勢変化であって第1姿勢変化よりも変化速度の速い第2姿勢変化を表す第2姿勢信号に基づいて、対象空間(400)での虚像(300)の表示位置を補正する第2補正処理を含む。
【0080】
この方法によれば、本体部(1)の姿勢変化に応じて虚像(300)の表示位置を補正するときに、虚像(300)に対応する画像(700)の表示遅延を低減し、かつ虚像(300)に対応する画像(700)の描画範囲の制限を低減することができる。より詳細には、本体部(1)の姿勢変化に応じて対象空間(400)での虚像(300)の表示位置を補正するとき、その補正処理は、第1補正処理と、第2補正処理とに分けて実行される。第1補正処理は、本体部(1)の姿勢変化である第1姿勢変化に対する補正処理であり、第2補正処理は、本体部(1)の姿勢変化であって第1姿勢変化よりも変化速度の速い第2姿勢変化に対する補正処理である。そして、リアルタイム性が要求される第2補正処理は、表示部(20)の前段の処理部(すなわち画像出力の最終段)である補正部(25)で実行される。このため、第2補正処理による表示部(20)の表示遅延を低減することができる。
【0081】
また、リアルタイム性が要求されない第1補正処理は、描画部(24)で実行される。このため、描画時に第1補正処理を考慮した描画を行うことで、画像(700)の描画範囲を制限することなく、第1補正処理を実行することができる。
【0082】
第7の態様に係るプログラムは、コンピュータに、第6の態様の映像表示方法を実行させるためのプログラム。
【0083】
このプログラムによれば、汎用のコンピュータを用いた場合でも、本体部(1)の姿勢変化に応じて虚像(300)の表示位置を補正するときに、画像(700)の表示遅延を低減し、かつ画像(700)の描画範囲の制限を低減することができる。
【符号の説明】
【0084】
1 本体部
3 投影部
5 振動センサ(第1センサ、第2センサ)
6 ローパスフィルタ
7 ハイパスフィルタ
10 映像表示システム
20 表示部
24 描画部
25 補正部
41 第1補正部
42 第2補正部
100 自動車(移動体本体)
252 出力バッファ(バッファ)
253 振動・歪み補正部(補正部本体)
300 虚像
400 対象空間
700 画像

関連特許

パナソニックIPマネジメント株式会社
浴室
パナソニックIPマネジメント株式会社
水栓
パナソニックIPマネジメント株式会社
浴槽
パナソニックIPマネジメント株式会社
浴槽
パナソニックIPマネジメント株式会社
携帯機
パナソニックIPマネジメント株式会社
洗濯機
パナソニックIPマネジメント株式会社
蛍光体
パナソニックIPマネジメント株式会社
送風機
パナソニックIPマネジメント株式会社
センサ
パナソニックIPマネジメント株式会社
分電盤
パナソニックIPマネジメント株式会社
調理台
パナソニックIPマネジメント株式会社
携帯機
パナソニックIPマネジメント株式会社
除湿装置
パナソニックIPマネジメント株式会社
撮像装置
パナソニックIPマネジメント株式会社
照明器具
パナソニックIPマネジメント株式会社
加湿装置
パナソニックIPマネジメント株式会社
換気装置
パナソニックIPマネジメント株式会社
温調装置
パナソニックIPマネジメント株式会社
音響装置
パナソニックIPマネジメント株式会社
電動工具
パナソニックIPマネジメント株式会社
便器装置
パナソニックIPマネジメント株式会社
便器装置
パナソニックIPマネジメント株式会社
換気装置
パナソニックIPマネジメント株式会社
照明器具