特許ウォッチ

公開番号2025010380
公報種別公開特許公報(A)
公開日2025-01-20
出願番号2024192841,2020171039
出願日2024-11-01,2020-10-09
発明の名称空中像表示入力装置及び空中像表示入力方法
出願人日立チャネルソリューションズ株式会社
代理人弁理士法人サンネクスト国際特許事務所
主分類G06F 3/042 20060101AFI20250109BHJP(計算;計数)
要約【課題】
空中像に対して利用者が直感的に操作可能な利便性の高い入力装置を、簡素な装置構成で実現する。
【解決手段】
空中像表示入力装置1は、所定の映像を表示する矩形の表示部3を内部に持ち、表示部3に表示される映像を利用者が視認可能な三次元空間投射面10に投影するための矩形の映像透過プレート4を外部に持ち、表示部3に表示される映像を利用者の入力案内画面(入力用操作ボタン30)として空中に結像させる空中像投射ユニット2と、利用者による入力案内画面への空中操作を検出する入力検出センサ5と、所定の制御を行う制御部7と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
所定の映像を表示する矩形の表示部を内部に持ち、前記表示部に表示される前記映像を利用者が視認可能な三次元空間投射面に投影するための矩形の映像透過プレートを外部に持ち、前記表示部に表示される前記映像を利用者の入力案内画面として空中に結像させる空中像投射ユニットと、
前記利用者による前記入力案内画面への空中操作を検出する入力検出センサと、
所定の制御を行う制御部と、
を有する空中像表示入力装置において、
前記三次元空間投射面は、前記映像透過プレートの矩形の一辺の近傍から、前記映像透過プレートと所定の角度をなして、利用者視線に対向する矩形投影面であって、
前記入力検出センサは、前記映像透過プレートの矩形の前記一辺と対向する他の一辺の近傍に位置する、当該他の一辺に平行な直線上に配置され、
前記矩形投影面の辺のうち前記映像透過プレートと平行でない一組の辺の中点の近傍を結んだ線分と、前記入力検出センサの配置直線とで形成する面を入力検出領域として配置し、
前記所定の映像を表示する表示部は、前記矩形投影面の前記中点を結んだ線分上の近傍に、入力案内画面の中の入力用操作ボタンを表示し、
前記入力検出センサは、前記入力検出領域を前記矩形投影面側に延長してなる検出可能領域に掛かった物体について、当該物体までの距離を示す距離情報を連続的に検出し、
前記制御部は、前記入力検出センサによって連続的に検出された前記物体の距離情報によって前記物体までの距離が前記三次元空間投射面の入力用操作ボタンまでの距離に対してどのような時系列変化を示すかに基づいて当該入力用操作ボタンの押下を判定し、当該判定で押下されたと判定した場合には、前記表示部の入力用操作ボタンを押下状態であることを示すように変更する
ことを特徴とする空中像表示入力装置。
続きを表示（約 2,500 文字）【請求項２】
前記入力検出センサは、反射型距離測定センサであって、直線状に２個以上のＮ個が配置され、
前記表示部は、Ｎ個以下の入力用操作ボタンを表示し、
前記制御部は、前記Ｎ個の反射型距離測定センサの出力信号の変化により、前記物体の距離が前記三次元空間投射面よりも距離が遠い第１範囲から前記三次元空間投射面よりも距離が近い第２範囲に変化したことが示される場合に、前記入力用操作ボタンが押下されたと判定する
ことを特徴とする、請求項１に記載の空中像表示入力装置。
【請求項３】
前記入力案内画面で入力可能な入力内容の変更を要求する前記空中操作として、前記入力案内画面と平行な所定の操作方向に物体を移動させる移動操作が設けられ、
前記表示部が表示するＮ個以下の前記入力用操作ボタンの一つ以上は、前記移動操作の前記操作方向を示す表示変更要求ボタンであって、
前記制御部は、前記Ｎ個の反射型距離測定センサの出力信号のうちで、前記表示変更要求ボタンを検出する第１のセンサ出力信号と、前記表示変更要求ボタンに隣接する部分を検出する第２のセンサ出力信号との変化情報に基づいて、前記移動操作による前記表示変更要求ボタンの押下を判定し、前記表示変更要求ボタンが押下されたと判定した場合には、前記表示部における前記表示変更要求ボタン以外の入力用操作ボタンの表示を変更する
ことを特徴とする、請求項２に記載の空中像表示入力装置。
【請求項４】
前記制御部は、
前記第１のセンサ出力信号の変化があっても前記物体の距離が前記第１範囲から前記第２範囲に変化せず、さらに前記第２のセンサ出力信号の変化によって前記物体の距離が前記第１範囲にあることが示された場合に、前記表示変更要求ボタンに対する前記移動操作が実行されたと判定し、
前記第１のセンサ出力信号の変化によって前記物体の距離が前記第１範囲から前記第２範囲に変化したことが示された場合に、前記表示変更要求ボタンに対する押下操作が実行されたと判定し、
前記表示変更要求ボタンに対する前記移動操作または前記押下操作の何れが実行されたと判定した場合にも、前記表示変更要求ボタンが押下されたと判定し、前記表示部における前記表示変更要求ボタン以外の入力用操作ボタンの表示を変更する
ことを特徴とする、請求項３に記載の空中像表示入力装置。
【請求項５】
前記空中像投射ユニット及び前記入力検出センサは一体構造であって、前記映像透過プレートは略垂直で、前記三次元空間投射面は水平面に対して利用者の視線側に傾斜した面を形成するように配し、前記一体構造は角度を可変とする
ことを特徴とする、請求項１乃至４の何れか１項に記載の空中像表示入力装置。
【請求項６】
利用者との間で媒体処理または所定の作業を実行する取扱処理装置と接続し、前記制御部は、前記取扱処理装置からの情報に基づき、前記表示部に表示する前記入力用操作ボタンの映像を切り替え、前記入力用操作ボタンの押下の判定情報を、前記取扱処理装置に出力する
ことを特徴とする、請求項１乃至５の何れか１項に記載の空中像表示入力装置。
【請求項７】
前記入力検出センサは、前記映像透過プレートの矩形の前記一辺と対向する他の一辺の近傍に位置する、当該他の一辺に平行な２本以上のＭ本の直線上に配置され、
前記矩形投影面の辺のうち前記映像透過プレートと平行でない一組の辺の（Ｍ＋１）等分点の近傍を結んだ線分と、前記入力検出センサのＭ本の配置直線で形成するＭ個の面を前記入力検出領域として配置し、
前記所定の映像を表示する表示部は、前記矩形投影面における前記（Ｍ＋１）等分点の近傍を結んだ線分上の近傍に、入力案内画面の中の入力用操作ボタンを表示する
ことを特徴とする、請求項１乃至６の何れか１項に記載の空中像表示入力装置。
【請求項８】
前記三次元空間投射面は、前記映像透過プレートの矩形の一辺の近傍から、前記映像透過プレートと約７５度の角度をなして、利用者視線に対向する矩形投影面である
ことを特徴とする、請求項１乃至７の何れか１項に記載の空中像表示入力装置。
【請求項９】
前記所定の映像を表示する表示部は、入力案内画面の中の入力用操作ボタンを、前記映像透過プレートの矩形の一辺と反対側に厚み方向の影像を持った立体斜視画像として表示し、
前記制御部は、前記入力用操作ボタンに対する押下操作が実行されたと判定した場合は、前記表示部が表示する当該入力用操作ボタンを、前記厚み方向の影像を持たない平面画像で、押下状態にないときの当該入力用操作ボタンの前記厚み方向の影像の長さの分だけ移動した位置に表示することにより、当該入力用操作ボタンが押下状態であることを示すようにする
ことを特徴とする、請求項１乃至８の何れか１項に記載の空中像表示入力装置。
【請求項１０】
前記入力検出センサは、複数組の赤外線発光素子及び受光素子を有し、前記赤外線発光素子による発光の対象物による反射光を前記受光素子が受光する際の受光方向に基づいて、三角測量の原理で前記対象物までの距離を算出する反射光距離センサであって、前記映像透過プレートの矩形の前記一辺と対向する他の一辺の近傍に位置する、当該他の一辺にそれぞれ平行な２直線のうち、複数の前記赤外線発光素子が前記映像透過プレートに近い側の直線上に配置され、複数の前記受光素子が前記映像透過プレートに遠い側の直線上に配置され、かつ、各組の前記赤外線発光素子と前記受光素子とを結ぶ直線が前記平行な２直線と直角に交わるように配置される
ことを特徴とする、請求項１乃至９の何れか１項に記載の空中像表示入力装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、空中像表示入力装置及び空中像表示入力方法に関し、空中に表示した画像（空中像）に対する利用者の操作を入力する空中像表示入力装置及び空中像表示入力方法に適用して好適なものである。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
近年、仮想現実（Virtual Reality）あるいは拡張現実現（Augmented Reality）という形で、実像を伴わないコミュニケーション手段が普及してきている。
【０００３】
例えば、画像表示装置からの表示画像を空中に結像することによって空中に画像を表示する技術として、特許文献１には、画像表示装置、ハーフミラー、及び再帰性反射材を配して、空中像を表示する空中像表示装置が開示されている。
【０００４】
また例えば、特許文献２には、内部に設置した表示対象物を画像結合プレートによって、外部三次元空間に表示させ、使用するユーザの手を撮像するカメラと距離センサの情報から手の動きのジェスチャー操作を認識するジェスチャー操作装置が開示されている。
【０００５】
また例えば、特許文献３には、画像等の光源と再帰反射部材と光分岐部材とを備えた空中像表示装置が空間中に表示した空中像に設定された複数の注目点に対して、注目点に物体が存在するか否かを検出する検出手段を備えた非接触操作検出装置が開示されている。さらに特許文献３では、上記検出手段は、画像等の光源に設けられた赤外光を発する検出用光源と、注目点からの戻り光である赤外光を検出するフォトダイオードと、を有することが示されている。
【０００６】
また例えば、特許文献４には、空中結像させる画像を表示する表示部を有する結像機構部を備えた入出力装置に、内蔵した入力検知センサを配置する案や、操作者の顔もしくは視線を検知する検知装置を搭載する案が開示されている。
【先行技術文献】
【特許文献】
【０００７】
国際公開第２０１６／０８８６８３号
特開２０１７－０６２７０９号公報
特開２０２０－０６７７０７号公報
特開２０２０－０６７８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したように、空中の画像を結像表示するための画像表示の技術手段や、表示された空中画像情報に対して利用者が入力操作するための入力検出の技術手段については、様々な案が提案されている。しかし、空中に表示された画像表示内容に対して利用者がどのように操作すると入力がなされるのか、という点については、特に空中という３次元空間における操作手段が普及していないこともあって、経験が乏しい利用者には入力操作が妥当であるか分からない等、操作の利便性における課題があった。
【０００９】
また、カメラ等によって撮影した画像を用いた入力検出の場合、利用者のジェスチャーを所定の入力操作として認識するための画像認識処理を行うためには、処理能力の高い制御部が必要となり、処理時間や製品価格の面で課題があった。
【００１０】
本発明は以上の点を考慮してなされたもので、空中像に対して利用者が直感的に操作可能な利便性の高い入力装置を、簡素な装置構成で実現する空中像表示入力装置及び空中像表示入力方法を提案しようとするものである。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許