TOP特許意匠商標
特許ウォッチ DM通知 Twitter
10個以上の画像は省略されています。
公開番号2022064283
公報種別公開特許公報(A)
公開日2022-04-25
出願番号2021118164
出願日2021-07-16
発明の名称眼鏡型端末
出願人個人
代理人個人
主分類G06F 3/0346 20130101AFI20220418BHJP(計算;計数)
要約【課題】視野内に表示される画面に対して文字入力等の操作を容易且つ正確に行うことができる眼鏡型端末を提供する。
【解決手段】眼鏡型端末1において、ユーザの目に映り込んだ元画面及び指を撮像装置30が撮像したときに、操作判定部73は、その撮像して得られた画像データに基づいて当該指による操作の内容を判定し、操作位置特定部74は、その撮像して得られた画像データに基づいて当該元画面内における当該指の位置を表すデータを生成する。入力制御部75は、操作判定部73で判定して得られた操作の内容に関するデータ及び操作位置特定部74で生成された位置を表すデータと、記憶部90に記憶されている当該元画面に関するデータとに基づいて、当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、ディスプレイ装置20に表示する元画面の制御を行う。
【選択図】図3
特許請求の範囲【請求項1】
使用者によって眼鏡のように装着される本体部と、前記本体部に設けられた、前記使用者に空中に浮かんでいるように見える視認画面に対応する元画面を表示する表示装置とを有し、前記使用者が前記本体部を装着して前記視認画面に対して各種の操作を行うために使用される眼鏡型端末において、
前記元画面に関するデータを含む各種のデータを記憶する記憶部と、
前記本体部に設けられた、前記使用者の目を撮像することにより、前記使用者が前記視認画面に対して指又は所定の入力指示具で操作を行ったときに前記使用者の目に映り込んだ前記元画面及び当該指又は入力指示具についての画像を取得するための撮像装置と、
前記使用者の目に映り込んだ前記元画面及び前記指又は入力指示具を前記撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該指又は入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定する操作判定部と、
前記使用者の目に映り込んだ前記元画面及び前記指又は入力指示具を前記撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該指又は入力指示具による操作の対象となった位置が当該元画面内におけるどの位置であるのかを特定する操作位置特定部と、
前記使用者が前記視認画面に対して前記指又は入力指示具で操作を行ったときに、前記操作判定部で得られた当該指又は入力指示具による操作の内容に関するデータと、前記操作位置特定部で得られた当該元画面内における当該指又は入力指示具による操作の対象となった位置を表すデータと、前記記憶部に記憶されている当該元画面に関するデータとに基づいて、当該視認画面に対して行われた当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、前記表示装置に表示する前記元画面の制御を行う入力制御部と、
を備えることを特徴とする眼鏡型端末。
続きを表示(約 2,200 文字)【請求項2】
前記操作位置特定部は、前記使用者の目に映り込んだ前記元画面及び前記指又は入力指示具を前記撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて、前記撮像装置が撮像することができる範囲である撮像範囲内における当該元画面の範囲及び前記撮像範囲内における当該指又は入力指示具の位置を求め、その求めた前記撮像範囲内における当該元画面の範囲及び前記撮像範囲内における当該指又は入力指示具の位置に基づいて当該元画面内における当該指又は入力指示具による操作の対象となった位置を特定することを特徴とする請求項1記載の眼鏡型端末。
【請求項3】
前記撮像装置は予め前記使用者の目にピントが合うように構成されていることを特徴とする請求項1又は2記載の眼鏡型端末。
【請求項4】
前記撮像装置は前記使用者の目に自動的にピントを合わせるオートフォーカス制御部を有することを特徴とする請求項1又は2記載の眼鏡型端末。
【請求項5】
前記撮像装置で撮像して得られた一連の画像データの中から、前記指又は入力指示具が存在している画像データを抽出する画像データ抽出部が更に備えられており、
前記操作判定部は、前記画像データ抽出部で抽出された一連の画像データに基づいて当該指又は入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定し、前記操作位置特定部は、前記画像データ抽出部で抽出された一連の画像データに基づいて当該元画面内における当該指又は入力指示具による操作の対象となった位置を特定することを特徴とする請求項1、2、3又は4記載の眼鏡型端末。
【請求項6】
前記表示装置に前記元画面を表示する前に前記使用者の目を前記撮像装置で撮像したときに、その撮像して得られた画像データに基づいて虹彩及び瞳孔の画像データを生成して前記記憶部に記憶する虹彩・瞳孔画像データ生成部と、
前記使用者の目に映り込んだ前記元画面及び前記指又は入力指示具を前記撮像装置が撮像したときに、その撮像して得られた画像データと前記記憶部に記憶されている前記虹彩及び瞳孔の画像データとに基づいてそれらの差分を抽出する処理を行うことにより、前記虹彩及び瞳孔の画像が取り除かれた画像データを生成する画像差分抽出部と、
が更に備えられており、
前記画像データ抽出部は、前記画像差分抽出部で生成された一連の画像データを用いて画像データの抽出処理を行うことを特徴とする請求項5記載の眼鏡型端末。
【請求項7】
前記表示装置に前記元画面を表示する前に、コンタクトレンズを装着している前記使用者の目を前記撮像装置で撮像したときに、その撮像して得られた画像データに基づいてコンタクトレンズ、虹彩及び瞳孔の画像データを生成して前記記憶部に記憶する虹彩・瞳孔画像データ生成部と、
前記使用者の目に映り込んだ前記元画面及び前記指又は入力指示具を前記撮像装置が撮像したときに、その撮像して得られた画像データと前記記憶部に記憶されている前記コンタクトレンズ、虹彩及び瞳孔の画像データとに基づいてそれらの差分を抽出する処理を行うことにより、前記コンタクトレンズ、虹彩及び瞳孔の画像が取り除かれた画像データを生成する画像差分抽出部と、
が更に備えられており、
前記画像データ抽出部は、前記画像差分抽出部で生成された一連の画像データを用いて画像データの抽出処理を行うことを特徴とする請求項5記載の眼鏡型端末。
【請求項8】
本来球面の形状を持つ前記使用者の目に映り込んだ前記元画面及び前記指又は入力指示具についての画像が平面上に映り込んだ画像となるように、前記撮像装置で撮像して得られた画像データに対して画像変換を行う画像変換部が更に備えられており、
前記画像データ抽出部は、前記画像変換部で画像変換が行われた一連の画像データを用いて画像データの抽出処理を行うことを特徴とする請求項5、6又は7記載の眼鏡型端末。
【請求項9】
前記撮像装置で撮像して得られた画像データに前記使用者の目の画像が存在しているかどうかを判定し、前記使用者の目の画像が存在していない画像データが前記撮像装置で一定時間継続して取得されたことを検知する目存在・不存在判定部と、
前記目不存在判定部により前記使用者の目の画像が存在していない画像データが前記撮像装置で前記一定時間継続して取得されたことが検知されたときに、報知装置を制御して前記報知装置から音又は振動を発生させる報知制御部と、
が更に備えられていることを特徴とする請求項1乃至8の何れか一項記載の眼鏡型端末。
【請求項10】
前記表示装置に表示される元画面には遠隔制御可能な装置についてのリモートコントローラの操作部に対応する画面が含まれており、
前記リモートコントローラの操作部に対応する画面を元画面として前記表示装置に表示させ、その元画面に対応する視認画面に対して操作が行われたときに、その操作の内容を示す指令信号を生成し、その生成した指令信号を前記遠隔制御可能な装置に無線送信する遠隔制御部を更に備えることを特徴とする請求項1乃至9の何れか一項記載の眼鏡型端末。
(【請求項11】以降は省略されています)

発明の詳細な説明【技術分野】
【0001】
本発明は、身に着けて使用する眼鏡型端末に関するものである。
続きを表示(約 3,400 文字)【背景技術】
【0002】
近年、身に着けて使用する端末、例えばグーグル社のグーグルグラスのような眼鏡型端末が開発・販売されている(例えば、特許文献1参照。)。このグーグルグラスは、眼鏡本体の右眼ガラスの眼前にプリズムを使用した極小型ディスプレイが配置されている。グーグルグラスのユーザは現実の周囲の景色とともに、同時に、このディスプレイに表示される画面を視認することができる。この眼鏡型端末を着用して、例えば街を歩くと、ユーザは右目の視野内に浮かんでいるように見える画面に表示される情報、例えば近辺の地図を見ることができる。また、例えば、そのユーザの近辺にある商店やレストラン等は、そのユーザに対してその画面に広告を表示することも可能である。この眼鏡型端末を使用することにより、新たなデジタルライフが始まろうとしている。
【先行技術文献】
【特許文献】
【0003】
特開平11-98227号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、現在、開発・販売されている眼鏡型端末では、眼鏡型端末のユーザが表示される画面を操作するときには、音声により指示したり、或いは、眼鏡の柄の根元部分に設けられたタッチパッドをタップしたりしている。しかしながら、ユーザが視野内に浮かんでいるように見える画面(視認画面)に対して文字入力を行う場合、例えば音声による操作では、言葉には同音異義語が多々あり、また発音には個人差があるので、誰でもが正確な文字入力を行うことができるわけではない。また、音声による操作では、外部の雑音等により、眼鏡型端末がその音声の内容を正確に認識できないことがある。更に、眼鏡の柄の部分に設けられたタッチパッドは、文字入力を行うことができるほど大きくはない。このため、従来の眼鏡型端末は視野内に表示される画面を用いて、例えばメールの文字入力等を行うことが困難であるという問題があった。
【0005】
本発明は上記事情に基づいてなされたものであり、視野内に表示される画面に対して文字入力等の操作を容易且つ正確に行うことができる眼鏡型端末を提供することを目的とするものである。
【課題を解決するための手段】
【0006】
上記の目的を達成するための本発明は、使用者によって眼鏡のように装着される本体部と、本体部に設けられた、使用者に空中に浮かんでいるように見える視認画面に対応する元画面を表示する表示装置とを有し、使用者が本体部を装着して視認画面に対して各種の操作を行うために使用される眼鏡型端末において、元画面に関するデータを含む各種のデータを記憶する記憶部と、本体部に設けられた、使用者の目を撮像することにより、使用者が視認画面に対して指又は所定の入力指示具で操作を行ったときに使用者の目に映り込んだ元画面及び当該指又は入力指示具についての画像を取得するための撮像装置と、使用者の目に映り込んだ元画面及び指又は入力指示具を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該指又は入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定する操作判定部と、使用者の目に映り込んだ元画面及び指又は入力指示具を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該指又は入力指示具による操作の対象となった位置が当該元画面内におけるどの位置であるのかを特定する操作位置特定部と、使用者が視認画面に対して指又は入力指示具で操作を行ったときに、操作判定部で得られた当該指又は入力指示具による操作の内容に関するデータと、操作位置特定部で得られた当該元画面内における当該指又は入力指示具による操作の対象となった位置を表すデータと、記憶部に記憶されている当該元画面に関するデータとに基づいて、当該視認画面に対して行われた当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、表示装置に表示する元画面の制御を行う入力制御部と、を備えることを特徴とするものである。
【0007】
このように、本発明の眼鏡型端末では、使用者の目を撮像することにより使用者が視認画面に対して指又は所定の入力指示具で操作を行ったときに使用者の目に映り込んだ元画面及び当該指又は入力指示具についての画像を取得するための撮像装置が本体部に設けられており、操作判定部は、使用者の目に映り込んだ元画面及び指又は入力指示具を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該指又は入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定し、操作位置特定部は、使用者の目に映り込んだ元画面及び指又は入力指示具を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該指又は入力指示具による操作の対象となった位置が当該元画面内におけるどの位置であるのかを特定する。そして、入力制御部は、使用者が視認画面に対して指又は入力指示具で操作を行ったときに、操作判定部で得られた当該指又は入力指示具による操作の内容に関するデータと、操作位置特定部で得られた当該元画面内における当該指又は入力指示具による操作の対象となった位置を表すデータと、記憶部に記憶されている当該元画面に関するデータとに基づいて、当該視認画面に対して行われた当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、表示装置に表示する元画面の制御を行う。このため、使用者は、空中に浮かんでいるように見える視認画面に対して、通常のタッチパネルに表示された画面に対して操作するのと同様の操作を行うことにより、当該操作に対応する指示を入力することができる。したがって、本発明の眼鏡型端末を用いると、使用者は、通常のスマートフォン端末やタブレット端末と同様に、視認画面に対して操作を行うことにより、文字入力の操作や拡大・縮小等の各種の画面操作を容易且つ正確に行うことができる。
【0008】
ここで、操作位置特定部は、使用者の目に映り込んだ元画面及び指又は入力指示具を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて、撮像装置が撮像することができる範囲である撮像範囲内における当該元画面の範囲及び撮像範囲内における当該指又は入力指示具の位置を求め、その求めた撮像範囲内における当該元画面の範囲及び撮像範囲内における当該指又は入力指示具の位置に基づいて当該元画面内における当該指又は入力指示具による操作の対象となった位置を特定するようにしてもよい。
【0009】
また、本発明の眼鏡型端末において、撮像装置は予め使用者の目にピントが合うように構成されていてもよく、又は、撮像装置は使用者の目に自動的にピントを合わせるオートフォーカス制御部を有するものであってもよい。いずれの場合でも、撮像装置は、使用者の目に映り込んだ元画面及び指又は入力指示具をピントが合った状態で撮像することができる。
【0010】
また、本発明の眼鏡型端末には、撮像装置で撮像して得られた一連の画像データの中から、指又は入力指示具が存在している画像データを抽出する画像データ抽出部が更に備えられており、操作判定部は、画像データ抽出部で抽出された一連の画像データに基づいて当該指又は入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定し、操作位置特定部は、画像データ抽出部で抽出された一連の画像データに基づいて当該元画面内における当該指又は入力指示具による操作の対象となった位置を特定することが望ましい。これにより、画像データ抽出部によって抽出される一連の画像データには、指又は指示具が存在している画像データだけが含まれるので、操作判定部及び操作位置特定部はそれぞれ、その処理を効率よく行うことができる。
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

個人
喋るハイテク家電
16日前
株式会社理研
演算装置
11日前
個人
曲目音声入力システム
16日前
凸版印刷株式会社
メタルカード
4日前
日本精機株式会社
車載表示装置
1日前
個人
結婚活動支援システム
9日前
個人
情報提供システム
16日前
シャープ株式会社
家電システム
16日前
個人
統計モデルによる勤務時間の推定
12日前
株式会社ノーリツ
給湯装置
2日前
凸版印刷株式会社
非接触通信ICシート
1日前
オグラ金属株式会社
食品カウンタ装置
3日前
東洋計器株式会社
ガスの集中監視方法
17日前
中国電力株式会社
業務時間管理システム
5日前
ビィデザイン株式会社
仮想空間システム
16日前
沖電気工業株式会社
制御装置
11日前
ソプラ株式会社
メタデータ抽出プログラム
5日前
NISSHA株式会社
静電容量方式の圧力センサ
9日前
トヨタ自動車株式会社
情報処理装置
12日前
富士通株式会社
計算機および計算方法
1日前
個人
紙葉類計数装置及び紙葉類計数システム
4日前
三菱電機株式会社
品質状況可視化装置
4日前
富士通コンポーネント株式会社
タッチパネル
10日前
個人
管理サーバおよび訃報自動送信システム
8日前
富士通株式会社
集計プログラム及び集計方法
11日前
株式会社オープンロジ
事故情報共有システム
11日前
弁護士トーク株式会社
料金管理システム
2日前
東京瓦斯株式会社
処理装置、プログラム
10日前
株式会社コムテック
ホルダ
2日前
アトムスフィア株式会社
順番待ち管理システム
17日前
理想科学工業株式会社
印刷制御装置
5日前
株式会社CopterOne
購入プログラムなど
15日前
テクマトリックス株式会社
コメント投稿システム
1日前
株式会社新星流通サービス
混載輸送支援システム
3日前
デジタルバード株式会社
ギフト資産管理システム
11日前
ダイハツ工業株式会社
整備点検情報管理システム
12日前
続きを見る