特許ウォッチ

公開番号2025010246
公報種別公開特許公報(A)
公開日2025-01-20
出願番号2024188941,2023061131
出願日2024-10-28,2015-09-01
発明の名称ウェアラブル端末、システム及び表示方法
出願人株式会社東芝
代理人弁理士法人スズエ国際特許事務所
主分類H04N 5/64 20060101AFI20250109BHJP(電気通信技術)
要約【課題】画像の表示位置を簡単に調整することができるウェアラブル端末、システム及び表示方法を提供すること。
【解決手段】実施形態によれば、ウェアラブル端末は、表示像をユーザの前方に投影することにより表示像に対応する虚像をユーザの前方に形成する投影装置と、ユーザの視線の先の画像を撮影するカメラと、カメラで撮影された画像の中のユーザの手や指の動きを解析し、ユーザのジェスチャを判別するジェスチャセンサと、を含む。虚像は、ジェスチャセンサにより検出されたユーザのジェスチャに応じて変更される。
【選択図】図1
特許請求の範囲【請求項１】
表示像を表示するディスプレイと、
前記表示像をユーザの前方に投影することにより前記表示像に対応する虚像を前記ユーザの前方に形成する投影装置と、
前記ユーザの視線の先の画像を撮影するカメラと、
前記カメラで撮影された画像の中の前記ユーザの手や指の動きを解析し、前記ユーザのジェスチャを判別するジェスチャセンサと、
を具備するウェアラブル端末であって、
前記投影装置は、前記ディスプレイから出射される発散性の光を前記ユーザの前方に投影するレンズと、第１ユーザ操作部と、を含み、
前記第１ユーザ操作部は、回転動作により前記投影装置の投影角度を調整可能であり、
前記ユーザは、前記虚像を目視しながら前記第１ユーザ操作部を回転して前記投影角度を調整することにより、前記虚像の表示位置を前記ユーザの頭の形状又はサイズに合わせて調整可能であり、
前記虚像は、前記ジェスチャセンサにより判別された前記ユーザのジェスチャに応じて変更される、
ウェアラブル端末。
続きを表示（約 960 文字）【請求項２】
画像を格納するサーバと、
前記サーバに接続され、前記サーバから送信された画像に基づき表示像を表示するディスプレイと、前記表示像をユーザの前方に投影することにより前記表示像に対応する虚像を前記ユーザの前方に形成する投影装置と、前記ユーザの視線の先の画像を撮影するカメラと、前記カメラで撮影された画像の中の前記ユーザの手や指の動きを解析し、前記ユーザのジェスチャを判別するジェスチャセンサと、を具備するウェアラブル端末と、
を具備するシステムであって、
前記投影装置は、前記ディスプレイから出射される発散性の光を前記ユーザの前方に投影するレンズと、第１ユーザ操作部と、を含み、
前記第１ユーザ操作部は、回転動作により前記投影装置の投影角度を調整可能であり、
前記ユーザは、前記虚像を目視しながら前記第１ユーザ操作部を回転して前記投影角度を調整することにより、前記虚像の表示位置を前記ユーザの頭の形状又はサイズに合わせて調整可能であり、
前記虚像は、前記ジェスチャセンサにより判別された前記ユーザのジェスチャに応じて変更される、
システム。
【請求項３】
表示像を表示するディスプレイと、前記表示像をユーザの前方に投影することにより前記表示像に対応する虚像を前記ユーザの前方に形成する投影装置と、前記ユーザの視線の先の画像を撮影するカメラと、前記カメラで撮影された画像の中の前記ユーザの手や指の動きを解析し、前記ユーザのジェスチャを判別するジェスチャセンサと、を具備するウェアラブル端末の表示方法であって、
前記投影装置は、前記ディスプレイから出射される発散性の光を前記ユーザの前方に投影するレンズと、第１ユーザ操作部と、を含み、
前記第１ユーザ操作部は、回転動作により前記投影装置の投影角度を調整可能であり、
前記ユーザは、前記虚像を目視しながら前記第１ユーザ操作部を回転して前記投影角度を調整することにより、前記虚像の表示位置を前記ユーザの頭の形状又はサイズに合わせて調整可能であり、
前記虚像は、前記ジェスチャセンサにより判別された前記ユーザのジェスチャに応じて変更される、
表示方法。

発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態はウェアラブル端末、システム及び表示方法に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
多数の製造装置を有する製造現場又は製造工場においては、製造装置の稼働率が製品の生産量に影響を及ぼす大きな要因となっている。定期的な保守・点検の不備のために生じる本来回避可能な製造装置の故障又は製造装置に突発的不具合が発生した時の対応の不手際により、製造装置が稼働できない状態が時間的に長く続くことは、稼働率の低下と製品の生産量低下を招く。したがって、製造装置の停止時間を可能な限り短縮することが求められる。製造装置毎に保守・点検・修理の作業が異なるので、作業者は作業の各段階での作業手順を記したマニュアル又はチェックリスト（以下、チェックリストと総称する）を参照することがある。近年、製造現場でウェアラブル端末が盛んに利用されており、例えば、製造現場で作業者がメガネ型ウェアラブル端末を装着し、チェックリストがレンズ面に表示される。これにより、作業者は作業中に紙のチェックリストを参照する必要が無く、作業の手を休めることなく、不慣れ又は複雑な作業でも効率よく行うことができる。
【０００３】
しかし、各段階の作業の遂行確実性を把握するためチェックリストのチェックが必要であるため、参照は画面で電子的に行われるが、依然として紙のチェックリストを用意し、各段階の作業が終了すると、作業者が作業の手を休め、記入している。このため、製造装置の停止を余儀なくされ、生産量低下に繋がる。さらに、オフィスに戻った後、作業者はこのチェックリストに基づき作業報告書を作成している。この作業報告書の作成は、作業者にとって煩雑である。
【０００４】
カメラ付きヘッドマウントディスプレイを用いてオペレータの作業を支援するシステムが開発されている。その一例として、使用済みの汚染された内視鏡等の医療機器やメス、鉗子等の器具を取り扱うオペレータを支援する医療機器管理システムがある。
【０００５】
このシステムは、医療機器又は器具を取り扱うオペレータの視野範囲を撮影する頭部装着型カメラと、医療機器又は器具を取り扱う際の模範的な作業時に撮影されたオペレータの視野範囲の画像を標準画像として記憶する記憶手段と、カメラによる撮影画像と記憶手段から読み出した標準画像とを比較し、両画像の類似度により所定の作業が標準的に行われているか否かを判別する第１の判別手段と、判別手段による判別結果に基づき警告又は指示を示す情報を出力する情報出力手段と、警告又は指示を示す情報に基づいてオペレータに警告又は指示を行う出力手段と、を備えている。
【先行技術文献】
【特許文献】
【０００６】
特開２００９－２７９１９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このシステムは、カメラで撮影した医療器具を取り扱うオペレータ作業内容と予め準備した標準画像とを比較し、オペレータ作業を自動認識している。しかし、この方法では画像間の単純なパターンマッチングでは認識精度が低いため、画像内の特徴部分抽出などの複雑な画像処理が必要となる。そのため、自動認識処理が高度に複雑になると共に多大な処理時間がかかる。
【０００８】
本発明の目的は、画像の表示位置を簡単に調整することができるウェアラブル端末、システム及び表示方法を提供することである。
【課題を解決するための手段】
【０００９】
実施形態によれば、ウェアラブル端末は、表示像を表示するディスプレイと、前記表示像をユーザの前方に投影することにより前記表示像に対応する虚像を前記ユーザの前方に形成する投影装置と、前記ユーザの視線の先の画像を撮影するカメラと、前記カメラで撮影された画像の中の前記ユーザの手や指の動きを解析し、前記ユーザのジェスチャを判別するジェスチャセンサと、を具備する。前記投影装置は、前記ディスプレイから出射される発散性の光を前記ユーザの前方に投影するレンズと、第１ユーザ操作部と、を含む。前記第１ユーザ操作部は、回転動作により前記投影装置の投影角度を調整可能である。前記ユーザは、前記虚像を目視しながら前記第１ユーザ操作部を回転して前記投影角度を調整することにより、前記虚像の表示位置を前記ユーザの頭の形状又はサイズに合わせて調整可能である。前記虚像は、前記ジェスチャセンサにより判別された前記ユーザのジェスチャに応じて変更される。
【図面の簡単な説明】
【００１０】
実施形態のウェアラブル端末の一例を示す斜視図である。
ウェアラブル端末の一例を示す正面図と断面構成を示す図である。
ウェアラブル端末の位置検出の一例を示す図である。
ウェアラブル端末の位置検出の原理を示す図である。
ウェアラブル端末の位置検出の際の信号波形を示す図である。
ウェアラブル端末と情報管理サーバとを含むシステムの一例を示す図である。
ウェアラブル端末の電気的構成を示すブロック図である。
装置の状態を検出するセンサの一例を示す図である。
ユーザの行動を検出するセンサの一例を示す図である。
システムの使用環境の一例を示す概略図である。
システムに使用されるユーザの行動を検出するセンサの一例の構造を示す分解斜視図である。
システムに使用されるユーザの行動を検出するセンサの他の例の構造を示す分解斜視図である。
システムにより表示される作業手順と、システムにより作成される作業記録の一例を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許