特許ウォッチ

公開番号2025104251
公報種別公開特許公報(A)
公開日2025-07-09
出願番号2024187674
出願日2024-10-24
発明の名称実物感のあるタイピング又はタッチの実現方法
出願人大連三通科技發展有限公司
代理人個人,個人,個人,個人,個人,個人,個人
主分類G06F 3/01 20060101AFI20250702BHJP(計算;計数)
要約【課題】実物感のあるマーキング又はタッチの実現方法を提供する。
【解決手段】本発明は、XR拡張現実ウェアラブルデバイス、頭部装着型表示装置のシステムに適用され、手のひらの関節連結線上にプリセット点が標定され、ユーザは、メガネを通して手のひらにおけるプリセット点にバインディングされている機能領域を見ることができ、二つのトリガ判断点WL及びWRを設定し、視差のあるN個の画像ビデオストリームを取得し、同じ時系列の画像に対して、全ての画像においてトリガ指先pの位置がいずれかの機能領域の対応する二つのトリガ判断点の間にあるか否かを追跡して判断し、三つの目的点の位置値におけるX軸値を取り、WLとpとの差と、pとWRとの差の比をそれぞれ算出し、N個の画像の全ての比がいずれも同じである場合のみ、トリガ指先pが機能領域にタッチしていることを示す。
【選択図】図6
特許請求の範囲【請求項１】
ＸＲ拡張現実ウェアラブルデバイス、頭部装着型表示装置のシステムに適用され、該システムが手関節検出モデルにより手のビデオ画面におけるいくつかの関節点の時系列付き位置情報を出力し、手のひらは、掌底又は指を含む実物感のあるタイピング又はタッチの実現方法であって、
トリガ指先は、トリガ可能な文字／デジタルボタン、機能キーやショートカットキーを含み、手のひらの関節連結線に標定されたプリセット点とバインディングされている機能領域にタッチすることにより、タイピング及びタッチを実現することは、
手のひらの関節連結線上にプリセット点が標定され、ユーザは、メガネを通して手のひらにおけるプリセット点にバインディングされている機能領域を見ることができ、機能領域の幅をＷとし、プリセット点を機能領域の中心点とし、Ｘ軸に平行な左Ｗ／２と右Ｗ／２において、左トリガ判断点ＷＬと右トリガ判断点ＷＲを取り、関節点に基づいて、対応するプリセット点及びそのバインディングされている機能領域の左トリガ判断点ＷＬと右トリガ判断点ＷＲの位置情報を推定するステップ１と、
親指の先端をトリガ指先だとデフォルトし、親指が掌内の領域に入らず、且つ他のいずれかの指が手のひら又はこれにバインディングされた機能領域に触れようとすれば、当該指の指先がトリガ指先であると判断し、トリガ指先の位置をＰと定義するステップ２と、
システムが視差距離ありのＮ個の画像ビデオストリームを取得し、ここで、Ｎは、整数であり、Ｎ≧２であり、同じ時系列のＮ個の画像に対して、全ての画像においてトリガ指先Ｐの位置がいずれかの機能領域の左右両境界に対応する左トリガ判断点ＷＬと右トリガ判断点ＷＲとの間に入るか否かを追跡して判断し、そうであれば、各画像内の三つの目的点の位置値を算出し、目的点は、左トリガ判断点ＷＬ、トリガ指先Ｐ及び右トリガ判断点ＷＲを含み、三つの目的点の位置値のうちのＸ軸値（ＷＲＸ、ＰＸ、ＷＬＸ）を取り、ＷＬとＰとの差と、ＰとＷＲとの差の比（ＰＸ－ＷＲＸ）：（ＷＬＸ－ＰＸ）をそれぞれ算出し、Ｎ個の画像の全ての比がいずれも同じである場合のみ、トリガ指先Ｐが機能領域にタッチしていることを示し、機能領域の対応する内容を出力又はトリガするステップ３と、
を含むことを特徴とする実物感のあるタイピング又はタッチの実現方法。
続きを表示（約 2,300 文字）【請求項２】
前記ステップ３において、２つのカメラを左右のカメラとし、カメラの２つの中心点ＬとＲとの連結線をＸ軸とし、左カメラの視野において、左カメラの中心点Ｌと目的点Ｔとの連結線とＸ軸との夾角ラジアンをＴθＬとし、右カメラの視野において、右カメラの中心点Ｒと目的点Ｔとの連結線とＸ軸との夾角ラジアンをＴθＲとし、左右のカメラの２つの中心点ＬとＲとの視差距離をｄとすると、画像における目的点Ｔのそれぞれの位置（Ｘ、Ｚ）を算出し、
目的点Ｔが左右のカメラの２つの中心点ＬとＲの間にあると、数式１となり
JPEG
2025104251000011.jpg
7
107
目的点Ｔが左カメラの中心点Ｌの左側にあると、数式２となり
JPEG
2025104251000012.jpg
6
121
目的点Ｔが右カメラの中心点Ｒの右側にあると、数式３となる
JPEG
2025104251000013.jpg
7
95
ことを特徴とする請求項１に記載の実物感のあるタイピング又はタッチの実現方法。
【請求項３】
前記機能領域は、円形であり、手のひらの関節連結線におけるいずれかの位置に設けられたプリセット点を円心とし、Ｗを直径として円を描くことを特徴とする請求項１または２に記載の実物感のあるタイピング又はタッチの実現方法。
【請求項４】
指節領域内、指節領域間、指節領域外又は掌心の手首とある指との間の位置に機能領域が描画されていることを特徴とする請求項１または２に記載の実物感のあるタイピング又はタッチの実現方法。
【請求項５】
前記ステップ３において、システムがＮ個の画像ビデオストリームを処理し、ここで、Ｎは整数であり、Ｎ≧２であり、画面に表示されると、手のひらの同じ位置にいくつかの格子を含むマトリックスグリッドが１つ描画され、各格子は、いくつかの辺を含み、各格子を機能領域とし、システムは、トリガ指先Ｐ（Ｘ、Ｙ）が全ての画面において同時にマトリックスグリッドのある機能領域に現れるか否かを追跡して判断し、そうであれば、トリガ指先Ｐ（Ｘ、Ｙ）と該機能領域の左右の辺である左トリガ判断点ＷＬ、トリガ指先Ｐ及び右トリガ判断点ＷＲを三つの目的点とし、三つの目的点位置情報におけるＸ軸値（ＷＲＸ、ＰＸ、ＷＬＸ）を取り、ＷＬとＰとの差と、ＰとＷＲとの差との比（ＰＸ－ＷＲＸ）：（ＷＬＸ－ＰＸ）をそれぞれ算出し、すべての画像の比が等しければ、トリガ指先Ｐが機能領域にタッチしていることを示し、トリガ指先の位置Ｐ（Ｘ、Ｙ）でプロット点を描画し、前記プロット点を時系列に順次結線することにより、一方の手の指先をトリガ指先として他方の手のひらでタブレット又はタッチパッドのタッチ機能を実現することを特徴とする請求項１または２に記載の実物感のあるタイピング又はタッチの実現方法。
【請求項６】
該マトリックスグリッドは、小指と手のひらとの接続関節を右頂点とし、人差し指と手のひらとの接続関節を左頂点とし、手のひらと手首との接続箇所を下境界とすることを特徴とする請求項１または２に記載の実物感のあるタイピング又はタッチの実現方法。
【請求項７】
前記マトリックスグリッドは、画面に表示されていない不可視の設定であることを特徴とする請求項１または２に記載の実物感のあるタイピング又はタッチの実現方法。
【請求項８】
前記格子は、正方形又は長方形であることを特徴とする請求項１または２に記載の実物感のあるタイピング又はタッチの実現方法。
【請求項９】
ＸＲ拡張現実ウェアラブルデバイス、頭部装着型表示装置のシステムに適用され、該システムが目的点のビデオ画面における時系列付き位置情報を出力し、トリガ指先が機能領域にタッチすることにより、タイピング及びタッチを実現する実物感のあるタイピング又はタッチの実現方法であって、
システムがそれぞれ各画面において、同じプリセット物体の表面の同じ位置に１つのタッチインターフェース画像を標定し、該タッチインターフェース画像にいくつかの機能領域が設けられ、同じ時系列フレームにおける機能領域がＸ軸の左右両辺に平行し、左トリガ判断点ＷＬと右トリガ判断点ＷＲを取るステップ１と、
機能領域に触れようとするいずれかの指の指先をトリガ指先Ｐとするステップ２と、
システムが視差距離ありのＮ個の画像ビデオストリームを取得し、ここで、Ｎは整数であり、Ｎ≧２であり、トリガ指先Ｐ（Ｘ、Ｙ）が全ての画面において同時にある機能領域内に現れるか否かを追跡して判断し、そうであれば、トリガ指先Ｐ（Ｘ、Ｙ）、当該機能領域の対応する左トリガ判断点ＷＬと右トリガ判断点ＷＲを三つの目的点とし、三つの目的点の位置情報におけるＸ軸値（ＷＲＸ、ＰＸ、ＷＬＸ）を取り、ＷＬとＰとの差と、ＰとＷＲとの差の比（ＰＸ－ＷＲＸ）：（ＷＬＸ－ＰＸ）をそれぞれ算出し、Ｎ個の画像の全ての比がいずれも同じである場合のみ、トリガ指先Ｐが機能領域にタッチしていることを示し、機能領域の対応する内容を出力又はトリガするステップ３と、を含むことを特徴とする実物感のあるタイピング又はタッチの実現方法。
【請求項１０】
前記タッチインターフェース画像は、従来の算出器図、従来のキーボード図であることを特徴とする請求項９に記載の実物感のあるタイピング又はタッチの実現方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、仮想キーボード及びタッチの技術分野に関し、具体的には、ＸＲ拡張現実ウェアラブルデバイス、頭部装着型表示装置に適用されている実物感のあるタイピング又はタッチの実現方法に関する。
続きを表示（約 3,400 文字）【背景技術】
【０００２】
ＥｘｔｅｎｄｅｄＲｅａｌｉｔｙ（ＸＲ）拡張現実とは、コンピュータ技術とウェアラブルデバイスによる１つの現実と仮想の組み合わせ、ヒューマンコンピュータインタラクション可能な環境を意味し、拡張現実ＡＲ、仮想現実ＶＲ、複合現実ＭＲなどの様々な形態の総称である。（ＸＲ）拡張現実のあらゆる業種・業態における普及と発展に伴い、様々なＸＲスマートグラスが生まれ、仮想キーボードとタッチの入力によりユーザとシステムのインタラクションが実現される。
【０００３】
現在、仮想キーボードとタッチには２種類があり、（１）１／３／６ＤｏＦの３次元環境において仮想キーボードが描画され、両手で空気にタイピングしたり、タッチしたりして、関節識別モデルを用いて指先又は放射線位置が仮想キーにタッチしているか否かを判断する閾値位置を算出し、（２）掌心に仮想キーが描かされ、通常、親指（又は任意の指）の指先（又は１つのカーソルポイントにフォーカスできるいずれかの箇所）を「トリガ指先」と定義し、他の各指の三つの指節及び／又は手のひらの異なる領域に仮想キーが描かされ、該仮想キーをそれぞれ該当の異なる数字キー、アルファベットキー又は機能キーと定義し、人間の手の関節検出モデルを用いてトリガ指先が仮想キーにタッチしているか否かの閾値位置を推定する。
【０００４】
上記した（１）の仮想キーボード（ボタン、リンク、描画等の各種機能の実現を含み、以下「機能領域」と総称する）の入力方式は、従来のキーボードのタイピングとカーソルクリックトリガのやり方と似ているが、（ａ）手の甲と指が機能領域を遮蔽するため、視覚算出時に、見えないトリガ指先がある機能領域の閾値位置に実際にタッチしているか否かを見分けることが困難であり、（ｂ）ユーザが実体キーにタッチする感じがなく、空気中でタイピングすると、ユーザの自分の目に依存してトリガ指先が的確な文字キーにタッチしているか否かを判断することしかできないため、ブラインドタッチ／ブラインド書き込みの可能性を実現できないという２つの問題がある。
【０００５】
上記した（２）の掌心の機能領域のトリガ形態は、従来の道教の指折り動作に類似し、機能領域が可視の掌面にあり、入力時に手のひら（以下、「手のひら」という定義は、いずれも判断する必要がある全ての掌心と指の箇所を含む）がＸＲメガネの撮像レンズに面するため、トリガ指先により手のひらの機能領域にタッチすることにより、トリガ操作を実現し、タッチの感及び手の甲の遮蔽問題を解決した。しかしながら、このようなやり方では、トリガ指先による機能領域の遮蔽問題が依然として存在し、視覚算出時にトリガ指先がある機能領域の前にかざされたことが見られると、トリガ指先が機能領域にタッチしているか、それとも浮いてタッチしない状態にあるかを知ることができないため、トリガ指先が対応する機能領域にタッチしたと誤判断し、該機能領域の対応する内容を誤ってトリガしてしまう。視覚算出又はジェスチャ認識モデルにより実際のタッチの有無を確認できないという問題を解決するために、多くの特許では、指輪又は手袋センサによってトリガ指先がある機能領域に実際にタッチしているか否かを的確に認識する試みもある。しかしながら、手袋又は指輪などのセンサは、いずれのデバイス又はセンサの装着を望まないという意図から離れており、体験感及び実用性が高くない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、従来のジェスチャ認識及び視覚算出について、実際のタッチの有無の誤判断の問題に対して、カメラの視覚算出だけでトリガ指先が機能領域に実際にタッチしているか否かを的確に確認することができ、実体センサ等の補助デバイスがなくてもよく、算出量が少なく、また、トリガ指先がタッチするのは手のひら又は物体の表面であるため、仮想空間において手触りなくなぞるのではなく、タイピング又はタッチ時に実物感があり、体験が良く、ブラインドタッチ／ブラインド書き込みを実現することができる実物感のあるマーキング又はタッチの実現方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、実物感のあるマーキング又はタッチの実現方法であって、ＸＲ拡張現実ウェアラブルデバイス、頭部装着型表示装置のシステムに適用され、該システムが手関節検出モデルにより手のビデオ画面におけるいくつかの関節点の時系列付き位置情報を出力し、手のひらは、掌底又は指を含み、トリガ指先は、トリガ可能な文字／デジタルボタン、機能キーやショートカットキーを含み、手のひらの関節連結線に標定されたプリセット点とバインディングされている機能領域にタッチすることにより、タイピング及びタッチを実現することは、
手のひらの関節連結線上にプリセット点が標定され、ユーザは、メガネを通して手のひらにおけるプリセット点にバインディングされている機能領域を見ることができ、機能領域の幅をＷとし、プリセット点を機能領域の中心点とし、Ｘ軸に平行な左Ｗ／２と右Ｗ／２において、左トリガ判断点ＷＬと右トリガ判断点ＷＲを取り、関節点に基づいて、対応するプリセット点及びそのバインディングされている機能領域の左トリガ判断点ＷＬと右トリガ判断点ＷＲの位置情報を推定するステップ１と、
親指の先端をトリガ指先だとデフォルトし、親指が掌内の領域に入らず、且つ他のいずれかの指が手のひら又はこれにバインディングされた機能領域に触れようとすれば、当該指の指先がトリガ指先であると判断し、トリガ指先の位置をＰと定義するステップ２と、
システムが視差距離ありのＮ個の画像ビデオストリームを取得し、ここで、Ｎは、整数であり、Ｎ≧２であり、同じ時系列のＮ個の画像に対して、全ての画像においてトリガ指先Ｐの位置がいずれかの機能領域の左右両境界に対応する左トリガ判断点ＷＬと右トリガ判断点ＷＲとの間に入るか否かを追跡して判断し、そうであれば、各画像内の三つの目的点の位置値を算出し、目的点は、左トリガ判断点ＷＬ、トリガ指先Ｐ及び右トリガ判断点ＷＲを含み、三つの目的点の位置値のうちのＸ軸値（ＷＲＸ、ＰＸ、ＷＬＸ）を取り、ＷＬとＰとの差と、ＰとＷＲとの差の比（ＰＸ－ＷＲＸ）：（ＷＬＸ－ＰＸ）をそれぞれ算出し、Ｎ個の画像の全ての比がいずれも同じである場合のみ、トリガ指先Ｐが機能領域にタッチしていることを示し、機能領域の対応する内容を出力又はトリガするステップ３と、を含む。
【０００８】
前記ステップ３において、２つのカメラを左右のカメラとし、カメラの２つの中心点ＬとＲとの連結線をＸ軸とし、左カメラの視野において、左カメラの中心点Ｌと目的点Ｔとの連結線とＸ軸との夾角ラジアンをＴθＬとし、右カメラの視野において、右カメラの中心点Ｒと目的点Ｔとの連結線とＸ軸との夾角ラジアンをＴθＲとし、左右のカメラの２つの中心点ＬとＲとの視差距離をｄとすると、画像における目的点Ｔのそれぞれの位置（Ｘ、Ｚ）を算出し、
目的点Ｔが左右のカメラの２つの中心点ＬとＲの間にあると、数式１となり、
JPEG
2025104251000002.jpg
7
107
目的点Ｔが左カメラの中心点Ｌの左側にあると、数式２となり、
JPEG
2025104251000003.jpg
6
121
目的点Ｔが右カメラの中心点Ｒの右側にあると、数式３である。
JPEG
2025104251000004.jpg
7
95
【０００９】
前記機能領域は、円形であり、手のひらの関節連結線におけるいずれかの位置に設けられたプリセット点を円心とし、Ｗを直径として円を描く。
【００１０】
指節領域内、指節領域間、指節領域外又は掌心の手首とある指との間の位置に機能領域が描画されている。
（【００１１】以降は省略されています）

関連特許