特許ウォッチ

公開番号2025087611
公報種別公開特許公報(A)
公開日2025-06-10
出願番号2024202057
出願日2024-11-20
発明の名称ピンチ状態検出システム及び方法
出願人ダブルポイントテクノロジーズオーイー,Doublepoint Technologies Oy
代理人個人
主分類G06F 3/01 20060101AFI20250603BHJP(計算;計数)
要約【課題】ユーザの手の通常の使用を妨げることなく、手のわずかな動き及びジェスチャをデジタイズしてユーザインタフェースコマンドに変換する入力デバイス及び対応する方法を提供する。
【解決手段】本デバイス及び方法は、例えば、複数のセンサから受信されたデータストリームのうちのセンサデータ内の過渡事象に基づいてジェスチャ遷移を検出して分類することによってジェスチャ状態を特定することが可能であり、それらのセンサは異なるタイプのセンサであることが好ましい。
【選択図】図1A
特許請求の範囲【請求項１】
処理コア（７０１）と、コンピュータプログラムコードを含む少なくとも１つのメモリ（７０７）と、を含む手首ウェアラブル装置（１００）であって、前記少なくとも１つのメモリ（７０７）及び前記コンピュータプログラムコードは、前記少なくとも１つの処理コア（７０１）とともに、少なくとも、
少なくとも１つの光学式センサ（１０５）及び少なくとも１つのＩＭＵ（１０４）からデータストリームを受信することであって、前記センサはユーザの測定を行うように構成されている、前記受信することと、
前記受信されたデータストリームをジェスチャ分類器（３８０）に渡すことと、
前記ジェスチャ分類器（３８０）を使用して、前記受信されたデータストリームのうちの前記センサデータ内の過渡事象に基づいてジェスチャ遷移を検出して分類することによってジェスチャ状態を特定することであって、前記ジェスチャ分類器（３８０）は、前記ジェスチャ遷移を検出するようにトレーニングされたニューラルネットワーク分類器を含む、前記特定することと、
を前記装置に行わせるように構成されており、
前記データストリームは、任意選択で前処理されてから前記ジェスチャ分類器に渡されてよい、
装置。
続きを表示（約 1,000 文字）【請求項２】
前記特定されたジェスチャ状態を、アプリケーション状態及び／又はコンテキストに基づいて修正を適用するように構成されたインタラクション解釈器及び／又は状態解釈器に渡すように更に構成されている、請求項１に記載の装置。
【請求項３】
前記特定されたジェスチャ状態に基づいて、前記受信されたデータストリームからピンチ状態を推論するように更に構成されている、請求項１～２のいずれか一項に記載の装置。
【請求項４】
前記インタラクション解釈器及び／又は状態解釈器が、前記特定されたジェスチャ状態をエクステンデッドリアリティ（ＸＲ）アプリケーションに渡すように構成されるように、更に構成されている、請求項１～３のいずれか一項に記載の装置。
【請求項５】
ＸＲアプリケーションから、意図推定又はアフォーダンスプロファイルの少なくとも一方を受信するように更に構成されている、請求項１～４のいずれか一項に記載の装置。
【請求項６】
適応時間窓が前記検出の一環として使用され、前記適応時間窓が、典型的なジェスチャ継続時間（例えば、１ミリ秒）に合わせて特別に調整されるように、更に構成されている、請求項１～５のいずれか一項に記載の装置。
【請求項７】
前記ＸＲアプリケーションからコンテキスト情報（例えば、修正及び／又はコンテキストクルー）を受信するように更に構成されており、前記受信されたコンテキスト情報を使用してステートフルネス検出を調節するように構成されている、請求項１～６のいずれか一項に記載の装置。
【請求項８】
凝視追跡情報（例えば、前記ユーザの凝視の位置及び近くのインタラクタブルに関する情報）を受信するように更に構成されており、前記受信された凝視追跡情報を使用してステートフルネスを調節するように構成されている、請求項１～７のいずれか一項に記載の装置。
【請求項９】
デッドレコニング修正及びコンテキストキューを適用してステートフルネス検出を改善するように更に構成されている、請求項１～８のいずれか一項に記載の装置。
【請求項１０】
リカレントモデルを使用してジェスチャ履歴を取り込み、ステートフルネス検出を改善するように更に構成されている、請求項１～９のいずれか一項に記載の装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示の様々な例示的実施形態は、ウェアラブル装置及び方法に関し、本装置及び方法は、デバイスを制御することに使用可能であり、特に、コンピューティング及びエクステンデッドリアリティのユーザインタフェースアプリケーションの分野においてデバイスを制御することに使用可能である。エクステンデッドリアリティ（ＸＲ）は、オーグメンテッドリアリティ（ＡＲ）（拡張現実）、バーチャルリアリティ（ＶＲ）（仮想現実）、及びミクストリアリティ（ＭＲ）（複合現実）を包含する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
デジタルデバイスは、伝統的に、専用の物理コントローラで制御されてきた。例えば、コンピュータはキーボードとマウスで操作でき、ゲームコンソールはハンドヘルドコントローラで操作でき、スマートフォンはタッチスクリーンで操作できる。通常、こうした物理コントローラは、ユーザのアクションに基づくユーザからの入力を受けるセンサ及び／又はボタンを含む。そのような別個のコントローラは広く普及しているが、それらは、ユーザの手とコンピューティングデバイスとの間に余分なテクノロジ層を追加することでヒューマンマシンインタラクションを遅らせる。加えて、そのような専用デバイスは、典型的には、特定のデバイスを制御することにのみ適する。又、そのようなデバイスは、例えば、ユーザがそのコントローラを使用している間は自分の手を他の目的に使用することができないというように、ユーザの邪魔になる場合がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、上記従来の技術における課題を解決するためになされたものである。
【課題を解決するための手段】
【０００４】
ＸＲユーザインタフェースの分野では、上述の問題に対する改善が必要とされている。本明細書に開示の発明のような好適な入力デバイスは、人の手の通常の使用を邪魔することなく、微細な手の動きやジェスチャを直接デジタイズしてマシンコマンドに変換する。本開示の実施形態は、例えば、少なくとも１つのセンサ、好ましくは複数のセンサから受信されたセンサデータストリームに基づいてジェスチャ状態を特定することによってユーザアクションを検出することが可能であり、センサは、様々なタイプがあることが好ましい。
【０００５】
本発明は、独立請求項に記載の特徴によって定義される。幾つかの具体的な実施形態が従属請求項において定義される。
【０００６】
本発明の第１の態様によれば、処理コアと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を含む手首ウェアラブル装置が提供され、少なくとも１つのメモリ及びコンピュータプログラムコードは、少なくとも１つの処理コアとともに、少なくとも、少なくとも１つの光学式センサ及び少なくとも１つのＩＭＵからデータストリームを受信することであって、これらのセンサはユーザの測定を行うように構成されている、上記受信することと、受信されたデータストリームをジェスチャ分類器に渡すことと、ジェスチャ分類器を使用して、受信されたデータストリームのうちのセンサデータ内の過渡事象に基づいてジェスチャ遷移を検出して分類することによってジェスチャ状態を特定することであって、ジェスチャ分類器は、上記ジェスチャ遷移を検出するようにトレーニングされたニューラルネットワーク分類器を含む、上記特定することと、を装置に行わせるように構成されており、データストリームは、任意選択で前処理されてからジェスチャ分類器に渡されてよい。
【０００７】
本発明の第２の態様によれば、取得されたデータから選択ジェスチャを識別する方法が提供され、本方法は、少なくとも１つの光学式センサ及び少なくとも１つのＩＭＵからデータストリームを受信するステップであって、これらのセンサはユーザの測定を行うように構成されている、上記受信するステップと、受信されたデータストリームをジェスチャ分類器に渡すステップと、ジェスチャ分類器を使用して、受信されたデータストリームのうちのセンサデータ内の過渡事象に基づいてジェスチャ遷移を検出して分類することによってジェスチャ状態を特定するステップであって、ジェスチャ分類器は、上記ジェスチャ遷移を検出するようにトレーニングされたニューラルネットワーク分類器を含む、上記特定するステップと、を含み、データストリームは、任意選択で前処理されてからジェスチャ分類器に渡されてよい。
【０００８】
本発明の第３の態様によれば、コンピュータプログラムが提供され、このコンピュータプログラムは、少なくとも１つのプロセッサによって実行されると、少なくとも、少なくとも１つの光学式センサ及び少なくとも１つのＩＭＵからデータストリームを受信することであって、これらのセンサはユーザの測定を行うように構成されている、上記受信することと、受信されたデータストリームをジェスチャ分類器に渡すことと、ジェスチャ分類器を使用して、受信されたデータストリームのうちのセンサデータ内の過渡事象に基づいてジェスチャ遷移を検出して分類することによってジェスチャ状態を特定することであって、ジェスチャ分類器は、上記ジェスチャ遷移を検出するようにトレーニングされたニューラルネットワーク分類器を含む、上記特定することと、を装置に行わせ、データストリームは、任意選択で前処理されてからジェスチャ分類器に渡されてよい。
【０００９】
本発明の第４の態様によれば、コンピュータ可読命令のセットを格納している非一時的コンピュータ可読媒体が提供され、この命令セットは、プロセッサ上で実行されると、第２の態様が実施されること、又はプロセッサを含む装置が第１の態様に従って構成されることを引き起こす。
【図面の簡単な説明】
【００１０】
乃至
本発明の実施形態のうちの少なくとも幾つかの実施形態をサポートできる例示的な装置１００の概略図を示す。
ユーザアクションに対応する、例示的なセンサデータを示す。
本発明の実施形態のうちの少なくとも幾つかの実施形態をサポートできる装置の例示的な測定範囲を示す。
本発明の実施形態のうちの少なくとも幾つかの実施形態をサポートできる装置の例示的なユーザインタフェースインタラクタブルを示す。
本発明の少なくとも幾つかの実施形態をサポートできる例示的なプロセスをフローチャート形式で示す。
本発明の少なくとも幾つかの実施形態をサポートできる装置を示す。
本発明の少なくとも幾つかの実施形態をサポートできる装置を示す。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許