特許ウォッチ

公開番号2025111730
公報種別公開特許公報(A)
公開日2025-07-30
出願番号2025075246,2023505446
出願日2025-04-30,2020-08-25
発明の名称オフスクリーンジェスチャ検出を使用したコンピューティングデバイス対話モードの開始
出願人グーグルエルエルシー,Google LLC
代理人弁理士法人深見特許事務所
主分類G06F 3/0488 20220101AFI20250723BHJP(計算;計数)
要約【課題】オフスクリーンジェスチャ検出を使用したコンピューティングデバイス対話モードの開始方法を提供する。
【解決手段】モバイルコンピューティングデバイスが、1つ以上のセンサに含まれる少なくとも慣性測定ユニットによって提供されるセンサ信号の第1のグループに基づいて、ハウジングの部分において実行される少なくとも1つの第1のジェスチャを特定することを備える。対話モードを開始することと、特定の機能に関連付けられた対話モードのための少なくとも1つの視覚または音声インジケータを出力することと、1つ以上のセンサによって提供されるセンサ信号の第3のグループに基づいて、特定の機能のユーザ選択を確認するために、ハウジングの1つ以上の部分において実行される少なくとも1つの第2のジェスチャを特定することと、少なくとも1つの第2のジェスチャを特定することに応答して、特定の機能を実行することとを備える。
【選択図】図1A
特許請求の範囲【請求項１】
方法であって、
ハウジングと存在感知表示デバイスとを含むモバイルコンピューティングデバイスが、少なくとも慣性測定ユニットによって提供されるセンサ信号の第１のグループに基づいて、前記ハウジングの１つ以上の部分において実行される少なくとも１つの第１のジェスチャを特定することを備え、前記ハウジングの前記１つ以上の部分は、前記存在感知表示デバイスとは別個であり、前記慣性測定ユニットは、前記モバイルコンピューティングデバイスの１つ以上のセンサに含まれ、前記方法はさらに、
前記少なくとも１つの第１のジェスチャを特定することに応答して、前記モバイルコンピューティングデバイスが、対話モードを開始することと、
前記モバイルコンピューティングデバイスが、前記モバイルコンピューティングデバイスの特定の機能に関連付けられた前記対話モードのための少なくとも１つの視覚または音声インジケータを出力することと、
前記モバイルコンピューティングデバイスが、前記対話モードのための前記少なくとも１つの視覚または音声インジケータに関連付けられた前記特定の機能のユーザ選択を確認するために、前記１つ以上のセンサによって提供されるセンサ信号の第２のグループに基づいて、前記ハウジングの前記１つ以上の部分において実行される少なくとも１つの第２のジェスチャを特定することと、
前記少なくとも１つの第２のジェスチャを特定することに応答して、前記モバイルコンピューティングデバイスが、前記特定の機能を実行することとを備える、方法。
続きを表示（約 3,500 文字）【請求項２】
前記少なくとも１つの第１のジェスチャを特定することは、前記モバイルコンピューティングデバイスが、少なくとも前記慣性測定ユニットによって提供されるセンサ信号の前記第１のグループに基づいて、前記ハウジングの前記１つ以上の部分において実行される少なくとも１つの第１のタップジェスチャを特定することを含み、
前記存在感知表示デバイスは、前記モバイルコンピューティングデバイスの前面側に位置し、
前記ハウジングの前記１つ以上の部分は、（ｉ）前記モバイルコンピューティングデバイスの前記前面側に隣接する前記モバイルコンピューティングデバイスの側に位置する前記ハウジングの少なくとも１つの側面部分、または（ｉｉ）前記モバイルコンピューティングデバイスの背面側に位置する前記ハウジングの少なくとも１つの背面部分のうちの１つ以上を含み、前記背面側は、前記モバイルコンピューティングデバイスの前記前面側の反対側にある、請求項１に記載の方法。
【請求項３】
前記対話モードは、アクセシビリティ対話モードを含み、前記１つ以上のセンサはさらに、前記存在感知表示デバイスを含み、前記方法はさらに、
前記モバイルコンピューティングデバイスが、前記存在感知表示デバイスによって提供されるセンサ信号の第３のグループに基づいて、前記存在感知表示デバイスにおいて出力されるグラフィカルユーザインターフェイスの領域において実行される少なくとも１つの第３のジェスチャを特定することを備え、
前記アクセシビリティ対話モードのための前記少なくとも１つの視覚または音声インジケータを出力することは、前記モバイルコンピューティングデバイスが、前記少なくとも１つの第３のジェスチャが実行される前記グラフィカルユーザインターフェイスの前記領域に基づいて、前記アクセシビリティ対話モードのための前記少なくとも１つの視覚または音声インジケータを出力することを含む、請求項２に記載の方法。
【請求項４】
前記アクセシビリティ対話モードのための前記少なくとも１つの視覚または音声インジケータを出力することは、前記モバイルコンピューティングデバイスが、前記第３のジェスチャが実行される前記グラフィカルユーザインターフェイスの前記領域に表示されるコ
ンテンツを示す音声スピーチを出力することを含み、
前記少なくとも１つの第２のジェスチャを特定することは、前記モバイルコンピューティングデバイスが、少なくとも前記慣性測定ユニットによって提供されるセンサ信号の前記第２のグループに基づいて、前記グラフィカルユーザインターフェイスの前記領域に表示される前記コンテンツに関連付けられた前記特定の機能の前記ユーザ選択を確認するために、前記ハウジングの前記少なくとも１つの背面部分において実行されるバックタップジェスチャを特定することを含む、請求項３に記載の方法。
【請求項５】
前記第３のジェスチャが実行される前記グラフィカルユーザインターフェイスの前記領域に表示される前記コンテンツは、（ｉ）アプリケーションアイコン、（ｉｉ）ウェブリンク、または（ｉｉｉ）グラフィカルキーボードのキーのうちの１つを含み、
前記特定の機能を実行することは、
前記モバイルコンピューティングデバイスが、前記アプリケーションアイコンに関連付けられたアプリケーションを実行すること、
前記モバイルコンピューティングデバイスが、前記ウェブリンクに関連付けられたウェブサイトにアクセスすること、または、
前記モバイルコンピューティングデバイスが、前記グラフィカルキーボードの前記キーを選択することのうちの１つを含む、請求項４に記載の方法。
【請求項６】
前記アクセシビリティ対話モードのための前記少なくとも１つの視覚または音声インジケータを出力することは、前記モバイルコンピューティングデバイスが、前記第３のジェスチャが実行される前記グラフィカルユーザインターフェイスの前記領域に表示されるコンテンツの視覚的な拡大図を出力することを含み、
前記少なくとも１つの第２のジェスチャを特定することは、前記モバイルコンピューティングデバイスが、少なくとも前記慣性測定ユニットによって提供されるセンサ信号の前記第２のグループに基づいて、前記グラフィカルユーザインターフェイスの前記領域に表示される前記コンテンツに関連付けられる前記特定の機能の前記ユーザ選択を確認するために、前記ハウジングの前記少なくとも１つの背面部分において実行されるバックタップジェスチャを特定することを含む、請求項３に記載の方法。
【請求項７】
前記アクセシビリティ対話モードのための前記少なくとも１つの視覚または音声インジケータを出力することは、前記モバイルコンピューティングデバイスが、前記第３のジェスチャが実行される前記グラフィカルユーザインターフェイスの前記領域に表示される前記コンテンツを示す音声スピーチを出力することをさらに含む、請求項６に記載の方法。
【請求項８】
前記対話モードはアシスト対話モードを含み、前記方法はさらに、
前記アシスト対話モードを開始することに応答して、前記モバイルコンピューティングデバイスが、前記存在感知表示デバイスにおける表示のために、複数のメニュー項目を含む視覚メニューを出力することと、
前記モバイルコンピューティングデバイスが、少なくとも前記慣性測定ユニットによって提供されるセンサ信号の第３のグループに基づいて、前記モバイルコンピューティングデバイスの検出された動きまたは回転に関連付けられた傾斜ジェスチャを特定することとを備え、
前記アシスト対話モードのための前記少なくとも１つの視覚または音声インジケータを出力することは、前記モバイルコンピューティングデバイスが、前記存在感知表示デバイスにおける表示のために、前記モバイルコンピューティングデバイスの前記検出された動きもしくは回転の方向または向きのうちの少なくとも１つに基づいて、前記複数のメニュー項目からメニュー項目を出力することを含み、前記メニュー項目は前記特定の機能に関連付けられ、
前記少なくとも１つの第２のジェスチャを特定することは、前記モバイルコンピューテ
ィングデバイスが、少なくとも前記慣性測定ユニットによって提供されるセンサ信号の前記第２のグループに基づいて、前記メニュー項目に関連付けられた前記特定の機能の前記ユーザ選択を確認するために、前記ハウジングの前記少なくとも１つの背面部分において実行されるバックタップジェスチャを特定することを含む、請求項２に記載の方法。
【請求項９】
前記メニュー項目に関連付けられた前記特定の機能は、スクロール機能、スクロールダウン機能、ページバック機能、またはスイッチアプリケーション機能のうちの１つである、請求項８に記載の方法。
【請求項１０】
前記対話モードは、背景対話モードを含み、
前記背景対話モードのための前記少なくとも１つの視覚または音声インジケータを出力することは、前記モバイルコンピューティングデバイスが、前記存在感知表示デバイスにおける表示のために、前記特定の機能に関連付けられた１つ以上の背景ユーザインターフェイス要素を含む対話型壁紙を出力することを含み、
前記少なくとも１つの第２のジェスチャを特定することは、前記モバイルコンピューティングデバイスが、前記１つ以上のセンサによって提供されるセンサ信号の前記第２のグループに基づいて、前記１つ以上の背景ユーザインターフェイス要素に関連付けられた前記特定の機能の前記ユーザ選択を確認するために、前記少なくとも１つの第２のジェスチャを特定することを含み、
前記少なくとも１つの第２のジェスチャは、（ｉ）前記ハウジングの前記少なくとも１つの側面部分または前記存在感知表示デバイスの少なくとも１つの部分のうちの１つ以上において実行されるエッジタップジェスチャ、または（ｉｉ）前記ハウジングの前記少なくとも１つの背面部分において実行されるバックタップジェスチャのうちの１つを含む、請求項２に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
背景
モバイルコンピューティングデバイスを含む既存のコンピューティングデバイスは、さまざまな異なるアプリケーションを実行するように構成され得る。多くの場合、これらのコンピューティングデバイスは、ユーザがこれらのアプリケーションによって出力されるグラフィカルユーザインターフェイスと対話することを可能にするタッチスクリーンを提供する。たとえば、ユーザは、１本以上の指を使用して、タッチスクリーンにおいてタッチベースのジェスチャを実行し得る。タッチスクリーンにおいてこれらのタッチベースのジェスチャを検出すると、アプリケーションは、タッチスクリーンに表示されるオブジェクトの選択、移動、または操作などの１つ以上の対応する機能を実行し得る。他の場合には、特定のコンピューティングデバイスは、ユーザがそのようなデバイスの背面ハウジングにおいて複数のタップジェスチャを実行することに応答して、定義された機能（たとえば、スクリーンショットのキャプチャ、デバイスロック機能の実行）を実行するように構成され得る。
続きを表示（約 5,400 文字）【発明の概要】
【発明が解決しようとする課題】
【０００２】
概要
本開示は、オフスクリーンジェスチャ検出を使用して、たとえば、デバイスハウジングの１つ以上の部分においてユーザによって行われる１つ以上のオフスクリーンジェスチャ（たとえば、タップジェスチャ）を検出するために、コンピューティングデバイス対話モードを開始するための技術に関する。そのような対話モードを開始すると、コンピューティングデバイスは、１つ以上の追加的に検出されたオンスクリーンジェスチャおよび／またはオフスクリーンジェスチャに基づいて、１つ以上の機能を実行するように構成され得る。オフスクリーン対話は、場合によっては、片手および／またはアイズフリーモバイル対話を可能にし得る。さまざまな例では、モバイルコンピューティングデバイスは、１つ以上のセンサ（たとえば、加速度計、ジャイロスコープ、および／または磁力計のうちの１つ以上を含む慣性測定ユニット）を利用して、デバイスハウジングの１つ以上の部分においてユーザによって実行されるオフスクリーンジェスチャを検出可能である。
【課題を解決するための手段】
【０００３】
一例では、方法は、ハウジングと存在感知表示デバイスとを含むモバイルコンピューティングデバイスが、少なくとも慣性測定ユニットによって提供されるセンサ信号の第１のグループに基づいて、ハウジングの１つ以上の部分において実行される少なくとも１つの第１のジェスチャを特定することを備え、ハウジングの１つ以上の部分は、存在感知表示デバイスとは別個であり、慣性測定ユニットは、モバイルコンピューティングデバイスの１つ以上のセンサに含まれ、方法はさらに、少なくとも１つの第１のジェスチャを特定することに応答して、モバイルコンピューティングデバイスが、対話モードを開始することと、モバイルコンピューティングデバイスの特定の機能に関連付けられた対話モードのための少なくとも１つの視覚または音声インジケータを出力することと、モバイルコンピューティングデバイスが、対話モードのための少なくとも１つの視覚または音声インジケータに関連付けられた特定の機能のユーザ選択を確認するために、１つ以上のセンサによって提供されるセンサ信号の第３のグループに基づいて、ハウジングの１つ以上の部分において実行される少なくとも１つの第２のジェスチャを特定することと、少なくとも１つの第２のジェスチャを特定することに応答して、モバイルコンピューティングデバイスが、特定の機能を実行することとを備える。
【０００４】
別の例では、モバイルコンピューティングデバイスは、存在感知表示デバイスと、存在感知ディスプレイに結合されたハウジングと、慣性測定ユニットを含む１つ以上のセンサと、少なくとも１つのプロセッサと、コンピュータ読取可能ストレージデバイスとを備える。コンピュータ読取可能ストレージデバイスは、少なくとも１つのプロセッサによって実行可能な命令を記憶するように構成され、命令は、少なくとも慣性測定ユニットによって提供されるセンサ信号の第１のグループに基づいて、ハウジングの１つ以上の部分において実行される少なくとも１つの第１のジェスチャを特定させ、ハウジングの１つ以上の部分は、存在感知表示デバイスとは別個であり、命令はさらに、少なくとも１つの第１のジェスチャを特定することに応答して、対話モードを開始させ、モバイルコンピューティングデバイスの特定の機能に関連付けられた対話モードのための少なくとも１つの視覚または音声インジケータを出力させ、対話モードのための少なくとも１つの視覚または音声インジケータに関連付けられた特定の機能のユーザ選択を確認するために、１つ以上のセンサによって提供されるセンサ信号の第３のグループに基づいて、ハウジングの１つ以上の部分において実行される少なくとも１つの第２のジェスチャを特定させ、少なくとも１つの第２のジェスチャを特定することに応答して、特定の機能を実行させる。
【０００５】
別の例では、コンピュータ読取可能ストレージデバイスは、実行されると、モバイルコンピューティングデバイスの少なくとも１つのプロセッサに動作を実行させる命令を記憶する。これらの動作の例は、少なくとも慣性測定ユニットによって提供されるセンサ信号の第１のグループに基づいて、モバイルコンピューティングデバイスのハウジングの１つ以上の部分において実行される少なくとも１つの第１のジェスチャを特定することを含み、ハウジングの１つ以上の部分は、存在感知表示デバイスとは別個であり、慣性測定ユニットは、モバイルコンピューティングデバイスの１つ以上のセンサに含まれ、動作はさらに、少なくとも１つの第１のジェスチャを特定することに応答して、対話モードを開始することと、モバイルコンピューティングデバイスの特定の機能に関連付けられた対話モードのための少なくとも１つの視覚または音声インジケータを出力することと、対話モードのための少なくとも１つの視覚または音声インジケータに関連付けられた特定の機能のユーザ選択を確認するために、１つ以上のセンサによって提供されるセンサ信号の第３のグループに基づいて、ハウジングの１つ以上の部分において実行される少なくとも１つの第２のジェスチャを特定することと、少なくとも１つの第２のジェスチャを特定することに応答して、特定の機能を実行することとを含む。
【０００６】
１つ以上の例について、添付の図面および以下の説明に詳細に記載されている。本開示の他の特徴、目的、および利点は、説明および図面、ならびに特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【０００７】
本開示の１つ以上の態様に係る、オフスクリーンジェスチャ検出を使用して対話モードを開始するように構成されたモバイルコンピューティングデバイスの例を示す概念図である。
本開示の１つ以上の態様に係る、オフスクリーンジェスチャ検出を使用して対話モードを開始するように構成されたモバイルコンピューティングデバイスの例を示す概念図である。
本開示の１つ以上の態様に係る、オフスクリーンジェスチャ検出を使用して対話モードを開始するように構成されたモバイルコンピューティングデバイスの例を示す概念図である。
本開示の１つ以上の態様に係る、モバイルコンピューティングデバイスの例を示すブロック図である。
本開示の１つ以上の態様に係る、ジェスチャ属性を特定するためのニューラルネットワークモデルの使用例を示すブロック図である。
本開示の１つ以上の態様に係る、アシスト対話モードを開始するように構成されたモバイルコンピューティングデバイスの例を示す概念図である。
本開示の１つ以上の態様に係る、アシスト対話モードを開始するように構成されたモバイルコンピューティングデバイスの例を示す概念図である。
本開示の１つ以上の態様に係る、タップ・スワイプ対話のための慣性対話モードを開始するように構成されたモバイルコンピューティングデバイスの例を示す概念図である。
本開示の１つ以上の態様に係る、タップ・スワイプ対話のための慣性対話モードを開始するように構成されたモバイルコンピューティングデバイスの例を示す概念図である。
本開示の１つ以上の態様に係る、タップ・スワイプ対話のための慣性対話モードを開始するように構成されたモバイルコンピューティングデバイスの例を示す概念図である。
本開示の１つ以上の態様に係る、背景ユーザインターフェイス対話のための背景モードを開始するように構成されたモバイルコンピューティングデバイスの例を示す概念図である。
本開示の１つ以上の態様に係る、背景ユーザインターフェイス対話のための背景モードを開始するように構成されたモバイルコンピューティングデバイスの例を示す概念図である。
本開示の１つ以上の態様に係る、背景ユーザインターフェイス対話のための背景モードを開始するように構成されたモバイルコンピューティングデバイスの例を示す概念図である。
本開示の１つ以上の態様に係る、モバイルコンピューティングデバイスの動作例を示すフロー図である。
【発明を実施するための形態】
【０００８】
詳細な説明
図１Ａ～図１Ｃは、本開示の１つ以上の態様に係る、オフスクリーンジェスチャ検出を使用して、モバイルコンピューティングデバイス１００のための対話モードを開始するように構成されたモバイルコンピューティングデバイス１００の例を示す概念図である。モバイルコンピューティングデバイス１００の例は、限定されないが、携帯電話、タブレットコンピュータ、携帯情報端末（ＰＤＡ）、ポータブルゲームデバイス、ポータブルメディアプレーヤ、ウェアラブルコンピューティングデバイス（たとえば、腕時計、手首装着型コンピューティングデバイス、頭部装着型コンピューティングデバイス）、または他のタイプのコンピューティングデバイスを含み得る。以下でさらに詳細に説明するように、モバイルコンピューティングデバイス１００は、１つ以上のプロセッサでもよい、または１つ以上のプロセッサを含んでもよい。モバイルコンピューティングデバイス１００は、表示デバイス１０２（たとえば、存在感知表示デバイス）および１つ以上のセンサ１０４を備える。センサ１０４は、タッチセンサまたは存在感知センサ、マイクロフォン、内部測定ユニット（たとえば、１つ以上のジャイロスコープ、加速度計、磁力計）、気圧計、カメラセンサ、光センサ、および温度センサ等の任意の数の１つ以上のセンサを含んでもよい。場合によっては、センサ１０４のうちの１つ以上は、表示デバイス１０２（たとえば、表示デバイス１０２が存在感知ディスプレイを備える場合）に含まれてもよい、または他の態様ではそれと関連付けられてもよい。
【０００９】
くわえて、モバイルコンピューティングデバイス１００は、ハウジング１０３も備える。ハウジング１０３は、１つ以上の前面部分、１つ以上の背面部分、および１つ以上の側面部分（たとえば、左側面部分、右側面部分、上側面部分、下側面部分）などの１つ以上の部分を含み得る。さまざまな例では、モバイルコンピューティングデバイス１００の前
面側は、表示デバイス１０２と、ハウジング１０３の１つ以上の前面部分とを含み得る。モバイルコンピューティングデバイス１００の前面側と反対側に位置するモバイルコンピューティングデバイス１００の裏面側または背面側は、ハウジング１０３の１つ以上の背面部分を含み得る。モバイルコンピューティングデバイス１００の正面側および背面側に隣接するモバイルコンピューティングデバイス１００の残りの側面またはエッジは、ハウジング１０３の１つ以上の側面部分を含んでもよい。ハウジング１０３は、表示デバイス１０２を含んでも含まなくてもよい。ハウジング１０３の１つ以上の部分（たとえば、ハウジング１０３の１つ以上の側面部分および／または背面部分）は、表示デバイス１０２とは別個であり、かつ区別される。
【００１０】
表示デバイス１０２は、コンピューティングデバイス１００のための入力デバイスおよび／または出力デバイスとして機能し得る。表示デバイス１０２は、さまざまな技術を使用して実装され得る。たとえば、表示デバイス１０２は、抵抗膜方式タッチスクリーン、表面弾性波タッチスクリーン、容量性タッチスクリーン、投影静電容量式タッチスクリーン、存在感知スクリーン、音響パルス認識タッチスクリーン、レーダ技術を介して動きを検出する存在感知スクリーン、または別の存在感知技術など、存在感知入力デバイスを使用する入力デバイスとして機能し得る。上述のように、特定の場合には、センサ１０４のうちの１つ以上は、表示デバイス１０２内に含まれてもよい、または他の態様ではそれと関連付けられてもよい。表示デバイス１０２は、液晶ディスプレイ（ＬＣＤ）、ドットマトリックスディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、電子インク、またはモバイルコンピューティングデバイス１００のユーザに可視情報を出力可能な同様のモノクロもしくはカラーディスプレイなど、１つ以上の表示デバイスのいずれかを使用する出力デバイスとして機能し得る。たとえば、表示デバイス１０２は、モバイルコンピューティングデバイス１００で実行するアプリケーション１３２のさまざまなユーザインターフェイスに関連付けられた出力を提示し得る。ユーザは、アプリケーション１３２の各々のそれぞれのユーザインターフェイスと対話して、コンピューティングモバイルデバイス１００に、対応するアプリケーション機能に関する動作を実行させることができる。
（【００１１】以降は省略されています）

関連特許