特許ウォッチ

公開番号2025098949
公報種別公開特許公報(A)
公開日2025-07-02
出願番号2024203206
出願日2024-11-21
発明の名称エージェントコンパニオン用のアンビエントマルチデバイスフレームワーク
出願人グーグルエルエルシー,Google LLC
代理人個人,個人,個人
主分類H04L 67/303 20220101AFI20250625BHJP(電気通信技術)
要約【課題】環境にあるデバイスに基づいて出力生成を規定し、どのコンピューティングデバイスが出力を提供するかを決定するシステム及び非一時的コンピュータ可読媒体を提供する。
【解決手段】マルチデバイスシステムで出力を生成及び提供する方法であって、動的応答の生成及び表示を提供するために、環境ベースのプロンプト生成及び生成モデル応答生成を活用し、環境内の1つまたは複数のコンピューティングデバイスに関連付けられる入力データを取得することと、環境内の複数のコンピューティングデバイスを記述する環境データを取得することと、入力データ及び環境データに基づいてプロンプトを生成することと、モデル生成出力を生成するために生成モデルを用いてプロンプトを処理することと、モデル生成出力を、複数のコンピューティングデバイスのうちの特定のコンピューティングデバイスに送信することと、を含む。
【選択図】図3
特許請求の範囲【請求項１】
クエリ応答を提供するための出力デバイスを決定するためのコンピューティングシステムであって、
１つまたは複数のプロセッサ、及び
前記１つまたは複数のプロセッサによって実行されると、前記コンピューティングシステムに動作を実行させる命令を集合的に格納する、１つまたは複数の非一時的コンピュータ可読媒体、
を備え、前記動作が、
入力データを取得することであって、前記入力データは特定のユーザに関連付けられるクエリを含む、取得することと、
環境データを取得することであって、前記環境データは、前記ユーザの環境にある複数のコンピューティングデバイスを記述し、前記複数のコンピューティングデバイスは、複数の異なる出力コンポーネントに関連付けられる、取得することと、
前記入力データ及び前記環境データに基づいてプロンプトを生成することであって、前記プロンプトは、前記クエリを記述するデータ、及び前記複数のコンピューティングデバイスの少なくともサブセットに関連付けられるデバイス情報を含む、生成することと、
モデル生成出力を生成するために生成モデルを用いて前記プロンプトを処理することであって、前記モデル生成出力が前記クエリへの応答を含み、前記モデル生成出力が、前記複数のコンピューティングデバイスのうちの特定のコンピューティングデバイスに提供されるように生成される、処理することと、
前記モデル生成出力を前記特定のコンピューティングデバイスに送信することと、
を含む、システム。
続きを表示（約 1,900 文字）【請求項２】
前記モデル生成出力は、前記複数の異なる出力コンポーネントのうちの特定の出力コンポーネントに提供されるように生成され、
前記生成モデルは出力デバイス命令を生成し、前記出力デバイス命令は前記モデル生成出力を提供する前記複数のコンピューティングデバイスのうちの特定のコンピューティングデバイスを記述し、前記特定のコンピューティングデバイスは前記特定の出力コンポーネントに関連付けられ、
前記モデル生成出力は、前記出力デバイス命令に基づいて、前記特定のコンピューティングデバイスに送信される、請求項１に記載のシステム。
【請求項３】
前記モデル生成出力を生成するために前記生成モデルを用いて前記プロンプトを処理することは、
複数のモデル出力を生成することであって、前記複数のモデル出力は、複数の候補の応答を含む、生成すること、を含み、
前記モデル生成出力を前記特定のコンピューティングデバイスに送信することは、
前記複数のモデル出力のうちの第１のモデル出力を前記複数のコンピューティングデバイスのうちの第１のコンピューティングデバイスに送信することと、
前記複数のモデル出力のうちの第２のモデル出力を前記複数のコンピューティングデバイスのうちの第２のコンピューティングデバイスに送信することと、
を含む、請求項１に記載のシステム。
【請求項４】
前記第１のモデル出力が、ビジュアルディスプレイを介して表示するためのビジュアルデータを含み、前記第２のモデル出力が、スピーカコンポーネントを介して再生するためのオーディオデータを含む、請求項３に記載のシステム。
【請求項５】
前記第１のコンピューティングデバイスは、スマートテレビを含み、前記第２のコンピューティングデバイスは、スマートスピーカを含む、請求項４に記載のシステム。
【請求項６】
前記入力データ及び前記環境データに基づいて前記プロンプトを生成することは、
前記環境データに基づいて環境固有のデバイス構成を決定することと、
前記環境固有のデバイス構成に基づいて、プロンプトライブラリからプロンプトテンプレートを取得することと、
前記プロンプトを生成するために、前記入力データに基づいて前記プロンプトテンプレートを拡張することと、
を含む、請求項１に記載のシステム。
【請求項７】
前記環境固有のデバイス構成が、前記複数のコンピューティングデバイスのそれぞれの出力タイプ及びそれぞれの出力品質を記述し、前記プロンプトライブラリが、複数の異なるデバイス構成に関連付けられる複数の異なるプロンプトテンプレートを含む、請求項６に記載のシステム。
【請求項８】
前記複数のコンピューティングデバイスは、クラウドコンピューティングシステムを介して接続され、前記複数のコンピューティングデバイスのそれぞれは、前記クラウドコンピューティングシステムのプラットフォームに登録され、前記環境データは、前記クラウドコンピューティングシステムを使用して取得され、前記モデル生成出力は、前記クラウドコンピューティングシステムを介して送信される、請求項１に記載のシステム。
【請求項９】
前記複数のコンピューティングデバイスが、前記複数のコンピューティングデバイス内の他のコンピューティングデバイスのそれぞれに近接して配置され、前記複数のコンピューティングデバイスがローカルネットワークを介して通信可能に接続され、前記複数のコンピューティングデバイスのうちの特定のコンピューティングデバイスが、入力データの取得及びモデル生成出力の送信を促進する、請求項１に記載のシステム。
【請求項１０】
前記生成モデルは、アプリケーションプログラミングインターフェースを介して検索エンジンと通信可能に接続され、
前記モデル生成出力を生成するために前記生成モデルを用いて前記プロンプトを処理することは、
前記プロンプトに基づいてアプリケーション・プログラミング・インターフェース・コールを生成することと、
前記アプリケーション・プログラミング・インターフェース・コールに基づいて、前記検索エンジンを用いて複数の検索結果を決定することと、
前記モデル生成出力を生成するために前記生成モデルを用いて前記複数の検索結果を処理することと、
を含む、請求項１に記載のシステム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
優先権の主張
本願は、２０２３年１２月２０日に出願を行った米国非仮出願第１８／３９０，７６８号に基づき、その優先権を主張するものであり、参照により本明細書に組み込まれる。
続きを表示（約 3,000 文字）【０００２】
本開示は、一般に、マルチデバイスシステムにおける出力を生成及び提供することに関する。より具体的には、本開示は、環境にあるデバイスに基づいて出力生成を規定し、どのコンピューティングデバイスが出力を提供するかを決定することに関する。
【背景技術】
【０００３】
コンピューティングデバイスは、ユーザの応接室、寝室、勉強部屋、オフィス、及び／または他の環境全体で見出すことができる。複合的なデバイス環境は、インタラクトする複数のコンピューティングデバイスをユーザに提供し得、それは、スマートテレビ、スマートスピーカ、スマートアプライアンス、仮想アシスタントデバイス、タブレット、スマートウェアラブル、スマートフォン、及び／または他のコンピューティングデバイスを含み得、ユーザの環境全体に提供され得る。しかしながら、これらのデバイスの機能が、デバイス間に相互接続性がないことに基づいて利用されない場合がある。例えば、ユーザがスマートフォンで検索を実行している場合があるが、それが、スマートテレビが数フィート離れているにも拘らずスマートフォンでビデオ検索結果を再生させることができる。
【０００４】
状況全体を理解することが困難な場合がある。個人が、目の前にあるオブジェクトが何であるかを理解しようとしている場合でも、オブジェクトが他の場所で見つかるかどうか決定しようとしている場合でも、及び／またはインターネットの画像がどこからキャプチャされたかを決定しようとしている場合でも、テキスト検索だけでは困難な場合がある。特に、ユーザは、どの単語を使用するかを決定するのに苦労する場合がある。さらに、それらの言葉は、所望の結果を生成するのに十分に記述的ではない及び／または十分に富んでいない場合がある。
【発明の概要】
【０００５】
本開示の実施形態の態様及び利点は、以下の説明において部分的に示され、または説明から学習することができ、または実施形態の実践を通じて学習することができる。
【０００６】
本開示の１つの例示的な態様は、クエリ応答を提供するための出力デバイスを決定するためのコンピューティングシステムを対象とする。システムは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行されると、コンピューティングシステムに動作を実行させる命令を集合的に格納する１つまたは複数の非一時的コンピュータ可読媒体とを含むことができる。動作は、入力データを取得することを含むことができる。入力データは、特定のユーザに関連付けられるクエリを含むことができる。動作は、環境データを取得することを含むことができる。環境データは、ユーザの環境にある複数のコンピューティングデバイスを記述することができる。いくつかの実施態様では、複数のコンピューティングデバイスは、複数の異なる出力コンポーネントに関連付けられ得る。動作は、入力データ及び環境データに基づいてプロンプトを生成することを含むことができる。プロンプトは、クエリを記述するデータ、及び複数のコンピューティングデバイスの少なくともサブセットに関連付けられるデバイス情報を含むことができる。動作は、モデル生成出力を生成するために、生成モデルを用いてプロンプトを処理することを含むことができる。モデル生成出力は、クエリに対する応答を含むことができる。いくつかの実施態様では、モデル生成出力は、複数のコンピューティングデバイスのうちの特定のコンピューティングデバイスに提供されるように生成され得る。動作は、モデル生成出力を特定のコンピューティングデバイスに送信することを含むことができる。
【０００７】
いくつかの実施態様では、モデル生成出力は、複数の異なる出力コンポーネントのうちの特定の出力コンポーネントに提供されるように生成され得る。生成モデルは、出力デバイス命令を生成できる。出力デバイス命令は、モデル生成出力を提供する複数のコンピューティングデバイスのうちの特定のコンピューティングデバイスを記述することができる。特定のコンピューティングデバイスは、特定の出力コンポーネントに関連付けられ得る。モデル生成出力は、出力デバイス命令に基づいて、特定のコンピューティングデバイスに送信できる。
【０００８】
いくつかの実施態様では、モデル生成出力を生成するために生成モデルを用いてプロンプトを処理することは、複数のモデル出力を生成することを含み得る。複数のモデル出力は複数の候補の応答を含むことができる。モデル生成出力を特定のコンピューティングデバイスに送信することは、複数のモデル出力の第１のモデル出力を複数のコンピューティングデバイスの第１のコンピューティングデバイスに送信すること、及び複数のモデル出力の第２のモデル出力を複数のコンピューティングデバイスの第２のコンピューティングデバイスに送信することを含み得る。第１のモデル出力は、ビジュアルディスプレイを介して表示するためのビジュアルデータを含むことができる。第２のモデル出力は、スピーカコンポーネントを介して再生するためのオーディオデータを含むことができる。いくつかの実施態様では、第１のコンピューティングデバイスは、スマートテレビを含むことができ、第２のコンピューティングデバイスは、スマートスピーカを含む。
【０００９】
いくつかの実施態様では、入力データ及び環境データに基づいてプロンプトを生成することは、環境データに基づいて環境固有のデバイス構成を決定すること、環境固有のデバイス構成に基づいてプロンプトライブラリからプロンプトテンプレートを取得すること、及びプロンプトを生成するために、入力データに基づいてプロンプトテンプレートを拡張することを含み得る。環境固有のデバイス構成は、複数のコンピューティングデバイスのそれぞれの出力タイプ及びそれぞれの出力品質を記述することができる。プロンプトライブラリは、複数の異なるデバイス構成に関連付けられる複数の異なるプロンプトテンプレートを含み得る。
【００１０】
いくつかの実施態様では、複数のコンピューティングデバイスをクラウドコンピューティングシステムを介して接続することができる。複数のコンピューティングデバイスのそれぞれは、クラウドコンピューティングシステムのプラットフォームに登録することができる。環境データは、クラウドコンピューティングシステムで取得できる。モデル生成出力は、クラウドコンピューティングシステムを介して送信できる。いくつかの実施態様では、複数のコンピューティングデバイスは、複数のコンピューティングデバイス内部の他のコンピューティングデバイスのそれぞれに近接して配置することができる。複数のコンピューティングデバイスは、ローカルネットワークに亘って通信可能に接続され得る。複数のコンピューティングデバイスのうちの特定のコンピューティングデバイスは、入力データの取得及びモデル生成出力の送信を促進し得る。
（【００１１】以降は省略されています）

関連特許