特許ウォッチ

公開番号2024059598
公報種別公開特許公報(A)
公開日2024-05-01
出願番号2023178743
出願日2023-10-17
発明の名称テキストから画像への置換のための視覚的検索の決定
出願人グーグルエルエルシー,Google LLC
代理人個人,個人,個人
主分類G06F 16/532 20190101AFI20240423BHJP(計算;計数)
要約【課題】本発明の目的は、テキストから画像への置換のための視覚的検索の決定を提供することである。
【解決手段】テキスト置換のためのシステムおよび方法は、視覚的意図の決定を含むことができ、これにより、視覚的記述子を置き換える画像を選択するためのインターフェースをトリガすることができる。視覚的に説明的な用語を識別することができ、テキスト置換オプションが開始され得ることを示すインジケータを提供することができる。視覚的に説明的な用語を置き換えるために、ユーザによって画像を選択することができる。
【選択図】図2C
特許請求の範囲【請求項１】
マルチモーダル検索のためのコンピュータ実装方法であって、
1つまたは複数のプロセッサを備えるコンピューティングシステムによって、検索クエリを取得するステップであって、前記検索クエリが1つまたは複数の単語を備える、ステップと、
前記コンピューティングシステムによって、前記1つまたは複数の単語が視覚的意図を備えると決定するステップであって、前記視覚的意図が、1つまたは複数の視覚的特徴に関連付けられる、ステップと、
前記コンピューティングシステムによって、表示用の画像選択インターフェースを提供するステップであって、前記画像選択インターフェースが、選択用の複数の画像を備え、前記画像選択インターフェースが、前記1つまたは複数の単語が前記視覚的意図を備えるという前記決定に基づいて表示のために提供される、ステップと、
前記コンピューティングシステムによって、選択データを取得するステップであって、前記選択データが、画像の選択を記述する、ステップと、
前記コンピューティングシステムによって、前記1つまたは複数の単語の代わりに表示用の前記画像を提供するステップと、
前記コンピューティングシステムによって、前記画像に関連付けられる1つまたは複数の検索結果を決定するステップと、
前記コンピューティングシステムによって、前記1つまたは複数の検索結果を出力として提供するステップと
を備える、コンピュータ実装方法。
続きを表示（約 1,700 文字）【請求項２】
前記コンピューティングシステムによって、表示用の前記画像選択インターフェースを提供するステップが、
前記コンピューティングシステムによって、ユーザインターフェース要素を提供するステップであって、前記ユーザインターフェース要素が、テキスト置換オプションを記述する、ステップと、
前記コンピューティングシステムによって、第1の入力データを取得するステップであって、前記第1の入力データが、前記テキスト置換オプションの第1の選択を記述する、ステップと、
前記コンピューティングシステムによって、前記第1の入力データに基づいて表示用の前記画像選択インターフェースを提供するステップと
を備える、請求項1に記載の方法。
【請求項３】
前記1つまたは複数の検索結果が、検索結果ページを介して提供され、前記検索結果ページが、前記画像を表示するクエリボックスを備え、前記検索結果ページが、前記1つまたは複数の検索結果に関連付けられる情報を表示するための検索結果パネルを備える、請求項1に記載の方法。
【請求項４】
前記検索クエリが1つまたは複数の追加の単語を備え、前記1つまたは複数の検索結果が、前記1つまたは複数の追加の単語に少なくとも部分的に基づいて決定される、請求項1に記載の方法。
【請求項５】
前記検索クエリを取得するステップが、検索インターフェースのクエリボックスを介して前記検索クエリを取得するステップを備える、請求項1に記載の方法。
【請求項６】
前記1つまたは複数の検索結果が、1つまたは複数の画像検索結果を備える、請求項1に記載の方法。
【請求項７】
前記1つまたは複数の検索結果が、前記画像の前記1つまたは複数の視覚的特徴に関連付けられる製品を記述する1つまたは複数の製品検索結果を備える、請求項1に記載の方法。
【請求項８】
テキストから画像への置換のためのコンピューティングシステムであって、
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサによって実行されると、前記コンピューティングシステムに動作を実施させる命令を集合的に記憶する1つまたは複数の非一時的コンピュータ可読媒体と
を備え、前記動作が、
テキストデータを取得することであって、前記テキストデータが、複数のテキスト文字を記述する、取得することと、
前記複数のテキスト文字のサブセットが視覚的に説明的な用語を備えるかを決定するために、前記テキストデータを処理することであって、前記視覚的に説明的な用語が、1つまたは複数の視覚的特徴と関連付けられる、処理することと、
表示用の画像選択インターフェースを提供することであって、前記画像選択インターフェースが、選択用の複数の画像を備え、前記複数の画像は、前記視覚的に説明的な用語に少なくとも部分的に基づいて取得される、提供することと、
選択データを取得することであって、前記選択データが、画像の選択を記述する、取得することと、
前記複数のテキスト文字の前記サブセットの代わりに表示用の前記画像を提供することと
を備える、コンピューティングシステム。
【請求項９】
表示用の前記画像選択インターフェースを提供することが、
表示用のインジケータを提供することであって、前記インジケータが、前記視覚的に説明的な用語を画像データに置き換えるためのテキスト置換オプションを説明する、提供することと、
第1の入力データを取得することであって、前記第1の入力データが、前記テキスト置換オプションの第1の選択を記述する、取得することと、
前記第1の入力データに基づいて表示用の前記画像選択インターフェースを提供することと、
を備える、請求項8に記載のシステム。
【請求項１０】
前記インジケータが、前記複数のテキスト文字の残りの文字とは異なる1つまたは複数の色で表示される前記複数のテキスト文字の前記サブセットを備える、請求項9に記載のシステム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、一般に、決定された視覚的意図に基づいてテキストを画像に置き換えることに関する。より詳細には、本開示は、テキスト文字列を処理することと、視覚的意図を決定することと、画像挿入のためのインターフェースを提供することとに関する。
続きを表示（約 3,300 文字）【背景技術】
【０００２】
検索クエリは、特定の項目および/または特定の知識を検索するためのテキスト入力を含むことができる。たとえば、ユーザは特定のスポーツゲームのスコアを知りたい場合がある。あるいは、ユーザは歴史上の人物について詳しく知りたい場合や、企業の連絡先アドレスを見つけたい場合もある。
【０００３】
さらに、ユーザは、購入するための特定のオブジェクトを検索したり、特定の位置を検索したりするために、検索クエリを利用し得る。特定のオブジェクトや場所の検索クエリは、取得される検索結果を絞り込む可能性がある説明的な用語を含む場合があるが、ユーザが提供しようとしている詳細をキャプチャすることができない場合がある。
【発明の概要】
【課題を解決するための手段】
【０００４】
本開示の実施形態の態様および利点は、以下の説明に部分的に記載されるか、説明から知ることができるか、または実施形態の実践を通じて知ることができる。
【０００５】
本開示の1つの例示的な態様は、マルチモーダル検索のためのコンピュータ実装方法を対象とする。本方法は、1つまたは複数のプロセッサを含むコンピューティングシステムによって、検索クエリを取得するステップを含むことができる。検索クエリは1つまたは複数の単語を含むことができる。本方法は、コンピューティングシステムによって、1つまたは複数の単語が視覚的意図を含むと決定するステップを含むことができる。いくつかの実装形態では、視覚的意図は、1つまたは複数の視覚的特徴に関連付けることができる。本方法は、コンピューティングシステムによって、表示用の画像選択インターフェースを提供するステップを含むことができる。画像選択インターフェースは、選択用の複数の画像を含むことができる。いくつかの実装形態では、画像選択インターフェースは、1つまたは複数の単語が視覚的意図を備えるという決定に基づいて表示のために提供され得る。本方法は、コンピューティングシステムによって、選択データを取得するステップを含むことができる。選択データは、画像の選択を記述することができる。本方法は、コンピューティングシステムによって、1つまたは複数の単語の代わりに表示用の画像を提供するステップを含むことができる。いくつかの実装形態では、本方法は、コンピューティングシステムによって、画像に関連付けられる1つまたは複数の検索結果を決定するステップと、コンピューティングシステムによって、1つまたは複数の検索結果を出力として提供するステップとを含むことができる。
【０００６】
いくつかの実装形態では、表示用の画像選択インターフェースを提供するステップは、コンピューティングシステムによって、ユーザインターフェース要素を提供するステップを含むことができる。ユーザインターフェース要素は、テキスト置換オプションを記述するものにすることができる。表示用の画像選択インターフェースを提供するステップは、コンピューティングシステムによって、第1の入力データを取得するステップを含むことができる。第1の入力データは、テキスト置換オプションの第1の選択を記述することができる。表示用の画像選択インターフェースを提供するステップは、コンピューティングシステムによって、第1の入力データに基づいて表示用の画像選択インターフェースを提供するステップを含むことができる。
【０００７】
いくつかの実装形態では、1つまたは複数の検索結果は、検索結果ページを介して提供することができる。検索結果ページは、画像を表示するクエリボックスを含むことができる。検索結果ページは、1つまたは複数の検索結果に関連付けられる情報を表示するための検索結果パネルを含むことができる。いくつかの実装形態では、検索クエリは1つまたは複数の追加の単語を含むことができる。1つまたは複数の検索結果は、1つまたは複数の追加の単語に少なくとも部分的に基づいて決定することができる。いくつかの実装形態では、検索クエリを取得するステップは、検索インターフェースのクエリボックスを介して検索クエリを取得するステップを含むことができる。1つまたは複数の検索結果は、1つまたは複数の画像検索結果を含むことができる。いくつかの実装形態では、1つまたは複数の検索結果は、画像の1つまたは複数の視覚的特徴に関連付けられる製品を記述する1つまたは複数の製品検索結果を含むことができる。
【０００８】
本開示の別の例示的な態様は、テキストから画像への置換のためのコンピューティングシステムを対象とする。本システムは、1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行されるとコンピューティングシステムに動作を実施させる命令を集合的に記憶する1つまたは複数の非一時的コンピュータ可読媒体とを含むことができる。本動作は、テキストデータを取得することを含むことができる。テキストデータは、複数のテキスト文字を記述することができる。本動作は、複数のテキスト文字のサブセットが視覚的に説明的な用語を含むかを決定するために、テキストデータを処理するステップを含むことができる。いくつかの実装形態では、視覚的に説明的な用語は、1つまたは複数の視覚的特徴と関連付けることができる。本動作は、表示用の画像選択インターフェースを提供することを含むことができる。画像選択インターフェースは、選択用の複数の画像を含むことができる。いくつかの実装形態では、複数の画像は、視覚的に説明的な用語に少なくとも部分的に基づいて取得することができる。本動作は、選択データを取得することを含むことができる。選択データは、画像の選択を記述することができる。本動作は、複数のテキスト文字のサブセットの代わりに表示用の画像を提供することを含むことができる。
【０００９】
いくつかの実装形態では、表示用の画像選択インターフェースを提供するステップは、表示用のインジケータを提供するステップを含むことができる。インジケータは、視覚的に説明的な用語を画像データに置き換えるためのテキスト置換オプションを説明することができる。表示用の画像選択インターフェースを提供するステップは、第1の入力データを取得するステップを含むことができる。第1の入力データは、テキスト置換オプションの第1の選択を記述することができる。表示用の画像選択インターフェースを提供するステップは、第1の入力データに基づいて表示用の画像選択インターフェース提供するステップを含むことができる。いくつかの実装形態では、インジケータは、複数のテキスト文字の残りの文字とは異なる1つまたは複数の色で表示される複数のテキスト文字のサブセットを含むことができる。
【００１０】
いくつかの実装形態では、複数のテキスト文字は、複数のテキスト文字のサブセットと、第2のサブセットとを含むことができる。本動作は、複数の検索結果を決定するために、画像と第2のサブセットとを処理することを含むことができる。複数の検索結果は、画像と第2のサブセットに基づいて決定することができる。本動作は、複数の検索結果を、検索結果ページインターフェースにおいて提供するステップを含むことができる。いくつかの実装形態では、複数の画像は、複数のテキスト文字のサブセットを用いて検索エンジンにクエリを実施することと、複数の画像を受信することとによって取得することができる。複数の画像は、ユーザ固有の画像データベース内の画像データが1つまたは複数の視覚的特徴に関連付けられていると決定することによって取得することができる。1つまたは複数の視覚的特徴に関連付けられている画像データは、複数の画像を含むことができる。
（【００１１】以降は省略されています）

関連特許