特許ウォッチ

公開番号2025168666
公報種別公開特許公報(A)
公開日2025-11-11
出願番号2025074273
出願日2025-04-28
発明の名称産業用途向けのドメイン固有検索拡張生成
出願人アイトマティックインコーポレイテッド
代理人弁理士法人谷・阿部特許事務所
主分類G06F 16/3329 20250101AFI20251104BHJP(計算;計数)
要約【課題】産業用生成AIにおける改善された質問回答を提供する。
【解決手段】大規模言語モデル(LLM)を使用して検索拡張生成を使用して自然言語の質問に回答するシステムは、一連のドメイン固有の文書をLLMで利用可能にベクトルデータベースに格納し、自然言語の質問を受信し、ベクトルデータベースから自然言語の質問に関連する文書のサブセットを検索し、自然言語の質問に回答するためにベクトルデータベースから検索した文書のサブセットに追加して必要な事前知識情報を決定し、機械学習ベースの言語モデルの訓練中に機械学習ベースの言語モデルによって得られた事前知識を使用しないようにする機械学習ベースの言語モデルへの命令を含む機械学習ベースの言語モデルのプロンプトを生成し、プロンプトに基づいて機械学習ベースの言語モデルを実行することで生成された応答を受信し、応答に基づいてアクションを実行する。
【選択図】図5
特許請求の範囲【請求項１】
自然言語の質問の検索拡張生成に基づく回答のためのコンピュータ実装方法であって：
ベクトルデータベースに一連の文書を格納することであって、前記ベクトルデータベースは、前記一連の文書のそれぞれのベクトル表現を格納する、前記格納することと；
自然言語の質問を受信することと；
前記自然言語の質問のベクトル表現を生成することと；
前記自然言語の質問の前記ベクトル表現に基づいて、前記自然言語の質問に関連する文書のサブセットを検索することと；
前記自然言語の質問に回答するために前記ベクトルデータベースから検索された前記文書のサブセットに追加して必要な事前知識情報を決定することと；
前記事前知識情報にアクセスするための事前知識ソースシステムを識別することと；
前記事前知識ソースシステムにアクセスして、前記事前知識情報を抽出することと；
機械学習ベースの言語モデルのプロンプトを生成することであって：
前記自然言語の質問と，
前記ベクトルデータベースから検索された前記文書のサブセットと，
前記事前知識情報と，
前記機械学習ベースの言語モデルの訓練中に前記機械学習ベースの言語モデルによって得られた事前知識を使用しないようにする前記機械学習ベースの言語モデルへの命令と，を含む前記プロンプトを生成することと；
前記プロンプトを前記機械学習ベースの言語モデルに提供することと；
前記プロンプトに基づいて前記機械学習ベースの言語モデルを実行することによって生成された応答を受信することと；
前記応答に基づいてアクションを実行することと、
を含む、コンピュータ実装方法。
続きを表示（約 1,900 文字）【請求項２】
前記ベクトルデータベースは、特定のドメインのドメイン固有の文書を格納する、請求項１に記載のコンピュータ実装方法。
【請求項３】
前記特定のドメインは、
半導体産業、
石油及び天然ガス産業、または
製造業、
のうちの１つの産業ドメインを表す、請求項２に記載のコンピュータ実装方法。
【請求項４】
前記文書のサブセットは、前記自然言語の質問の前記ベクトル表現と前記文書のサブセットのそれぞれの前記ベクトル表現との間のベクトル距離を表す距離メトリックに基づいて、前記自然言語の質問に最も近いと決定される前記一連の文書からの文書を表す、請求項１に記載のコンピュータ実装方法。
【請求項５】
前記事前知識情報にアクセスするための前記事前知識ソースシステムを識別することは、前記機械学習ベースの言語モデルに基づいている、請求項１に記載のコンピュータ実装方法。
【請求項６】
前記プロンプトは第１のプロンプトであり、前記応答は第１の応答であり、前記事前知識情報にアクセスするための前記事前知識ソースシステムを識別することは；
前記機械学習ベースの言語モデルに、前記自然言語の質問を解決するための事前知識を含むと予想される特定の事前知識ソースシステムを識別するように要求する第２のプロンプトを生成することと；
前記第２のプロンプトを前記機械学習ベースの言語モデルに提供することと；
前記第２のプロンプトに基づいて前記機械学習ベースの言語モデルを実行することによって生成された第２の応答を受信することと；
前記第２のプロンプトから前記事前知識ソースシステムを識別することと；
を含む請求項１に記載のコンピュータ実装方法。
【請求項７】
前記事前知識情報を含む１つまたは複数の文書を前記ベクトルデータベースに追加すること、をさらに含む：請求項１に記載のコンピュータ実装方法。
【請求項８】
１つまたは複数のコンピュータプロセッサによって実行されると、前記１つまたは複数のコンピュータプロセッサに、自然言語の質問の検索拡張生成に基づく回答のためのステップを実行させる命令を格納する非一時的コンピュータ可読記憶媒体であって、前記ステップは：
ベクトルデータベースに一連の文書を格納することであって、前記ベクトルデータベースは、前記一連の文書のそれぞれのベクトル表現を格納する、前記格納することと；
自然言語の質問を受信することと；
前記自然言語の質問のベクトル表現を生成することと；
前記自然言語の質問の前記ベクトル表現に基づいて、前記自然言語の質問に関連する文書のサブセットを検索することと；
前記自然言語の質問に回答するために前記ベクトルデータベースから検索された前記文書のサブセットに追加して必要な事前知識情報を決定することと；
前記事前知識情報にアクセスするための事前知識ソースシステムを識別することと；
前記事前知識ソースシステムにアクセスして、前記事前知識情報を抽出することと；
機械学習ベースの言語モデルのプロンプトを生成することであって：
前記自然言語の質問と，
前記ベクトルデータベースから検索された前記文書のサブセットと，
前記事前知識情報と，
前記機械学習ベースの言語モデルの訓練中に前記機械学習ベースの言語モデルによって得られた事前知識を使用しないようにする前記機械学習ベースの言語モデルへの命令と，を含む前記プロンプトを生成することと；
前記プロンプトを前記機械学習ベースの言語モデルに提供することと；
前記プロンプトに基づいて前記機械学習ベースの言語モデルを実行することによって生成された応答を受信することと；
前記応答に基づいてアクションを実行することと、
を含む、非一時的コンピュータ可読記憶媒体。
【請求項９】
前記ベクトルデータベースは、特定のドメインのドメイン固有の文書を格納する、請求項８に記載の非一時的コンピュータ可読記憶媒体。
【請求項１０】
前記特定のドメインは、
半導体産業，
石油及び天然ガス産業，または
製造業，
のうちの１つの産業ドメインを表す、請求項９に記載の非一時的コンピュータ可読記憶媒体。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、一般に、人工知能及び機械学習技術に関するものであり、より具体的には、産業応用のためのドメイン特化型の検索拡張生成ベースの人工知能技術に関するものである。
続きを表示（約 3,000 文字）【０００２】
（関連出願の相互参照）
本出願は、参照によりその全体が組み込まれる、２０２４年４月２９日に出願された米国仮特許出願第６３／６４０，１５５号の米国特許法第１１９条（ｅ）に基づく利益を主張する。
【背景技術】
【０００３】
人工知能（ＡＩ）技術は、いくつかの産業システムに有用である。例えば、機械学習ベースの言語モデルは、様々な環境で遭遇する様々な問題に対する答えを生成するために使用される。そのような機械学習ベースの言語モデルの例としては、ＧＰＴ（生成型事前学習済みトランスフォーマ）などの大規模言語モデル（ＬＬＭ）が含まれる。これらのモデルは、インターネット、書籍のライブラリなどの大規模なテキストのコーパスを使用して訓練される。その結果、そのような言語モデルは、一般的な一連の質問に答えるように訓練される。しかしながら、これらの言語モデルは、例えば、特定の産業環境に関連する質問など、ドメイン固有の問題に関連する質問に答えるために必要なドメイン固有の知識を欠いている。このような質問には専門知識が必要である。さらに、これらの重要なアプリケーションは、最先端の言語モデルで経験される幻覚（hallucination）を許容することはできない。たとえば、大規模言語モデルでは、事実を作り出して、回答に使用し得る。そのような作り出された事実は現実ではなく、実際の産業環境では使用し得ない。その結果、そのような言語モデルから得られる答えはしばしば不十分である。
【発明の概要】
【０００４】
システムは、検索拡張生成（retrieval-augmented generation）を使用して自然言語の質問に回答する。システムは、一連の文書をベクトルデータベースに格納する。実施形態によれば、ベクトルデータベースは、例えば、半導体産業、石油及び天然ガス産業、または製造業などの産業からの産業ドメインに関する特定のドメインに関するドメイン固有の文書を格納する。
【０００５】
ベクトルデータベースは、各文書のベクトル表現を格納する。システムは、自然言語の質問を受信し、自然言語の質問のベクトル表現を生成する。システムは、自然言語の質問のベクトル表現に基づいて、自然言語の質問に関連する文書のサブセットを検索する。システムは、自然言語の質問に答えるためにベクトルデータベースから検索された文書のサブセットに追加して必要な事前知識情報を決定する。システムは、事前知識情報にアクセスするための事前知識ソースシステムを特定する。システムは、事前知識ソースシステムにアクセスして、事前知識情報を抽出する。
【０００６】
システムは、（１）自然言語の質問、（２）ベクトルデータベースから検索された文書のサブセット、（３）事前知識情報、及び（４）機械学習ベースの言語モデルに対して、機械学習ベースの言語モデルの訓練中に機械学習ベースの言語モデルによって得られた事前知識を使用しないようにする命令を含む機械学習ベースの言語モデルのためのプロンプトを生成する。システムは、プロンプトを機械学習ベースの言語モデルに提供し、プロンプトに基づいて機械学習ベースの言語モデルを実行することによって生成された応答を受信する。システムは、応答に基づいてアクションを実行する。
【０００７】
実施形態は、本明細書に記載の自然言語の質問に基づく検索拡張生成に基づく応答のためのステップを実行するコンピュータ実装方法と；１つまたは複数のコンピュータプロセッサによって実行されると、１つまたは複数のコンピュータプロセッサに本明細書に記載の自然言語の質問の検索拡張生成に基づく回答のためのステップを実行させる命令を格納する非一時的コンピュータ可読記憶媒体と；１つまたは複数のコンピュータプロセッサと、１つまたは複数のコンピュータプロセッサによって実行されると、１つまたは複数のコンピュータプロセッサに本明細書に記載の自然言語の質問の検索拡張生成に基づく回答のためのステップを実行させる命令を格納する非一時的コンピュータ可読記憶媒体とを含むコンピュータシステムとを含む。
【図面の簡単な説明】
【０００８】
開示された実施形態は、詳細な説明、添付の特許請求の範囲、及び添付の図（または図面）からより容易に明らかとなる他の利点、及び特徴を有する。図面の簡単な説明は、以下のとおりである。
図１Ａは、実施形態によるシステムによって実行される全体的なプロセスを示す図である。
図１Ｂは、実施形態による、サブタスクへのタスクの階層的分解を示す図である。
図１Ｃは、実施形態による、システムによって実行される階層的なタスク計画を示す図である。
図１Ｄは、実施形態による、システムが従うＯＯＤＡプロセスを示す図である。
図２は、実施形態による、システムがクエリに回答するために従うプロセスの詳細を示す図である。
図３は、実施形態による、システムが現在利用可能な情報に基づいてクエリに回答できるかどうかを決定するための評価フレームワークを示す図である。
図４は、実施形態による、結果の精度の向上を提供するＬＬＭに基づく例示的なＲＡＧベースのシステムを示す図である。
図５は、実施形態による、検索拡張生成を使用してドメイン固有の自然言語の質問に回答するための全体的なプロセスを示すフローチャートである。
図６は、実施形態による、例示的なシステムを示すハイレベルブロック図である。
【０００９】
明細書に記載された特徴及び利点は、すべてを網羅するものではなく、特に、図面、明細書、及び特許請求の範囲を考慮すれば、多くの追加の特徴及び利点が当業者には明らかであろう。さらに、本明細書で使用される用語は、主に読みやすさと説明の目的で選択されており、開示された主題を限定または制限するために選択されたものではないことに留意すべきである。
【発明を実施するための形態】
【００１０】
実施形態によるシステムは、産業用生成ＡＩにおける改善された質問回答を提供する。このシステムは、ドメイン固有のモデル微調整と反復推論メカニズムを、検索拡張生成（ＲＡＧ）ワークフローに統合する。このシステムは、より優れたリトリーバー（retriever）とジェネレーター（generator)を利用し、多段階推論を使用することによって、パフォーマンスの向上を達成する。システムは、階層的なタスク計画を実行し、複雑なタスクをサブタスクに分解し、タスクごとに実行される多段階推論ループであるＯＯＤＡ推論を実行する。このシステムは、ＯＯＤＡ（観察、方向付け、決定、及び行動）ループを使用して反復的な推論を行い、観察（observe）、方向付け（orientation）、決定（decision）及び行動（action）のフェーズを通じてプロセスを洗練させることで、人間の専門家の品質に近づく回答をもたらす。
（【００１１】以降は省略されています）

関連特許