特許ウォッチ

公開番号2025171903
公報種別公開特許公報(A)
公開日2025-11-20
出願番号2024146907
出願日2024-08-28
発明の名称スイッチボードプラットフォームのためのコンピュータ実装方法、システム、及びコンピュータ可読記憶媒体
出願人アクセンチュアグローバルソリューションズリミテッド
代理人弁理士法人太陽国際特許事務所
主分類H04L 67/562 20220101AFI20251113BHJP(電気通信技術)
要約【課題】複数の異なるアプリケーションに複数の異なる基盤モデルのクエリを可能にするスイッチボードプラットフォームのためのコンピュータ実装方法、システム及びコンピュータ可読記憶媒体を提供する。
【解決手段】スイッチボードプラットフォームのためのコンピュータ実装方法は、スイッチボードプラットフォームのインテリジェントルータが第1リクエストをアプリケーションから受信し、ポリシーパラメータセットの少なくとも1つのポリシーパラメータに少なくとも部分的に基づいて基盤モデルのサブセットの基盤モデルを選択し、スイッチボードプラットフォームのモデルレジストリから基盤モデルの接続データを決定し、スイッチボードプラットフォームのモデルコネクタを介して基盤モデルによる処理のための第2リクエストを送信し、基盤モデルからの応答を受信し、アプリケーションに応答を送信する。
【選択図】図4
特許請求の範囲【請求項１】
複数の異なるアプリケーションに複数の異なる基盤モデルのクエリを可能にするスイッチボードプラットフォームのためのコンピュータ実装方法であって、
前記スイッチボードプラットフォームのインテリジェントルータが、第１リクエストをアプリケーションから受信し、
前記第１リクエストはプロンプトの少なくとも一部分及びポリシーパラメータセットを含み、
前記インテリジェントルータが、前記ポリシーパラメータセットの少なくとも１つのポリシーパラメータに少なくとも部分的に基づいて、前記基盤モデルのサブセットの基盤モデルを選択し、
前記スイッチボードプラットフォームのモデルレジストリから、前記基盤モデルの接続データを決定し、
前記インテリジェントルータが、前記スイッチボードプラットフォームのモデルコネクタを介して、前記基盤モデルによる処理のための第２リクエストを送信し、
前記第２リクエストは、前記接続データを使用して送信され、前記プロンプトの少なくとも一部分を含み、
前記インテリジェントルータが、前記基盤モデルからの応答を受信し、
前記アプリケーションに前記応答を送信する、
コンピュータ実装方法。
続きを表示（約 1,800 文字）【請求項２】
前記ポリシーパラメータのセットが、テナント識別子、アプリケーション識別子、ドメイン、インテント、タスク、およびモダリティのうちの１つ以上を含む、請求項１に記載のコンピュータ実装方法。
【請求項３】
前記インテリジェントルータが、前記ポリシーパラメータのセットの少なくとも１つの前記ポリシーパラメータに少なくとも部分的に基づいて、前記基盤モデルのサブセットの前記基盤モデルを選択することは、前記第１リクエストに応答するポリシーを適用することを含み、
前記基盤モデルが前記ポリシーに適合する、
請求項１に記載のコンピュータ実装方法。
【請求項４】
プリプロダクションフェーズの間に、
基準を定義し、
前記基準に基づいて、前記基盤モデルのサブセットに含めるための基盤モデルのセットの基盤モデルを選択する、
ことをさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項５】
前記基準に基づいて前記基盤モデルのサブセットに含めるために前記基盤モデルのセットの前記基盤モデルを選択することは、
クエリに対するコストに基づく第１ランク順で、前記基盤モデルのセットの前記基盤モデルにリクエストを送信し、
前記基準を満たす基盤モデルの第２ランク順を決定し、
基盤モデルの前記第２ランク順における前記基盤モデルの少なくとも一部分は、前記基盤モデルのサブセットに含められる、
ことをさらに含む、請求項４に記載のコンピュータ実装方法。
【請求項６】
前記接続データが、モデルサービングインフラストラクチャにおける前記基盤モデルのエンドポイントを含む、請求項１に記載のコンピュータ実装方法。
【請求項７】
前記基盤モデルのセットは、大規模言語モデル（ＬＬＭ）を含む、請求項１に記載のコンピュータ実装方法。
【請求項８】
１つ以上のプロセッサと、
１つ以上の前記プロセッサに結合されているコンピュータ可読記憶装置と、
を含み、
前記コンピュータ可読記憶装置は命令を格納し、
前記命令は、１つ以上の前記プロセッサによって実行されると、複数の異なるアプリケーションに複数の異なる基盤モデルのクエリを可能にするスイッチボードプラットフォームの動作を、１つ以上の前記プロセッサに実行させ、
前記動作は、
前記スイッチボードプラットフォームのインテリジェントルータが、第１リクエストをアプリケーションから受信し、
前記第１リクエストはプロンプトの少なくとも一部分及びポリシーパラメータセットを含み、
前記インテリジェントルータが、前記ポリシーパラメータセットの少なくとも１つのポリシーパラメータに少なくとも部分的に基づいて、前記基盤モデルのサブセットの基盤モデルを選択し、
前記スイッチボードプラットフォームのモデルレジストリから、前記基盤モデルの接続データを決定し、
前記インテリジェントルータが、前記スイッチボードプラットフォームのモデルコネクタを介して、前記基盤モデルによる処理のための第２リクエストを送信し、
前記第２リクエストは、前記接続データを使用して送信され、前記プロンプトの少なくとも一部分を含み、
前記インテリジェントルータが、前記基盤モデルからの応答を受信し、
前記アプリケーションに前記応答を送信する、
ことを含む、
システム。
【請求項９】
前記ポリシーパラメータのセットが、テナント識別子、アプリケーション識別子、ドメイン、インテント、タスク、およびモダリティのうちの１つ以上を含む、請求項８に記載のシステム。
【請求項１０】
前記インテリジェントルータが、前記ポリシーパラメータのセットの少なくとも１つの前記ポリシーパラメータに少なくとも部分的に基づいて、前記基盤モデルのサブセットの前記基盤モデルを選択することは、前記第１リクエストに応答するポリシーを適用することを含み、
前記基盤モデルが前記ポリシーに適合する、
請求項８に記載のシステム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、スイッチボードプラットフォームのためのコンピュータ実装方法、システム、及びコンピュータ可読記憶媒体に関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
企業は継続的にオペレーションの改善と効率化を追求している。この目的のために、企業はオペレーションの実行をサポートするソフトウェアシステムを採用する。企業は、例えば機械学習（ＭＬ）モデルを含むことができる人工知能（ＡＩ）を採用することができる、いわゆるインテリジェントエンタープライズの領域のシステムを統合する。例えば、ＡＩは、データ分析、及び／又は、企業のオペレーションをサポートするタスクの自動化に使用することができる。
【０００３】
ＡＩの分野では、いわゆる生成ＡＩ（ＧＡＩ）が最近爆発的な人気を博している。ＧＡＩは、訓練データに基づいてコンテンツを生成する、いわゆる基盤モデルを含むものとして説明することができる。例えば、基盤モデルには、大規模言語モデル（ＬａｒｇｅＬａｎｇｕａｇｅＭｏｄｅｌ：ＬＬＭ）を含めることができる。ＬＬＭは、さまざまな使用ケースに対応するテキストを生成するために使用できるＧＡＩの一形態である。いくつかの例では、ＬＬＭは、従来のルールベースのシステムに代わってデジタルアシスタント（例えば、チャットボット）に統合され、ユーザ入力に対するテキスト応答を提供することができる。ＧＡＩは、テキスト、画像、音声、動画を含むがこれらに限定されない様々なコンテンツを生成するために使用することができる。ＧＡＩのパワーと人気が高まるにつれ、企業は企業運営の改善にＧＡＩを活用する道を模索している。しかし、ＧＡＩを企業プラットフォームに統合することは、自明なタスクではない。例えば、ＧＡＩには様々な技術的課題があり、管理しなければならない欠点もある。
【発明の概要】
【課題を解決するための手段】
【０００４】
本開示の実装は、一般に、基盤モデルのためのスイッチボードプラットフォームに向けられている。より詳細には、本開示の実装は、モデルの経済性、期待される性能、セキュリティの考慮、および配備の複雑性を含み得るが、これらに限定されない様々な目的に基づいて、基盤モデルのインテリジェントなアクセス、ルーティング、および統括を可能にするスイッチボードプラットフォームに向けられている。
【０００５】
一般に、記載される主題の革新的な態様は、スイッチボードプラットフォームのインテリジェントルータが、第１リクエストをアプリケーションから受信し、前記第１リクエストはプロンプトの少なくとも一部分及びポリシーパラメータセットを含み、前記インテリジェントルータが、前記ポリシーパラメータセットの少なくとも１つのポリシーパラメータに少なくとも部分的に基づいて、前記基盤モデルのサブセットの基盤モデルを選択し、前記スイッチボードプラットフォームのモデルレジストリから、前記基盤モデルの接続データを決定し、前記インテリジェントルータが、前記スイッチボードプラットフォームのモデルコネクタを介して、前記基盤モデルによる処理のための第２リクエストを送信し、前記第２リクエストは、前記接続データを使用して送信され、前記プロンプトの少なくとも一部分を含み、前記インテリジェントルータが、前記基盤モデルからの応答を受信し、前記アプリケーションに前記応答を送信する、動作を含む。本態様の別の実装は、コンピュータ記憶装置上に符号化された、本方法の動作を実行するように構成された、対応するシステム、装置、およびコンピュータプログラムを含む。
【０００６】
これらの実装および他の実装はそれぞれ、以下の特徴のうちの１つ以上を任意に含むことができる。前記ポリシーパラメータのセットが、テナント識別子、アプリケーション識別子、ドメイン、インテント、タスク、およびモダリティのうちの１つ以上を含む。前記インテリジェントルータが、前記ポリシーパラメータのセットの少なくとも１つの前記ポリシーパラメータに少なくとも部分的に基づいて、前記基盤モデルのサブセットの前記基盤モデルを選択することは、前記第１リクエストに応答するポリシーを適用することを含み、前記基盤モデルが前記ポリシーに適合する。動作は、プリプロダクションフェーズの間に、基準を定義し、前記基準に基づいて、前記基盤モデルのサブセットに含めるための基盤モデルのセットの基盤モデルを選択する、ことをさらに含む。前記基準に基づいて前記基盤モデルのサブセットに含めるために前記基盤モデルのセットの前記基盤モデルを選択することは、クエリに対するコストに基づく第１ランク順で、前記基盤モデルのセットの前記基盤モデルにリクエストを送信し、前記基準を満たす基盤モデルの第２ランク順を決定し、基盤モデルの前記第２ランク順における前記基盤モデルの少なくとも一部分は、前記基盤モデルのサブセットに含められる、ことをさらに含む。前記接続データが、モデルサービングインフラストラクチャにおける前記基盤モデルのエンドポイントを含む。前記基盤モデルのセットは、大規模言語モデル（ＬＬＭ）を含む。
【０００７】
本開示はまた、１つ以上のプロセッサに結合され、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに提供される実装に従った動作を実行させる命令を記憶した、非一時的コンピュータ可読記憶媒体を提供する。
【０００８】
本開示に従う方法は、記載される態様および特徴の任意の組合せを含み得ることが理解される。すなわち、例えば、本開示に従う装置および方法は、具体的に説明される態様および特徴の組み合わせに限定されず、また、提供される態様および特徴の任意の組み合わせを含み得る。
【図面の簡単な説明】
【０００９】
図１は、本開示の実施態様による例示的なアーキテクチャを示す。
図２は、本開示の実施形態に従ったプリプロダクション環境の例を示す図である。
図３は、本開示の実施形態に従った例示的な実装環境を示す図である。
図４は、本開示の実施態様に従って実行され得る例示的なプロセスを示す。
【発明を実施するための形態】
【００１０】
本開示の１つ以上の実施態様の詳細は、添付の図面および以下の説明に記載されている。本開示の他の特徴および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。
（【００１１】以降は省略されています）

関連特許