特許ウォッチ

公開番号2025157254
公報種別公開特許公報(A)
公開日2025-10-15
出願番号2025106588,2023543401
出願日2025-06-24,2022-01-19
発明の名称固有表現認識モデルを用いたコンテキストタグ統合
出願人オラクル・インターナショナル・コーポレイション
代理人弁理士法人深見特許事務所
主分類G06F 16/90 20190101AFI20251007BHJP(計算;計数)
要約【課題】固有表現認識(NER)モデルにおいてコンテキストタグを使用する方法を提供する。
【解決手段】表現認識のためにコンテキストを考慮する方法は、発話を受信することと、発話の単語に対して埋め込みを生成することと、発話に対して正規表現およびガゼッティア特徴ベクトルを生成することと、発話に対してコンテキストタグ分布特徴ベクトルを生成することと、特徴ベクトルのセットを生成するために、埋め込みを正規表現およびガゼッティア特徴ベクトルならびにコンテキストタグ分布特徴ベクトルと連結またはそれらで補間することと、特徴ベクトルのセットに基づいて発話の符号化された形態を生成することと、発話の符号化された形態に基づいて対数確率を生成することと、発話について1つ以上の制約を識別することと、を含む。
【選択図】図5
特許請求の範囲【請求項１】
方法であって、
プロセッサを含むチャットボットシステムにおいて、１つ以上の単語を含む少なくとも１つの発話を受信することと、
前記チャットボットシステムのトランスフォーマベースのモデルが、前記少なくとも１つの発話の前記１つ以上の単語に対して複数の埋め込みを生成することと、
前記チャットボットシステムの第１のベクトル化器が、前記少なくとも１つの発話に対して少なくとも１つの正規表現およびガゼッティア特徴ベクトルを生成することと、
前記チャットボットシステムの第２のベクトル化器が、前記少なくとも１つの発話に対して少なくとも１つのコンテキストタグ分布特徴ベクトルを生成することと、
前記複数の埋め込みを、前記少なくとも１つの正規表現およびガゼッティア特徴ベクトルならびに前記少なくとも１つのコンテキストタグ分布特徴ベクトルと連結するか、または前記少なくとも１つの正規表現およびガゼッティア特徴ベクトルならびに前記少なくとも１つのコンテキストタグ分布特徴ベクトルで補間して、特徴ベクトルの第１のセットを生成することと、
前記チャットボットシステムの主シーケンスモデルが、前記特徴ベクトルの第１のセットに基づいて、前記少なくとも１つの発話の符号化された形態を生成することと、
前記チャットボットシステムの弁別モデルが、前記少なくとも１つの発話の前記符号化された形態に基づいて、候補表現について複数の対数確率を生成することと、
前記複数の対数確率を使用して、前記候補表現に基づいて前記少なくとも１つの発話について１つ以上の制約を識別することとを含む、方法。
続きを表示（約 1,800 文字）【請求項２】
前記少なくとも１つの発話は、前記チャットボットシステムの１つ以上のクエリ、ユーザによって前記チャットボットシステムに入力される１つ以上のクエリ、前記チャットボットシステムの前記１つ以上のクエリに応答して前記ユーザによって提供される１つ以上の応答、またはそれらの組合せのうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項３】
前記チャットボットシステムの前記トランスフォーマベースのモデルは、トランスフォーマモデルからの双方向エンコーダ表現を含む、請求項１に記載の方法。
【請求項４】
前記第１のベクトル化器は、１つ以上の正規表現パターンおよび１つ以上のガゼッティアに基づいて、前記少なくとも１つの正規表現およびガゼッティア特徴ベクトルを生成する、請求項１に記載の方法。
【請求項５】
前記第２のベクトル化器は、前記チャットボットシステムの１つ以上のクエリ、ユーザによって前記チャットボットシステムに入力された１つ以上のクエリ、前記チャットボットシステムの前記１つ以上のクエリに応答して前記ユーザによって提供された１つ以上の応答、またはそれらの組合せのうちの少なくとも１つのコンテキストに基づいて、前記少なくとも１つのコンテキストタグ分布特徴ベクトルを生成する、請求項１に記載の方法。
【請求項６】
前記チャットボットシステムの前記主シーケンスモデルは、組み合わされた畳み込みニューラルネットワーク／双方向長短期記憶モデルを含む、請求項１に記載の方法。
【請求項７】
前記チャットボットシステムの前記弁別モデルは、条件付きランダムフィールドモデルを含む、請求項１に記載の方法。
【請求項８】
チャットボットシステムであって、
１つ以上のプロセッサと、
前記１つ以上のプロセッサに結合されたメモリとを備え、前記メモリは、前記１つ以上
のプロセッサによって実行可能な複数の命令を記憶し、前記複数の命令は、前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
前記チャットボットシステムにおいて、１つ以上の単語を含む少なくとも１つの発話を受信させ、
トランスフォーマベースのモデルを用いて、前記少なくとも１つの発話の前記１つ以上の単語に対して複数の埋め込みを生成させ、
第１のベクトル化器を用いて、前記少なくとも１つの発話に対して少なくとも１つの正規表現およびガゼッティア特徴ベクトルを生成させ、
第２のベクトル化器を用いて、前記少なくとも１つの発話に対して少なくとも１つのコンテキストタグ分布特徴ベクトルを生成させ、
前記複数の埋め込みを、前記少なくとも１つの正規表現およびガゼッティア特徴ベクトルならびに前記少なくとも１つのコンテキストタグ分布特徴ベクトルと連結させるか、または前記少なくとも１つの正規表現およびガゼッティア特徴ベクトルならびに前記少なくとも１つのコンテキストタグ分布特徴ベクトルで補間させて、特徴ベクトルの第１のセットを生成させ、
主シーケンスモデルを用いて、前記特徴ベクトルの第１のセットに基づいて、前記少なくとも１つの発話の符号化された形態を生成させ、
弁別モデルを用いて、前記少なくとも１つの発話の前記符号化された形態に基づいて、候補表現について複数の対数確率を生成させ、
前記複数の対数確率を使用して、前記候補表現に基づいて、前記少なくとも１つの発話について１つ以上の制約を識別させる、チャットボットシステム。
【請求項９】
前記少なくとも１つの発話は、前記チャットボットシステムの１つ以上のクエリ、ユーザによって前記チャットボットシステムに入力される１つ以上のクエリ、前記チャットボットシステムの前記１つ以上のクエリに応答して前記ユーザによって提供される１つ以上の応答、またはそれらの組合せのうちの少なくとも１つを含む、請求項８に記載のチャットボットシステム。
【請求項１０】
前記トランスフォーマベースのモデルは、トランスフォーマモデルからの双方向エンコーダ表現を含む、請求項８に記載のチャットボットシステム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
関連出願の参照
本出願は、２０２１年１月２０日に提出された米国仮出願６３／１３９，５６９の利益および優先権を主張し、その全内容は、あらゆる目的のために参照によりここに組み込まれる。
続きを表示（約 2,300 文字）【０００２】
分野
本開示は、概してチャットボットシステムに関し、より詳細には、固有表現認識（ＮＥＲ）モデルにコンテキストタグを追加するための技術に関する。
【背景技術】
【０００３】
背景
世界中の人々は、即時反応を得るためにインスタントメッセージングまたはチャットプラットフォームを用いる。組織は、しばしば、これらのインスタントメッセージングまたはチャットプラットフォームを用いて、顧客（またはエンドユーザ）とライブ会話に携わる。しかしながら、顧客またはエンドユーザとのライブ通信に携わるためにサービス人員を雇用することは、組織にとって非常に費用がかかり得る。チャットボットまたはボットは、エンドユーザとの、特にインターネットを介した会話をシミュレートするために開発された。エンドユーザは、メッセージングアプリを介してそのようなボットと通信することができる。概して人工知能（ＡＩ）によって駆動されるボットであるインテリジェントボットは、エンドユーザとのライブ会話においてインテリジェントかつ文脈的に通信することができ、より自然な会話および改善された会話体験を可能にする。固定されたキーワードまたはコマンドのセットに依拠する代わりに、インテリジェントボットは、自然言語でエンドユーザの発話を受信し、そのインテントを理解し、それに応じて応答することが可能であり得る。
【０００４】
しかしながら、チャットボットを構築することは困難であり、なぜならば、特定の分野における特定の知識と、専門開発者の能力内のみであり得る特定の技術の適用とを必要とするからである。これらのチャットボットを構築するために、開発者は、エンドユーザのニーズを理解し、そのニーズに合わせた機械学習（ＭＬ）モデルを構築しようとする。ＭＬモデルを構築するタスクは、典型的には、教師なしおよび／または教師あり学習ベースのソリューションを使用して、複数のモデルを開発および試験することを伴う。場合によっては、ＭＬモデルを構築することは、トレーニング段階、適用（すなわち、推論）段階、およびトレーニング段階と適用段階との間の反復ループを伴う。場合によっては、トレーニングされたＭＬモデルが所望の結果（例えば、発話からのインテントの推論）を予測することができるように、アルゴリズムが特定のパターンまたは特徴を理解および学習することを可能にするために、正確なトレーニングデータが必要とされる。
【発明の概要】
【課題を解決するための手段】
【０００５】
概要
ＮＥＲモデルにコンテキストタグを追加するための技術が開示される。
【０００６】
様々な実施形態では、コンピュータにより実現される方法は、プロセッサを備えるチャットボットシステムにおいて、１つ以上の単語を含む少なくとも１つの発話を受信することと、チャットボットシステムのトランスフォーマベースのモデルが、少なくとも１つの発話の１つ以上の単語に対して、複数の埋め込みを生成することと、チャットボットシス
テムの第１のベクトル化器が、少なくとも１つの発話について、少なくとも１つの正規表現およびガゼッティア特徴ベクトルを生成することと、チャットボットシステムの第２のベクトル化器が、少なくとも１つの発話について、少なくとも１つのコンテキストタグ分布特徴ベクトルを生成することと、複数の埋め込みを、少なくとも１つの正規表現およびガゼッティア特徴ベクトルならびに少なくとも１つのコンテキストタグ分布特徴ベクトルと連結またはそれらで補間して、特徴ベクトルの第１のセットを生成することと、チャットボットシステムの主シーケンスモデルが、特徴ベクトルの第１のセットに基づいて少なくとも１つの発話の符号化された形態を生成することと、チャットボットシステムの弁別モデルが、少なくとも１つの発話の符号化された形態に基づいて、候補表現について複数の対数確率を生成することと、複数の対数確率を使用して、候補表現に基づいて、少なくとも１つの発話について、１つ以上の制約を識別することとを含む。
【０００７】
いくつかの実施形態では、少なくとも１つの発話は、チャットボットシステムの１つ以上のクエリ、ユーザによってチャットボットシステムに入力される１つ以上のクエリ、チャットボットシステムの１つ以上のクエリに応答してユーザによって提供される１つ以上の応答、またはそれらの組み合わせのうちの少なくとも１つを含む。
【０００８】
いくつかの実施形態では、チャットボットシステムのトランスフォーマベースのモデルは、トランスフォーマモデルからの双方向エンコーダ表現を含む。
【０００９】
いくつかの実施形態では、第１のベクトル化器は、１つ以上の正規表現パターンおよび１つ以上のガゼッティアに基づいて、少なくとも１つの正規表現およびガゼッティア特徴ベクトルを生成する。
【００１０】
いくつかの実施形態では、第２のベクトル化器は、チャットボットシステムの１つ以上のクエリ、ユーザによってチャットボットシステムに入力される１つ以上のクエリ、チャットボットシステムの１つ以上のクエリに応答してユーザによって提供される１つ以上の応答、またはそれらの組み合わせのうちの少なくとも１つのコンテキストに基づいて、少なくとも１つのコンテキストタグ分布特徴ベクトルを生成する。
（【００１１】以降は省略されています）

関連特許