特許ウォッチ

公開番号2025105407
公報種別公開特許公報(A)
公開日2025-07-10
出願番号2024104746
出願日2024-06-28
発明の名称バイアスのための生成人工知能の検査
出願人富士通株式会社
代理人個人,個人
主分類G06N 20/00 20190101AFI20250703BHJP(計算;計数)
要約【課題】バイアスのための生成人工知能を検査するシステム及び方法を提供する。
【解決手段】方法は、トピック102及びトピックに関連する人工知能(AI)の役割104を取得するステップと、1次生成AIモデル110によって、トピック及びAIの役割に基づいて、質問プロンプト112を生成するステップと、1次生成AIモデルによって、質問プロンプトに対応するステートメントセット114として1つ以上のステートメントを生成するステップと、ステートメントに含まれるキータームをマスキングするステップと、2次生成AIモデル150によって、マスクされたステートメント145に対応するマスクされていないステートメント155を決定するステップと、マスクされていないステートメントをステートメントセットの対応するステートメントと比較することによって、2次生成AIモデルの性能を評価165するステップと、を含む。
【選択図】図1
特許請求の範囲【請求項１】
トピック及び前記トピックに関連する人工知能（AI）の役割を取得するステップであって、前記トピックは研究分野に関連し、前記AIの役割は、前記トピック及び前記AIの役割が人間のユーザによって指定される前記研究分野における職業的役割を表す、ステップと、
第１生成AIモデルによって、前記トピック及び前記AIの役割に基づき質問プロンプトを生成するステップと、
前記第１生成AIモデルによって、前記質問プロンプトに対応するステートメントセットとして１つ以上のステートメントを生成するステップと、
マスクされたステートメントのセットを形成するために、前記ステートメントセットの前記ステートメントに含まれるキータームをマスクするステップであって、前記ステートメントセットの各ステートメントが各々のキータームを含み、特定のセットに含まれる各マスクされたステートメントが少なくとも１つのマスクされたキータームを含む、ステップと、
第２生成AIモデルによって、マスクされていないステートメントのセットを決定するステップであって、各々のマスクされていないステートメントは対応するマスクされたステートメントに基づく、ステップと、
前記マスクされていないステートメントのセットを前記ステートメントセットに含まれる各々のステートメントと比較することに基づいて、前記第２生成AIモデルの性能を評価するステップと、
を含む方法。
続きを表示（約 2,600 文字）【請求項２】
前記第２生成AIモデルの性能の評価が、前記マスクされていないステートメントのセットを前記ステートメントセットに含まれる各々のステートメントと比較することに基づいて、前記第２生成AIモデルが不正確な結果を提供することを示すことに基づいて、前記第２生成AIモデルをトレーニングするために最初に使用された第１トレーニングデータセットとは異なる第２トレーニングデータセットを使用して、前記第２生成AIモデルを再トレーニング又は微調整するステップ、
を更に含む請求項１に記載の方法。
【請求項３】
前記ステートメントセットに含まれる前記ステートメントのうちの１つ以上のステートメントは、人間のユーザによって提供され、前記第１生成AIモデルによって生成され、前記人間のユーザによって提供される前記１つ以上のステートメントは、前記質問プロンプトに関する真のステートメント又は偽のステートメントである、請求項１に記載の方法。
【請求項４】
前記マスクされたステートメントのセットを形成するために、前記ステートメントセットの前記ステートメントに含まれるキータームをマスクするステップは、
前記ステートメントセットの自然言語処理に含まれる共通ワードを表す１つ以上のストップワードを識別するステップと、
前記ステートメントセットの各ステートメントから前記１つ以上のストップワードを除外するステップと、
前記１つ以上のストップワードを除外した後に各ステートメントに残っているワードに基づいて、各ステートメントに含まれる前記キータームを識別するステップと、
前記識別されたキータームの１つをマスクするステップと、
を含む、請求項１に記載の方法。
【請求項５】
前記第２生成AIモデルの性能を評価するステップは、前記第２生成AIモデルが、特定のステートメントに含まれる特定のマスクされたキータームを置き換えるために正しいマスクされたキータームを返す確率と、前記特定のステートメントに含まれるマスクされたキータームの総数とに基づいて評価スコアを計算するステップを含む、請求項１に記載の方法。
【請求項６】
前記第２生成AIモデルの性能を評価するステップは、評価スコアを計算するステップを含み、前記評価スコアは、特定のステートメントに含まれるマスクされたキータームの総数と、特定のマスクされたタームを置き換えるために使用される正しいマスクされていないキータームが前記第２生成AIモデルによって返される頻度の、前記特定のマスクされたタームを置き換えるために使用される誤ったマスクされていないキータームが、前記第２生成AIモデルによって返される頻度に対するランキングと、に基づく、請求項１に記載の方法。
【請求項７】
前記マスクされていないステートメントのセットを決定するステップは、前記第２生成AIモデル及び第３生成AIモデルによって実行され、
前記第２生成AIモデルの性能を評価するステップは、前記第３生成AIモデルの公平性と比較して、前記第２生成AIモデルの公平性を視覚的に表現するステップを含む、請求項１に記載の方法。
【請求項８】
命令を記憶するように構成された１つ以上の非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されることに応答して、システムに動作を実行させ、前記動作は、
トピック及び前記トピックに関連する人工知能（AI）の役割を取得するステップであって、前記トピックは研究分野に関連し、前記AIの役割は、前記トピック及び前記AIの役割が人間のユーザによって指定される前記研究分野における職業的役割を表す、ステップと、
第１生成AIモデルによって、前記トピック及び前記AIの役割に基づき質問プロンプトを生成するステップと、
前記第１生成AIモデルによって、前記質問プロンプトに対応するステートメントセットとして１つ以上のステートメントを生成するステップと、
マスクされたステートメントのセットを形成するために、前記ステートメントセットの前記ステートメントに含まれるキータームをマスクするステップであって、前記ステートメントセットの各ステートメントが各々のキータームを含み、特定のセットに含まれる各マスクされたステートメントは少なくとも１つのマスクされたキータームを含む、ステップと、
第２生成AIモデルによって、マスクされていないステートメントのセットを決定するステップであって、各々のマスクされていないステートメントが対応するマスクされたステートメントに基づく、ステップと、
前記マスクされていないステートメントのセットを前記ステートメントセットに含まれる各々のステートメントと比較することに基づいて、前記第２生成AIモデルの性能を評価するステップと、
を含む、１つ以上の非一時的コンピュータ可読記憶媒体。
【請求項９】
前記動作は、
前記第２生成AIモデルの性能の評価が、前記マスクされていないステートメントのセットを前記ステートメントセットに含まれる各々のステートメントと比較することに基づいて、前記第２生成AIモデルが不正確な結果を提供することを示すことに基づいて、前記第２生成AIモデルをトレーニングするために最初に使用された第１トレーニングデータセットとは異なる第２トレーニングデータセットを使用して、前記第２生成AIモデルを再トレーニング又は微調整するステップ、
を更に含む、請求項８に記載の１つ以上の非一時的コンピュータ可読記憶媒体。
【請求項１０】
前記ステートメントセットに含まれる前記ステートメントのうちの１つ以上のステートメントは、人間のユーザによって提供され、前記第１生成AIモデルによって生成され、前記人間のユーザによって提供される前記１つ以上のステートメントは、前記質問プロンプトに関する真のステートメント又は偽のステートメントである、請求項８に記載の１つ以上の非一時的コンピュータ可読記憶媒体。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、一般に、バイアスのための生成人工知能を検査するシステム及び方法に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
人工知能（Artificial intelligence （AI））は、様々な研究分野において、それらの研究分野における問題を解決するために使用される場合がある。AIは、そのような分析タスクを理解するように構成及びトレーニングされた後、従来人間によって行われてきた分析タスクを実行することができる。例えば、AIは、１つ以上のユーザの好み又は入力情報に基づいてコンテンツ推奨を行い、特定のルールセットに従って多面的で非二元的な決定を行い、芸術作品を合成又は作成し、又はその他の分析的又は創造的なタスクを行うために使用できる。AIモデルは、例えば、知識ベースを提供することによって、分析的又は創造的なタスクを実行するようにトレーニングされ得る。その知識ベースから、AIモデルは、その知識ベースの特徴を統計的に分析して、新しい入力に対する統計的に妥当な応答を導き出すことができる（すなわち機械学習モデル）。追加又は代替の例として、AIモデルは、新しい入力に対する特定の結論に到達するために、特定の論理的又は構造的プロセスに従って知識ベースを解析するようにAIモデルを構成することによってトレーニングされ得る（自然言語処理モデルなど）。
【０００３】
本開示で請求される主題は、任意の欠点を解決する実施形態又は上述のような環境でのみ動作する実施形態に限定されない。むしろ、この背景技術は、本開示に記載の幾つかの実施形態が実施され得る一例である技術領域を説明するためにのみ提供される。
【発明の概要】
【０００４】
一実施形態の一態様によると、方法は、トピック及びトピックに関連する人工知能（AI）の役割を取得するステップを含むことができ、トピックは研究分野に関連し、AIの役割は研究分野における職業的役割を表す。方法は、第１生成AIモデルによって、トピック及びAIの役割に基づいて、質問プロンプトを生成するステップを含むことができる。方法は、第１生成AIモデルによって、質問プロンプトに対応するステートメントセットとして１つ以上のステートメントを生成するステップと、各ステートメントが少なくとも１つの各々のキータームを含むステートメントに含まれるキータームをマスキングするステップとを含むことができる。方法は、第２生成AIモデルによって、マスクされたステートメントに対応するマスクされていないステートメントを決定するステップを含むことができる。方法は、マスクされていないステートメントをステートメントセットの対応するステートメントと比較することによって、第２生成AIモデルの性能を評価するステップを含むことができる。
【０００５】
実施形態の目的及び利点は、請求項において特に指摘される要素、特徴、及び組み合わせにより少なくとも実現され達成される。理解されるべきことに、前述の一般的な説明及び以下の詳細な説明の両者は、例であり、請求される本発明の限定ではない。
【図面の簡単な説明】
【０００６】
例示的な実施形態は、以下の添付の図面を通じて更なる特殊性及び詳細事項により記載され説明される。
【０００７】
本開示の１つ以上の実施形態に従って、生成人工知能（AI）モデルの公平性又はバイアスを評価することができる例示的な動作環境の図である。
【０００８】
本開示の１つ以上の実施形態に従って、生成AIモデルの公平性及びバイアスの評価に使用するための質問を生成する例示的なプロセスのフローチャートを示す。
【０００９】
本開示の１つ以上の実施形態に従って、生成AIモデルの公平性及びバイアスの評価に使用するための真のステートメント及び偽のステートメントを生成する例示的なプロセスのフローチャートを示す。
【００１０】
本開示の１つ以上の実施形態による、真のステートメント及び偽のステートメントの妥当性を評価する例示的なプロセスのフローチャートを示す。
（【００１１】以降は省略されています）

関連特許