特許ウォッチ

公開番号2025051945
公報種別公開特許公報(A)
公開日2025-04-07
出願番号2023160712
出願日2023-09-25
発明の名称質問検査装置、質問検査方法及び質問検査プログラム
出願人KDDI株式会社
代理人個人,個人
主分類G06F 40/56 20200101AFI20250328BHJP(計算;計数)
要約【課題】生成AIに対する非倫理的な問い合わせを精度良く検知して回答を拒否できる質問検査装置、質問検査方法及び質問検査プログラムを提供すること。
【解決手段】質問検査装置1は、第1の生成AIへの問い合わせ文の入力を受け付ける受付部11と、問い合わせ文を第1の生成AIに入力する前に、当該問い合わせ文が非倫理的な回答を導くものであるか否かを、第2の生成AIに対して質問し回答を得る判定部12と、問い合わせ文が非倫理的な回答を導くものでないとの回答を得た場合にのみ、当該問い合わせ文を第1の生成AIに入力し、当該問い合わせ文が非倫理的な回答を導くものであるとの回答を得た場合、第1の生成AIへの入力を拒否する応答部13と、を備え、第2の生成AIは、予めプロンプト・テンプレートに、冷静な判断者として倫理的な回答を行う役割が固定されている。
【選択図】図1
特許請求の範囲【請求項１】
第１の生成ＡＩへの問い合わせ文の入力を受け付ける受付部と、
前記問い合わせ文を前記第１の生成ＡＩに入力する前に、当該問い合わせ文が非倫理的な回答を導くものであるか否かを、第２の生成ＡＩに対して質問し回答を得る判定部と、
前記判定部により、前記問い合わせ文が非倫理的な回答を導くものでないとの回答を得た場合にのみ、当該問い合わせ文を前記第１の生成ＡＩに入力し、当該問い合わせ文が非倫理的な回答を導くものであるとの回答を得た場合、前記第１の生成ＡＩへの入力を拒否する応答部と、を備え、
前記第２の生成ＡＩは、予めプロンプト・テンプレートに、冷静な判断者として倫理的な回答を行う役割が固定されている質問検査装置。
続きを表示（約 1,100 文字）【請求項２】
前記判定部は、過去の問い合わせ文をまとめて前記第２の生成ＡＩに入力する請求項１に記載の質問検査装置。
【請求項３】
前記判定部は、前記問い合わせ文を、過去の問い合わせ文の要約と合わせて、さらに要約して前記第２の生成ＡＩに入力する請求項１に記載の質問検査装置。
【請求項４】
第１の生成ＡＩへの問い合わせ文の入力を受け付ける受付部と、
前記問い合わせ文に対する前記第１の生成ＡＩからの回答文を出力する前に、当該回答文が非倫理的であるか否かを、第２の生成ＡＩに対して質問し回答を得る判定部と、
前記判定部により、前記回答文が非倫理的でないとの回答を得た場合にのみ、当該回答文を出力し、当該回答文が非倫理的であるとの回答を得た場合、当該回答文を出力しない応答部と、を備え、
前記第２の生成ＡＩは、予めプロンプト・テンプレートに、冷静な判断者として倫理的な回答を行う役割が固定されている質問検査装置。
【請求項５】
第１の生成ＡＩへの問い合わせ文の入力を受け付ける受付ステップと、
前記問い合わせ文を前記第１の生成ＡＩに入力する前に、当該問い合わせ文が非倫理的な回答を導くものであるか否かを、第２の生成ＡＩに対して質問し回答を得る判定ステップと、
前記判定ステップにおいて、前記問い合わせ文が非倫理的な回答を導くものでないとの回答を得た場合にのみ、当該問い合わせ文を前記第１の生成ＡＩに入力し、当該問い合わせ文が非倫理的な回答を導くものであるとの回答を得た場合、前記第１の生成ＡＩへの入力を拒否する応答ステップと、をコンピュータが実行し、
前記第２の生成ＡＩは、予めプロンプト・テンプレートに、冷静な判断者として倫理的な回答を行う役割が固定されている質問検査方法。
【請求項６】
第１の生成ＡＩへの問い合わせ文の入力を受け付ける受付ステップと、
前記問い合わせ文に対する前記第１の生成ＡＩからの回答文を出力する前に、当該回答文が非倫理的であるか否かを、第２の生成ＡＩに対して質問し回答を得る判定ステップと、
前記判定ステップにおいて、前記回答文が非倫理的でないとの回答を得た場合にのみ、当該回答文を出力し、当該回答文が非倫理的であるとの回答を得た場合、当該回答文を出力しない応答ステップと、をコンピュータが実行し、
前記第２の生成ＡＩは、予めプロンプト・テンプレートに、冷静な判断者として倫理的な回答を行う役割が固定されている質問検査方法。
【請求項７】
請求項１から請求項４のいずれかに記載の質問検査装置としてコンピュータを機能させるための質問検査プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、生成ＡＩの不正利用を検出するための技術に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
近年、生成ＡＩと呼ばれる、指定した説明文から画像等を自動生成する技術が急速に進歩している。さらに、対話式の自然言語処理技術を採用した生成ＡＩ（例えば、非特許文献１参照）のサービスが提供され、ユーザからの問い合わせに対し、大規模な情報源に基づく返答として、原稿作成や要約等の高度な文章生成が可能となっている。
【先行技術文献】
【非特許文献】
【０００３】
ＣｈａｔＧＰＴ、インターネット、＜https://openai.com＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
生成ＡＩは、非倫理的な問い合わせや個人情報を含む問い合わせに対しても回答してしまう可能性があるため、通常は、このような問題のある入力を検知して拒否するように学習させる等のセキュリティ対策が施される。
しかしながら、このような対策を回避するジェイルブレイクといった手法が知られており、セキュリティ機構のさらなる改善が望まれている。
【０００５】
本発明は、生成ＡＩに対する非倫理的な問い合わせを精度良く検知して回答を拒否できる質問検査装置、質問検査方法及び質問検査プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る質問検査装置は、第１の生成ＡＩへの問い合わせ文の入力を受け付ける受付部と、前記問い合わせ文を前記第１の生成ＡＩに入力する前に、当該問い合わせ文が非倫理的な回答を導くものであるか否かを、第２の生成ＡＩに対して質問し回答を得る判定部と、前記判定部により、前記問い合わせ文が非倫理的な回答を導くものでないとの回答を得た場合にのみ、当該問い合わせ文を前記第１の生成ＡＩに入力し、当該問い合わせ文が非倫理的な回答を導くものであるとの回答を得た場合、前記第１の生成ＡＩへの入力を拒否する応答部と、を備え、前記第２の生成ＡＩは、予めプロンプト・テンプレートに、冷静な判断者として倫理的な回答を行う役割が固定されている。
【０００７】
前記判定部は、過去の問い合わせ文をまとめて前記第２の生成ＡＩに入力してもよい。
【０００８】
前記判定部は、前記問い合わせ文を、過去の問い合わせ文の要約と合わせて、さらに要約して前記第２の生成ＡＩに入力してもよい。
【０００９】
本発明に係る質問検査装置は、第１の生成ＡＩへの問い合わせ文の入力を受け付ける受付部と、前記問い合わせ文に対する前記第１の生成ＡＩからの回答文を出力する前に、当該回答文が非倫理的であるか否かを、第２の生成ＡＩに対して質問し回答を得る判定部と、前記判定部により、前記回答文が非倫理的でないとの回答を得た場合にのみ、当該回答文を出力し、当該回答文が非倫理的であるとの回答を得た場合、当該回答文を出力しない応答部と、を備え、前記第２の生成ＡＩは、予めプロンプト・テンプレートに、冷静な判断者として倫理的な回答を行う役割が固定されている。
【００１０】
本発明に係る質問検査方法は、第１の生成ＡＩへの問い合わせ文の入力を受け付ける受付ステップと、前記問い合わせ文を前記第１の生成ＡＩに入力する前に、当該問い合わせ文が非倫理的な回答を導くものであるか否かを、第２の生成ＡＩに対して質問し回答を得る判定ステップと、前記判定ステップにおいて、前記問い合わせ文が非倫理的な回答を導くものでないとの回答を得た場合にのみ、当該問い合わせ文を前記第１の生成ＡＩに入力し、当該問い合わせ文が非倫理的な回答を導くものであるとの回答を得た場合、前記第１の生成ＡＩへの入力を拒否する応答ステップと、をコンピュータが実行し、前記第２の生成ＡＩは、予めプロンプト・テンプレートに、冷静な判断者として倫理的な回答を行う役割が固定されている。
（【００１１】以降は省略されています）

関連特許