発明の詳細な説明【技術分野】 【０００１】 本発明は、自然言語処理に基づく大規模言語モデル(Large Language Models，LLM)へ入力するプロンプトを作成する技術に関する。 続きを表示（約 2,800 文字）【背景技術】 【０００２】 近年、大規模言語モデルは、Transformerによって、テキスト生成や言語理解のようなタスクに対する推論精度が向上してきている。これは、大規模なデータセットを用いて、数十億個のパラメータを有するディープ・ニューラルネットワークを訓練して構築しており、自然な文章を生成することができる。代表的にChatGPT（登録商標）があり、その出力結果における高い表現力と汎用性によって、チャットボット、検索エンジン、コード生成など、幅広いアプリケーションで活用され始めている。 【０００３】 大規模言語モデルは、「要因と結果の因果関係」を推論するタスクに対して、推論精度が低くなる場合がある。これは、大規模言語モデルが、テキストデータにおける統計的な相関関係性を学習していることが影響している。 これに対し、大規模言語モデルの推論精度を向上させるために、入力するプロンプトに、論理的な思考の連鎖(Chain of Thought, CoT)を記述する技術がある（例えば非特許文献1参照）。これは、大規模言語モデルに対して最終解答に至る中間推論ステップを設けるべく、プロンプトに、ＱＡ(Question-Answer)例を記述する。 また、CoT promptingに派生した、Zero-shot-CoT promptingの技術もある（例えば非特許文献２参照）。これは、大規模言語モデルに対して、ステップバイステップで推論するべく指示するものである。最も簡易には、プロンプトに"Let's think step by step"を追記するだけであってもよい。推論対象の出力例を必要としないにもかかわらず、一度のプロンプトで推論精度を向上させることができる。 このように、入力する質問のプロンプトに、回答に対する段階的かつ論理的なステップを指示することによって、大規模言語モデルの推論精度を高めることができる。 【０００４】 他の観点から、大規模言語モデルには、他者の心を推論する「心の理論(Theory of Mind, ToM)」のタスクを解決する能力が備わっていることも報告されている。ToMは、人間や類人猿などが他者の心の状態、意図、知識、信念などを理解し、それに基づいて行動を推測する能力をいう。この概念は従来、他者が特定の状況で判断を誤るかどうかを理解できる能力を測定する心理学実験の「誤信念課題」によって測定されていたものである。 【先行技術文献】 【非特許文献】 【０００５】 Wei J. et al., “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models,” arXiv.org, Jan. 28, 2022.、[online]、［令和５年９月７日検索］、インターネット＜https://arxiv.org/abs/2201.11903＞ T. Kojima, S. S. Gu, M. Reid, Y. Matsuo, and Y. Iwasawa, “Large Language Models are Zero-Shot Reasoners.” arXiv, Jan. 29, 2023.、[online]、［令和５年９月７日検索］、インターネット＜https://arxiv.org/abs/2205.11916＞ M. Kosinski, “Theory of Mind May Have Spontaneously Emerged in Large Language Models.” arXiv, Mar. 14, 2023.、[online]、［令和５年９月７日検索］、インターネット＜https://www.researchgate.net/publication/368304947_Theory_of_Mind_May_Have_Spontaneously_Emerged_in_Large_Language_Models＞ 【発明の概要】 【発明が解決しようとする課題】 【０００６】 しかしながら、大規模言語モデルは、思考や感情のような「人間の心理プロセスの再現」のタスクについて、推論精度に限界があると言われている。大規模言語モデルの代表的なChatGPT3.5（登録商標）を用いて、前述した誤信念課題を解決した場合、ToMタスクに対して、人が９歳程度で獲得する推論精度しかないとする報告もある（例えば非特許文献３参照）。 【０００７】 これに対し、本願の発明者らは、大規模言語モデルに、人の心理的要因を考慮した行動意図の推論過程を組み込むことはできないか、と考えた。例えば、対人認知の情報処理過程を模擬することによって、人の行動を説明可能性を持たせて推論することができるのではないか、と考えた。 【０００８】 そこで、本発明は、「要因と結果の因果関係」と「人間の心理プロセスの再現」とを推論する認知心理学的なタスクについて、大規模言語モデルの推論精度を向上させることができるプロンプトを作成するプログラム、装置及び方法を提供することを目的とする。 【課題を解決するための手段】 【０００９】 本発明によれば、大規模言語モデルに入力すべき、任意の質問に対する各ユーザの回答を推論するプロンプトを作成するようにコンピュータを機能させるプログラムであって、 当該ユーザの個人情報を、プロンプトに記述する個人情報記述手段と、 当該ユーザの個人情報を考慮して、当該質問に対する当該ユーザの印象の形成を指示する文章を、プロンプトに記述する印象記述手段と、 当該ユーザの個人情報と、当該ユーザの印象とを考慮して、当該質問に対する当該ユーザの行動要因の推定を指示する文章を、プロンプトに記述する行動要因記述手段と、 当該ユーザの個人情報と、当該ユーザの印象と、当該ユーザの行動要因とを考慮して、当該質問に対する当該ユーザの回答の推論を指示する文章を、プロンプトに記述する質問記述手段と してコンピュータを機能させ、当該プロンプトは大規模言語モデルに入力され、当該質問に対する当該ユーザの回答が得られる ことを特徴とする。 【００１０】 本発明のプログラムにおける他の実施形態によれば、 個人情報記述手段は、当該ユーザの個人情報として、個人属性及び／又は詳細情報を含む文章を、プロンプトに記述する ようにコンピュータを機能させることも好ましい。 （【００１１】以降は省略されています） この特許をJ-PlatPatで参照する
特許ウォッチ
