特許ウォッチ

公開番号2025176556
公報種別公開特許公報(A)
公開日2025-12-04
出願番号2024082795
出願日2024-05-21
発明の名称質問生成装置、質問生成システム及び質問生成方法
出願人株式会社日立製作所
代理人弁理士法人第一国際特許事務所
主分類G09B 19/00 20060101AFI20251127BHJP(教育;暗号方法;表示;広告;シール)
要約【課題】学習者の理解や大規模言語モデルの性能をより的確に評価することが可能な質問生成手段を提供すること。
【解決手段】質問生成装置は、テキスト情報から構成されるコンテキストデータを取得する入力部と、コンテキストデータを第1の大規模言語モデルで処理することで、コンテキストデータに対する第1の多肢選択式質問のセットを生成する質問生成部と、第1の多肢選択式質問のセットを所定の認知難易度評価基準に基づいて評価することで、第1の多肢選択式質問のセットについて、認知難易度を示す難易度評価値を判定する評価部と、第1の多肢選択式質問のセットの中から、難易度評価値が所定の認知難易度閾値を満たす第1の多肢選択式質問のサブセットを選択し、出力するフィルタリング部とを含む。
【選択図】図2
特許請求の範囲【請求項１】
質問生成装置であって、
プロセッサとメモリとを備え、
前記メモリは、
テキスト情報から構成されるコンテキストデータを取得する入力部と、
前記コンテキストデータを第１の大規模言語モデルで処理することで、前記コンテキストデータに対する第１の多肢選択式質問のセットを生成する質問生成部と、
前記第１の多肢選択式質問のセットを所定の認知難易度評価基準に基づいて評価することで、前記第１の多肢選択式質問のセットについて、認知難易度を示す難易度評価値を判定する評価部と、
前記第１の多肢選択式質問のセットの中から、前記難易度評価値が所定の認知難易度閾値を満たす第１の多肢選択式質問のサブセットを選択し、出力するフィルタリング部、
として前記プロセッサを機能させるための処理命令を含むことを特徴とする質問生成装置。
続きを表示（約 3,200 文字）【請求項２】
前記入力部は、
前記コンテキストデータに加えて、前記第１の多肢選択式質問のセットにおいて前記難易度評価値が第１の認知難易度閾値を満たす低難易度質問と、前記第１の多肢選択式質問のセットにおいて前記難易度評価値が第２の認知難易度閾値を満たす高難易度質問との割合を規定する難易度分布条件を取得する、
ことを特徴とする、請求項１に記載の質問生成装置。
【請求項３】
前記メモリは、
前記コンテキストデータを第２の大規模言語モデルで処理することで、前記コンテキストデータから抽出した要点を示す要約情報を生成する要約生成部として前記プロセッサを機能させるための処理命令を更に含む、
ことを特徴とする、請求項２に記載の質問生成装置。
【請求項４】
前記質問生成部は、
前記コンテキストデータを前記第１の大規模言語モデルで処理することで、前記コンテキストデータに対する前記低難易度質問を生成し、
前記要約情報を前記第１の大規模言語モデルで処理することで、前記コンテキストデータに対する前記高難易度質問を生成する、
ことを特徴とする、請求項３に記載の質問生成装置。
【請求項５】
前記フィルタリング部は、
前記第１の多肢選択式質問のセットの中から、前記第１の認知難易度閾値を満たさない多肢選択式質問を排除することで前記第１の多肢選択式質問のサブセットを生成し、
前記第１の多肢選択式質問のサブセットに含まれる前記低難易度質問及び前記高難易度質問の割合が前記難易度分布条件を満たすか否かを判定し、
前記第１の多肢選択式質問のサブセットに含まれる前記低難易度質問及び前記高難易度質問の割合が前記難易度分布条件を満たす場合、前記第１の多肢選択式質問のサブセットを出力し、
前記第１の多肢選択式質問のサブセットに含まれる前記低難易度質問及び前記高難易度質問の割合が前記難易度分布条件を満たさない場合、
前記質問生成部は、
前記コンテキストデータ又は前記要約情報を前記第１の大規模言語モデルで処理することで、前記コンテキストデータに対する第２の多肢選択式質問のセットを生成し、
前記フィルタリング部は、
前記第２の多肢選択式質問のセットの中から、前記第１の認知難易度閾値を満たさない多肢選択式質問を排除することで第２の多肢選択式質問のサブセットを生成し、
前記第１の多肢選択式質問のサブセット及び前記第２の多肢選択式質問のサブセットに含まれる前記低難易度質問及び前記高難易度質問の割合が前記難易度分布条件を満たすか否かを判定し、
前記第１の多肢選択式質問のサブセット及び前記第２の多肢選択式質問のサブセットに含まれる前記低難易度質問及び前記高難易度質問の割合が前記難易度分布条件を満たす場合、前記第１の多肢選択式質問のサブセット及び前記第２の多肢選択式質問のサブセットを出力する、
ことを特徴とする、請求項４に記載の質問生成装置。
【請求項６】
前記要約生成部は、
前記コンテキストデータが所定の長短基準を満たすと判定した場合、前記コンテキストデータを所定の長さを有する複数のコンテキストデータ部分に分割し、前記コンテキストデータ部分のそれぞれを前記第２の大規模言語モデルで処理することで、前記コンテキストデータ部分のそれぞれについて、抽出した要点を示す部分要約情報を生成し、
前記質問生成部は、
前記複数のコンテキストデータ部分の内、所定の関連性基準を満たす第１のコンテキストデータ部分及び第２のコンテキストデータ部分を特定し、
特定した第１のコンテキストデータ部分から抽出した要点を示す第１の部分要約情報及び第２のコンテキストデータ部分から抽出した要点を示す第２の部分要約情報を集約した集約部分要約情報を前記第１の大規模言語モデルで処理することで、前記コンテキストデータに対する前記高難易度質問を生成する、
ことを特徴とする、請求項４に記載の質問生成装置。
【請求項７】
前記評価部は、
前記第１の多肢選択式質問のサブセットを第３の大規模言語モデルに入力し、
前記第１の多肢選択式質問のサブセットに対する前記第３の大規模言語モデルの回答の正解率に基づいて、前記第３の大規模言語モデルの性能を定量的に示す性能スコアを判定する、
ことを特徴とする、請求項１に記載の質問生成装置。
【請求項８】
前記評価部は、
前記第１の多肢選択式質問のセットに含まれる質問のそれぞれについて、
設問文に対する正解肢が誤っている質問に対して第１の難易度評価値を判定し、
ある知識を暗記し、思い出すことが求められる質問に対して第２の難易度評価値を判定し、
暗記した知識を解釈することが求められる質問に対して第３の難易度評価値を判定し、
暗記した知識を所定の問題に対して適用し、解決することが求められる質問に対して第４の難易度評価値を判定し、
ある複雑な問題分を、いくつかの要素に分解し、構造を理解することが求められる質問に対して第５の難易度評価値を判定し、
情報やアイディアを批判的に評価し、判断することが求められる質問に対して第６の難易度評価値を判定し、
複数の要素を統合して新しい全体像を作り出すことが求められる質問に対して第７の難易度評価値を判定する、
ことを特徴とする、請求項１に記載の質問生成装置。
【請求項９】
質問生成装置において実施される質問生成方法であって、
前記質問生成装置は、
プロセッサとメモリとを備え、
前記質問生成方法は、
前記メモリに格納されている処理命令によって、
テキスト情報から構成されるコンテキストデータを取得する工程と、
前記コンテキストデータを第１の大規模言語モデルで処理することで、前記コンテキストデータに対する第１の多肢選択式質問のセットを生成する工程と、
前記第１の多肢選択式質問のセットを所定の認知難易度評価基準に基づいて評価することで、前記第１の多肢選択式質問のセットについて、認知難易度を示す難易度評価値を判定する工程と、
前記第１の多肢選択式質問のセットの中から、前記難易度評価値が所定の認知難易度閾値を満たす第１の多肢選択式質問のサブセットを選択し、出力する工程と、
を前記プロセッサに実行させることを特徴とする質問生成方法。
【請求項１０】
質問生成装置と、
ユーザ端末とが通信ネットワークを介して接続されている質問生成システムであって、
前記質問生成装置は、
プロセッサとメモリとを備え、
前記メモリは、
テキスト情報から構成されるコンテキストデータを前記ユーザ端末から取得する入力部と、
前記コンテキストデータを第１の大規模言語モデルで処理することで、前記コンテキストデータに対する第１の多肢選択式質問のセットを生成する質問生成部と、
前記第１の多肢選択式質問のセットを所定の認知難易度評価基準に基づいて評価することで、前記第１の多肢選択式質問のセットについて、認知難易度を示す難易度評価値を判定する評価部と、
前記第１の多肢選択式質問のセットの中から、前記難易度評価値が所定の認知難易度閾値を満たす第１の多肢選択式質問のサブセットを選択し、前記ユーザ端末に出力するフィルタリング部、
として前記プロセッサを機能させるための処理命令を含むことを特徴とする質問生成システム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、質問生成装置、質問生成システム及び質問生成方法に関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
多肢選択式質問(ＭｕｌｔｉｐｌｅＣｈｏｉｃｅＱｕｅｓｔｉｏｎ；ＭＣＱ)は、教育現場で広く利用されている評価ツールであり、近年では、大規模言語モデル(ＬＬＭ)の性能を定量化するためにも用いられている。
【０００３】
多肢選択式質問は、通常、問題の状況またはシナリオを示す説明文、説明文に関する問題を提起する設問文、設問文の正しい回答である正解肢及びいくつかの誤った回答を示す誤答肢から構成されている。多肢選択式質問の作成を自動化することで、人的資源、時間、費用、労力等を大幅に抑制することが期待されている。
【０００４】
多肢選択式質問の作成を自動化する手段として、例えばＤｏｕｇｈｔｙら（非特許文献１）による研究が存在する。
非特許文献１には、「教育者には、効果的な最新の評価ツールを開発し、維持する必要が常にある。コンピューティング教育では、生成及びコーディング演習への関与において大規模言語モデル(ＬＬＭ)を利用することに関する研究が増えているが、プログラミングに関する多肢選択式質問ＭＣＱの生成におけるＬＬＭの使用については、広く調査されていない。私たちは、高等教育におけるＰｙｔｈｏｎプログラミングの授業の特定の学習目標(ＬｅａｒｎｉｎｇＯｂｊｅｃｔｉｖｅ，ＬＯ) に合わせたＭＣＱを生成するＧＰＴ－４の機能を分析した。具体的には、高レベルのコースコンテキストとモジュールレベルのＬＯからMCQを生成するための、ＬＬＭ(ＧＰＴ－４)を利用したシステムを開発した。私たちは、６つのPythonの授業からの２４６個のＬＯに合わせて、ＬＬＭによって生成された６５１個のMCQと人間が作成した４４９個のＭＣＱを評価した。ＧＰＴ－４は、明確な言葉使い、単一の正解肢、高品質の誤答肢を含むＭＣＱを生成できることが確認できた。また、生成されたＭＣＱがＬＯとよく一致しているように見えることも観察された。私たちの研究は、ＭＣＱ作成の取り組みをサポートするために最先端の生成モデルを活用したいと考えている教育者によって活用され得る。」技術が記載されている。
【先行技術文献】
【非特許文献】
【０００５】
Jacob Doughty, Zipiao Wan, Anishka Bompelli, Jubahed Qayum, Taozhi Wang, Juran Zhang, Yujia Zheng, Aidan Doyle, Pragnya Sridhar, Arav Agarwal, Christopher Bogart, Eric Keylor, Can Kultur, Jaromir Savelka, and Majd Sakr. 2024. A Comparative Study of AI-Generated (GPT-4) and Human-crafted MCQs in Programming Education. In Australian Computing Education Conference (ACE 2024), January 29--February 02, 2024, Sydney, NSW, Australia. ACM, New York, NY, USA 10 Pages. https://doi.org/10.1145/3636243.3636256
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般に、学習者の理解を的確に評価するためには、暗記した知識を単に思い出す低難易度の質問だけでなく、知識の適用やある概念の分析等の深い理解が求められる高難易度の多肢選択式質問を作成することが望ましい。
【０００７】
非特許文献１には、ＧＰＴ－４のようなＬＬＭを用いてプログラミングに関する多肢選択式質問を自動生成する手段が記載されている。しかし、非特許文献１に記載の手段では、多肢選択式質問は単一ステップの手順で生成され、多肢選択式質問の認知難易度（ｃｏｇｎｉｔｉｖｅｄｉｆｆｉｃｕｌｔｙ）をユーザの要望に合わせて制御することは検討されていない。このため、非特許文献１の技術によって生成される多肢選択式質問は、いわゆるＣｌｏｚｅタスクのような低難易度の質問となり、学習者の理解を的確に評価することが難しい場合がある。
また、多肢選択式質問の質を、例えば語彙の難度や選択肢の数に基づいて評価する従来の提案もあるが、これだけでは質問を答えるために求められる認知能力を正確に評価することが限定されてしまう。
【０００８】
そこで、本開示は、ユーザの要望に合わせた認知難易度の多肢選択式質問を生成することで、学習者の理解や大規模言語モデルの性能をより的確に評価することが可能な質問生成手段を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、代表的な本発明の質問生成装置は、プロセッサとメモリとを備え、前記メモリは、テキスト情報から構成されるコンテキストデータを取得する入力部と、前記コンテキストデータを第１の大規模言語モデルで処理することで、前記コンテキストデータに対する第１の多肢選択式質問のセットを生成する質問生成部と、前記第１の多肢選択式質問のセットを所定の認知難易度評価基準に基づいて評価することで、前記第１の多肢選択式質問のセットについて、認知難易度を示す難易度評価値を判定する評価部と、前記第１の多肢選択式質問のセットの中から、前記難易度評価値が所定の認知難易度閾値を満たす第１の多肢選択式質問のサブセットを選択し、出力するフィルタリング部、として前記プロセッサを機能させるための処理命令を含むことを特徴とする。
【発明の効果】
【００１０】
本開示によれば、ユーザの要望に合わせた認知難易度の多肢選択式質問を生成することで、学習者の理解や大規模言語モデルの性能をより的確に評価することが可能な質問生成手段を提供することができる。
上記以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許