特許ウォッチ

公開番号2025110027
公報種別公開特許公報(A)
公開日2025-07-28
出願番号2024003712
出願日2024-01-15
発明の名称業務支援システム、及び業務支援方法
出願人株式会社日立製作所
代理人弁理士法人一色国際特許事務所
主分類G06F 40/44 20200101AFI20250718BHJP(計算;計数)
要約【課題】自然言語モデルの専門性を適切に評価する。
【解決手段】業務の分野に関する記述を含む自然言語のデータを登録したデータベースを記憶する記憶装置、及び、自然言語のデータを入力とし、自然言語のデータに対応するデータを出力とする自然言語モデルに、データベースから抽出した自然言語のデータを入力することで、入力された自然言語のデータに対応する出力データを取得し、取得した出力データに基づき、自然言語モデルの前記業務の分野における専門性を表すパラメータの値を算出し、算出したパラメータの値の情報を出力装置に出力する専門性メトリック算出処理を実行する制御装置を備える、業務支援システム1。
【選択図】図1
特許請求の範囲【請求項１】
業務の分野に関する記述を含む自然言語のデータを登録したデータベースを記憶する記憶装置、及び、
自然言語のデータを入力とし、前記自然言語のデータに対応するデータを出力とする自然言語モデルに、前記データベースから抽出した自然言語のデータを入力することで、前記入力された自然言語のデータに対応する出力データを取得し、取得した出力データに基づき、前記自然言語モデルの前記業務の分野における専門性を表すパラメータの値を算出し、算出したパラメータの値の情報を出力装置に出力する専門性メトリック算出処理を実行する制御装置
を備える、業務支援システム。
続きを表示（約 2,200 文字）【請求項２】
前記記憶装置は、前記データベースにおいて、前記業務の分野の事項に関する複数の回答の選択肢を含む質問及び前記質問に対する正答の選択肢の組み合わせのデータである多肢選択式データを記憶し、
前記制御装置は、前記専門性メトリック算出処理において、前記自然言語モデルに、前記多肢選択式データにおける質問のデータを入力することで、前記質問に対応する回答の出力データを取得し、取得した出力データが前記多肢選択式データにおける正答と一致するか否かを判定することにより前記パラメータの値を算出するテキストブック評価処理を実行する、
請求項１に記載の業務支援システム。
【請求項３】
前記記憶装置は、前記データベースにおいて、前記業務の分野に関する事項について文章で答える質問及び前記質問に対する正答の文章の組み合わせのデータである自由回答試問データを記憶し、
前記制御装置は、前記専門性メトリック算出処理において、前記自然言語モデルに、前記自由回答試問データにおける質問のデータを入力することで、前記質問に対応する回答の文章の出力データを取得し、取得した出力データが示す文章が前記自由回答試問データにおける正答の文章と一致する程度を表すパラメータの値を算出する口頭試問評価処理を実行する、
請求項１に記載の業務支援システム。
【請求項４】
前記記憶装置は、前記データベースにおいて、前記業務の分野における事実を問う質問及び前記事実の正答の組み合わせのデータである外部接地テストデータを記憶し、
前記制御装置は、前記専門性メトリック算出処理において、前記自然言語モデルに、前記外部接地テストデータにおける質問のデータを入力することで、前記質問に対応する回答の出力データを取得し、取得した出力データが示す単語又は文章が前記外部接地テストデータにおける正答を表す単語又は文章と一致するか否かを判定することにより前記パラメータの値を算出する現実性評価処理を実行する、
請求項１に記載の業務支援システム。
【請求項５】
前記記憶装置は、前記データベースにおいて、前記自然言語モデルが前記業務の分野に精通している程度を問う質問のデータである専門性自己認識プロンプトデータを記憶し、
前記制御装置は、前記専門性メトリック算出処理において、前記自然言語モデルに、前記専門性自己認識プロンプトデータを入力することで、前記専門性自己認識プロンプトデータに対応する回答の単語又は文章の出力データを取得し、取得した出力データが示す単語又は文章に基づき前記パラメータの値を算出する回答自己評価処理を実行する、
請求項１に記載の業務支援システム。
【請求項６】
前記制御装置は、
前記算出したパラメータの値が所定の閾値以下であるか否かを判定し、前記算出したパラメータの値が所定の閾値以下である場合に、前記業務の分野における質問及び回答のデータを前記自然言語モデルの学習用データとして、前記自然言語モデルに学習させるリテンション処理を実行する、
請求項１に記載の業務支援システム。
【請求項７】
前記制御装置は、
前記算出したパラメータの値が所定の閾値以下であるか否かを判定し、前記算出したパラメータの値が所定の閾値以下である場合に、前記業務の分野における自然言語のデータ及び前記算出したパラメータの値を前記自然言語モデルに入力することで、前記自然言語のデータに対応する、前記パラメータの値を改善する出力データを取得し、取得した出力データを所定の情報処理システムに送信することにより前記取得した出力データのスコアを受信し、前記受信したスコアが所定の閾値より大きいか否かを判定し、前記受信したスコアが前記所定の閾値より大きくないと判定した場合に、前記出力データ、前記自然言語のデータ、及び前記受信したスコアを含むデータを前記自然言語モデルに入力することで新たな出力データを取得するリテンション処理を実行する、
請求項１に記載の業務支援システム。
【請求項８】
前記制御装置は、
前記専門性メトリック算出処理において、前記算出したパラメータの値が所定の閾値以下であるか否かを判定し、前記算出したパラメータの値が所定の閾値以下であると判定した場合には出力装置に警告を出力する、
請求項１に記載の業務支援システム。
【請求項９】
前記記憶装置は、複数の分野のそれぞれについて前記自然言語モデルを記憶しており、
前記制御装置は、
前記専門性メトリック算出処理において、前記複数の分野のそれぞれについて、対応する前記自然言語モデルに基づき前記パラメータを算出し、算出した各パラメータの値の比較を表す図形を出力する、
請求項１に記載の業務支援システム。
【請求項１０】
現実又は仮想の空間を表示する表示装置、及び音声の入力を受け付ける装置をさらに含んで構成され、
前記制御装置は、前記専門性メトリック算出処理において、前記装置から前記装置に入力された音声を取得し、取得した音声に基づき、前記自然言語に入力される前記自然言語のデータを生成する、
請求項１に記載の業務支援システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、業務支援システム、及び業務支援方法に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
多くの分野で遂行される専門業務において、その活動のパフォーマンスは、行動パターン、経験、才能、ノウハウといった専門家の技能に強く依存している。
【０００３】
例えば金融業界における営業員は、様々な営業活動を行っており、その活動パフォーマンスは、営業員個々の行動パターン、経験、才能、ノウハウといった特性に強く依存している。また他の例でいえば、特定の業種に向けたネットワークを構築する際のパラメータ設計は、熟達したエンジニアの広範な経験に依存している。また他の例でいえば、特定の業種に向けたITシステム（IT:Information Technology）を構築するシステムエンジニアリングにおいても、この活動はマニュアル化された文章のみに基づくのでなく、エンジニアの経験に依存している。また他の例でいえば、専門的な測定機器のメンテナンスを行うエンジニアの活動パフォーマンスも同様にエンジニアの経験に依存している。
【０００４】
一部の組織では、成功した専門家の知識及びノウハウを組織全体で共有しようと試みているが、専門的知識及びノウハウを他者が適切に利用するのは一般に困難であり、適切なアドバイザなしにこれを行うと、業務効率と成果が低下することが多い。
【０００５】
近年、人工知能技術の進展に伴い、大規模言語モデル（ＬＬＭ:Large Language Models）をアドバイザ・ソフトウェアとして業務支援システムに導入することが検討されている。ここで、ＬＬＭとは、大量のテキストデータを用いて訓練された自然言語処理AIモデル（AI:Artificial Intelligence）であり、文章を含む情報を入力として受け取り、文章を含む情報を出力する能力を持つ機械学習モデルである。
【０００６】
図３４は、大規模言語モデルを用いた現状の業務支援システム３の構成の一例を示す図である。この業務支援システム３は、前処理部１２１及び後処理部１２２を備える。前処理部１２１は、ユーザからの業務に関する質問を受けとって、ＬＬＭを備える大規模言語モデルシステム１３０に渡す。後処理部１２２は、大規模言語モデルシステム１３０が生成した、質問に対する回答（アドバイス）の情報を受けとって、ユーザに返す。
【０００７】
ここで、大規模言語モデルシステム１３０のＬＬＭが適切な専門性を持っていなかったり不確かな回答を生成したりする可能性があるため、ＬＬＭが提供する情報の適切性を評価する必要がある。
【０００８】
しかし、ＬＬＭが提供する情報の適切性を評価するためには、ＬＬＭを評価するユーザ自身が高度な専門知識と判断能力を持つことが必要である。特に、ＬＬＭが提供する情報に専門的な内容を含む場合、ＬＬＭの出力の正確性を評価するためには、ユーザ自身がその専門分野に深い理解を持つことが求められる。これは、ユーザにとって大きな負担となり、結果としてＬＬＭを用いたシステムの利用効率と効果を低下させる可能性がある。
【０００９】
ここで、特許文献１には、質問文に情報を追加してプロンプトを生成し、ＬＬＭがより適切な回答を生成できるようにする手法が提案されている。具体的には、質問文に情報を追加してプロンプトを生成することでＬＬＭがより適切な回答を生成できるようにすることが開示されている。
【００１０】
また、特許文献２には、一貫性のある対話体験と対話の流れを維持するペルソナチャットボット制御方法およびシステムに関する技術が開示されている。具体的には、ユーザ発話を受信し、それをチャットボットのキャラクタに関する説明と関連した指示文を含むプロンプトに追加し、プロンプトをエンコードし、エンコードしたプロンプトを言語モデルに入力して、ユーザ発話に応答するチャットボット発話を生成するステップを含む方法が開示されている。さらに、対話主題探知器を用いてユーザ発話と関連した対話主題を決定し、対話シーン検索モデルを用いて決定された対話主題と関連した対話シーンを得ることが開示されている。
【先行技術文献】
【特許文献】
（【００１１】以降は省略されています）

関連特許