特許ウォッチ

公開番号2025009544
公報種別公開特許公報(A)
公開日2025-01-20
出願番号2023112620
出願日2023-07-07
発明の名称書類分類システム、書類分類方法および書類分類プログラム
出願人株式会社日立製作所
代理人青稜弁理士法人
主分類G06F 16/93 20190101AFI20250110BHJP(計算;計数)
要約【課題】複数の項目に対する複数の項目値を含む書類のうちで、明文化されたルールで分類することが容易ではない書類を、複数の項目値に基づいてクラスに分類することを容易にすること。
【解決手段】書類の複数の項目値に基づいてクラスに分類する書類分類システムであって、書類分類システムは、処理部の有する書類分類部が、書類の複数の項目値が入力されると、ルールベースエンジンを使用して、入力された書類の複数の項目値から、書類の分類結果であるルール分類結果を算出することと、機械分類モデルを使用して、入力された書類の複数の項目値から、書類の分類結果である機械分類結果を算出することと、分類正確さ予測モデルを使用して、入力された書類の複数の項目値から、ルール分類正確さ予測値を算出することと、を行い、算出したルール分類結果、機械分類結果およびルール分類正確さ予測値を出力する。
【選択図】図4
特許請求の範囲【請求項１】
複数の項目に対する複数の項目値を含む書類を、前記書類の前記複数の項目値に基づいてクラスに分類する書類分類システムであって、
前記書類分類システムは、記憶部と、処理部と、を備え、
前記記憶部は、
前記書類の前記複数の項目値に基づいて、前記書類を前記クラスに分類するクラス分類ルールに基づいて作成された、前記書類の前記複数の項目値と、前記クラスと、の関係を表すモデルであるルールベースエンジンと、
前記書類の前記複数の項目値と、前記ルールベースエンジンを使用して前記書類を正しく分類できるか否かを表すルール分類正確さ予測値と、の関係を表す機械学習のモデルである分類正確さ予測モデルと、
前記書類の前記複数の項目値と、前記クラスと、の関係を表す機械学習のモデルである機械分類モデルと、
を格納し、
前記処理部は、
前記書類の前記複数の項目値が入力されると、
前記ルールベースエンジンを使用して、入力された前記書類の前記複数の項目値から、前記書類の分類結果であるルール分類結果を算出することと、
前記機械分類モデルを使用して、入力された前記書類の前記複数の項目値から、前記書類の分類結果である機械分類結果を算出することと、
前記分類正確さ予測モデルを使用して、入力された前記書類の前記複数の項目値から、前記ルール分類正確さ予測値を算出することと、を行い、
算出した前記ルール分類結果、前記機械分類結果および前記ルール分類正確さ予測値を出力する、
書類分類システム。
続きを表示（約 3,600 文字）【請求項２】
請求項１に記載の書類分類システムであって、
機械分類モデルは、訓練データを用いて訓練させた学習済みのモデルであり、
前記訓練データは、前記ルールベースエンジンを使用して、クラスに正しく分類できる訓練用書類と正解ラベルとの組のルール分類可能組データと、前記ルールベースエンジンを使用して、クラスに正しく分類できない訓練用書類と正解ラベルとの組のルール分類不可能組データと、を含む、
書類分類システム。
【請求項３】
請求項１に記載の書類分類システムであって、
さらに、前記処理部は、モデル更新部を有し、
前記モデル更新部は、
前記ルールベースエンジンを使用して、前記書類の前記複数の項目値から、前記ルール分類結果を算出する過程における、前記項目値を分類するルール分類条件を算出でき、
前記機械分類モデルを使用して、前記複数の項目値から、前記機械分類結果を算出する過程における、前記項目値を分類する機械分類条件を算出でき、
前記ルールベースエンジンを使用して算出されるルール分類結果は正しくない値であり、かつ、前記機械分類モデルを使用して算出される機械分類結果は正しい値となる補正用書類の前記複数の項目値が入力されると、
前記補正用書類の前記複数の項目値に対する前記ルール分類条件および前記機械分類条件を算出し、
算出した前記ルール分類条件と前記機械分類条件の差分の情報である、分類差分情報を算出し、
前記ルール分類条件、前記機械分類条件および前記分類差分情報を出力し、
前記分類差分情報に基づいて作成された補正分類命令を、前記ルールベースエンジンに加えて、ルールベースエンジンを補正する、
書類分類システム。
【請求項４】
請求項３に記載の書類分類システムであって、
機械分類モデルＭＭは、決定木モデルである、
書類分類システム。
【請求項５】
請求項１に記載の書類分類システムであって、
前記処理部は、前記書類を前記クラスに分類する書類分類部を備え、
前記書類分類部は、
前記ルールベースエンジンを使用して、前記複数の項目値から、前記ルール分類結果を算出する過程において、分類に使用する前記項目値であるルール使用項目値を算出でき、
前記機械分類モデルを使用して、前記複数の項目値から、前記機械分類結果を算出する過程において、分類に使用する前記項目値である機械使用項目値を算出でき、
前記書類の前記複数の項目値が入力されると、
前記ルールベースエンジンを使用して、前記複数の項目値から、前記ルール分類結果および前記ルール使用項目値を算出することと、
前記機械分類モデルを使用して、前記複数の項目値から、前記機械分類結果および機械使用項目値を算出することと、
前記分類正確さ予測モデルを使用して、前記複数の項目値から、前記ルール分類正確さ予測値を算出することと、を行い、
算出した前記ルール分類結果、前記ルール使用項目値、前記機械分類結果、前記機械使用項目値および前記ルール分類正確さ予測値を前記出力する、
書類分類システム。
【請求項６】
請求項１に記載の書類分類システムであって、
前記処理部は、モデル評価部を備え、
前記モデル評価部は、
テスト用書類と、正解ラベルである前記テスト用書類のクラスとの組のテスト組データを複数含むテストデータに含まれる前記テスト用書類それぞれに対して、
前記ルールベースエンジンを使用して、前記テスト用書類の複数の項目値から、前記テスト用書類に対するルール分類結果を算出し、
前記機械分類モデルを使用して、前記テスト用書類の複数の項目値から、前記テスト用書類に対する機械分類結果を算出し、
算出したルール分類結果において、全ての前記ルール分類結果の数に対する、前記正解ラベルと同じになるルール分類結果の割合を、ルール分類結果確度として算出し、
算出した機械分類結果においてが、全ての前記機械分類結果の数に対する、前記正解ラベルと同じになる機械分類結果の割合を、機械分類結果確度として算出し、
前記書類分類部は、
前記書類の前記複数の項目値が入力されると、
前記ルールベースエンジンを使用して、入力された前記書類の前記複数の項目値から、前記書類の分類結果であるルール分類結果を算出することと、
前記機械分類モデルを使用して、入力された前記書類の前記複数の項目値から、前記書類の分類結果である機械分類結果を算出することと、
前記分類正確さ予測モデルを使用して、入力された前記書類の前記複数の項目値から、前記ルール分類正確さ予測値を算出することと、を行い、
算出した前記ルール分類結果、前記機械分類結果、前記ルール分類正確さ予測値、前記ルール分類結果確度および前記機械分類結果確度を出力する、
書類分類システム。
【請求項７】
記憶装置およびプロセッサを備え、前記プロセッサが、複数の項目に対する複数の項目値を含む書類を、前記書類の前記複数の項目値に基づいてクラスに分類する書類分類システムにおける書類分類方法であって、
前記記憶装置は、
前記書類の前記複数の項目値に基づいて、前記書類を前記クラスに分類するクラス分類ルールに基づいて作成された、前記書類の前記複数の項目値と、前記クラスと、の関係を表すモデルであるルールベースエンジンと、
前記書類の前記複数の項目値と、前記ルールベースエンジンを使用して前記書類を正しく分類できるか否かを表すルール分類正確さ予測値と、の関係を表す機械学習のモデルである分類正確さ予測モデルと、
前記書類の前記複数の項目値と、前記クラスと、の関係を表す機械学習のモデルである機械分類モデルと、
を格納し、
前記プロセッサは、
前記書類の前記複数の項目値が入力されると、
前記ルールベースエンジンを使用して、入力された前記書類の前記複数の項目値から、前記書類の分類結果であるルール分類結果を算出することと、
前記機械分類モデルを使用して、入力された前記書類の前記複数の項目値から、前記書類の分類結果である機械分類結果を算出することと、
前記分類正確さ予測モデルを使用して、入力された前記書類の前記複数の項目値から、前記ルール分類正確さ予測値を算出することと、を行い、
算出した前記ルール分類結果、前記機械分類結果および前記ルール分類正確さ予測値を出力する、
書類分類方法。
【請求項８】
記憶装置およびプロセッサを備え、前記プロセッサが、複数の項目に対する複数の項目値を含む書類を、前記書類の前記複数の項目値に基づいてクラスに分類する書類分類システムにおける、書類分類プログラムであって、
前記記憶装置は、
前記書類の前記複数の項目値に基づいて、前記書類を前記クラスに分類するクラス分類ルールに基づいて作成された、前記書類の前記複数の項目値と、前記クラスと、の関係を表すモデルであるルールベースエンジンと、
前記書類の前記複数の項目値と、前記ルールベースエンジンを使用して前記書類を正しく分類できるか否かを表すルール分類正確さ予測値と、の関係を表す機械学習のモデルである分類正確さ予測モデルと、
前記書類の前記複数の項目値と、前記クラスと、の関係を表す機械学習のモデルである機械分類モデルと、
を格納し、
前記書類分類プログラムは、
前記書類の前記複数の項目値が入力されると、
前記プロセッサに、
前記ルールベースエンジンを使用して、入力された前記書類の前記複数の項目値から、前記書類の分類結果であるルール分類結果を算出させることと、
前記機械分類モデルを使用して、入力された前記書類の前記複数の項目値から、前記書類の分類結果である機械分類結果を算出させることと、
前記分類正確さ予測モデルを使用して、入力された前記書類の前記複数の項目値から、前記ルール分類正確さ予測値を算出させることと、を行わせ、
算出した前記ルール分類結果、前記機械分類結果および前記ルール分類正確さ予測値を出力させる、
書類分類プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、複数の項目値を含む書類を、複数の項目値に基づいてクラスに分類する書類分類システム、書類分類方法および書類分類プログラムに関する。
続きを表示（約 2,900 文字）【背景技術】
【０００２】
コンピュータを用いて、情報の分類が行われている。例えば、特許文献１には、ルールベースの判定方法と、機械学習モデルを用いた判定方法との２つの方法で、対象物の画像を含む画像データから対象物の状態の良否を判定するパラメータ決定装置が記載されている。特許文献１に記載されているパラメータ決定装置は、パラメータ判定部と、ルールベース判定部と、機械学習モデル判定部と、を有する。パラメータ設定部は、予め設定された数値の範囲に基づいて、パラメータである閾値Ｒｔｈおよび閾値Ｍｔｈを算出する。ルールベース判定部は、パラメータ設定部が算出した閾値Ｒｔｈおよび画像データを用いて、ルールベースの判定方法で対象物の良否を判定する。機械学習モデル判定部は、パラメータ設定部が算出した閾値Ｍｔｈおよび画像データを用いて、機械学習モデルによる状態を判定する。
【０００３】
特許文献１に記載されているパラメータ決定装置は、ルールベース判定部および機械学習モデルの両方が１つのパラメータを用いる代わりに、閾値Ｒｔｈと、閾値Ｍｔｈとの２つのパラメータを用いる。その結果、特許文献１に記載されているパラメータ決定装置は、ルールベースの判定方法と、機械学習モデルによる判定方法と、を併用する判定方法の判定精度が高くなるように、パラメータを決定できる。
【先行技術文献】
【特許文献】
【０００４】
特開２０２０－１３５６５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１に記載されている技術は、画像以外の情報を分類するために用いることが容易ではないだけでなく、パラメータの入力の必要がない機械学習モデルや、ルールベースの判定方法のモデルには適用できない。
【０００６】
例えば、特許文献１に記載されている技術を、複数の項目と、複数の項目それぞれに対する値（項目値）を含む書類のデータを、複数の項目値に基づいてクラスに分類するために使用することはできない。ここで、分類対象の書類は、例えば、個人の資産に応じて、個人を税金免除に関するクラスに分類するために作成された、個人の資産に関する複数の項目と、複数の項目それぞれに対する、個人の資産の状況を表す項目値と、を含む書類である。また、例えば、分類対象の書類は、会社を財務の状況に応じて、会社を税金や補助金に関するクラスに分類するために作成された、会社の財務に関する複数の項目と、複数の項目それぞれに対する財務の状況を表す項目値と、を含む書類である。
【０００７】
仮に、機械学習モデルを使用した書類の分類方法と、ルールベースのモデルを使用した書類の分類方法など複数の方法で、書類の分類結果を算出する場合、どちらの方法で算出した分類結果を信頼して正しい分類結果とするかを判断するのは容易ではない。また、ルールベースのモデルに組み込まれているルールの例外に当てはまる項目値を含む書類は、ルールベースのモデルを使用しても、正しく分類することは容易ではない。従って、ルールベースのモデルを使用して正しくクラスに分類できない書類に対して正しく分類することを容易にする技術が求められている。
【０００８】
そこで、本発明の目的は、複数の項目に対する複数の項目値を含む書類のうちで、明文化されたルールで分類することが容易ではない書類を、複数の項目値に基づいてクラスに分類することを容易にする書類分類支援システム、書類分類方法および書類分類プログラムを提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の書類分類システムの一態様は、複数の項目に対する複数の項目値を含む書類を、前記書類の前記複数の項目値に基づいてクラスに分類する書類分類システムであって、前記書類分類システムは、記憶部と、処理部と、を備え、前記記憶部は、前記書類の前記複数の項目値に基づいて、前記書類を前記クラスに分類するクラス分類ルールに基づいて作成された、前記書類の前記複数の項目値と、前記クラスと、の関係を表すモデルであるルールベースエンジンと、前記書類の前記複数の項目値と、前記ルールベースエンジンを使用して前記書類を正しく分類できるか否かを表すルール分類正確さ予測値と、の関係を表す機械学習のモデルである分類正確さ予測モデルと、前記書類の前記複数の項目値と、前記クラスと、の関係を表す機械学習のモデルである機械分類モデルと、を格納し、前記処理部は、前記書類を前記クラスに分類する書類分類部を備え、前記書類分類部は、前記書類の前記複数の項目値が入力されると、前記ルールベースエンジンを使用して、入力された前記書類の前記複数の項目値から、前記書類の分類結果であるルール分類結果を算出することと、前記機械分類モデルを使用して、入力された前記書類の前記複数の項目値から、前記書類の分類結果である機械分類結果を算出することと、前記分類正確さ予測モデルを使用して、入力された前記書類の前記複数の項目値から、前記ルール分類正確さ予測値を算出することと、を行い、算出した前記ルール分類結果、前記機械分類結果および前記ルール分類正確さ予測値を出力する。
【００１０】
また、本発明の書類分類方法の一態様は、記憶装置およびプロセッサを備え、前記プロセッサが、複数の項目に対する複数の項目値を含む書類を、前記書類の前記複数の項目値に基づいてクラスに分類する書類分類システムにおける書類分類方法であって、前記記憶装置は、前記書類の前記複数の項目値に基づいて、前記書類を前記クラスに分類するクラス分類ルールに基づいて作成された、前記書類の前記複数の項目値と、前記クラスと、の関係を表すモデルであるルールベースエンジンと、前記書類の前記複数の項目値と、前記ルールベースエンジンを使用して前記書類を正しく分類できるか否かを表すルール分類正確さ予測値と、の関係を表す機械学習のモデルである分類正確さ予測モデルと、前記書類の前記複数の項目値と、前記クラスと、の関係を表す機械学習のモデルである機械分類モデルと、を格納し、前記プロセッサは、前記書類の前記複数の項目値が入力されると、前記ルールベースエンジンを使用して、入力された前記書類の前記複数の項目値から、前記書類の分類結果であるルール分類結果を算出することと、前記機械分類モデルを使用して、入力された前記書類の前記複数の項目値から、前記書類の分類結果である機械分類結果を算出することと、前記分類正確さ予測モデルを使用して、入力された前記書類の前記複数の項目値から、前記ルール分類正確さ予測値を算出することと、を行い、算出した前記ルール分類結果、前記機械分類結果および前記ルール分類正確さ予測値を出力する。
（【００１１】以降は省略されています）

関連特許