特許ウォッチ

公開番号2025087172
公報種別公開特許公報(A)
公開日2025-06-10
出願番号2023201636
出願日2023-11-29
発明の名称情報処理装置、情報処理方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類G06F 16/583 20190101AFI20250603BHJP(計算;計数)
要約【課題】ユーザが文書画像から抽出した文字列の修正をより簡便に行うこと。
【解決手段】情報処理サーバは、文書画像を取得し、OCR処理を行って文書画像に含まれる文字列群を取得し、文書種別判定モデルを用いて文書画像の文書種別となり得る複数の文書種別を判定する。また情報処理サーバは、項目値抽出モデルを用いて、文書画像に含まれる文字列群から所定の詳細項目の項目値である文字列を抽出する。情報処理サーバ抽出した文字列を基に、取り得る全ての文書種別について、文書種別毎の共通項目に対応する詳細項目の項目値である文字列を推定する。情報処理サーバは、文書種別判定結果及び項目値抽出結果に基づき決定した1つの文書種別とそれに対応する詳細項目の項目値を含む文書情報を確認/修正処理を行う。情報処理サーバは、確定した文書情報に基づき、文書画像を分類・保管するためのファイル名を付与したファイルを生成する。
【選択図】図5
特許請求の範囲【請求項１】
入力された文書画像の文書種別を判定する判定手段と、
前記判定手段により判定された文書種別に対して予め定められた項目の項目値としての文字列を前記文書画像から抽出する抽出手段と、
前記判定された文書種別と、当該文書種別に対して定められた項目について前記抽出手段により抽出された文字列とを含む文書情報を表示手段に表示させる提示手段と、
前記文書情報に対する修正を受け付ける受け付け手段と、
を備え、
前記提示手段は、前記判定手段が複数の文書種別を判定し、前記抽出手段が前記複数の文書種別のそれぞれに対して予め定められた項目の文字列を抽出して、前記複数の文書種別に対応する複数の前記文書情報を有する場合、複数の前記文書情報の中から前記受け付け手段が受け付けた前記修正と整合する文書情報を前記表示手段に表示させる、
ことを特徴とする情報処理装置。
続きを表示（約 1,400 文字）【請求項２】
前記修正と整合する文書情報に含まれる文書種別及び当該文書種別に対して定められた項目の文字列のうち少なくとも１つは、前記修正に含まれる、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記提示手段は、前記修正と整合する文書情報を、前記修正を受け付ける前に提示していた文書情報と置き換えて提示する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記提示手段は、前記修正を受け付ける前に提示していた文書情報のうち前記修正と整合する文書情報と異なる箇所について修正候補があることを通知する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記提示手段は、前記受け付け手段が新たに修正を受け付けた場合、前記修正候補のうち前記新たに受け付けた修正と整合する修正候補に絞り込んで通知する、
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記提示手段は、前記判定された文書種別及び前記抽出された文字列の中に前記修正と整合する文書情報が無い場合、前記修正に誤りがあることを通知する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記提示手段は、前記修正が前記文書情報の複数個所に対する修正を含み、前記判定された文書種別及び前記抽出された文字列の中に前記複数個所に対する修正の全てと整合する文書情報が無い場合、前記複数個所に対する修正に矛盾があることを通知する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記判定手段は、前記文書画像に含まれる文字列に基づき、所定の文書種別について前記文書画像の文書種別として判定される確率値を算出し、前記確率値が所定の閾値以上である文書種別を前記文書画像の文書種別として判定する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記複数の文書種別のそれぞれに対して予め定められた項目とは、全ての文書種別に共通する共通項目に分類される項目のうち、文書種別毎に前記共通項目に対応する項目として利用すると定められた項目である、
ことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
入力された文書画像の文書種別を判定するステップと、
前記判定するステップにより判定された文書種別に対して予め定められた項目の項目値としての文字列を前記文書画像から抽出するステップと、
前記判定された文書種別と、当該文書種別に対して定められた項目について前記抽出するステップにより抽出された文字列とを含む文書情報を表示手段に表示させるステップと、
前記文書情報に対する修正を受け付けるステップと、
を備え、
前記表示させるステップは、前記判定するステップが複数の文書種別を判定し、前記抽出するステップが前記複数の文書種別のそれぞれに対して予め定められた項目の文字列を抽出して、前記複数の文書種別に対応する複数の前記文書情報を有する場合、複数の前記文書情報の中から前記受け付けるステップが受け付けた前記修正と整合する文書情報を前記表示手段に表示させる、
ことを特徴とする情報処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、文書画像から情報を抽出するための情報処理技術に関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
従来、入力された文書画像の文書種別（例：請求書、見積書、納品書）を判定し、また、文書画像に記載された全ての文書種別に共通する所定の項目（例：タイトル、文書番号、発行日、会社名、金額）に対応する文字列を抽出する技術がある。
【０００３】
特許文献１は、入力された文書画像の文書種別を認識し、認識された文書種別に応じて予め定められた項目の項目値である文字列を抽出する技術を開示している。例えば、個々の文書には、それら文書を識別するために付与された識別番号が記載されている場合がある。請求書であれば請求番号がその文書の識別番号であり、納品書であれば納品番号が識別番号である。一方で、文書画像にはその文書の識別番号以外にも何らかの識別番号が記載されている場合がある。例えば、納品書内には納品番号以外に、その納品書に関連した請求書の請求番号が記載されている場合がある。このような場合、その請求番号は納品書としての文書の識別番号には当たらない。同様に、文書画像が生成された日付である文書発行日が記載されていても、その文書が請求書であれば請求日がその文書の発行日であり、納品書であれば納品日がその文書の発行日であり、文書発行日は請求書や納品書の発行日には当たらない。ここで、識別番号や発行日等、全ての文書種別に共通する項目を共通項目とし、請求番号、納品番号、請求日、納品日、や文書発行日等、文書種別毎に共通項目として使用する項目として設定される項目を詳細項目とする。特許文献１では、文書種別毎に共通項目として利用する詳細項目を予め定めておき、判別された文書種別に対応した詳細項目の文字列を抽出する。特許文献１では、ユーザが文書種別を修正した場合、修正された文書種別に基づき文書種別に対応する詳細項目の文字列を再抽出することで全ての詳細項目の文字列を自動で更新できる。
【先行技術文献】
【特許文献】
【０００４】
特開平８－２２１５５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の技術では、ユーザが文書種別を修正した際の文字列の自動更新には、文書画像から文字列を再抽出する必要があり、ユーザの修正操作に対する応答は遅く時間を要するという課題がある。また、文字列の自動更新は文書種別が修正された場合に限られ、文書種別が修正されなかった場合、文書種別以外の修正は手動で行う必要があり手間がかかるという課題がある。
【課題を解決するための手段】
【０００６】
本発明は、情報処理装置であって、入力された文書画像の文書種別を判定する判定手段と、前記判定手段により判定された文書種別に対して予め定められた項目の項目値としての文字列を前記文書画像から抽出する抽出手段と、前記判定された文書種別と、当該文書種別に対して定められた項目について前記抽出手段により抽出された文字列とを含む文書情報を表示手段に表示させる提示手段と、前記文書情報に対する修正を受け付ける受け付け手段と、を備え、前記提示手段は、前記判定手段が複数の文書種別を判定し、前記抽出手段が前記複数の文書種別のそれぞれに対して予め定められた項目の文字列を抽出して、前記複数の文書種別に対応する複数の前記文書情報を有する場合、複数の前記文書情報の中から前記受け付け手段が受け付けた前記修正と整合する文書情報を前記表示手段に表示させる、ことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ユーザが文書画像から抽出した文字列の修正をより簡便に行うことができる。
【図面の簡単な説明】
【０００８】
情報処理システムの構成を示す図である。
情報処理装置、学習装置、情報処理サーバの構成を示す図である。
情報処理システムの利用シーケンスを示す図である。
機械学習モデルを生成するフローチャートである。
文書画像のファイルを格納及び認識結果を確認／修正するフローチャートである。
入力文書画像の具体例を示す図である。
文書種別毎の文書種別判定の振る舞いを説明する図である。
文書種別判定及び項目値抽出の入出力を示す図である。
文書種別毎に定められた共通項目と詳細項目との対応表を示す図である。
文書種別毎に定められた詳細項目の項目値である文字列の認識結果を文書種別毎に示す図である。
本発明の文書画像のファイルを格納する具体例を示す図である。
文書種別判定結果／項目値抽出結果の確認画面の一例を示す図である。
確認画面におけるユーザ修正に関連した修正候補の表示を説明する図である。
第２の実施形態における認識結果を確認／修正するフローチャートである。
第２の実施形態における確認画面の一例を示す図である。
第３の実施形態における認識結果を確認／修正するフローチャートである。
第３の実施形態における確認画面の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態について図面を用いて説明する。なお、本実施形態に記載された構成要素は例示であって、本発明の範囲を限定する趣旨のものではない。
【００１０】
［第１の実施形態］
＜情報処理システム＞
図１は、情報処理システムの構成例を示した図である。図１に示すように、情報処理システム１００は、例えば、情報処理装置１０１、学習装置１０２、情報処理サーバ１０３で構成され、ネットワーク１０４を介して互いに接続される。情報処理システム１００において、情報処理装置１０１、学習装置１０２、情報処理サーバ１０３は、ネットワーク１０４に対して単一接続ではなく、複数接続された構成であっても良い。例えば、情報処理サーバ１０３は、高速演算リソースを有する第１のサーバ装置と、大容量ストレージを有する第２のサーバ装置で構成され、ネットワーク１０４を介して互いに接続された構成であっても良い。
（【００１１】以降は省略されています）

関連特許