特許ウォッチ

公開番号2025057818
公報種別公開特許公報(A)
公開日2025-04-09
出願番号2023167575
出願日2023-09-28
発明の名称情報処理装置、その制御方法、プログラム及び情報抽出方法
出願人キヤノン株式会社
代理人弁理士法人ひのき国際特許事務所
主分類G06V 30/14 20220101AFI20250402BHJP(計算;計数)
要約【課題】文書画像から必要な文字情報を抽出する際、抽出対象及び抽出対象でない項目名、項目値がどのような位置関係で並んでいても、抽出対象の項目値を適切に抽出することが困難であった。
【解決手段】情報処理装置おける抽出処理は、文書画像から文字認識処理S202により認識された文字列情報を取得し、抽出ルールの抽出対象の項目及びその項目の項目値に関する位置関係とに基づいて、前記文書画像における検索対象の領域を特定し、該領域に含まれる文字列情報と、除外ルールの抽出対象外の項目及びそれに対応する項目値に関する情報から除外対象領域を特定して該領域にペナルティを付与しS203、前記抽出ルールと前記ペナルティが付与された除外対象領域とに基づいて、前記抽出対象の項目の項目値を抽出するS204。
【選択図】図2
特許請求の範囲【請求項１】
文書画像から文字認識処理により認識された文字列情報を取得する取得手段と、
抽出ルールとして定義された抽出対象の項目及びその項目の項目値に関する位置関係とに基づいて、前記文書画像における検索対象の領域を特定し、当該特定した検索対象の領域に含まれる文字列情報と、除外ルールとして定義された抽出対象外の項目及びそれに対応する項目値に関する情報とに基づいて、除外対象領域を特定し、当該特定した除外対象領域にペナルティを付与する付与手段と、
前記抽出ルールと前記ペナルティが付与された除外対象領域とに基づいて、前記抽出ルールで定義された前記抽出対象の項目の項目値を抽出する抽出手段と、
を有することを特徴とする情報処理装置。
続きを表示（約 1,800 文字）【請求項２】
文書画像から文字認識処理により認識された文字列情報を取得する取得手段と
抽出ルールとして定義された抽出対象の項目及びその項目の項目値に関する位置関係とに基づいて、前記文書画像における検索対象の領域を特定し、当該特定した検索対象の領域に含まれる文字列情報と、除外ルールとして定義された抽出対象外の項目及びそれに対応する項目値に関する情報とに基づいて、除外対象の文字列情報を特定し、当該特定した除外対象の文字列情報にペナルティを付与する付与手段と、
前記抽出ルールと前記ペナルティが付与された前記除外対象の文字列情報とに基づいて、前記抽出ルールで定義された前記抽出対象の項目の項目値を抽出する抽出手段と、
を有することを特徴とする情報処理装置。
【請求項３】
文書画像から文字認識処理により認識された文字列情報を取得する取得工程と
抽出ルールとして定義された抽出対象の項目及びその項目の項目値に関する位置関係とに基づいて、前記文書画像における検索対象の領域を特定し、当該特定した検索対象の領域に含まれる文字列情報と、除外ルールとして定義された抽出対象外の項目及びそれに対応する項目値に関する情報とに基づいて、除外対象領域を特定し、当該特定した除外対象領域にペナルティを付与する付与工程と、
前記抽出ルールと前記ペナルティが付与された除外対象領域とに基づいて、前記抽出ルールで定義された前記抽出対象の項目の項目値を抽出する抽出工程と、
を有することを特徴とする情報処理装置の制御方法。
【請求項４】
文書画像から文字認識処理により認識された文字列情報を取得する取得工程と
抽出ルールとして定義された抽出対象の項目及びその項目の項目値に関する位置関係とに基づいて、前記文書画像における検索対象の領域を特定し、当該特定した検索対象の領域に含まれる文字列情報と、除外ルールとして定義された抽出対象外の項目及びそれに対応する項目値に関する情報とに基づいて、除外対象の文字列情報を特定し、当該特定した除外対象の文字列情報にペナルティを付与する付与工程と、
前記抽出ルールと前記ペナルティが付与された前記除外対象の文字列情報とに基づいて、前記抽出ルールで定義された前記抽出対象の項目の項目値を抽出する抽出工程と、
を有することを特徴とする情報処理装置の制御方法。
【請求項５】
請求項３又は４に記載の情報処理装置の制御方法を、コンピュータに実行させるためのプログラム。
【請求項６】
情報処理装置が実行する情報抽出方法であって、
文書画像から文字認識処理により認識された文字列情報を取得する取得ステップと
抽出ルールとして定義された抽出対象の項目及びその項目の項目値に関する位置関係とに基づいて、前記文書画像における検索対象の領域を特定し、当該特定した検索対象の領域に含まれる文字列情報と、除外ルールとして定義された抽出対象外の項目及びそれに対応する項目値に関する情報とに基づいて、除外対象領域を特定し、当該特定した除外対象領域にペナルティを付与する付与ステップと、
前記抽出ルールと前記ペナルティが付与された除外対象領域とに基づいて、前記抽出ルールで定義された前記抽出対象の項目の項目値を抽出する抽出ステップと、
を有することを特徴とする情報抽出方法。
【請求項７】
情報処理装置が実行する情報抽出方法であって、
文書画像から文字認識処理により認識された文字列情報を取得する取得ステップと
抽出ルールとして定義された抽出対象の項目及びその項目の項目値に関する位置関係とに基づいて、前記文書画像における検索対象の領域を特定し、当該特定した検索対象の領域に含まれる文字列情報と、除外ルールとして定義された抽出対象外の項目及びそれに対応する項目値に関する情報とに基づいて、除外対象の文字列情報を特定し、当該特定した除外対象の文字列情報にペナルティを付与する付与ステップと、
前記抽出ルールと前記ペナルティが付与された前記除外対象の文字列情報とに基づいて、前記抽出ルールで定義された前記抽出対象の項目の項目値を抽出する抽出ステップと、
を有することを特徴とする情報抽出方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、文書画像から必要な情報を抽出する情報処理装置、その制御方法、プログラム及び情報抽出方法に関する。
続きを表示（約 4,200 文字）【背景技術】
【０００２】
従来、スキャナなどにより読み込んだレシートなどのスキャン画像に対し、項目名、項目値に相当する文字列を検索し、それらの関係性によって情報を抽出する方法が知られている（特許文献１，２）。
特許文献１に記載の技術では、距離にペナルティを付与して抽出を行うが、項目名の近くに不要な項目値が存在する場合にその項目値を優先してしまうという課題がある。
特許文献２に記載の技術では、不要な項目値を無視して抽出を行う抽出ルールを記述した場合、抽出対象の項目名・項目値のペアと、抽出対象でない項目名・項目値のペアが隙間なく隣り合っていると抽出対象外の項目値を誤抽出してしまうという課題がある。
このように、項目名の近くに不要な項目値が存在する場合にそれを無視して項目名を抽出する処理を行わなければならない。一方、項目名・項目値のペアが隙間なく隣り合っている場合には、隣り合っている項目値を抽出しなければならない。これらの２つの処理を両立させることは従来技術では困難であった。
【先行技術文献】
【特許文献】
【０００３】
特開2011-248609号公報
特開2021-043478号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記課題を鑑み、本発明は、抽出対象及び抽出対象でない項目名、項目値がどのような位置関係で並んでいても、抽出対象の項目値を適切に抽出する仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、情報処理装置であって、文書画像から文字認識処理により認識された文字列情報を取得する取得手段と、抽出ルールとして定義された抽出対象の項目及びその項目の項目値に関する位置関係とに基づいて、前記文書画像における検索対象の領域を特定し、当該特定した検索対象の領域に含まれる文字列情報と、除外ルールとして定義された抽出対象外の項目及びそれに対応する項目値に関する情報とに基づいて、除外対象領域を特定し、当該特定した除外対象領域にペナルティを付与する付与手段と、前記抽出ルールと前記ペナルティが付与された除外対象領域とに基づいて、前記抽出ルールで定義された前記抽出対象の項目の項目値を抽出する抽出手段と、を有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、抽出対象及び抽出対象でない項目名、項目値がどのような位置関係で並んでいても、抽出対象の項目値を適切に抽出が可能となる。
【図面の簡単な説明】
【０００７】
実施形態の情報処理システムの全体を示す図である。
実施形態の情報処理装置における抽出処理のフローチャートである。
スキャン画像（レシート）の例を示す図である。
実施形態の項目除外処理を示すフローチャートである。
レシートの抽出/除外ルールの例を示す図である。
実施形態の項目抽出処理を示すフローチャートである。
位置関係による検索処理を示すフローチャートである。
他の実施形態の項目除外処理を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明を実施するための形態について図面を用いて例示的に詳しく説明する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。
[第１実施形態]
図１は、本発明の一実施形態を示す情報処理装置を適用可能な情報処理システム全体の構成の一例を示す図である。
(画像処理装置)
画像処理装置100は、スキャナ101と、プリンタ102と、通信部103とを有する複合機（ＭＦＰ；Multifunction Peripheral）である。
画像処理装置100において、スキャナ101は、文書のスキャンを行ってスキャン画像を生成する。
プリンタ102は、シート等に画像を形成する。
通信部103は、ネットワークを介して外部装置（例えば情報処理装置110）と通信を行う。
（情報処理装置）
情報処理装置110は、ＣＰＵ111、ＲＯＭ112、ＲＡＭ113、ＨＤＤ114、表示部115、入力部116、通信部117等を有し、互いにバスで通信可能に接続されている。情報処理装置110は、例えばパーソナルコンピュータ（ＰＣ）等で構成可能である。
ＣＰＵ111は、ＲＯＭ112に記憶された制御プログラムを読み出して各種処理を実行する。
ＲＡＭ113は、ＣＰＵ111の主メモリ、ワークエリア等の一時記憶領域として用いられる。
ＨＤＤ114は、各種データや各種プログラム等を記憶する。なお、ＨＤＤ（Hard Disk Drive）の代わりに又は併用してＳＳＤ（Solid State Drive）等の他の記憶装置を備えていてもよい。
なお、後述する情報処理装置110の機能や処理は、ＣＰＵ111がＲＯＭ112又はＨＤＤ114等に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
通信部117は、ネットワークを介して外部装置（例えば画像処理装置100）との通信処理を行う。
表示部115は、各種情報を表示する。
入力部116は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。なお、表示部115と入力部116は、タッチパネルのように一体に設けられていてもよい。また、表示部115はプロジェクタによる投影を行うものであってもよく、入力部116は投影された画像に対する指先の位置をカメラで認識するものであってもよい。
本実施形態においては、画像処理装置100のスキャナ101は、レシート等の文書をスキャンし、入力画像（例えば図３のスキャン画像301のような画像）を生成する。該入力画像は、通信部103により情報処理装置110に送信される。
情報処理装置110では、画像処理装置100から送信された入力画像を通信部117により受信し、これをＨＤＤ114等の記憶部に記憶する。
【０００９】
・情報処理装置における処理
＜情報抽出処理＞
図２は、本実施形態に係る情報抽出処理の一例を示すフローチャートである。なお、図２及び後述する図４、図６及び図７に示すフローチャートの処理は、情報処理装置110のＣＰＵ111がＲＯＭ112又はＨＤＤ114等に格納されているプログラムを読み出して実行することにより実現されるものである。以下、処理の各ステップを「Ｓ」で表す。
Ｓ201において、情報処理装置110のＣＰＵ111は、画像処理装置100に指示を行い、スキャナ101により文書のスキャン処理を実行させる。そして、ＣＰＵ111は、該スキャン処理により読み取られたスキャン画像を、通信部117を介して取得し、ＨＤＤ114に格納する。なお、画像処理装置100の図示しない操作部からの指示によりスキャナ101が文書をスキャンし、スキャン画像を情報処理装置110にプッシュ送信する構成でもよい。
【００１０】
(スキャン画像)
図３は、文書のスキャン画像の一例を示す図である。
スキャン画像301及びスキャン画像304は、例としてレシートをスキャンした画像である。
スキャン画像301には、明細情報として、商品ごとの単価や個数、それらを計算した合計金額を示す合計項目名302、合計金額の値として合計項目値303などが記載されている。
スキャン画像304には、明細情報として、商品ごとの単価や個数、それらを計算した合計金額の文字列を示す合計項目名305、合計金額の値として合計項目値306などが記載されている。また、税額の値として税額項目値307、税額の文字列を示す税額項目名308なども記載されている。
本実施形態では、レシートの合計金額を抽出する処理について説明する。そのため、スキャン画像301については合計項目値303を抽出対象の項目値とし、スキャン画像304については、合計項目値306を抽出対象の項目値とする。この際、抽出対象ではない項目である税額項目名および税額項目値を抽出対象外の項目とする。また、本実施形態では、文書としてレシートの画像を用いるが、レシート以外の文書でもよい。
以下、図２のフローチャートの説明に戻る。
次にＳ202において、ＣＰＵ111は、スキャン画像301に対して文字認識処理（ＯＣＲ；Optical Character Recognition）を行い、該文字認識処理により得られた各文字の文字候補情報をＲＡＭ113に格納する。さらに、ＣＰＵ111は、上記取得した文字候補情報に基づく文字列情報を取得する。なお、文字認識処理とは、ＣＰＵ111が文字を含む文書画像から文字領域を特定し、該文字領域の各文字画像の特徴量を算出し、該特徴量と文字認識辞書とを比較し、類似する１つ以上の文字候補を算出する処理のことである。また、文字候補情報に基づく文字列情報を取得する処理とは、ＣＰＵ111が隣接する文字に対応する文字列候補を連結して文字列を形成し、複数の文字列により１つの画像の文字列情報を構成する処理である。なお、文字列は意味を成す文字単位でまとまっていればよく、その他、形態素解析や正規表現パターンや辞書などを用いて、結合や分離を行ってもよい。また、本実施形態において、文字とは、数字や記号も含むものとする。
次にＳ203において、ＣＰＵ111は、上記Ｓ202により取得された文字列のうち、後述する除外ルールテーブル510によって指定される領域に含まれる文字列の優先度を落とす項目除外処理を行う。以下、項目除外処理について図４を用いて詳細に説明する。
（【００１１】以降は省略されています）

関連特許