特許ウォッチ

公開番号2023022573
公報種別公開特許公報(A)
公開日2023-02-15
出願番号2021127511
出願日2021-08-03
発明の名称画像情報処理システム
出願人キヤノン株式会社
代理人個人
主分類G06V 30/412 20220101AFI20230208BHJP(計算;計数)
要約【課題】手書きで記載された情報を抽出することができる画像情報処理システムを提供する。
【解決手段】画像情報処理システムは、画像データを手書き画像と印刷画像に分離する手段522と、印刷画像を認識し印刷文字列を出力する手段523と、手書き画像を認識し手書き文字列を出力する手段524と、印刷文字列と手書き文字列を対応付ける手段525と手書き文字列から情報抽出する文字列を決定する手段526とで構成され、抽出文字列決定手段526は、手書き文字列に対応付けられた印刷文字列が情報抽出対象でないことを示す手書き文字列以外を列挙した第一の抽出文字列候補を出力する手段S901と、手書き文字列に対応付けられた印刷文字列が、情報抽出対象であることを表す手書き文字列を列挙した第二の抽出文字列候補を出力する手段S904と、第一と第二の抽出文字列候補から一つの情報抽出文字列を選択する手段S906、S907を有する。
【選択図】図5
特許請求の範囲【請求項１】
画像読取手段で読み取った画像データから文字情報を抽出する画像情報処理システムであって、
前記画像データを手書き画像と印刷画像に分離する画像分離手段と、
前記印刷画像を文字認識して１または複数の印刷文字列を出力する印刷文字認識手段と、
前記手書き画像を文字認識して１または複数の手書き文字列を出力する手書き文字認識手段と、
前記印刷文字列と前記手書き文字列を対応付ける認識文字列対応付け手段と、
前記手書き文字列から情報抽出する文字列を決定する情報抽出文字列決定手段と、
から構成され、
前記抽出文字列決定手段は、
前記手書き文字列に対応付けられた前記印刷文字列が、情報抽出対象でないことを表している前記手書き文字列以外を列挙した、第一の抽出文字列候補を出力する、第一の抽出文字列候補列挙手段と、
前記手書き文字列に対応付けられた前記印刷文字列が、情報抽出対象であることを表している前記手書き文字列を列挙した、第二の抽出文字列候補を出力する、第二の抽出文字列候補列挙手段と、
前記第一の抽出文字列候補と第二の抽出文字列候補のいずれかから、一つの情報抽出文字列を選択する、抽出文字列選択手段を有することを特徴とする画像情報処理システム。
続きを表示（約 410 文字）【請求項２】
請求項１の画像情報処理システムにおいて、前記抽出文字列決定手段は、前記第一の抽出文字列候補が無いときには、情報を抽出する文字列が無いと判定することを特徴とする画像情報処理システム。
【請求項３】
請求項１又は２記載の画像情報処理システムにおいて、前記抽出文字列決定手段は、前記第二の抽出文字列候補がある時には、前記第二の抽出文字列候補から一つの情報抽出文字列を選択し、前記第二の抽出文字候補が無いときには、前記第一の抽出文字候補から一つの情報抽出文字列を選択することを特徴とする画像情報処理システム。
【請求項４】
請求項１～３のいずれか１項に記載の画像情報処理システムにおいて、前記抽出文字列決定手段は、前記抽出文字列選択処理が選択した抽出文字列について、前記手書き文字認識手段が出力する下位認識候補で前記手書き文字列を補正することを特徴とする画像情報処理システム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像情報処理システムにおいて、スキャンした画像データから文字情報を抽出する技術に関する。特に、手書き文字と印刷文字の混在した画像データから手書き文字の情報を抽出する技術に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
従来、領収書の合計金額・日付情報を経費精算システムに登録したり、各種申込書から氏名や電話番号を顧客管理システム登録したりするような、手書きで情報が記入された紙の帳票から、その情報を業務システムに転記する、という転記業務が行われてきた。一方近年では、画像形成装置において、画像形成装置でスキャンした画像データに対して、ＯＣＲ（ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅｃｏｇｎｉｔｉｏｎ）処理を行うことで、画像データ内容の文字列をデジタルデータとして抽出する技術が発展している。そこで、手書き情報の転記業務にもＯＣＲ処理を適用し、自動で業務システムへの転記を行うニーズが高まってきている。この場合、画像データ上のどの部分に対してＯＣＲ処理を行い、情報を抽出するかを決定する必要がある。従来、これは画像データ上でユーザあるいはシステムエンジニアが手動で設定していたが、これでは紙の帳票のフォーマットが変わるごとに手動で設定を行わなければならない。
【０００３】
特許文献１では、手書き部分と印刷部分に分離した画像に対してそれぞれにＯＣＲ処理を行い、手書き部分に対して印刷部分の文字列を対応付ける技術が開示されている。これにより、印刷部分の文字列を基に手書き部分の情報が何であるかを判別することができる。例えば、印刷部分が「金額」という文字列であれば、手書き部分は金額を表していると判別することができ、これを経費精算システムに転記することが可能である。
【先行技術文献】
【特許文献】
【０００４】
特開２００６―９２０２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、手書き文字列に対応する印刷文字列が存在しないことが多い。例えば、手書きで合計金額を記入するようになっている市販領収証の多くには、合計金額を表す文字が印刷されていないことが多い。特許文献１の技術によれば、印刷部分と手書き部分の対応から手書き部分の属性を判断しているため、印刷部分が無ければ判断が困難である。
【０００６】
本発明の目的は、手書き文字認識結果と印刷文字認識結果から、印刷文字が対応していない手書き文字が何を表しているかが判別することができ、手書き文字列の内容から所望の情報を抽出することができる画像情報処理システムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の画像情報処理システムは、画像読取手段（５０１）で読み取った画像データから文字情報を抽出する画像情報処理システムであって、前記画像データを手書き画像と印刷画像に分離する画像分離手段（５２２）と、前記印刷画像を文字認識して１または複数の印刷文字列を出力する印刷文字認識手段（５２３）と、前記手書き画像を文字認識して１または複数の手書き文字列を出力する手書き文字認識手段（５２４）と、前記印刷文字列と前記手書き文字列を対応付ける認識文字列対応付け手段（５２５）と、前記手書き文字列から情報抽出する文字列を決定する情報抽出文字列決定手段（５２６）とから構成され、前記抽出文字列決定手段は、前記手書き文字列に対応付けられた前記印刷文字列が、情報抽出対象でないことを表している前記手書き文字列以外を列挙した、第一の抽出文字列候補を出力する、第一の抽出文字列候補列挙手段（Ｓ９０１）と、前記手書き文字列に対応付けられた前記印刷文字列が、情報抽出対象であることを表している前記手書き文字列を列挙した、第二の抽出文字列候補を出力する、第二の抽出文字列候補列挙手段（Ｓ９０４）と、前記第一の抽出文字列候補と第二の抽出文字列候補のいずれかから、一つの情報抽出文字列を選択する、抽出文字列選択手段（Ｓ９０６、Ｓ９０７）を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、手書き文字認識結果と印刷文字認識結果から、印刷文字が対応していない手書き文字が何を表しているかが判別することができ、手書き文字列の内容から所望の情報を抽出することができる。
【図面の簡単な説明】
【０００９】
本実施例の画像情報処理システムの構成例を示す図である。
画像形成装置のハードウェア構成例を示す図である。
画像情報処理システムを構成するサーバのハードウェア構成例を示す図である。
画像情報処理システムの全体処理手順を説明するフローチャートである。
画像情報処理システムのソフトウェア構成例を示す図である。
文字情報抽出処理の処理手順を説明するフローチャートである。
文字情報抽出処理の処理データ例を示す図である。
抽出文字列決定処理の使用するデータ例を示す図である。
抽出文字列決定処理の処理手順を説明するフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について図面を用いて説明する。
【実施例】
（【００１１】以降は省略されています）

関連特許