特許ウォッチ

公開番号2024062590
公報種別公開特許公報(A)
公開日2024-05-10
出願番号2022170529
出願日2022-10-25
発明の名称画像処理システム、画像処理システムの制御方法、及びプログラム
出願人キヤノン株式会社
代理人個人
主分類G06V 30/14 20220101AFI20240501BHJP(計算;計数)
要約【課題】手書き文字を含む文書の画像からの情報抽出の精度を向上させる画像処理システム、画像処理システムの制御方法及びプログラムを提供する。
【解決手段】MFP、キーバリュー抽出サーバ及び会計サーバが、インターネットを介して相互に情報やデータを送受信可能に接続されている画像処理システムのソフトウェア構成であって、キーバリュー抽出サーバの手書き文字領域正規化部315は、活字と手書き文字とを含む文書の画像中の活字領域及び罫線のうちの少なくともいずれかに基づいて、画像中の手書き文字領域に対して、当該文書の書式に対する当該手書き文字領域の位置及びサイズのずれを低減する正規化を施す。学習部319は、上記正規化が施された手書き文字領域を含む、上記画像中の文字領域の特徴を学習する。キーバリュー抽出部316は、上記前記学習の結果に基づき、文書の画像中から対象となる項目に対応する情報を抽出する。
【選択図】図3
特許請求の範囲【請求項１】
活字と手書き文字とを含む文書の画像中の前記活字に対応する活字領域と、前記画像中の罫線と、のうちの少なくともいずれかに基づいて、前記画像中における前記手書き文字に対応する手書き文字領域に対して、前記文書の書式に対する前記手書き文字領域の位置及びサイズのずれを低減する正規化を施す正規化手段と、
前記正規化手段により前記正規化が施された前記手書き文字領域を含む、前記画像中の文字領域の特徴を学習する学習手段と、
前記学習手段による前記学習の結果に基づき、文書の画像中から特定の項目に対応する情報を抽出する抽出手段と、
を有することを特徴とする、画像処理システム。
続きを表示（約 1,600 文字）【請求項２】
前記学習手段は、前記正規化手段により前記正規化が施された前記手書き文字領域を含む前記画像中の文字領域の特徴と、当該文字領域が特定の項目に対応付けられていることを示すラベルと、の学習を行い、
前記抽出手段は、文書の画像中における少なくとも前記正規化手段により前記正規化が施された前記手書き文字領域を含む文字領域の特徴と、前記学習手段による前記学習の結果と、に基づき、当該文書の画像中における前記特定の項目に対応する文字領域から情報を抽出する
ことを特徴とする、請求項１に記載の画像処理システム。
【請求項３】
前記正規化手段は、前記手書き文字領域が罫線で囲まれた領域に重なっている場合に、当該罫線に囲まれた領域の位置及びサイズに基づき、前記手書き文字領域の位置及びサイズを正規化することを特徴とする、請求項１に記載の画像処理システム。
【請求項４】
前記正規化手段は、前記手書き文字領域のより近傍に位置する前記活字領域の位置及びサイズのうちの少なくともいずれかに基づいて、当該手書き文字領域の位置及びサイズを正規化することを特徴とする、請求項１に記載の画像処理システム。
【請求項５】
前記正規化手段は、前記手書き文字領域のより近傍に位置する罫線の位置に基づいて、当該手書き文字領域の位置及びサイズを正規化することを特徴とする、請求項１に記載の画像処理システム。
【請求項６】
前記正規化手段は、前記活字領域及び前記罫線の少なくともいずれかと、前記画像中の活字及び手書き文字の文字認識の結果と、に基づき、前記手書き文字領域の位置及びサイズを正規化することを特徴とする、請求項１に記載の画像処理システム。
【請求項７】
前記正規化手段は、前記画像中の活字及び手書き文字の文字認識の結果に基づき、数字の手書き文字に対応する前記手書き文字領域の書字方向における後方に、日付の単位を表す活字の文字列に対応する活字領域が位置する場合に、当該活字領域に基づき、当該手書き文字領域の位置及びサイズを正規化することを特徴とする、請求項６に記載の画像処理システム。
【請求項８】
前記正規化手段は、前記画像中の活字及び手書き文字の文字認識の結果に基づき、前記手書き文字領域の書字方向における後方に、敬称を表す活字の文字列に対応する活字領域が位置する場合に、当該活字領域に基づき、当該手書き文字領域の位置及びサイズを正規化することを特徴とする、請求項６に記載の画像処理システム。
【請求項９】
前記正規化手段は、前記画像中の活字及び手書き文字の文字認識の結果に基づき、数字の手書き文字に対応する前記手書き文字領域の近傍に、金額を意味する活字の文字列に対応する活字領域が位置する場合に、当該活字領域に基づき、当該手書き文字領域の位置及びサイズを正規化することを特徴とする、請求項６に記載の画像処理システム。
【請求項１０】
画像処理システムの制御方法であって、
活字と手書き文字とを含む文書の画像中の前記活字に対応する活字領域と、前記画像中の罫線と、のうちの少なくともいずれかに基づいて、前記画像中における前記手書き文字に対応する手書き文字領域に対して、前記文書の書式に対する前記手書き文字領域の位置及びサイズのずれを低減する正規化を施す正規化ステップと、
前記正規化ステップにおいて前記正規化が施された前記手書き文字領域を含む、前記画像中の文字領域の特徴を学習する学習ステップと、
前記学習ステップにおける前記学習の結果に基づき、文書の画像中から特定の項目に対応する情報を抽出する抽出ステップと、
を含むことを特徴とする、画像処理システムの制御方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、画像処理システム、画像処理システムの制御方法、及びプログラムに関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
近年では、各種業務における処理を実行するネットワークサービス（例えば、クラウドベースのサービス）が提供されている。このようなネットワークサービスの一例として、所謂会計業務のように、紙媒体の請求書等の文書から必要な情報を抽出したうえで入力として利用する業務に対応するサービスも提案されている。このようなサービスを利用する場合には、請求書等の紙媒体の文書をスキャナで読み取ったうえで、読み取られた文書の画像に対して文字認識を適用することで、入力として利用される情報の抽出が行われる。文字認識の技術としては、例えば、ＯＣＲ（ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅｃｏｇｎｉｔｉｏｎ）が挙げられる。また、このような場合には、文字認識により抽出された情報をユーザが確認し、必要に応じて修正を加えるための支援システムが設けられている場合もある。
【０００３】
また、近年では、文字認識を利用してネットワークサービスに入力する情報を抽出するために、機械学習によりトレーニングされた学習済モデルを利用するシステムも提案されている。このようなシステムでは、文字認識結果の特徴と、ネットワークサービスで使用される情報の項目（キー）に対応する文字認識結果（バリュー）に付与したラベルとを入力として機械学習が行われることで、文書の書式を予め定義せずとも、情報の抽出が可能となる。
【０００４】
特に近年では、文書に記載された手書き文字の認識を行い、サービスへの登録を支援するシステムも提案されている。手書き文字の場合には、活字に比べて、文字の大きさや位置にばらつきが生じ得る。そのため、文字認識結果の特徴である文字領域の情報（例えば、矩形情報）にもばらつきが生じ、ひいては情報抽出の精度に影響が生じる場合がある。このような問題に対して、特許文献１には、文書中の文字に対応する文字領域の矩形情報のばらつきが軽減されるように正規化を施す技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
特開平１１－１６１７４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一方で、特許文献１に開示された技術では、認識対象として特定された単語領域を基準に正規化が行われるため、同一書式の文書であっても、文書ごとに正規化の結果が異なる場合がある。このように文書ごとのばらつきが生じる状況下では、手書き文字の文字認識の結果の特徴を用いてトレーニングを行った学習済モデルを利用したとしても、依然として、文書からの情報抽出の精度への影響が顕在化する場合がある。
【０００７】
本発明は上記の問題を鑑み、手書き文字を含む文書の画像からの情報抽出の精度を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理システムは、活字と手書き文字とを含む文書の画像中の前記活字に対応する活字領域と、前記画像中の罫線と、のうちの少なくともいずれかに基づいて、前記画像中における前記手書き文字に対応する手書き文字領域に対して、前記文書の書式に対する前記手書き文字領域の位置及びサイズのずれを低減する正規化を施す正規化手段と、前記正規化手段により前記正規化が施された前記手書き文字領域を含む、前記画像中の文字領域の特徴を学習する学習手段と、前記学習手段による前記学習の結果に基づき、文書の画像中から特定の項目に対応する情報を抽出する抽出手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、手書き文字を含む文書の画像からの情報抽出の精度を向上させることが可能となる。
【図面の簡単な説明】
【００１０】
画像処理システムのシステム構成の一例を示した図である。
情報処理装置のハードウェア構成の一例を示した図である。
画像処理システムのソフトウェア構成の一例を示した図である。
文書のスキャン結果に応じた画像の一例を示した図である。
文書の画像中のセル領域の特定結果の一例を示した図である。
活字文字認識及び手書き文字認識の結果の一例を示した図である。
手書き文字領域に正規化を施した結果の一例を示した図である。
原稿のスキャン結果に応じた画像の一例を示した図である。
文字認識結果とキーバリュー抽出結果との一例を示した図である。
キーバリュー抽出結果の確認及び編集に係る画面の一例を示した図である。
画像処理システムの処理の一例を示したシーケンス図である。
キーバリュー抽出サーバの処理の一例を示したフローチャートである。
ＭＦＰに表示される画面の遷移の一例を示した図である。
キーバリュー抽出サーバの処理の一例を示したフローチャートである。
文書のスキャン結果に応じた画像の一例を示した図である。
文書のスキャン結果に応じた画像の一例を示した図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許