特許ウォッチ

公開番号2024103319
公報種別公開特許公報(A)
公開日2024-08-01
出願番号2023007587
出願日2023-01-20
発明の名称情報処理装置、情報処理システム、情報処理方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類G06V 30/194 20220101AFI20240725BHJP(計算;計数)
要約【課題】様々なレイアウトの文書に対応する学習データを生成する情報処理装置、情報処理システム、情報処理方法及びプログラムを提供する。
【解決手段】情報処理システムにおいて、情報処理装置は、文書画像から固有表現を抽出するための学習済モデルを生成する際の学習に用いる学習データを生成するために、文書のレイアウトを規定するテンプレートデータに基づいて文字列の配置を示す配置データを生成し、学習データ生成部136により配置データに基づいて学習データを生成する。
【選択図】図1
特許請求の範囲【請求項１】
文書画像から固有表現を抽出するための学習済モデルを生成する際の学習に用いる学習データを生成する情報処理装置であって、
文書のレイアウトを規定するテンプレートデータに基づいて文字列の配置を示す配置データを生成する配置データ生成手段と、
前記配置データに基づいて前記学習データを生成する学習データ生成手段と、
を有すること
を特徴とする情報処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記配置データ生成手段は、前記文字列の像が配置された画像データを前記配置データとして生成すること
を特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記学習データ生成手段は、前記画像データを前記学習データとして生成すること
を特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記学習データ生成手段は、前記画像データに対してＯＣＲ処理を行うことにより前記画像データに像として含まれる前記文字列を特定し、特定した前記文字列に基づいて前記学習データを生成すること
を特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記テンプレートデータは、前記文書のレイアウトを領域分割した複数の分割領域のそれぞれの位置及び大きさを規定する領域情報を含み、
前記配置データ生成手段は、前記領域情報に基づいて前記文字列の配置を決定することにより前記配置データを生成すること
を特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記配置データ生成手段は、前記複数の分割領域のそれぞれに前記文字列を配置するか否かを分割領域ごとに決定し、前記文字列を配置すると決定した分割領域について当該分割領域における前記文字列の配置を決定すること
を特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記テンプレートデータは、前記複数の分割領域のそれぞれについて、分割領域に前記文字列を配置する確率を示す情報を含み、
前記配置データ生成手段は、当該確率を示す情報に基づいて前記複数の分割領域のそれぞれに前記文字列を配置するか否かを分割領域ごとに決定すること
を特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記配置データ生成手段は、予め定められた複数の文字列候補のうちから配置する前記文字列を決定すること
を特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記テンプレートデータは、前記複数の文字列候補のそれぞれについて、文字列候補を前記文字列として配置する確率を示す情報を含み、
前記配置データ生成手段は、当該確率を示す情報に基づいて、前記複数の文字列候補のうちから、配置する前記文字列を決定すること
を特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記テンプレートデータと前記複数の文字列候補のデータとに基づいて、正解ラベルを付与するラベル付与手段、
を更に有すること
を特徴とする請求項８に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、文書画像から文字情報を抽出する技術に関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
請求書、見積書、又は発注書等の準定型帳票と呼ばれる、会社等の発行元ごとに異なるレイアウトで作成された文書の画像から、文書番号、会社名、日付、金額、又はタイトル等の所定の抽出対象項目に対応する項目値の文字列を抽出する技術がある。このような文字列の抽出は、一般に、文字認識（ＯＣＲ：ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅｃｏｇｎｉｔｉｏｎ）技術と固有表現抽出（ＮＥＲ：ＮａｍｅｄＥｎｔｉｔｙＲｅｃｏｇｎｉｔｉｏｎ）技術とを用いて実現される。具体的には、まず、文書の画像に対する文字認識により得られた文字列のデータを入力として、埋め込みベクトルにより表現される文字列の特徴量を元に固有表現抽出を行う。更に、固有表現抽出処理の結果として得られる抽出対象の項目値に対応する文字列に、会社名等の所定のラベルを付与する。固有表現抽出は、一般的に、機械学習により得られる学習済モデルを用いて行なわれる。固有表現抽出のための学習済モデルを得るためには、学習データとして用いる文字列のデータと、抽出対象の文字列に正解を示すラベル（以下「正解ラベル」と呼ぶ。）を予め付与した教師データとからなる、学習データのセットを大量に必要とする。
【０００３】
特許文献１には、学習データとして用いる文字列データを生成する技術が開示されている。具体的には、特許文献１に開示の技術は、予め用意された文字列における重要な単語を残し、それ以外の単語についてはその単語に類似する単語を用いて置き換えることにより、当該文字列とは異なる文字列のデータを生成するものである。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－１１６９７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された技術によれば、学習データとして用いる文字列のデータを生成することができるが、生成した文字列のデータは、同一の準定型帳票に対応する文字列のデータに過ぎず、様々なレイアウトの準定型帳票に対応するものではない。すなわち、特許文献１に開示された技術では、文字列内の単語の一部を置き換えることにより文字列を生成するため、様々なレイアウトの文書に対応する学習データを生成できなかった。
【課題を解決するための手段】
【０００６】
本開示に係る情報処理装置は、文書画像から固有表現を抽出するための学習済モデルを生成する際の学習に用いる学習データを生成する情報処理装置であって、文書のレイアウトを規定するテンプレートデータに基づいて文字列の配置を示す配置データを生成する配置データ生成手段と、前記配置データに基づいて前記学習データを生成する学習データ生成手段と、を有する。
【発明の効果】
【０００７】
本開示によれば、様々なレイアウトの文書に対応する学習データを生成できる。
【図面の簡単な説明】
【０００８】
情報処理システムの構成の一例を示すブロック図である。
画像処理装置、学習装置、及び情報処理サーバのハードウェア構成の一例を示すブロック図である。
情報処理システムの処理の流れの一例を示す処理シーケンス図である。
学習装置の処理フローの一例を示すフローチャートである。
文字列情報及び項目値情報の一例を説明するための図である。
トークン列生成部における文書画像トークンの生成処理フローの一例を示すフローチャートである。
トークン列生成部における文書画像トークン列の生成処理の一例を説明するための図である。
トークン列生成部における項目値トークン列の生成処理の一例を説明するための図である。
画像生成部における文書画像の生成処理フローの一例を示すフローチャートである。
テンプレートの一例を説明するための図である。
サブテンプレートデータの一例を示す図である。
項目画像の一例を示す図である。
項目文字列ＤＢの一例を示す図である。
画像生成部における、項目画像を白画像に配置する配置処理の一例を説明するための図である。
画像生成部が生成する文書画像の一例を示す図である。
生成部における学習文字列情報の取得処理フローの一例を示すフローチャートである。
生成部における学習文字列情報の取得処理の一例を説明するための図である。
情報処理サーバの処理フローの一例を示すフローチャートである。
項目値抽出モデルにおける推論結果の一例を説明するための図である。
項目文字列をユーザに確認させるための確認画面の一例を示す図である。
実施形態２に係る情報処理サーバの処理フローの一例を示すフローチャートである。
実施形態２に係る情報処理サーバにおけるテンプレートデータ及びサブテンプレートデータ並びに項目文字列ＤＢの更新処理の流れの一例を示すフローチャートである。
実施形態２に係る未知のレイアウトの文書画像であるか否かの判定処理の一例を説明するための図である。
実施形態２に係る許諾確認画面、編集画面、及び更新確認画面の一例を示す図である。
実施形態３に係るテンプレートデータ及びサブテンプレートデータを編集するための編集画面の一例を示す図である。
【発明を実施するための形態】
【０００９】
本開示を実施するための形態について図面を用いて説明する。なお、以下の実施形態に記載の構成は、あくまで一例であって、本開示の範囲を限定するものではない。
【００１０】
［実施形態１］
＜情報処理システムの構成＞
図１を参照して、情報処理システム１００の構成について説明する。図１（ａ）は、実施形態１に係る情報処理システム１００の構成の一例を示すブロック図である。情報処理システム１００は、画像処理装置１１０、学習装置１２０、及び情報処理サーバ１４０を有し、画像処理装置１１０、学習装置１２０、及び情報処理サーバ１４０は、ネットワーク１０４を介して互いに通信可能に接続されている。画像処理装置１１０、学習装置１２０、及び情報処理サーバ１４０は、ネットワーク１０４に対して単一接続された構成に限定されるものではなく、複数接続された構成であっても良い。例えば、情報処理サーバ１４０は、ネットワーク１０４を介して互いに通信可能に接続される、高速演算が可能なハードウェアを有する第１のサーバ装置と、大容量の記憶媒体を有する第２のサーバ装置とにより構成されるものであっても良い。
（【００１１】以降は省略されています）

関連特許