特許ウォッチ

公開番号2025120568
公報種別公開特許公報(A)
公開日2025-08-18
出願番号2024015441
出願日2024-02-05
発明の名称文書画像解析システム及びプログラム
出願人福島印刷株式会社
代理人個人,個人
主分類G06F 40/10 20200101AFI20250808BHJP(計算;計数)
要約【課題】非定型的なレイアウト構成の文書画像から、メッセージ間の正しい読み順や重要度の高低を反映した文章データを抽出できる技術の実現。
【解決手段】文書画像ファイル32中の文字を認識する文字認識部14と、各文字のサイズ、中心座標及び傾斜角度を特定する文字属性特定部16と、各文字のサイズ及び文字間の距離に基づき行を認定する行認定部18と、行を構成する文字のサイズ、配置及び行間距離に基づき、1または複数の行から構成されるテキストブロックを認定するブロック認定部20と、テキストブロックを構成する文字のサイズ及び傾きに応じて、各テキストブロックに重要度を設定する重要度設定部24と、テキストブロックの先頭文字の座標及び末尾文字の座標に基づき、文書画像中における各テキストブロックの配置されたエリアを認定すると共に、各エリアに属するテキストブロックの読み順の優先度を示すエリアラベルを付与するシナリオ認定部22を備えた文書画像解析システム10。
【選択図】図1
特許請求の範囲【請求項１】
文書画像中の文字を認識する文字認識手段と、
各文字のサイズ、中心座標及び傾斜角度を特定する文字属性特定手段と、
各文字のサイズ及び文字間の距離に基づき、複数の文字の集合である行を認定する行認定手段と、
行を構成する文字のサイズ、配置及び行間距離に基づき、１または複数の行から構成されるテキストブロックを認定するブロック認定手段と、
テキストブロックを構成する文字の少なくともサイズに応じて、各テキストブロックに重要度を設定する重要度設定手段と、
テキストブロックを取り囲む外接矩形の所定の頂点の座標に基づき、文書画像中における各テキストブロックの配置されたエリアを認定すると共に、当該エリアに属するテキストブロックの読み順の優先度を示すエリアラベルを各テキストブロックに付与するシナリオ認定手段とを備え、
上記シナリオ認定手段が、以下のルールに則ってエリアラベルを付与することを特徴とする文書画像解析システム。
(a) テキストブロックが文書画像中の左端または右端の何れか一方に近いほど読み順の優先度が高く、右端または左端の何れか他方に近づくにつれて読み順の優先度が低くなるように各テキストブロックにエリアラベルを付与する。
(b) テキストブロックが文書画像中の上端に近いほど読み順の優先度が高く、下端に近づくにつれて読み順の優先度が低くなるように各テキストブロックにエリアラベルを付与する。
続きを表示（約 3,000 文字）【請求項２】
上記行認定手段が、文字間の距離が所定の範囲内に収まると共に、文字のサイズが所定の範囲内で近似し、かつ、水平方向に並んだ文字同士を横組みの水平行と認定して対応の行種フラグを設定し、
文字間の距離が所定の範囲内に収まると共に、文字のサイズが所定の範囲内で近似し、かつ、水平方向に対し同一または類似の傾斜角度で並んだ文字同士を横組みの傾斜行と認定して対応の行種フラグを設定し、
文字間の距離が所定の範囲内に収まると共に、文字のサイズが所定の範囲内で近似し、かつ、垂直方向に並んだ文字同士あるいは垂直方向に対し同一または類似の傾斜角度で並んだ文字同士を縦組み行と認定して対応の行種フラグを設定し、
所定の距離内に隣接する文字が存在しない文字を独立文字と認定して対応の行種フラグを設定し、
上記ブロック認定手段が、以下の条件を満たす複数の行同士を同一のテキストブロックに属するものと認定し、それ以外の行を一行からなるテキストブロックと認定し、独立文字を一文字からなるテキストブロックと認定することを特徴とする請求項１に記載の文書画像解析システム。
(a) 各行が同一の行種フラグを備えていること。
(b) 各行に含まれる文字の平均サイズが所定の範囲内で近似していること。
(c) 各行に含まれる文字の少なくとも一部が平行配置されていること。
(d) 各行の行間距離が所定の範囲内に収まること。
【請求項３】
上記重要度設定手段が、各テキストブロックを構成する文字の平均サイズが大きいほど高い重要度を各テキストブロックに設定すると共に、各テキストブロックを構成する文字が傾斜している場合には、傾斜していない場合に比べて高い重要度を各テキストブロックに設定することを特徴とする請求項１に記載の文書画像解析システム。
【請求項４】
上記シナリオ認定手段が、以下の手順に従って各テキストブロックにエリアラベルを付与することを特徴とする請求項１に記載の文書画像解析システム。
(1) 各テキストブロックを取り囲む外接矩形の左上頂点の座標（X0,Y0）と、右下頂点の座標（X1,Y1）を特定する。
(2) 左上頂点の座標（X0）が最も左となるテキストブロックを抽出し、そのテキストブロックの右下頂点の座標（X1）をエリアの暫定右端と認定する。
(3) 残りのテキストブロックの中で、左上頂点の座標（X0）がエリアの暫定右端よりも左に位置すると共に、その右下頂点の座標（X1）がエリアの暫定右端よりも右に位置するテキストブロックがある場合には、当該テキストブロックの右下頂点の座標（X1）を新たなエリアの暫定右端として更新する。
(4) 処理対象となる全てのテキストブロックについて(3)の処理を実行した後、最新の暫定右端の座標（X1）をエリアの右端と認定する。
(5) 左上頂点の座標（X0）がエリアの右端よりも左となる各テキストブロックに共通のエリアラベルを付与する。
(6) 残りのテキストブロックに対し、上記(1)～(5)の処理を繰り返し、それぞれに共通のエリアラベルを付与する。
(7) 共通のエリアラベルを備えたテキストブロックを処理対象として抽出する。
(8) 左上頂点の座標（Y0）が最も上となるテキストブロックを抽出し、そのテキストブロックの右下頂点の座標（Y1）をエリアの暫定下端と認定する。
(9) 残りのテキストブロックの中で、左上頂点の座標（Y0）がエリアの暫定下端よりも上に位置すると共に、その右下頂点の座標（Y1）がエリアの暫定下端よりも下に位置するテキストブロックがある場合には、当該テキストブロックの右下頂点の座標（Y1）を新たなエリアの暫定下端として更新する。
(10) 処理対象となる全てのテキストブロックについて(9)の処理を実行した後、最新の暫定下端の座標（Y1）をエリアの下端と認定する。
(11) 左上頂点の座標（Y0）がエリアの下端よりも上となる各テキストブロックに共通のエリアラベルを追加する。
(12) 残りのテキストブロックに対し、上記(7)～(11)の処理を繰り返し、それぞれに共通のエリアラベルを追加する。
(13) 一つのエリアに属するテキストブロックが所定数以下となるまで、共通のエリアラベルを備えたテキストブロック単位で上記(2)～(12)の処理を繰り返す。
【請求項５】
上記シナリオ認定手段が、以下の手順に従って各テキストブロックにエリアラベルを付与することを特徴とする請求項１に記載の文書画像解析システム。
(1) 各テキストブロックを取り囲む外接矩形の右上頂点の座標（X0,Y0）と、左下頂点の座標（X1,Y1）を特定する。
(2) 右上頂点の座標（X0）が最も右となるテキストブロックを抽出し、そのテキストブロックの左下頂点の座標（X1）をエリアの暫定左端と認定する。
(3) 残りのテキストブロックの中で、右上頂点の座標（X0）がエリアの暫定左端よりも右に位置すると共に、その左下頂点の座標（X1）がエリアの暫定左端よりも左に位置するテキストブロックがある場合には、当該テキストブロックの左下頂点の座標（X1）を新たなエリアの暫定左端として更新する。
(4) 処理対象となる全てのテキストブロックについて(3)の処理を実行した後、最新の暫定左端の座標（X1）をエリアの左端と認定する。
(5) 右上頂点の座標（X0）がエリアの左端よりも右となる各テキストブロックに共通のエリアラベルを付与する。
(6) 残りのテキストブロックに対し、上記(1)～(5)の処理を繰り返し、それぞれに共通のエリアラベルを付与する。
(7) 共通のエリアラベルを備えたテキストブロックを処理対象として抽出する。
(8) 右上頂点の座標（Y0）が最も上となるテキストブロックを抽出し、そのテキストブロックの左下頂点の座標（Y1）をエリアの暫定下端と認定する。
(9) 残りのテキストブロックの中で、右上頂点の座標（Y0）がエリアの暫定下端よりも上に位置すると共に、その左下頂点の座標（Y1）がエリアの暫定下端よりも下に位置するテキストブロックがある場合には、当該テキストブロックの左下頂点の座標（Y1）を新たなエリアの暫定下端として更新する。
(10) 処理対象となる全てのテキストブロックについて(9)の処理を実行した後、最新の暫定下端の座標（Y1）をエリアの下端と認定する。
(11) 右上頂点の座標（Y0）がエリアの下端よりも上となる各テキストブロックに共通のエリアラベルを追加する。
(12) 残りのテキストブロックに対し、上記(7)～(11)の処理を繰り返し、それぞれに共通のエリアラベルを追加する。
(13) 一つのエリアに属するテキストブロックが所定数以下となるまで、共通のエリアラベルを備えたテキストブロック単位で上記(2)～(12)の処理を繰り返す。
【請求項６】
コンピュータを、請求項１～５の何れかに記載の文書画像解析システムとして機能させることを特徴とするプログラム。

発明の詳細な説明【技術分野】
【０００１】
この発明は文書画像解析システム及びプログラムに係り、特に、デジタルメディア告知表示等の画面表示（Web画面等）、あるいは印刷された広告チラシやＤＭ（ダイレクトメール）等の文書画像に対してOCR処理を施してテキストデータを抽出すると共に、抽出したテキストデータの構造を解析する技術に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
印刷された文書画像をコンピュータに取り込み、その記述内容（テキストデータ）の構造を解析する技術として、例えば特許文献１に記載の文書認識装置及び文書認識方法を挙げることができる。
特開２００２ー１０８８４７号公報
【０００３】
この技術の場合、コンピュータに入力された文書画像に対して複数種類のレイアウト解析処理を施すと共に、各解析処理の結果を対応付けることにより、縦書き及び横書きが混在した文書画像から正確なレイアウト解析結果を抽出することを可能としている。また、この解析結果に対して複数の読み順決定手段を適用することにより、文書中の部分領域間の読み順を提示することも可能となる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ただし、この特許文献１の技術は名刺や新聞記事、書籍、オフィス文書、公文書など比較的定型的なレイアウト構成を備えた文書画像を対象としており、「解析結果」とは言っても単に文書中における縦書き領域と横書き領域の分布状況を特定したり、部分領域間の読み順候補をユーザに提示したりするに過ぎなかった。
【０００５】
このため、例えば広告チラシやＤＭのように限られた紙面に多くの情報を盛り込み、文字列の大きさや傾斜角度に変化を持たせることで特定のメッセージを強調したり、メッセージ間の重要度を演出しているような、非定型的なレイアウト構成を備えた文書画像の解析、特にレイアウトされたデザインコンテンツから構文として適切な一連の文章として取り出すことについては役に立たなかった。
【０００６】
また、デジタルメディア告知では、ＰＤＦ等デファクト仕様化したデータフォーマットが一般に用いられるが、テキストデータに対しては表示用の修飾データが複雑に付加されるため、文字情報自体は容易に抽出できるとしても、文書構造を解析して構文として適切な一連の文章を取り出したり、告知の主旨等を抽出したりすることは困難であった。
Adobe PDFとは？／インターネットＵＲＬ：https://www.adobe.com/jp/acrobat/about-adobe-pdf.html／検索日：令和６年１月１６日
【０００７】
この発明は、このような従来の状況を鑑みて案出されたものであり、広告チラシやＤＭのような非定型的なレイアウト構成を備えた文書画像を解析対象とし、文書作成者の意図した読み順やメッセージ間の重要度の高低を解析結果として抽出可能な技術の実現を目的としている。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため、請求項１に記載した文書画像解析システムは、文書画像中の文字を認識する文字認識手段と、各文字のサイズ、中心座標及び傾斜角度を特定する文字属性特定手段と、各文字のサイズ及び文字間の距離に基づき、複数の文字の集合である行を認定する行認定手段と、行を構成する文字のサイズ、配置及び行間距離に基づき、１または複数の行から構成されるテキストブロックを認定するブロック認定手段と、テキストブロックを構成する文字の少なくともサイズに応じて、各テキストブロックに重要度を設定する重要度設定手段と、テキストブロックを取り囲む外接矩形の所定の頂点の座標に基づき、文書画像中における各テキストブロックの配置されたエリアを認定すると共に、当該エリアに属するテキストブロックの読み順の優先度を示すエリアラベルを各テキストブロックに付与するシナリオ認定手段とを備え、上記シナリオ認定手段が、以下のルールに則ってエリアラベルを付与することを特徴としている。
(a) テキストブロックが文書画像中の左端または右端の何れか一方に近いほど読み順の優先度が高く、左端または右端の何れか他方に近づくにつれて読み順の優先度が低くなるように各テキストブロックにエリアラベルを付与する。
(b) テキストブロックが文書画像中の上端に近いほど読み順の優先度が高く、下端に近づくにつれて読み順の優先度が低くなるように各テキストブロックにエリアラベルを付与する。
【０００９】
上記文字属性特定手段は、例えば各文字を取り囲む外接矩形を生成すると共に、当該外接矩形の頂点の座標に基づいて文字のサイズ、中心座標、傾斜角度を算出する。
【００１０】
請求項２に記載した文書画像解析システムは、請求項１のシステムであって、上記行認定手段が、文字間の距離が所定の範囲内に収まると共に、文字のサイズが所定の範囲内で近似し、かつ、水平方向に並んだ文字同士を横組みの水平行と認定して対応の行種フラグを設定し、文字間の距離が所定の範囲内に収まると共に、文字のサイズが所定の範囲内で近似し、かつ、水平方向に対し同一または類似の傾斜角度で並んだ文字同士を横組みの傾斜行と認定して対応の行種フラグを設定し、文字間の距離が所定の範囲内に収まると共に、文字のサイズが所定の範囲内で近似し、かつ、垂直方向に並んだ文字同士あるいは垂直方向に対し同一または類似の傾斜角度で並んだ文字同士を縦組み行と認定して対応の行種フラグを設定し、所定の距離内に隣接する文字が存在しない文字を独立文字と認定して対応の行種フラグを設定し、上記ブロック認定手段が、以下の条件を満たす複数の行同士を同一のテキストブロックに属するものと認定し、それ以外の行を一行からなるテキストブロックと認定し、独立文字を一文字からなるテキストブロックと認定することを特徴としている。
(a) 各行が同一の行種フラグを備えていること。
(b) 各行に含まれる文字の平均サイズが所定の範囲内で近似していること。
(c) 各行に含まれる文字の少なくとも一部が平行配置されていること。
(d) 各行の行間距離が所定の範囲内に収まること。
（【００１１】以降は省略されています）

関連特許