特許ウォッチ

公開番号2024169402
公報種別公開特許公報(A)
公開日2024-12-05
出願番号2024084085
出願日2024-05-23
発明の名称枠なしテーブルの傾斜補正方法、傾斜補正装置及びプログラム
出願人株式会社リコー
代理人個人,個人
主分類G06T 7/60 20170101AFI20241128BHJP(計算;計数)
要約【課題】本願は枠なしテーブルの傾斜補正方法、傾斜補正装置および記憶媒体を提供する。
【解決手段】本発明の実施例が提供する枠なしテーブルの傾斜補正方法および傾斜補正装置は、テキスト検出により得られた矩形枠の傾斜角と頂点座標に基づき、枠なしテーブルの外枠線を確定する。複数の矩形枠の傾斜角と頂点座標を総合的に考慮するため、本発明の実施例は得られた枠なしテーブルの画像特の徴点の正確性を向上し、後続する画像傾斜補正処理の性能を改善することができる。
【選択図】図1
特許請求の範囲【請求項１】
枠なしテーブルの傾斜補正装置が実行する、枠なしテーブルの傾斜補正方法であって、
テキストを含む枠なしテーブルの第１矩形画像を取得するステップと、
前記第１矩形画像に対してテキスト検出を行い、前記第１矩形画像におけるテキスト部分及び前記テキスト部分に外接する矩形枠を取得するステップと、
前記第１矩形画像の辺毎に、該辺の近傍にあるに少なくとも一つの矩形枠を含む矩形枠集合を生成し、前記矩形枠集合における矩形枠の目標枠辺の傾斜角に基づいて目標傾斜角を決定し、前記矩形枠集合における矩形枠の目標頂点に基づいて基準点を決定し、前記基準点を通過し、且つ傾斜角が前記目標傾斜角である直線を、前記枠なしテーブルの外枠線として生成するステップであって、前記目標枠辺は、前記矩形枠における前記辺に最も近接する枠辺であり、前記目標頂点は、前記目標枠辺が通過する頂点である、ステップと、
前記枠なしテーブルの４本の外枠線に基づいて、４つの交差点を決定するステップと、
前記４つの交差点及び４つの所定の目標点に基づいて透視変換を行って透視変換行列を取得するステップと、
前記透視変換行列に基づいて前記第１矩形画像に対して補正を行い、補正された第２矩形画像を生成するステップと、を含む
ことを特徴とする枠なしテーブルの傾斜補正方法。
続きを表示（約 3,000 文字）【請求項２】
前記第１矩形画像の辺毎に矩形枠集合を生成するステップは、
前記第１矩形画像における矩形枠が属する行列を特定するステップであって、同一行の矩形枠において、任意の２つの矩形枠の上枠延長線の間隔は第１閾値より小さく、且つ下枠延長線の間隔は第２閾値より小さく、同一列の矩形枠において、任意の２つの矩形枠の左枠延長線の間隔は第３閾値より小さい、ステップと、
前記第１矩形画像の左側辺に対して、最初の列の矩形枠を選択し、第１矩形枠集合を構成し、前記第１矩形画像の右側辺に対して、最後の列の矩形枠を選択し、第２矩形枠集合を構成し、前記第１矩形画像の頂辺に対して、最初の行の矩形枠を選択し、第３矩形枠集合を構成し、前記第１矩形画像の底辺に対して、最後の行の矩形枠を選択し、第４矩形枠集合を構成するステップと、を含む
ことを特徴とする請求項１に記載の枠なしテーブルの傾斜補正方法。
【請求項３】
前記矩形枠集合における矩形枠の目標枠辺の傾斜角に基づいて目標傾斜角を決定するステップは、
前記矩形枠集合における各矩形枠の目標枠辺の基準線に対する角度を計算するステップであって、前記基準線は、所定の水平線または垂直線である、ステップと、
各矩形枠の目標枠の基準線に対する角度の第１統計値を前記目標傾斜角として計算するステップであって、前記第１統計値は、前記角度の中央値または平均値である、ステップと、を含む
ことを特徴とする請求項２に記載の枠なしテーブルの傾斜補正方法。
【請求項４】
前記矩形枠集合における矩形枠の目標頂点に基づいて基準点を決定するステップは、
前記矩形枠集合における各矩形枠の目標頂点の座標を取得するステップと、
取得した目標頂点の座標の第２統計値を前記基準点の座標として計算するステップであって、前記第２統計値は、前記目標頂点の座標の中央値または平均値である、ステップと、を含む、
ことを特徴とする請求項２に記載の枠なしテーブルの傾斜補正方法。
【請求項５】
前記矩形枠集合における各矩形枠の目標頂点の座標を取得するステップは、
前記第１矩形画像の左側辺に対して、第１矩形集合における各矩形枠の左上角頂点及び／または左下角頂点の座標を取得するステップと、
前記第１矩形画像の右側辺に対して、第２矩形集合における各矩形枠の右上角頂点及び／または右下角頂点の座標を取得するステップと、
前記第１矩形画像の頂辺に対して、第３矩形集合における各矩形枠の左上角頂点及び／または右上角頂点の座標を取得するステップと、
前記第１矩形画像の底辺に対して、第４矩形集合における各矩形枠の左下角頂点及び／または右下角頂点の座標を取得するステップと、を含む
ことを特徴とする請求項４に記載の枠なしテーブルの傾斜補正方法。
【請求項６】
テキストを含む枠なしテーブルの第１矩形画像を取得する画像取得モジュールと、
前記第１矩形画像に対してテキスト検出を行い、前記第１矩形画像におけるテキスト部分及び前記テキスト部分に外接する矩形枠を取得するテキスト検出モジュールと、
前記第１矩形画像の辺毎に、該辺の近傍にあるに少なくとも一つの矩形枠を含む矩形枠集合を生成し、前記矩形枠集合における矩形枠の目標枠辺の傾斜角に基づいて目標傾斜角を決定し、前記矩形枠集合における矩形枠の目標頂点に基づいて基準点を決定し、前記基準点を通過し、且つ傾斜角が前記目標傾斜角である直線を、前記枠なしテーブルの外枠線として生成する外枠線生成モジュールであって、前記目標枠辺は、前記矩形枠における前記辺に最も近接する枠辺であり、前記目標頂点は、前記目標枠辺が通過する頂点である、外枠線生成モジュールと、
前記枠なしテーブルの４本の外枠線に基づいて、４つの交差点を決定する交差点生成モジュールと、
前記４つの交差点及び４つの所定の目標点に基づいて透視変換を行って透視変換行列を取得する行列取得モジュールと、
前記透視変換行列に基づいて前記第１矩形画像に対して補正を行い、補正された第２矩形画像を生成する画像補正モジュールと、を含む
ことを特徴とする枠なしテーブルの傾斜補正装置。
【請求項７】
前記外枠線生成モジュールは、
前記第１矩形画像における矩形枠が属する行列を特定する第１特定モジュールであって、同一行の矩形枠において、任意の２つの矩形枠の上枠延長線の間隔は第１閾値より小さく、且つ下枠延長線の間隔は第２閾値より小さく、同一列の矩形枠において、任意の２つの矩形枠の左枠延長線の間隔は第３閾値より小さい、第１特定モジュールと、
前記第１矩形画像の左側辺に対して、最初の列の矩形枠を選択し、第１矩形枠集合を構成する第１選択モジュールと、
前記第１矩形画像の右側辺に対して、最後の列の矩形枠を選択し、第２矩形枠集合を構成する第２選択モジュールと、
前記第１矩形画像の頂辺に対して、最初の行の矩形枠を選択し、第３矩形枠集合を構成する第３選択モジュールと、
前記第１矩形画像の底辺に対して、最後の行の矩形枠を選択し、第４矩形枠集合を構成する第４選択モジュールと、を含む
ことを特徴とする請求項６の枠なしテーブルの傾斜補正装置。
【請求項８】
前記外枠線生成モジュールは、
前記矩形枠集合における各矩形枠の目標枠辺の基準線に対する角度を計算する第１計算モジュールであって、前記基準線は、所定の水平線または垂直線である、第１計算モジュールと、
各矩形枠の目標枠の基準線に対する角度の第１統計値を前記目標傾斜角として計算する第２計算モジュールであって、前記第１統計値は、前記角度の中央値または平均値である、第２計算モジュールと、を含む
ことを特徴とする請求項７に記載の枠なしテーブルの傾斜補正装置。
【請求項９】
前記外枠線生成モジュールは、
前記矩形枠集合における各矩形枠の目標頂点の座標を取得する第１取得モジュールと、
取得した目標頂点の座標の第２統計値を前記基準点の座標として計算する第３計算モジュールであって、前記第２統計値は、前記目標頂点の座標の中央値または平均値である、第３計算モジュールと、を更に含む、
ことを特徴とする請求項７に記載の枠なしテーブルの傾斜補正装置。
【請求項１０】
前記第１取得モジュールは、
前記第１矩形画像の左側辺に対して、第１矩形集合における各矩形枠の左上角頂点及び／または左下角頂点の座標を取得し、
前記第１矩形画像の右側辺に対して、第２矩形集合における各矩形枠の右上角頂点及び／または右下角頂点の座標を取得し、
前記第１矩形画像の頂辺に対して、第３矩形集合における各矩形枠の左上角頂点及び／または右上角頂点の座標を取得し、
前記第１矩形画像の底辺に対して、第４矩形集合における各矩形枠の左下角頂点及び／または右下角頂点の座標を取得する、
ことを特徴とする請求項９に記載の枠なしテーブルの傾斜補正装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は画像処理技術分野に属し、具体的に枠なしテーブルの傾斜補正方法、傾斜補正装置および記憶媒体に関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
ドキュメント処理では、紙に印刷されたテキストを識別する必要な場合が多い。紙を撮影し、テキストを含む画像を取得した後、OCR(Optical Character Recognition)で画像を認識することにより、テキストを取得するのが一般的である。例えば、テーブルを含む画像の場合、テーブルのセルとセル内のテキストコンテンツを取得するために、画像に対して表の構造解析とテキスト認識が必要である。
【０００３】
テキストを含む画像を撮影する時に、ゆがみが発生しやすい。従来、まず透視変換処理により画像の傾きを補正する処理を行う。完全な枠を有するテーブルの画像は、透視変換処理のための特徴点が容易に得られる。実際の応用において、一部のテーブルは枠のないテーブルの画像である。即ち、テーブル中の縦線と横線が省略される。枠なしテーブルの画像に対して、透視変換処理のための特徴点を取得しにくく、または、取得される特徴点の正確さが低く、後続する画像傾斜補正及びテーブル識別に不利である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の少なくとも一つの実施例は枠なしテーブルの傾斜補正方法、傾斜補正装置および記憶媒体を提供し、取得される枠なしテーブル画像の特徴点の正確性を向上させ、画像の傾斜補正処理の性能を改善することができる。
【課題を解決するための手段】
【０００５】
上記技術問題を解決するために、本発明の実施例は、テキストを含む枠なしテーブルの第１矩形画像を取得するステップと、前記第１矩形画像に対してテキスト検出を行い、前記第１矩形画像におけるテキスト部分及び前記テキスト部分に外接する矩形枠を取得するステップと、前記第１矩形画像の辺毎に、該辺の近傍にあるに少なくとも一つの矩形枠を含む矩形枠集合を生成し、前記矩形枠集合における矩形枠の目標枠辺の傾斜角に基づいて目標傾斜角を決定し、前記矩形枠集合における矩形枠の目標頂点に基づいて基準点を決定し、前記基準点を通過し、且つ傾斜角が前記目標傾斜角である直線を、前記枠なしテーブルの外枠線として生成するステップであって、前記目標枠辺は、前記矩形枠における前記辺に最も近接する枠辺であり、前記目標頂点は、前記目標枠辺が通過する頂点である、ステップと、前記枠なしテーブルの４本の外枠線に基づいて、４つの交差点を決定するステップと、前記４つの交差点及び４つの所定の目標点に基づいて透視変換を行って透視変換行列を取得するステップと、前記透視変換行列に基づいて前記第１矩形画像に対して補正を行い、補正された第２矩形画像を生成するステップと、を含む枠なしテーブルの傾斜補正方法を提供する。
【０００６】
好ましくは、前記第１矩形画像の辺毎に矩形枠集合を生成するステップは、前記第１矩形画像における矩形枠が属する行列を特定するステップであって、同一行の矩形枠において、任意の２つの矩形枠の上枠延長線の間隔は第１閾値より小さく、且つ下枠延長線の間隔は第２閾値より小さく、同一列の矩形枠において、任意の２つの矩形枠の左枠延長線の間隔は第３閾値より小さい、ステップと、前記第１矩形画像の左側辺に対して、最初の列の矩形枠を選択し、第１矩形枠集合を構成し、前記第１矩形画像の右側辺に対して、最後の列の矩形枠を選択し、第２矩形枠集合を構成し、前記第１矩形画像の頂辺に対して、最初の行の矩形枠を選択し、第３矩形枠集合を構成し、前記第１矩形画像の底辺に対して、最後の行の矩形枠を選択し、第４矩形枠集合を構成するステップと、を含む。
【０００７】
また、好ましくは、前記矩形枠集合における矩形枠の目標枠辺の傾斜角に基づいて目標傾斜角を決定するステップは、前記矩形枠集合における各矩形枠の目標枠辺の基準線に対する角度を計算するステップであって、前記基準線は、所定の水平線または垂直線である、ステップと、各矩形枠の目標枠の基準線に対する角度の第１統計値を前記目標傾斜角として計算するステップであって、前記第１統計値は、前記角度の中央値または平均値である、ステップと、を含む。
【０００８】
また、好ましくは、前記矩形枠集合における矩形枠の目標頂点に基づいて基準点を決定するステップは、前記矩形枠集合における各矩形枠の目標頂点の座標を取得するステップと、取得した目標頂点の座標の第２統計値を前記基準点の座標として計算するステップであって、前記第２統計値は、前記目標頂点の座標の中央値または平均値である、ステップと、を含む。
【０００９】
また、好ましくは、前記矩形枠集合における各矩形枠の目標頂点の座標を取得するステップは、前記第１矩形画像の左側辺に対して、第１矩形集合における各矩形枠の左上角頂点及び／または左下角頂点の座標を取得するステップと、前記第１矩形画像の右側辺に対して、第２矩形集合における各矩形枠の右上角頂点及び／または右下角頂点の座標を取得するステップと、前記第１矩形画像の頂辺に対して、第３矩形集合における各矩形枠の左上角頂点及び／または右上角頂点の座標を取得するステップと、前記第１矩形画像の底辺に対して、第４矩形集合における各矩形枠の左下角頂点及び／または右下角頂点の座標を取得するステップと、を含む。
【００１０】
また、本発明の実施例は、テキストを含む枠なしテーブルの第１矩形画像を取得する画像取得モジュールと、前記第１矩形画像に対してテキスト検出を行い、前記第１矩形画像におけるテキスト部分及び前記テキスト部分に外接する矩形枠を取得するテキスト検出モジュールと、前記第１矩形画像の辺毎に、該辺の近傍にあるに少なくとも一つの矩形枠を含む矩形枠集合を生成し、前記矩形枠集合における矩形枠の目標枠辺の傾斜角に基づいて目標傾斜角を決定し、前記矩形枠集合における矩形枠の目標頂点に基づいて基準点を決定し、前記基準点を通過し、且つ傾斜角が前記目標傾斜角である直線を、前記枠なしテーブルの外枠線として生成する外枠線生成モジュールであって、前記目標枠辺は、前記矩形枠における前記辺に最も近接する枠辺であり、前記目標頂点は、前記目標枠辺が通過する頂点である、外枠線生成モジュールと、前記枠なしテーブルの４本の外枠線に基づいて、４つの交差点を決定する交差点生成モジュールと、前記４つの交差点及び４つの所定の目標点に基づいて透視変換を行って透視変換行列を取得する行列取得モジュールと、前記透視変換行列に基づいて前記第１矩形画像に対して補正を行い、補正された第２矩形画像を生成する画像補正モジュールと、を含む枠なしテーブルの傾斜補正装置を提供する。
（【００１１】以降は省略されています）

関連特許