特許ウォッチ

公開番号2024081434
公報種別公開特許公報(A)
公開日2024-06-18
出願番号2022195068
出願日2022-12-06
発明の名称計算機システム及びグラフ認識方法
出願人株式会社日立製作所
代理人藤央弁理士法人
主分類G06V 10/96 20220101AFI20240611BHJP(計算;計数)
要約【課題】ユーザの入力負担を低減し、かつ、精度が高い処理結果を出力するグラフ認識処理を実現する。
【解決手段】計算機システムは、複数のブロック処理から構成されるグラフ認識処理を実行する。ブロック処理は、処理結果の評価を行う評価ブロック処理を含み、評価ブロック処理は、処理結果及び確信度を出力として取得できる。グラフ認識処理を実行する計算機システムは、評価ブロック処理を実行した場合、処理結果及び確信度を取得し、確信度に基づいて、グラフ認識処理を継続するか否かを判定し、グラフ認識処理を継続しないと判定された場合、評価ブロック処理の処理結果に対する修正を受け付けるためのインタフェースを提示し、インタフェースを介してユーザの入力を受け付けた場合、評価ブロック処理の後のブロック処理を実行する。
【選択図】図4
特許請求の範囲【請求項１】
グラフを含む画像の入力を受け付け、複数のブロック処理から構成されるグラフ認識処理を実行する計算機システムであって、
少なくとも一つの計算機を含み、
前記複数のブロック処理は、処理結果の評価を行う評価ブロック処理を少なくとも一つ含み、
前記評価ブロック処理は、処理結果及び前記処理結果の確信度を出力として取得でき、
前記グラフ認識処理を実行する前記少なくとも一つの計算機は、
前記評価ブロック処理を実行した場合、前記処理結果及び前記処理結果の確信度を取得し、
前記処理結果の確信度に基づいて、前記グラフ認識処理を継続するか否かを判定し、
前記グラフ認識処理を継続しないと判定された場合、前記評価ブロック処理の処理結果に対する修正を受け付けるためのインタフェースを提示し、
前記インタフェースを介してユーザの入力を受け付けた場合、前記ユーザの入力と、前記評価ブロック処理の前に実行された前記ブロック処理の処理結果を用いて、前記評価ブロック処理の後の前記ブロック処理を実行することを特徴とする計算機システム。
続きを表示（約 1,700 文字）【請求項２】
請求項１に記載の計算機システムであって、
前記少なくとも一つの計算機は、前記処理結果の確信度と閾値との比較結果に基づいて、前記グラフ認識処理を継続するか否かを判定することを特徴とする計算機システム。
【請求項３】
請求項１に記載の計算機システムであって、
前記複数のブロック処理は、複数の前記評価ブロック処理を含み、
前記少なくとも一つの計算機は、
ターゲットとなる前記評価ブロック処理の前記処理結果の確信度及びターゲットとなる前記評価ブロック処理の前に実行された前記評価ブロック処理の前記処理結果の確信度に基づいて、累積確信度を算出し、
ターゲットとなる前記評価ブロック処理の前記処理結果の確信度と閾値との比較結果、及び、前記累積確信度と閾値との比較結果に基づいて、前記グラフ認識処理を継続するか否かを判定することを特徴とする計算機システム。
【請求項４】
請求項３に記載の計算機システムであって、
前記少なくとも一つの計算機は、
前記グラフ認識処理の処理結果とともに、前記複数の評価ブロック処理の前記処理結果の確信度を出力することを特徴とする計算機システム。
【請求項５】
少なくとも一つの計算機を含む計算機システムが実行するグラフ認識方法であって、
前記少なくとも一つの計算機が、グラフを含む画像の入力を受け付ける第１のステップと、
前記少なくとも一つの計算機が、複数のブロック処理を含むグラフ認識処理を実行する第２のステップと、を含み、
前記複数のブロック処理は、処理結果の評価を行う評価ブロック処理を少なくとも一つ含み、
前記評価ブロック処理は、処理結果及び前記処理結果の確信度を出力として取得でき、
前記第２のステップは、
前記少なくとも一つの計算機が、前記評価ブロック処理を実行した場合、前記処理結果及び前記処理結果の確信度を取得し、前記処理結果の確信度に基づいて、前記グラフ認識処理を継続するか否かを判定する第３のステップと、
前記グラフ認識処理を継続しないと判定された場合、前記少なくとも一つの計算機が、前記評価ブロック処理の処理結果に対する修正を受け付けるためのインタフェースを提示する第４のステップと、
前記インタフェースを介してユーザの入力を受け付けた場合、前記少なくとも一つの計算機が、前記ユーザの入力と、前記評価ブロック処理の前に実行された前記ブロック処理の処理結果を用いて、前記評価ブロック処理の後の前記ブロック処理を実行する第５のステップと、を含むことを特徴とするグラフ認識方法。
【請求項６】
請求項５に記載のグラフ認識方法であって、
前記第３のステップは、前記少なくとも一つの計算機が、前記処理結果の確信度と閾値との比較結果に基づいて、前記グラフ認識処理を継続するか否かを判定するステップを含むことを特徴とするグラフ認識方法。
【請求項７】
請求項５に記載のグラフ認識方法であって、
前記複数のブロック処理は、複数の前記評価ブロック処理を含み、
前記第３のステップは、
前記少なくとも一つの計算機が、ターゲットとなる前記評価ブロック処理の前記処理結果の確信度及びターゲットとなる前記評価ブロック処理の前に実行された前記評価ブロック処理の前記処理結果の確信度に基づいて、累積確信度を算出するステップと、
前記少なくとも一つの計算機が、ターゲットとなる前記評価ブロック処理の前記処理結果の確信度と閾値との比較結果、及び、前記累積確信度と閾値との比較結果に基づいて、前記グラフ認識処理を継続するか否かを判定するステップと、を含むことを特徴とするグラフ認識方法。
【請求項８】
請求項７に記載のグラフ認識方法であって、
前記少なくとも一つの計算機が、前記グラフ認識処理の処理結果とともに、前記複数の評価ブロック処理の前記処理結果の確信度を出力するステップを含むことを特徴とするグラフ認識方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、文書に含まれるグラフの認識技術に関する。
続きを表示（約 1,200 文字）【背景技術】
【０００２】
データベースへの文書の記載内容の入力作業等、人が行っていた作業は、文字認識技術の発達に伴って自動化が進んでいる。
【０００３】
近年、文字認識処理を活用して、文書及び画像等のコンテンツに含まれるグラフの記載内容を自動的にデータベース化する試みも行われている。コンテンツに含まれるグラフの記載内容を自動的にデータベース化するためには、文字認識処理を用いて、グラフが記載されている領域の文字列を認識し、軸及び目盛りを特定し、プロット要素を認識する必要がある。
【０００４】
ここで、プロット要素とはグラフ内に配置されるシンボルを表し、棒グラフの場合は棒、直線及び曲線のグラフの場合は線、散布図の場合は丸及び三角等の記号等である。また、同一対象のプロット要素群をデータ系列と呼ぶ。
【０００５】
以下の説明では、コンテンツにおけるグラフが含まれる領域の文字列、グラフの軸及び目盛り、並びにプロット要素をグラフ要素と記載する。また、グラフ要素を認識し、グラフ要素の配置関係に基づいて、グラフを描写するためのデータ群を再現し、また、グラフの特徴的な数値及び傾向を抽出する処理を、グラフ認識処理と記載する。
【０００６】
グラフ認識処理の実現のため、文字認識処理とオブジェクト検出処理を用いた手法が検討されている。例えば、特許文献１には、「グラフ情報をイメージ画像として入力する画像入力手段と、この画像入力手段により入力されたグラフ情報を抽出するための格子を有する窓センサ手段と、この窓センサ手段を用い前記グラフ情報と前記窓センサ手段の格子との交点を抽出出力として抽出するグラフ抽出手段と、このグラフ抽出手段により抽出された抽出出力をグラフとして認識するグラフ認識手段と、このグラフ認識手段により認識された認識結果を保存する記憶手段とを具備したことを特徴とするデータ読取り装置。」が記載されている。
【０００７】
特許文献１に記載の技術を用いることで、画像からグラフを描写するためのデータ群を再現できる。
【先行技術文献】
【特許文献】
【０００８】
特開平５－２３３７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に記載の技術は、プロットエリアに罫線等が存在し、プロット要素との交点から数値を取得可能なグラフに対して適用できる。したがって、適用できるグラフに制限がある。
【００１０】
罫線が存在しないグラフ、複数のデータ系列が存在するグラフ等、グラフの描写は自由度が高いため、種々のグラフを完全に認識することは難しい。したがって、グラフ認識処理が失敗した場合、ユーザが手動でグラフの情報を入力する必要がある。
（【００１１】以降は省略されています）

関連特許