特許ウォッチ

公開番号2024162848
公報種別公開特許公報(A)
公開日2024-11-21
出願番号2023078783
出願日2023-05-11
発明の名称情報処理装置、情報処理方法およびプログラム
出願人株式会社東芝,東芝デジタルソリューションズ株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06V 30/14 20220101AFI20241114BHJP(計算;計数)
要約【課題】画像データに含まれる複数の領域間の関係を、より簡易な構成で判定する
【解決手段】情報処理装置は、受付部、抽出部、算出部および判定部を備える。受付部は、特定関係を有する複数の画像領域を含む画像データと、画像データ内の第1画像領域を示す領域情報と、の入力を受け付ける。抽出部は、画像データから1つ以上の第2画像領域を抽出する。算出部は、画像データを用いて、領域情報が示す第1画像領域に対して、画像データ内の他の画像領域との関係を示す関係特徴量を算出し、第2画像領域それぞれに対して、領域の特徴を示す自己特徴量を算出する。判定部は、関係特徴量と自己特徴量との類似度に基づいて、第1画像領域と特定関係にある第2画像領域を判定する。
【選択図】図1
特許請求の範囲【請求項１】
特定関係を有する複数の画像領域を含む画像データと、前記画像データ内の第１画像領域を示す領域情報と、の入力を受け付ける受付部と、
前記画像データから１つ以上の第２画像領域を抽出する抽出部と、
前記画像データを用いて、前記領域情報が示す前記第１画像領域に対して、前記画像データ内の他の画像領域との関係を示す関係特徴量を算出し、前記第２画像領域それぞれに対して、領域の特徴を示す自己特徴量を算出する算出部と、
前記関係特徴量と前記自己特徴量との類似度に基づいて、前記第１画像領域と前記特定関係にある前記第２画像領域を判定する判定部と、
を備える情報処理装置。
続きを表示（約 1,600 文字）【請求項２】
前記算出部は、入力された前記画像データおよび前記領域情報に基づいて、前記関係特徴量を出力するモデルを用いて前記関係特徴量を算出し、
前記モデルは、前記画像データに含まれる画像領域のうち、前記第１画像領域と前記特定関係にある画像領域の前記自己特徴量と前記モデルから出力される前記関係特徴量との前記類似度が、前記第１画像領域と前記特定関係にない画像領域の前記自己特徴量と前記モデルから出力される前記関係特徴量との前記類似度より大きくなるように予め学習される、
請求項１に記載の情報処理装置。
【請求項３】
前記モデルは、前記画像データ全体の前記関係特徴量を求め、前記画像データ全体の前記関係特徴量から、前記領域情報に基づいて前記第１画像領域の前記関係特徴量を切り出す、
請求項２に記載の情報処理装置。
【請求項４】
前記モデルは、前記画像データに含まれる各要素の位置を示す情報をさらに入力し、前記関係特徴量を出力する、
請求項２に記載の情報処理装置。
【請求項５】
前記算出部は、前記第１画像領域と前記特定関係にあると判定された前記第２画像領域に対して、前記関係特徴量を算出し、
前記判定部は、前記第１画像領域と前記特定関係にあると判定された前記第２画像領域に対して算出された前記関係特徴量と前記自己特徴量との類似度に基づいて、前記第１画像領域と前記特定関係にあると判定された前記第２画像領域と前記特定関係にある前記第２画像領域をさらに判定する、
請求項１に記載の情報処理装置。
【請求項６】
前記特定関係は、階層関係である、
請求項１に記載の情報処理装置。
【請求項７】
前記算出部は、前記領域情報が示す前記第１画像領域に対して、複数の前記関係特徴量を算出する、
請求項１に記載の情報処理装置。
【請求項８】
前記判定部は、前記自己特徴量をノードとし、前記関係特徴量をエッジとするグラフニューラルネットワークを用いて前記類似度を算出する、
請求項１に記載の情報処理装置。
【請求項９】
情報処理装置で実行される情報処理方法であって、
特定関係を有する複数の画像領域を含む画像データと、前記画像データ内の第１画像領域を示す領域情報と、の入力を受け付ける受付ステップと、
前記画像データから１つ以上の第２画像領域を抽出する抽出ステップと、
前記画像データを用いて、前記領域情報が示す前記第１画像領域に対して、前記画像データ内の他の画像領域との関係を示す関係特徴量を算出し、前記第２画像領域それぞれに対して、領域の特徴を示す自己特徴量を算出する算出ステップと、
前記関係特徴量と前記自己特徴量との類似度に基づいて、前記第１画像領域と前記特定関係にある前記第２画像領域を判定する判定ステップと、
を含む情報処理方法。
【請求項１０】
コンピュータに、
特定関係を有する複数の画像領域を含む画像データと、前記画像データ内の第１画像領域を示す領域情報と、の入力を受け付ける受付ステップと、
前記画像データから１つ以上の第２画像領域を抽出する抽出ステップと、
前記画像データを用いて、前記領域情報が示す前記第１画像領域に対して、前記画像データ内の他の画像領域との関係を示す関係特徴量を算出し、前記第２画像領域それぞれに対して、領域の特徴を示す自己特徴量を算出する算出ステップと、
前記関係特徴量と前記自己特徴量との類似度に基づいて、前記第１画像領域と前記特定関係にある前記第２画像領域を判定する判定ステップと、
を実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
定型帳票の画像データから情報を読み取る読取りサービスでは、情報を読み取る領域（読み取り領域）を設定する処理などの事前の処理が必要となる。また、画像データ内の複数の読み取り領域が、相互に特定関係（階層関係など）を有する場合がある。
【０００３】
矩形を含む文書のレイアウトを変換するために必要な情報を抽出する技術として、画像データ内の複数の領域の階層構造を判定する技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０２１－０５６７９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のような技術では、例えば画像データを文字認識する処理、および文字認識データを変換して意味を示す情報（意味タグ情報）を生成する処理が必要となる。
【０００６】
本発明は、画像データに含まれる複数の領域間の関係を、より簡易な構成で判定することができる情報処理装置、情報処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
実施形態の情報処理装置は、受付部、抽出部、算出部および判定部を備える。受付部は、特定関係を有する複数の画像領域を含む画像データと、画像データ内の第１画像領域を示す領域情報と、の入力を受け付ける。抽出部は、画像データから１つ以上の第２画像領域を抽出する。算出部は、画像データを用いて、領域情報が示す第１画像領域に対して、画像データ内の他の画像領域との関係を示す関係特徴量を算出し、第２画像領域それぞれに対して、領域の特徴を示す自己特徴量を算出する。判定部は、関係特徴量と自己特徴量との類似度に基づいて、第１画像領域と特定関係にある第２画像領域を判定する。
【図面の簡単な説明】
【０００８】
図１は、実施形態の情報処理装置の構成の一例を示すブロック図である。
図２は、帳票の画像データ内の画像領域の例を示す図である。
図３は、算出される特徴量の例を示す図である。
図４は、判定部による判定の例を示す図である。
図５は、判定部による判定の例を示す図である。
図６は、実施形態における判定処理の一例を示すフローチャートである。
図７は、モデルの構造の一例を示す図である。
図８は、モデルの構造の一例を示す図である。
図９は、モデルの構造の一例を示す図である。
図１０は、モデルの構造の一例を示す図である。
図１１は、複数の関係特徴量を算出する例を説明するための図である。
図１２は、ＧＮＮに入力する入力データの構成例を説明するための図である。
図１３は、実施形態の情報処理装置のハードウェア構成例を示す説明図である。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、この発明にかかる情報処理装置の好適な実施形態を詳細に説明する。
【００１０】
以下では、帳票の画像データから情報を読み取る読み取りサービスに実施形態を適用した例を主に説明するが、実施形態を適用可能な技術は読み取りサービスに限られない。以下の実施形態は、画像データ内に含まれる複数の領域間が特定関係にあるかを判定する機能を利用する、他の技術、サービス、システム、および、装置などに適用可能である。
（【００１１】以降は省略されています）

関連特許