特許ウォッチ

公開番号2025087598
公報種別公開特許公報(A)
公開日2025-06-10
出願番号2024194737
出願日2024-11-06
発明の名称大型言語モデルのためのプロンプトのテーブルを処理する方法及びシステム
出願人Allganize Japan株式会社
代理人弁理士法人秀和特許事務所
主分類G06F 40/177 20200101AFI20250603BHJP(計算;計数)
要約【課題】大型言語モデルのためのプロンプトのテーブルを処理する方法およびシステムを提供する。
【解決手段】テーブル処理方法は、大型言語モデル(Large Language Models, LLM)のためのプロンプトに利用される文書の文書形式を確認するステップ、前記文書形式に従って前記文書に含まれたテーブルを認識するステップ、前記認識されたテーブルの内容をマークダウン形態または自然語形態に変換するステップおよび前記変換されたテーブルの内容を前記プロンプトへの使用またはRAG(Retrieval Augmented Generation)のリトリーバ(retriever)のテーブル検索のための使用のためにストレージに保存するステップを含む。
【選択図】図3
特許請求の範囲【請求項１】
少なくとも1つのプロセッサを含むコンピュータ装置のテーブル処理方法において、
前記少なくとも1つのプロセッサによって、大型言語モデル(Large Language Models, LLM)のプロンプトに利用される文書の文書フォーマットを確認するステップ;
前記少なくとも1つのプロセッサによって、前記文書フォーマットに基づいて前記文書
に含まれるテーブルを認識するステップ;
前記少なくとも1つのプロセッサによって、前記認識されたテーブルの内容をマークダ
ウン形態または自然言語形態に変換するステップ;および
前記少なくとも1つのプロセッサによって、前記変換されたテーブルの内容を前記プロ
ンプトへの使用またはRAG(Retrieval Augmented Generation)のリトリーバー(retriever)のテーブル検索のための使用のためにストレージに保存するステップ
を含むテーブル処理方法。
続きを表示（約 1,700 文字）【請求項２】
請求項１において、
前記変換する段階は、
前記認識されたテーブルに統合されたセル(mergedcell)が存在するか否か及び前記認識されたテーブルに含まれるテキストの全長の少なくとも一つに基づいて前記認識されたテーブルの内容をマークダウン形態または自然語形態に変換することを特徴とするテーブル処理方法。
【請求項３】
請求項２において、
前記変換する段階は、
前記認識されたテーブルが結合されたセルを含まず、前記認識されたテーブルに含まれるテキストの全体の長さが予め設定された基準値未満である場合に、前記認識されたテーブルの内容をマークダウン形式に変換し、前記認識されたテーブルが結合されたセルを含むか、または前記全体の長さが前記予め設定された基準値以上である場合に、前記認識されたテーブルの内容を自然言語形式に変換することを特徴とするテーブル処理方法。
【請求項４】
請求項１において、
前記変換する段階は、
前記認識されたテーブルの内容を自然言語形式に変換する場合、
前記テーブルのヘッダーを抽出する段階；
前記テーブルの読み取り方向を決定する段階；及び
前記読み取り方向に従って、前記テーブルからヘッダーと前記テーブルの値を一行ずつ読み取って自然言語を生成する段階
を含むことを特徴とするテーブル処理方法。
【請求項５】
請求項４において、
前記テーブルのリーディング方向を決定するステップは、
前記リーディング方向を前記テーブルの列基準方向及び行基準方向のうち一つに決定することを特徴とするテーブル処理方法。
【請求項６】
請求項１において、
前記文書フォーマットを確認するステップは、
前記文書に対応するファイルの拡張子を通じて前記文書フォーマットを確認することを特徴とするテーブル処理方法。
【請求項７】
請求項１において、
前記文書フォーマットはDOCXファイルフォーマット、エクセル(Excel)ファイルフォー
マット、PDF(Portable Document Format)ファイルフォーマットのうち少なくとも1つに分類されることを特徴とするテーブル処理方法。
【請求項８】
請求項１において、
前記テーブルを認識する段階は、
前記文書フォーマットがPDFファイルフォーマットである場合に人工知能モデルを通じ
て前記テーブルが存在する領域を検出して前記テーブルを検出する段階；
前記文書フォーマットがDOCXファイルフォーマットである場合にDOCXファイルが含むテーブル構造に関する情報を利用して前記テーブルを認識する段階；及び
前記文書フォーマットがエクセルファイルフォーマットである場合に前記文書を画像に変換し、前記変換された画像から前記テーブルが存在する領域を検出して前記テーブルを検出する段階
を含むことを特徴とするテーブル処理方法。
【請求項９】
請求項１から請求項８のうちいずれか一項の方法を前記コンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に保存されるコンピュータプログラム。
【請求項１０】
コンピュータ装置で読み取り可能な命令を実行するように具現される少なくとも1つの
プロセッサを含み、
前記少なくとも1つのプロセッサにより、
大型言語モデル(Large Language Models, LLM)のためのプロンプトに利用される文書の文書フォーマットを確認し、
前記文書フォーマットに従って前記文書に含まれたテーブルを認識し、
前記認識されたテーブルの内容をマークダウン形態または自然語形態に変換し、
前記変換されたテーブルの内容を前記プロンプトでの使用またはRAG(Retrieval Augmented Generation)のretrieverのテーブル検索のための使用のために保存所に保存することを特徴とするコンピュータ装置。

発明の詳細な説明【技術分野】
【０００１】
下記の説明は、大型言語モデルのためのプロンプトのテーブルを処理する方法及びシステムに関するものである。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
大型言語モデル又は巨大言語モデル(Large Language Models, LLM)は、自然言語入力に対して人間と類似した応答を生成するために大規模テキストデータ集合で訓練された人工知能の一種であり、膨大なパラメータ（通常は数十億ウェイト以上）を保有する人工ニューラルネットワークで構成される言語モデルである。このようなLLMは、自己教師あり学
習や半自己教師あり学習を使用してラベル付けされていない相当な量のテキストで学習することができる。
【０００３】
このようなLLMは、単一の文書をプロンプトとして入力し、回答を生成するRAG(Retrieval Augmented Generation)能力が非常に優れている。しかし、一般的に文書にはグラフやテーブルのような非文字データが含まれることがある。特に、プロンプトに含まれるテーブル情報をどのようにLLMに入力するかによって、LLMの性能が大きく異なる可能性がある。また、特定の質問に対する回答が文書内のテーブルにあるかどうかをRAGのリトリーバ
ー(Retriever)で見つける必要があるが、この場合もテーブルをどのように表記するかに
よってリトリーバの性能が大きく異なる。特に、結合されたセル(merged cell)を含む複
雑なテーブルの場合、LLMとリトリーバの性能に非常に大きな影響を与える可能性がある
。
【先行技術文献】
【特許文献】
【０００４】
韓国登録特許第10-2551531号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
大型言語モデルのためのプロンプトのテーブルを処理する方法およびシステムを提供する。
【課題を解決するための手段】
【０００６】
少なくとも1つのプロセッサを含むコンピュータ装置のテーブル処理方法において、前
記少なくとも1つのプロセッサによって、大型言語モデル(Large Language Models, LLM)
のためのプロンプトに利用される文書の文書フォーマットを確認するステップ;前記少な
くとも1つのプロセッサによって、前記文書フォーマットに従って前記文書に含まれたテ
ーブルを認識するステップ;前記少なくとも1つのプロセッサによって、前記認識されたテーブルの内容をマークダウン形態または自然語形態に変換するステップ;および前記少な
くとも1つのプロセッサによって、前記変換されたテーブルの内容を前記プロンプトでの
使用またはRAG(Retrieval Augmented Generation)のリトリーバー(retriever)のテーブル検索のための使用のためにストレージに保存するステップを含むテーブル処理方法を提供する。
【０００７】
一側面によれば、前記変換する段階は、前記認識されたテーブルに結合されたセル(merged cell)が存在するか否か及び前記認識されたテーブルに含まれるテキストの全体の長
さの中の少なくとも一つに基づいて前記認識されたテーブルの内容をマークダウン形態又
は自然語形態に変換することを特徴とすることができる。
【０００８】
他の側面によれば、前記変換する段階は、前記認識されたテーブルが結合されたセルを含まずかつ前記認識されたテーブルに含まれるテキストの全体の長さが予め設定された基準値未満である場合に前記認識されたテーブルの内容をマークダウン形態に変換し、前記認識されたテーブルが結合されたセルを含むか又は前記全体の長さが前記予め設定された基準値以上である場合に前記認識されたテーブルの内容を自然語形態に変換することを特徴とすることができる。
【０００９】
さらに他の側面によれば、前記変換する段階は、前記認識されたテーブルの内容を自然語形態に変換する場合、前記テーブルのヘッダーを抽出する段階；前記テーブルのリーディング方向を決定する段階；及び前記リーディング方向に従って前記テーブルでヘッダーと前記テーブルの値を一行ずつ読み取って自然語を生成する段階を含むことを特徴とすることができる。
【００１０】
さらに他の側面によれば、前記テーブルのリーディング方向を決定する段階は、前記リーディング方向を前記テーブルの列基準の方向及び行基準の方向のうちの一つに決定することを特徴とすることができる。
（【００１１】以降は省略されています）

関連特許