特許ウォッチ

公開番号2025176054
公報種別公開特許公報(A)
公開日2025-12-03
出願番号2025140610,2023504580
出願日2025-08-26,2021-06-11
発明の名称画像解析を使用したファーマコビジランスドキュメントの分類
出願人ブリストル-マイヤーズスクイブカンパニー,BRISTOL-MYERS SQUIBB COMPANY
代理人個人,個人
主分類G06T 7/00 20170101AFI20251126BHJP(計算;計数)
要約【課題】画像解析を使用してドキュメントを分類するためのシステム、装置、デバイス、方法及び/若しくはコンピュータプログラム製品の実施形態並びに/又はそれらの組み合わせ及び部分的な組み合わせを提供する。
【解決手段】サーバ、クライアントデバイス、取り込みデバイス、データベース及びユーザデバイスが、ネットワークを介して接続され得るシステムにおいて、ドキュメントの画像表現を使用してドキュメントを分類するように深層学習モデルを訓練及び実装したサーバは、変換エンジンからドキュメントを分類するための要求を受信するAPI102を有する学習エンジン101、ドキュメントを画像ファイルに変換して、学習エンジンが画像ファイルを使用して対応するドキュメントを分類及び優先順位付けする変換エンジン103及び分類されるドキュメントを検出する自動スクリプト又はボットであるスクリプト109を含む。
【選択図】図1
特許請求の範囲【請求項１】
ドキュメントを自動的に分類する方法であって、前記方法は、
１つ又は複数のコンピューティングデバイスによって、ドキュメントセット及び前記ドキュメントセット内の各ドキュメントのメタデータを取得することと、
前記１つ又は複数のコンピューティングデバイスによって、前記ドキュメントセットの各ドキュメントを画像ファイルに変換し、画像ファイルセットを生成することと、
前記１つ又は複数のコンピューティングデバイスによって、前記ドキュメントセットの各ドキュメントにそれぞれ対応する前記メタデータ及び前記画像ファイルセットを用いて前記ドキュメントセットの各ドキュメントを分類するように学習エンジンを訓練することと、
前記１つ又は複数のコンピューティングデバイスによって、別のドキュメントを分類する要求を受信することと、
前記１つ又は複数のコンピューティングデバイスによって、前記別のドキュメントを新しい画像ファイルに変換することと、
前記１つ又は複数のコンピューティングデバイスによって、別の画像ファイルのページを単一の画像スタックに合成することと、
前記１つ又は複数のコンピューティングデバイスによって、訓練済み学習エンジンを用いて、前記単一の画像スタックに基づいて第１、第２、及び第３の分類を前記別のドキュメントに割り当てることと、
前記１つ又は複数のコンピューティングデバイスによって、前記第１、前記第２、又は前記第３の分類の１つ又は複数に基づいて前記別のドキュメントの優先度の値を判断することと、
を含む、方法。
続きを表示（約 2,700 文字）【請求項２】
前記第１の分類は、前記別のドキュメントの有効性に対応し、前記第２の分類は、前記別のドキュメントにおける内容の重篤性の指標に対応し、前記第３の分類は、前記内容の前記重篤性に対応する１つ又は複数の要素に対応する、請求項１に記載の方法。
【請求項３】
前記学習エンジンを訓練することは、
再帰的に、
前記１つ又は複数のコンピューティングデバイスによって、前記画像ファイルセットの各対応する画像ファイルに画像解析を実行することで、前記画像ファイルセットの各画像ファイルに関連付けられた属性を識別することと、
前記１つ又は複数のコンピューティングデバイスによって、前記学習エンジンを使用して、前記画像ファイルセットの各画像ファイルの識別された属性に基づいて、前記第１、前記第２、及び前記第３の分類を前記ドキュメントセットの各ドキュメントに割り当てることと、
前記１つ又は複数のコンピューティングデバイスによって、各ドキュメントの前記メタデータを前記ドキュメントセットの各ドキュメントの前記分類と比較することで、前記ドキュメントセットのドキュメントサブセットのそれぞれの前記分類を検証することと、
を含む、請求項１に記載の方法。
【請求項４】
画像解析を実行することは、
前記１つ又は複数のコンピューティングデバイスによって、前記画像ファイルセットの各画像ファイルから特徴セットを抽出することと、
前記１つ又は複数のコンピューティングデバイスによって、前記画像ファイルセットの各画像ファイルの特徴マップを生成することであって、各画像ファイルの前記特徴マップは前記画像ファイルから抽出された前記特徴セットを含む、生成することと、
前記１つ又は複数のコンピューティングデバイスによって、前記画像ファイルセットの各画像ファイルの前記特徴マップの次元特徴を削減することで、前記画像ファイルセットの各画像ファイルの削減特徴マップを生成することと、
前記１つ又は複数のコンピューティングデバイスによって、前記画像ファイルセットの各画像ファイルの前記削減特徴マップをベクトルに変換することと、
前記１つ又は複数のコンピューティングデバイスによって、前記画像ファイルセットの各画像ファイルに対応する前記画像ファイルセットの各画像ファイルに関連付けられた前記属性を識別するように、前記画像ファイルセットの各画像ファイルの前記ベクトルに非線形変換を実行することと、
を含む、請求項３に記載の方法。
【請求項５】
前記学習エンジンは、教師あり学習アルゴリズムを実装する、請求項１に記載の方法。
【請求項６】
前記１つ又は複数のコンピューティングデバイスによって、所定のドキュメントタイプとは異なる前記ドキュメントセットのドキュメントのドキュメントタイプを識別することと、
前記１つ又は複数のコンピューティングデバイスによって、前記ドキュメントを前記所定のドキュメントタイプに変換することと、
をさらに含む、請求項１に記載の方法。
【請求項７】
メモリと、
前記メモリに結合されたプロセッサであって、前記プロセッサは、
ドキュメントセット及び前記ドキュメントセット内の各ドキュメントのメタデータを取得し、
前記ドキュメントセットの各ドキュメントを画像ファイルに変換し、画像ファイルセットを生成し、
前記ドキュメントセットの各ドキュメントにそれぞれ対応する前記メタデータ及び前記画像ファイルセットを用いて前記ドキュメントセットの各ドキュメントを分類するように学習エンジンを訓練し、
別のドキュメントを分類する要求を受信し、
前記別のドキュメントを新しい画像ファイルに変換し、
別の画像ファイルのページを単一の画像スタックに合成し、
訓練済み学習エンジンを用いて、前記単一の画像スタックに基づいて第１、第２、及び第３の分類を前記別のドキュメントに割り当て、
前記第１、前記第２、又は前記第３の分類の１つ又は複数に基づいて前記別のドキュメントの優先度の値を判断する、
ように構成されたプロセッサと、
を備える、システム。
【請求項８】
前記第１の分類は、前記別のドキュメントの有効性に対応し、前記第２の分類は、前記別のドキュメントにおける内容の重篤性の指標に対応し、前記第３の分類は、前記内容の前記重篤性に対応する１つ又は複数の要素に対応する、請求項７に記載のシステム。
【請求項９】
前記学習エンジンを訓練することは、
再帰的に
前記画像ファイルセットの各対応する画像ファイルに画像解析を実行することで、前記画像ファイルセットの各画像ファイルに関連付けられた属性を識別することと、
前記学習エンジンを使用して、前記画像ファイルセットの各画像ファイルの識別された属性に基づいて、前記第１、前記第２、及び前記第３の分類を前記ドキュメントセットの各ドキュメントに割り当てることと、
各ドキュメントの前記メタデータを前記ドキュメントセットの各ドキュメントの前記分類と比較することで、前記ドキュメントセットのドキュメントサブセットのそれぞれの前記分類を検証することと、
を含む、請求項７に記載のシステム。
【請求項１０】
画像解析を実行することは、
前記画像ファイルセットの各画像ファイルから特徴セットを抽出することと、
前記画像ファイルセットの各画像ファイルの特徴マップを生成することであって、各画像ファイルの前記特徴マップは、前記画像ファイルから抽出された前記特徴セットを含む、生成することと、
前記画像ファイルセットの各画像ファイルの前記特徴マップの次元特徴を削減することで、前記画像ファイルセットの各画像ファイルの削減特徴マップを生成することと、
前記画像ファイルセットの各画像ファイルの前記削減特徴マップをベクトルに変換することと、
前記画像ファイルセットの各画像ファイルに対応する前記画像ファイルセットの各画像ファイルに関連付けられた前記属性を識別するように、前記画像ファイルセットの各画像ファイルの前記ベクトルに非線形変換を実行することと、
を含む、請求項９に記載のシステム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【関連出願への相互参照】
【０００１】
本出願は、２０２０年７月２４日に出願された米国仮出願第６３／０５６，５０１号に対する優先権を主張し、その内容は参照によりその全体が本明細書に組み込まれる。
続きを表示（約 4,200 文字）【背景技術】
【０００２】
企業、政府機関、教育機関などのエンティティは、テキスト、画像、チャート、表、及びデータ／情報／知識表現のその他の形式の組み合わせを含む何千ものドキュメントを受け取ることがよくある。これらのドキュメントは、マイクロソフトワード（ＭＩＣＲＯＳＯＦＴＷＯＲＤ）、マイクロソフトエクセル（ＭＩＣＲＯＳＯＦＴＥＸＣＥＬ）ドキュメント、ｐｎｇ、ｔｉｆｆ、ｊｐｇ、ｒａｗ、ｇｉｆ、ＰＤＦ、電子メール、ｔｘｔファイル、手書きメモ、ＨＴＭＬ、ＸＭＬスキャンドキュメントなど、さまざまな種類のドキュメントである可能性がある。そのようなドキュメントを内容に基づいて手動で分類して優先順位を付けるのは、手間がかかる間違いが発生しやすい作業である。エンティティは、自然言語処理（ＮＬＰ）などの特定のタイプの機械学習アルゴリズムを使用して処理を自動化しようとしている。しかし、使用されている機械学習モデルでは、各ＰＤＦのテキスト内容を許容可能な精度（光学文字認識（ＯＣＲ）など）で抽出し、これらのデータを正しく抽出して統合して機械可読形式に戻すには、情報を手動で抽出するか、高度にインテリジェントなサードパーティのツールが必要である。さらに、そのような機械学習モデルを実装する従来の方法論は、ドキュメントからテキストを抽出しようとするときに、光学的明瞭さ、英数字、向きなど、多くの障害に直面する可能性がある。そのため、これらのＮＬＰ機械学習モデルは、訓練と実装に何年もかかる可能性があり、コストがかかることが分かる。したがって、ドキュメントを分類して優先順位を付ける従来の方法は、手間がかかり、費用がかかり、間違いが発生しやすい可能性がある。
【発明の概要】
【０００３】
本明細書では、画像解析を使用してドキュメントを分類するためのシステム、装置、デバイス、方法、及び／若しくはコンピュータプログラム製品の実施形態、並びに／又はそれらの組み合わせ及び部分的な組み合わせが提供される。
【０００４】
所与の実施形態は、ドキュメントを自動的に分類するためのコンピュータ実装方法を含む。所与の実施形態では、ドキュメントセット及び各ドキュメントのメタデータが取得される。ドキュメントセットのドキュメントのそれぞれは、画像ファイルに変換される。これにより、画像ファイルセットが作成される。学習エンジンは、画像ファイルセット及び各ドキュメントにそれぞれ対応するメタデータを使用して、ドキュメントセットの各ドキュメントを分類するように訓練される。別のドキュメントを分類する要求が受信される。別のドキュメントは、新しい画像ファイルに変換される。画像ファイルのページは、単一の画像スタックに合成される。学習エンジンは、単一の画像スタックに基づいて第１、第２、及び第３の分類を別のドキュメントに割り当てる。学習エンジンは、第１、第２、又は第３の分類の１つ又は複数に基づいて、別のドキュメントの優先度の値を判断する。
【０００５】
別の実施形態は、ドキュメントを自動的に分類するためのシステムを含む。システムは、メモリと、メモリに結合されたプロセッサとを含み得る。一実施形態では、プロセッサは、ドキュメントセット及びドキュメントセット内の各ドキュメントのメタデータを取得するように構成される。プロセッサはさらに、ドキュメントセットの各ドキュメントを画像ファイルに変換し、画像ファイルセットを生成するように構成される。さらに、プロセッサは、画像ファイルセットを使用して、ドキュメントセットの各ドキュメントを分類するように学習エンジンを訓練する。プロセッサは、別のドキュメントを分類する要求を受信し、別のドキュメントを新しい画像ファイルに変換し、別の画像ファイルのページを単一の画像スタックに合成するようにさらに構成される。そして、プロセッサは、訓練済み学習エンジンを使用して、単一の画像スタックに基づいて第１、第２、及び第３の分類を別のドキュメントに割り当てる。プロセッサは、訓練済み学習エンジンを使用して、第１、第２、又は第３の分類の１つ又は複数に基づいて、別のドキュメントの優先度の値を判断する。
【０００６】
さらなる実施形態は、命令を格納した非一時的コンピュータ可読媒体を含み、デバイスの１つ又は複数のプロセッサによる命令の実行により、１つ又は複数のプロセッサに動作を実行させる。一実施形態では、動作は、ドキュメントセット及びドキュメントセット内の各ドキュメントのメタデータを取得することを含む。動作はさらに、ドキュメントセットの各ドキュメントを画像ファイルに変換し、画像ファイルセットを生成することを含む。さらに、動作は、画像ファイルセットを使用してドキュメントセットの各ドキュメントを分類するように学習エンジンを訓練することを含む。動作は、別のドキュメントを分類する要求を受け取ること、別のドキュメントを新しい画像ファイルに変換すること、及び別の画像ファイルのページを単一の画像スタックに合成することをさらに含む。さらに、動作は、訓練済み学習エンジンを使用して、単一の画像スタックに基づいて第１、第２、及び第３の分類を別のドキュメントに割り当てることを含む。動作は、第１、第２、又は第３の分類のうちの１つ又は複数に基づいて、別のドキュメントの優先度の値を判断することをさらに含む。
【０００７】
所与の実施形態では、第１の分類は、別のドキュメントの有効性に対応する。第２の分類は、別のドキュメントの内容の重篤性の指標に対応する。第３の分類は、内容の重篤性に対応する１つ以上の要素に対応する。
【０００８】
別の実施形態は、メモリと、メモリに結合されたプロセッサとを備えるデバイスを含む。プロセッサは、ドキュメントセット及びドキュメントセット内の各ドキュメントのメタデータを取得し、ドキュメントセットの各ドキュメントを画像ファイルに変換し、画像ファイルセットを生成するように構成されている。さらに、プロセッサは、ドキュメントセットの各ドキュメントに対応するメタデータ及び画像ファイルセットを使用して、ドキュメントセットの各ドキュメントを分類するように学習エンジンを訓練するように構成される。プロセッサはさらに、別のドキュメントを分類する要求を受信し、別のドキュメントのページを単一の画像スタックに合成するように構成されている。プロセッサは、訓練済み学習エンジンを使用して、単一の画像スタックに基づいて分類を別のドキュメントに割り当て、分類を表示させるようにさらに構成される。
【図面の簡単な説明】
【０００９】
本明細書に組み込まれ、明細書の一部を形成する添付の図面は、本開示を示し、説明とともに、本開示の原理を説明し、関連技術の当業者が本開示を作成及び使用できるようにするのにさらに役立つ。
【００１０】
図１は、画像解析を使用してドキュメントを分類するためのシステム例のブロック図である。
図２Ａは、図１に示す画像解析を使用してドキュメントを分類するためのシステムにおけるデータフローのブロック図である。
図２Ｂは、例示的な実施形態による、ドキュメントを分類するユーザデバイスを示すブロック図である。
図３は、例示的な実施形態による、ＣＮＮアルゴリズムを実装する学習モデルの一例のブロック図である。
図４は、例示的な実施形態による、モデル承認フローのブロック図である。
図５は、例示的な実施形態による、訓練済み学習エンジンを使用してドキュメントを分類するデータフローを示すブロック図である。
図６は、例示的な実施形態による、学習モデルを使用した事例の重篤性検出のための混同行列を示すブロック図である。
図７は、例示的な実施形態による、例示的な単一画像スタックである。
図８は、例示的な実施形態によるベクトル空間分布である。
図９は、例示的な実施形態による、第１、第２、及び第３の学習モデルによってドキュメントに割り当てられた分類に基づいて生成された受信者動作特性（ＲＯＣ）グラフを示す図である。
図１０は、例示的な実施形態による、ＣＮＮアルゴリズムの畳み込み層を使用して生成された特徴マップを示す図である。
図１１Ａは、例示的な実施形態による、妥当性分類の主成分分析（ＰＣＡ）を示すグラフである。
図１１Ｂは、例示的な実施形態による、有効でないドキュメントと比較した有効なドキュメントの分布を示す。
図１２Ａは、例示的な実施形態による、重篤性分類のＰＣＡを示すグラフである。
図１２Ｂは、例示的な実施形態による、重篤でないドキュメントと比較した重篤なドキュメントの分布を示す。
図１３Ａは、例示的な実施形態による、重篤性、関連性、及び期待度（ＳＲＥ）分類のＰＣＡを示すグラフである。
図１３Ｂは、例示的実施形態による、予期せぬ作用のドキュメントと比較した予期された作用のドキュメントの分布を示す。
図１４は、例示的な実施形態による、学習モデルの訓練の視覚化を示すテンソルボードグラフである。
図１５は、例示的な実施形態による、学習モデルを訓練するために画像ファイルを準備するための処理を示すフローチャートである。
図１６は、例示的な実施形態による、学習モデルを訓練するための処理を示すフローチャートである。
図１７は、例示的な実施形態による、訓練済み学習モデルを使用してドキュメントを分類するための処理を示すフローチャートである。
図１８は、例示的な実施形態による、ユーザデバイス上に実装された訓練済み学習モデルを使用して文書を分類するための処理を示すフローチャートである。
図１９は、一実施形態によるデバイスの例示的な構成要素のブロック図である。
（【００１１】以降は省略されています）

関連特許