特許ウォッチ

公開番号2024125274
公報種別公開特許公報(A)
公開日2024-09-18
出願番号2024025189
出願日2024-02-22
発明の名称画像データ処理装置および方法
出願人キヤノンメディカルシステムズ株式会社
代理人弁理士法人酒井国際特許事務所
主分類G06T 7/00 20170101AFI20240910BHJP(計算;計数)
要約【課題】画像解析モデルをトレーニングし、少なくとも画像データを含む入力データに関するタスクを行うデータ処理装置及び方法を提供する。
【解決手段】データ処理装置20は、入力データを受け取ることと、前記入力データに含まれる画像データに含まれる解剖学的領域を特定し、当該解剖学的領域に関する所定のサブタスクに関するラベルを決定するようにトレーニングされる視覚的情報抽出器モデルを適用することにより、画像解析モデルへ入力するための画像トークンを作成することと、少なくとも前記画像トークンを入力することにより前記画像解析モデルをトレーニングすることと、を行う処理装置を備える。
【選択図】図1
特許請求の範囲【請求項１】
画像解析モデルをトレーニングし、少なくとも画像データを含む入力データに関するタスクを行うデータ処理装置であって、
前記入力データを受け取ることと、
前記入力データに含まれる前記画像データに含まれる解剖学的領域を特定し、当該解剖学的領域に関する所定のサブタスクに関するラベルを決定するようにトレーニングされる視覚的情報抽出器モデルを適用することにより、前記画像解析モデルへ入力するための画像トークンを作成することと、
少なくとも前記画像トークンを入力することにより前記画像解析モデルをトレーニングすることと、
を行う処理回路を備えるデータ処理装置。
続きを表示（約 930 文字）【請求項２】
前記画像解析モデルがトレーニングされる目的としての前記タスクは、テキストレポートの作成を含む、請求項１に記載のデータ処理装置。
【請求項３】
前記画像解析モデルがトレーニングされる目的としての前記タスクは、画像分類と、視覚的質問応答と、画像キャプショニングと、自動レポーティングと、のうちの少なくとも１つを含む、請求項１に記載のデータ処理装置。
【請求項４】
前記画像解析モデルはトランスフォーマーモデルを含む、または
前記視覚的情報抽出器モデルはＦａｓｔｅｒＲｅｇｉｏｎ－ｂａｓｅｄｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ（ＦａｓｔｅｒＲ－ＣＮＮ）モデルを含む、
のうちの少なくとも１つである、請求項１に記載のデータ処理装置。
【請求項５】
前記入力データはマルチモーダルデータであり、前記視覚的情報抽出器モデルは前記マルチモーダルデータに適用される、請求項１に記載のデータ処理装置。
【請求項６】
前記入力データはテキストデータを更に含み、前記画像解析モデルは前記テキストデータに適用される、請求項１に記載のデータ処理装置。
【請求項７】
前記テキストデータは、患者の病歴データと、スキャン情報と、応答すべき質問に関する情報と、実行すべき前記タスクに関する情報と、前回のレポートと、前回の放射線読影レポートと、のうちの少なくとも１つを含む、請求項６に記載のデータ処理装置。
【請求項８】
前記所定のサブタスクは、前記解剖学的領域に関する所見を得るためのタスクである、請求項１に記載のデータ処理装置。
【請求項９】
前記視覚的情報抽出器モデルは複数の解剖学的領域を特定する、請求項１に記載のデータ処理装置。
【請求項１０】
前記複数の解剖学的領域は、オントロジーの異なる世代層であり、前記画像解析モデルのトレーニングは、前記オントロジーの少なくとも１つの世代層をマスキングアウトすることを含む、請求項９に記載のデータ処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本明細書に記載の実施形態は、概して、例えば、第１のモデルを用いて画像トークンを生成し、当該画像トークンを第２のモデルへ入力して画像処理タスクを行う、画像データを処理する方法と装置に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
トランスフォーマー（Ｔｒａｎｓｆｏｒｍｅｒ）モデルは、マルチヘッドセルフアテンション（Ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ）機構の使用に基づく深層学習モデルのファミリーである。トランスフォーマーモデルは、例えば、画像分類、視覚的質問応答（ｖｉｓｕａｌｑｕｅｓｔｉｏｎａｎｓｗｅｒｉｎｇ）、画像キャプショニング、および／または、自動レポーティングなどに用いられることがある。
【０００３】
トランスフォーマーへの入力は、視覚的情報抽出器からの画像トークンと、入力シーケンス内のインデックスのベクトル表現を与える位置埋め込みと、入力モダリティのベクトル表現を与えるセグメント埋め込みと、をしばしば含む。医用画像処理ためのトランスフォーマーモデルの入力データは、例えば、エンコーダモデルからの特徴マップなどのグローバル特徴のシーケンス、若しくは、画像のグリッドなどのパッチを含んでよい。これらの表現のどちらも、当該入力の空間構造に依存しない。
【０００４】
視覚的情報抽出器の選択に依存して、異なる画像トークン表現が得られてよい。画像トークン表現は、画像全体または画像内の別々のオブジェクトを表してよい。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
状況次第では、画像に適用されるトランスフォーマーモデルの出力が正確でないことがある。ある状況では、画像に適用されるトランスフォーマーモデルを簡単に解釈できないことがある。ある状況では、トランスフォーマーモデルの出力が、臨床使用に要求される精度を有していないことがある。
【０００６】
具体的には、後続のタスクが画像キャプショニングである場合は、自動作成されたレポートにおいて解剖学的位置の説明がしばしば不正確である。入力トークンをマスキングアウトして出力における影響を観察すると、入力と出力との間に弱い空間的対応しかないことが通常は判明する。
【課題を解決するための手段】
【０００７】
ある実施形態は、画像解析モデルをトレーニングし、少なくとも画像データを含む入力データに関するタスクを行うデータ処理装置を提供する。前記データ処理装置は、前記入力データを受け取ることと、前記入力データに含まれる前記画像データに含まれる解剖学的領域を特定し、当該解剖学的領域に関する所定のサブタスクに関するラベルを決定するようにトレーニングされる視覚的情報抽出器モデルを適用することにより、前記画像解析モデルへ入力するための画像トークンを作成することと、少なくとも前記画像トークンを入力することにより前記画像解析モデルをトレーニングすることと、を行う処理回路を備える。
【０００８】
ある実施形態は、少なくとも画像データを含む入力データに関するタスクを行うようにトレーニングされる画像解析モデルを適用するデータ処理装置を提供する。前記データ処理装置は、被検体に関連付けられた前記入力データを受け取ることと、前記入力データに含まれる前記画像データに含まれる解剖学的領域を特定し、当該解剖学的領域に関する所定のサブタスクに関するラベルを決定するようにトレーニングされる視覚的情報抽出器モデルを適用することにより、前記画像解析モデルへ入力するための画像トークンを作成することと、前記画像解析モデルを当該画像トークンに適用することと、を行う処理回路を備える。前記画像解析モデルは当該タスクを行い、前記被検体に関する出力を作成する。
【０００９】
ある実施形態は、画像解析モデルをトレーニングし、少なくとも画像データを含む入力データに関するタスクを行う方法を提供する。前記方法は、前記入力データを受け取ることと、前記入力データに含まれる前記画像データに含まれる解剖学的領域を特定し、当該解剖学的領域に関する所定のサブタスクに関するラベルを決定するようにトレーニングされる視覚的情報抽出器モデルを適用することにより、前記画像解析モデルへ入力するための画像トークンを作成することと、前記画像トークンを入力することにより前記画像解析モデルをトレーニングすることと、を含む。
【００１０】
ある実施形態は、少なくとも画像データを含む入力データに関するタスクを行うようにトレーニングされる画像解析モデルを適用する方法を提供する。前記方法は、被検体に関連付けられた前記入力データを受け取ることと、前記入力データに含まれる前記画像データに含まれる解剖学的領域を特定し、当該解剖学的領域に関する所定のサブタスクに関するラベルを決定するようにトレーニングされる視覚的情報抽出器モデルを適用することにより、前記画像解析モデルへ入力するための画像トークンを作成することと、前記画像解析モデルを当該画像トークンに適用することと、を含み、前記画像解析モデルは当該タスクを行い、前記被検体に関する出力を作成する。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許