特許ウォッチ

公開番号2025013522
公報種別公開特許公報(A)
公開日2025-01-24
出願番号2024194270,2022523454
出願日2024-11-06,2020-10-21
発明の名称増強された画像を発生させるためのハイコンテント撮像システムおよびそれを動作させる方法
出願人モレキュラーデバイシーズ, エルエルシー
代理人個人,個人
主分類G06T 5/60 20240101AFI20250117BHJP(計算;計数)
要約【課題】好適な増強画像を発生させるためのハイコンテント撮像システム及びそれを動作させる方法の提供。
【解決手段】ハイコンテント撮像システムは、ステージ、コントローラ、機械学習システム、画像発生器を含む。コントローラは、出力撮像構成を含む要求を受信し、それに応答してコントローラは(1)出力撮像構成に関連付けられた訓練モデルを選択し(2)訓練モデルに関連付けられた入力撮像構成を決定し(3)入力撮像構成に従ってハイコンテント撮像システムを構成する。機械学習システムは、機械学習システムが入力撮像構成を使用して入手された画像を提示されると機械学習システムが出力撮像構成に従って出力画像を発生させるよう訓練モデルを使用して構成される。画像発生器は、ステージ上のサンプルの画像を発生させ、発生させられた画像を機械学習システムに提供し、それに応答して機械学習システムは出力撮像構成に従って出力画像を発生させる。
【選択図】図2
特許請求の範囲【請求項１】
本明細書に記載の発明。

発明の詳細な説明【技術分野】
【０００１】
（関連出願）
本願は、その内容全体が参照することによって本明細書に組み込まれる２０１９年１０月２４日に出願された米国仮出願第６２／９２５，５５４号からの優先権の利益を主張する。
続きを表示（約 6,500 文字）【０００２】
（開示の分野）
本主題は、顕微鏡検査システムに関し、より具体的に、増強された画像を発生させるためのハイコンテント撮像システムおよびそのようなシステムを動作させる方法に関する。
【背景技術】
【０００３】
ハイコンテント撮像システム（ＨＣＩＳ）が、ＤＮＡ、タンパク質、細胞等の１つ以上の生物学的サンプルの顕微鏡検査画像を取得するために使用され得る。生物学的サンプルは、ウェルの２次元パターンを有するマイクロプレートのそのようなウェル内に配置され得る。そのようなマイクロプレートは、典型的に、９６または３８４ウェルを有するが、より多いまたはより少ないウェルを有し得る。そのようなマイクロプレート内に配置される生物学的サンプルの画像を入手するために、ＨＣＩＳの自動焦点システムが、マイクロプレートの各ウェルまたはその一部に焦点を合わせ、画像を入手する。特定のウェル内の生物学的サンプルの高分解能画像を展開するために、撮像センサが、そのような部分上に焦点を合わせられたウェルの異なる部分に対して位置付けられ、画像を入手し得る。そのような異なる部分の画像は、組み合わせられ（例えば、連結され）、ウェル全体の画像を生成し得る。さらに、ＨＣＩＳは、ウェルの複数の画像を展開し得、複数の画像の各１つが、異なる撮像構成を使用して捕捉される。そのような撮像構成は、画像が捕捉されるときに使用される照明源、ウェル（またはその一部）と撮像センサとの間の光経路内に配置された１つ以上のフィルタ等を規定する。
【０００４】
プレートを走査し、高分解能画像を生成することと組み合わせられる上で説明される繰り返される焦点合わせおよび位置付け動作は、有意な量の時間を要求し得ることが明白であるはずである。さらに、そのような時間は、複数のマイクロプレートが、撮像される必要がある場合、またはＨＣＩＳのユーザが、撮像プロセス中、サンプルの位置付けおよび／またはＨＣＩＳの焦点を確認および／または調節する必要がある場合、実質的に増加する。加えて、逆畳み込み、雑音低減等の画像処理動作は、典型的に、ＨＣＩＳによって発生させられた画像を受信するコンピュータを使用して適用され得、さらなる分析のために好適な生物学的サンプルの画像をＨＣＩＳから生成するために必要な時間の量をさらに追加する。
【発明の概要】
【課題を解決するための手段】
【０００５】
一側面によると、ハイコンテント撮像システムは、サンプルが配置されるように適合されたステージと、コントローラと、機械学習システムと、画像発生器とを含む。コントローラは、出力撮像構成の仕様を含む要求を受信し、それに応答して、コントローラは、（１）出力撮像構成に関連付けられた訓練モデルを選択し、（２）訓練モデルに関連付けられた入力撮像構成を決定し、（３）入力撮像構成に従って、ハイコンテント撮像システムを構成する。機械学習システムは、機械学習システムが入力撮像構成に従って入手された画像を提示されると、機械学習システムが、出力撮像構成に従って、出力画像を発生させるように、訓練モデルを使用して構成される。画像発生器は、ステージ上に配置されたサンプルの画像を発生させ、発生させられた画像を機械学習システムに自動的に提供し、それに応答して、機械学習システムは、出力撮像構成に従って、出力画像を発生させる。
【０００６】
別の側面によると、その上にサンプルが配置され得るステージと、機械学習システムと、画像発生器とを含むハイコンテント撮像システムを動作させる方法は、１つ以上のプロセッサによって、出力撮像構成の仕様を含む要求を受信するステップを含む。方法はまた、１つ以上のプロセッサによって、出力撮像構成に関連付けられた訓練モデルを選択するステップと、要求を受信することに応答して、１つ以上のプロセッサによって、訓練モデルに関連付けられた入力撮像構成を決定するステップと、１つ以上のプロセッサによって、入力撮像構成に従って、ハイコンテント撮像システムを構成するステップとを含む。さらに、方法は、訓練された機械学習システムが入力撮像構成に従って入手された画像を提示されると、訓練された機械学習システムが出力撮像構成に従って出力画像を発生させるように、訓練モデルを使用して、１つ以上のプロセッサ上で動作する訓練された機械学習システムを展開するステップを含む。方法は、１つ以上のプロセッサおよび画像捕捉デバイスを使用して、ステージ上に配置されたサンプルの画像を自動的に発生させるステップと、サンプルの画像を訓練された機械学習システムに自動的に提供するステップと、訓練された機械学習システムを動作させ、サンプルの画像を受信することに応答して、出力撮像構成に従って、出力画像を自動的に生成するステップとの追加のステップを含む。
【０００７】
他の側面および利点が、同様の番号が本明細書全体を通して同様の構造を指定する以下の詳細な説明および添付される図面の考慮に応じて明白となるであろう。
本発明は、例えば、以下を提供する。
（項目１）
ハイコンテント撮像システムであって、前記システムは、
サンプルが配置されるように適合されたステージと、
出力撮像構成の仕様を含む要求を受信するコントローラであって、それに応答して、前記コントローラは、（１）前記出力撮像構成に関連付けられた訓練モデルを選択し、（２）前記訓練モデルに関連付けられた入力撮像構成を決定し、（３）前記入力撮像構成に従って、前記ハイコンテント撮像システムを構成する、コントローラと、
前記入力撮像構成に従って、前記ステージ上に配置された前記サンプルの画像を発生させる画像発生器と、
前記画像発生器によって発生させられた前記サンプルの画像を自動的に受信し、それに応答して、出力画像を自動的に発生させる機械学習システムと
を備え、
前記機械学習システムは、前記機械学習システムが前記入力撮像構成に従って入手された入力画像を提示されると、前記機械学習システムが前記出力撮像構成に従って出力画像を発生させるように、前記訓練モデルを使用して構成されている、ハイコンテント撮像システム。
（項目２）
前記機械学習システムは、機械学習システムコントローラと、複数のグラフィカル処理ユニットとを含み、前記機械学習システムコントローラは、前記発生させられた画像を画像発生器から受信し、それに応答して、前記複数のグラフィカル処理ユニットのうちの前記出力画像を発生させるための１つを自動的に選択する、項目１に記載のハイコンテント撮像システム。
（項目３）
複数の訓練モデルのデータベースをさらに含み、前記コントローラは、さらなる出力撮像構成を含むさらなる要求を受信し、前記コントローラは、前記複数の訓練モデルのいずれも前記さらなる出力撮像構成に関連付けられていないことを決定し、それに応答して、前記コントローラは、前記さらなる出力撮像構成に従って、前記ハイコンテント撮像システムを構成する、項目１に記載のハイコンテント撮像システム。
（項目４）
さらなる入力撮像構成およびさらなる出力撮像構成を受信する機械学習システム訓練器をさらに含み、前記機械学習システム訓練器は、前記さらなる入力撮像構成を使用して入手されたさらなる入力画像を提示されると、前記さらなる出力撮像構成に従って、さらなる出力画像を展開するように前記機械学習システムを訓練する、項目１に記載のハイコンテント撮像システム。
（項目５）
前記機械学習システム訓練器は、前記さらなる入力撮像構成を使用して前記ステージ上に配置された訓練サンプルの複数の訓練画像を生成することと、前記さらなる出力撮像構成を使用して前記訓練サンプルの複数のグランドトゥルース画像を生成することとを行うように前記画像発生器に指示する、項目４に記載のハイコンテント撮像システム。
（項目６）
前記コントローラは、前記入力撮像構成に従って前記ステージ上に配置されたマイクロプレート内に配置された複数のサンプルの複数の入力画像を自動的に発生させるように前記画像発生器に自動的に指示し、前記出力撮像構成に従って前記複数の入力画像の各１つから出力画像を自動的に発生させるように前記機械学習システムに自動的指示する、項目１に記載のハイコンテント撮像システム。
（項目７）
ロボットマイクロプレート装填器をさらに含み、前記コントローラは、（１）前記複数の入力画像が発生させられた後、さらなるマイクロプレートを前記ステージ上に装填するように前記ロボットマイクロプレート装填器に指示し、（２）前記さらなるマイクロプレートのさらなる複数の入力画像を自動的に発生させるように前記画像発生器に指示し、（３）さらなる複数の出力画像を前記入力画像から自動的に発生させるように前記機械学習システムに指示する、項目６に記載のハイコンテント撮像システム。
（項目８）
前記コントローラは、（１）前記入力撮像構成に従って変動する焦点において撮影された前記サンプルの一連の入力画像を展開することと、（２）前記出力撮像構成に従って一連の出力画像を発生させるために、前記一連の画像を同時に前記機械学習システムに提供することとを行うように前記画像発生器に指示する、項目１に記載のハイコンテント撮像システム。
（項目９）
画像プロセッサをさらに含み、前記画像プロセッサは、（１）前記発生させられた画像をそのような画像が入力として前記機械学習システムに提供される前に画像処理すること、および、（２）前記機械学習システムによって展開された前記出力画像を画像処理することのうちの少なくとも１つを行う、項目１に記載のハイコンテント撮像システム。
（項目１０）
前記入力撮像構成は、前記ハイコンテント撮像システム内に存在する第１の物理的構成要素の組を規定し、前記出力撮像構成は、第２の物理的構成要素の組を規定し、前記第２の物理的構成要素の組のうちの少なくとも１つは、前記ハイコンテント撮像システム内に存在しない、項目１に記載のハイコンテント撮像システム。
（項目１１）
ハイコンテント撮像システムを動作させる方法であって、前記ハイコンテント撮像システムは、サンプルが配置されることができるステージと、画像発生器とを含み、前記方法は、
１つ以上のプロセッサによって、出力撮像構成の仕様を含む要求を受信し、前記出力撮像構成に関連付けられた訓練モデルを選択するステップと、
前記要求を受信することに応答して、前記１つ以上のプロセッサによって、前記訓練モデルに関連付けられた入力撮像構成を決定するステップと、
前記１つ以上のプロセッサによって、前記入力撮像構成に従って、前記ハイコンテント撮像システムを構成するステップと、
前記訓練された機械学習システムが前記入力撮像構成に従って入手された画像を提示されると、前記訓練された機械学習システムが前記出力撮像構成に従って出力画像を発生させるように、前記訓練モデルを使用して、前記１つ以上のプロセッサ上で動作する訓練された機械学習システムを展開するステップと、
前記１つ以上のプロセッサおよび画像捕捉デバイスを使用して、前記ステージ上に配置されたサンプルの画像を自動的に発生させ、前記サンプルの前記画像を前記訓練された機械学習システムに自動的に提供するステップと、
前記サンプルの前記画像を受信することに応答して、前記訓練された機械学習システムを動作させ、前記出力撮像構成に従って、出力画像を自動的に生成するステップと
を含む、方法。
（項目１２）
前記訓練された機械学習システムは、機械学習システムコントローラと、複数のグラフィカル処理ユニットとを含み、前記方法は、前記機械学習システムコントローラを動作させ、前記発生させられた画像を受信し、それに応答して、前記複数のグラフィカル処理ユニットのうちの前記出力画像を発生させるための１つを自動的に選択するステップをさらに含む、項目１１に記載のハイコンテント撮像システムを動作させる方法。
（項目１３）
前記機械学習システムコントローラから遠隔で前記複数のグラフィカル処理ユニットのうちの少なくとも１つのグラフィカル処理ユニットを動作させるステップをさらに含む、項目１２に記載のハイコンテント撮像システムを動作させる方法。
（項目１４）
さらなる出力撮像構成を受信するステップと、前記出力撮像構成に関連付けられた訓練モデルを識別するために複数の訓練モデルのデータベースにクエリするステップと、前記複数の訓練モデルのいずれも前記さらなる出力撮像構成に関連付けられていないことを決定するステップと、それに応答して、前記さらなる出力撮像構成に従って、前記ハイコンテント撮像システムを構成するステップとをさらに含む、項目１１に記載のハイコンテント撮像システムを動作させる方法。
（項目１５）
さらなる入力撮像構成およびさらなる出力撮像構成を受信するステップと、前記さらなる入力撮像構成を使用して入手されたさらなる入力画像を提示されると、前記さらなる出力撮像構成に従ってさらなる出力画像を展開するように前記機械学習システムを訓練するステップとをさらに含み、前記機械学習システムを訓練するステップは、前記入力撮像構成を使用して前記ステージ上に配置された訓練サンプルの複数の訓練画像を生成し、前記出力撮像構成を使用して、前記訓練サンプルの複数のグランドトゥルース画像を生成するように前記画像発生器に指示するステップを含む、項目１２に記載のハイコンテント撮像システムを動作させる方法。
（項目１６）
前記入力撮像構成に従って、前記ステージ上に配置されたマイクロプレートに配置される複数のサンプルの複数の入力画像を自動的に発生させるように前記画像発生器に指示するステップと、前記出力撮像構成に従って、出力画像を前記複数の入力画像の各１つから自動的に発生させるように前記機械学習システムに指示するステップとをさらに含む、項目１１に記載のハイコンテント撮像システムを動作させる方法。
（項目１７）
前記複数の入力画像が発生させられた後、ロボットマイクロプレート装填器を動作させ、さらなるマイクロプレートを前記ステージ上に装填するステップと、前記さらなるマイクロプレートのさらなる複数の入力画像を自動的に発生させるように前記画像発生器に指示するステップと、さらなる複数の出力画像を前記さらなる入力画像から自動的に発生させるように前記機械学習システムに指示するステップとをさらに含む、項目１６に記載のハイコンテント撮像システムを動作させる方法。
（項目１８）
【図面の簡単な説明】
【０００８】
図１は、本開示による、ハイコンテント撮像システム（ＨＣＩＳ）の概略図である。
【０００９】
図２は、出力画像を発生させるために図１のＨＣＩＳのコントローラによって行われるステップのフローチャートである。
【００１０】
図３は、図１のＨＣＩＳの機械学習システム訓練器によって行われるステップのフローチャートである。
（【００１１】以降は省略されています）

関連特許