特許ウォッチ

公開番号2025128815
公報種別公開特許公報(A)
公開日2025-09-03
出願番号2024025750
出願日2024-02-22
発明の名称ライトフィールド三次元トラッキング制御装置、方法およびプログラムならびにライトフィールド顕微鏡システム
出願人国立大学法人広島大学,国立大学法人静岡大学
代理人個人
主分類G02B 21/26 20060101AFI20250827BHJP(光学)
要約【課題】ライトフィールドカメラを利用する顕微鏡システムにおいて目的物を三次元で自動トラッキングする。
【解決手段】ライトフィールド三次元トラッキング制御装置110は、XYZ方向に可動する電動ステージ90を制御して、当該電動ステージ90に載置されたサンプルホルダ80内の目的物であって対物レンズ70を通してライトフィールドカメラ10により観察される目的物を三次元的にトラッキングするものであり、ライトフィールドカメラ10で目的物を時間連続的に撮像したライトフィールド画像を解析して、ライトフィールド画像中の目的物の三次元空間位置を追跡するライトフィールド画像解析部30と、対物レンズ70とライトフィールド画像解析部30により追跡される目的物の三次元空間位置との相対位置関係が一定に保たれるように電動ステージ90のXYZ方向の動きを制御するステージ制御部90とを備えている。
【選択図】図2
特許請求の範囲【請求項１】
ＸＹＺ方向に可動する電動ステージを制御して、当該電動ステージに載置されたサンプルホルダ内の目的物であって対物レンズを通してライトフィールドカメラにより観察される目的物を三次元的にトラッキングするライトフィールド三次元トラッキング制御装置であって、
前記ライトフィールドカメラで前記目的物を時間連続的に撮像したライトフィールド画像を解析して、前記ライトフィールド画像中の前記目的物の三次元空間位置を追跡するライトフィールド画像解析部と、
前記対物レンズと前記ライトフィールド画像解析部により追跡される前記目的物の三次元空間位置との相対位置関係が一定に保たれるように前記電動ステージのＸＹＺ方向の動きを制御するステージ制御部と、
を備えたライトフィールド三次元トラッキング制御装置。
続きを表示（約 2,900 文字）【請求項２】
前記ライトフィールド画像解析部が、
最初のライトフィールド画像の要素画像群から前記目的物の深度位置にリフォーカスした画像を再構成する画像再構成部と、
最初のライトフィールド画像の要素画像群から輝点を最も多く含む要素画像をテンプレートとして選定するテンプレート選定部と、
２番目以降のライトフィールド画像の要素画像群中の各輝点の代表点を求める輝点代表点特定部と、
２番目以降のライトフィールド画像の要素画像群中の各輝点の代表点の位置変化を求める輝点追跡部と、
最初のライトフィールド画像の要素画像群において再構成画像中の目的物に対応する画素の集まりからなる各輝点の代表点に目的物を識別するラベルを付け、２番目以降のライトフィールド画像の要素画像群中の各要素画像においてテンプレート中の各輝点の代表点と対応する輝点の代表点にテンプレート中の各輝点の代表点と同じラベルを付ける輝点ラベリング部と、
再構成画像中の目的物の三次元空間の座標を求めて当該座標をラベルで識別される目的物の初期座標に設定し、２番目以降のライトフィールド画像の要素画像群において同じラベルが付いた輝点の代表点の位置変化に基づいて該ラベルにより識別される目的物のＸＹ座標を更新するとともに、隣り合う要素画像間でのそれら代表点の間隔に基づいて該目的物のＺ座標を更新する三次元座標更新部と、を有する
ことを特徴とする請求項１に記載のライトフィールド三次元トラッキング制御装置。
【請求項３】
前記ステージ制御部が、
前記ライトフィールド画像解析部から前記目的物のＸＹ座標を取得して当該ＸＹ座標と視野中心のＸＹ座標との誤差を求め、当該誤差に応じて前記電動ステージのＸＹ方向の動きを制御するＸＹ制御部と、
前記ライトフィールド画像解析部から前記目的物のＺ座標または前記隣り合う要素画像間で同じラベルが付いた輝点の代表点の間隔の平均値を取得して当該Ｚ座標と規定Ｚ座標との誤差または当該平均値と規定間隔値との誤差を求め、当該誤差に応じて前記電動ステージのＺ方向の動きを制御するＺ制御部と、を有する
ことを特徴とする請求項２に記載のライトフィールド三次元トラッキング制御装置。
【請求項４】
記憶装置に一時的に保存された前記ライトフィールド画像を前記記憶装置から読み出すスレッド、
前記輝点代表部特定部より前記各輝点の代表点を求めるスレッド、
前記輝点追跡部により前記各輝点の代表点の位置変化を求め、前記輝点ラベリング部により前記各輝点の代表点にラベルを付け、前記三次元座標更新部により前記目的物の三次元座標を更新するスレッド、
前記ＸＹ制御部により前記電動ステージのＸＹ方向の動きを制御するスレッド、および
前記Ｚ制御部により前記電動ステージのＺ方向の動きを制御するスレッドを並列処理する
ことを特徴とする請求項３に記載のライトフィールド三次元トラッキング制御装置。
【請求項５】
前記ライトフィールド画像解析部が、前記ライトフィールド画像において一定の輝度あるいは画素値を有する画素を含むマイクロレンズ像群を検出し、当該マイクロレンズ像群を内包する最小円を求めてその中心座標を計算する輝点群重心計算部を有し、
前記ステージ制御部の前記ＸＹ制御部が、前記輝点群重心計算部により計算される座標を前記目的物のＸＹ座標として前記電動ステージのＸＹ方向の動きを制御する
ことを特徴とする請求項３に記載のライトフィールド三次元トラッキング制御装置。
【請求項６】
記憶装置に一時的に保存された前記ライトフィールド画像を前記記憶装置から読み出すスレッド、
前記輝点群重心計算部により前記最小円の中心座標を計算するスレッド、
前記輝点代表部特定部より各輝点の代表を求めるスレッド、
前記起点追跡部により各輝点の代表点の位置変化を求め、前記起点ラベリング部により各輝点にラベルを付け、前記三次元座標更新部により前記目的物の三次元座標を更新するスレッド、
前記ＸＹ制御部により前記電動ステージのＸＹ方向の動きを制御するスレッド、および
前記Ｚ制御部により前記電動ステージのＺ方向の動きを制御するスレッドを並列処理する
ことを特徴とする請求項５に記載のライトフィールド三次元トラッキング制御装置。
【請求項７】
前記ＸＹ制御部が、前記誤差に応じたゲインを前記誤差に乗じた制御量で前記電動ステージのＸＹ方向の動きを制御する
ことを特徴とする請求項３ないし６のいずれか一つに記載のライトフィールド三次元トラッキング制御装置。
【請求項８】
ＸＹＺ方向に可動する電動ステージを制御して、当該電動ステージに載置されたサンプルホルダ内の目的物であって対物レンズを通してライトフィールドカメラにより観察される目的物を三次元的にトラッキングするライトフィールド三次元トラッキング制御方法であって、
前記ライトフィールドカメラで前記目的物を時間連続的に撮像したライトフィールド画像を解析して、前記ライトフィールド画像中の前記目的物の三次元空間位置を追跡するステップと、
前記対物レンズと前記ライトフィールド画像解析部により追跡される前記目的物の三次元空間位置との相対位置関係が一定に保たれるように前記電動ステージのＸＹＺ方向の動きを制御するステップと、
を備えたライトフィールド三次元トラッキング制御方法。
【請求項９】
コンピューターに、ＸＹＺ方向に可動する電動ステージを制御させて、当該電動ステージに載置されたサンプルホルダ内の目的物であって対物レンズを通してライトフィールドカメラにより観察される目的物を三次元的にトラッキングさせるプログラムであって、
前記ライトフィールドカメラで前記目的物を時間連続的に撮像したライトフィールド画像を解析して、前記ライトフィールド画像中の前記目的物の三次元空間位置を追跡する手段、および
前記対物レンズと前記ライトフィールド画像解析部により追跡される前記目的物の三次元空間位置との相対位置関係が一定に保たれるように前記電動ステージのＸＹＺ方向の動きを制御する手段、
としてコンピューターを機能させるプログラム。
【請求項１０】
対物レンズと、
ライトフィールドカメラと、
前記ライトフィールドカメラの全視野を照明する全視野照明系と、
前記ライトフィールドカメラで観察される対象物を収容するサンプルホルダが載置されるＸＹＺ方向に可動する電動ステージと、
請求項１ないし６のいずれか一つに記載のライトフィールド三次元トラッキング制御装置と、
を備えたライトフィールド顕微鏡システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、電動ステージを制御して顕微鏡の観察目的物を自動トラッキングする技術に関し、特に、ライトフィールドカメラを利用する顕微鏡システムにおいて目的物を三次元で自動トラッキングする技術に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
生体分子や細胞内挙動を繊細かつダイナミックに観察するには高速かつ大規模な三次元イメージングが必要となる。一般的に、そのような三次元画像は、コンフォーカル顕微鏡（共焦点顕微鏡）を使って試料に対する合焦位置を深度方向（Ｚ方向）に所定ピッチで連続的に変えて、各合焦位置における試料の像を撮像することで生成される（例えば、特許文献１、２を参照）。また、三次元イメージングを可能にする顕微鏡としてスピニングディスク共焦点顕微鏡がある。スピニングディスク共焦点法は、多数のピンホールが並ぶ回転ディスクにレーザー光を照射することで、複数の平行な光を作り、それらで試料を高速スキャンして共焦点画像を形成するというものである。
【先行技術文献】
【特許文献】
【０００３】
特開２０１１－０４４０１６号公報
特開２０１４－１５７１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
共焦点顕微鏡による三次元イメージングは、深度方向にスキャンが必要なため計測に時間がかかり、高速事象を観察するには不向きである。例えば、３０ｆｐｓで三次元空間をＺ方向に３０スキャンして撮像する場合、三次元空間全体の撮像速度は３０ｆｐｓ／３０＝１ｖｐｓとなり、三次元空間を撮るのに１秒要する。神経活動はミリ秒オーダーの現象であるため、生体分子や細胞内挙動の観察用途では共焦点顕微鏡による三次元イメージングはスピード面で不十分である。
【０００５】
三次元イメージングの別の選択肢としてライトフィールド顕微鏡（ＬＦＭ：Light Field Microscopy）がある。ライトフィールドとは三次元空間における光線の集合を表す。ＬＦＭは、多数のマイクロレンズが二次元配列されたマイクロレンズアレイを中間像面に配置し、対物レンズの開口絞り上の光線の通過位置とイメージセンサ上での光線の取得位置を得ることでライトフィールドを記録できるようにしたものである。ＬＦＭにより記録されたライトフィールド画像から、小口径レンズに相当するサブアパーチャ画像が取得できる。サブアパーチャ画像は視点をずらして被写体を部分的に撮像したものであり、それぞれがピンホール効果により深い被写界深度を持つと同時に他のサブアパーチャ画像との間で視差を有する。したがって、サブアパーチャ画像をずらして重ね合わせることで任意の深度位置にリフォーカスした画像を再構成（reconstruction）することができる。
【０００６】
このように、ＬＦＭは、深度方向にスキャンすることなくシングルショットで三次元像を高速に撮像することができるため、高速事象を観察するのに向いている。一方、目的物を高倍率で観察するために高倍率の対物レンズを用いるとその分視野が狭くなり、特に目的物が生物や浮遊粒子のように自ら動くものである場合、目的物が視野から外れやすくなる。また、目的物が奥行方向に動くと対物レンズの被写界深度から外れてしまうこともある。このことが目的物を高倍率の対物レンズで観察するのを難しくしている。したがって、高倍率の対物レンズで目的物を観察できるようにするために目的物を三次元で自動トラッキングすることが求められる。
【０００７】
そこで、本発明は、ライトフィールドカメラを利用する顕微鏡システムにおいて目的物を三次元で自動トラッキングするための制御装置およびそのような制御装置を備えた顕微鏡システムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
本発明の一局面に従うと、ＸＹＺ方向に可動する電動ステージを制御して、当該電動ステージに載置されたサンプルホルダ内の目的物であって対物レンズを通してライトフィールドカメラにより観察される目的物を三次元的にトラッキングするライトフィールド三次元制御装置であって、前記ライトフィールドカメラで前記目的物を時間連続的に撮像したライトフィールド画像を解析して、前記ライトフィールド画像中の前記目的物の三次元空間位置を追跡するライトフィールド画像解析部と、前記対物レンズと前記ライトフィールド画像解析部により追跡される前記目的物の三次元空間位置との相対位置関係が一定に保たれるように前記電動ステージのＸＹＺ方向の動きを制御するステージ制御部と、を備えたライトフィールド三次元トラッキング制御装置、およびこれに対応するライトフィールド三次元トラッキング制御方法およびコンピュータープログラムが提供される。
【０００９】
本発明の別の局面に従うと、対物レンズと、ライトフィールドカメラと、前記ライトフィールドカメラの全視野を照明する全視野照明系と、前記ライトフィールドカメラで観察される対象物を収容するサンプルホルダが載置されるＸＹＺ方向に可動する電動ステージと、上記のライトフィールド三次元トラッキング制御装置と、を備えたライトフィールド顕微鏡システムが提供される。
【発明の効果】
【００１０】
本発明によると、ライトフィールドカメラを利用する顕微鏡システムにおいて目的物を三次元で自動トラッキングすることができる。これにより、生物や生体などの動く微小目的物を高倍率の対物レンズでより詳細に観察することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許