特許ウォッチ

公開番号2024099445
公報種別公開特許公報(A)
公開日2024-07-25
出願番号2023003395
出願日2023-01-12
発明の名称画像解析装置、画像解析方法およびプログラム
出願人国立大学法人広島大学,国立大学法人静岡大学
代理人個人
主分類G06T 7/00 20170101AFI20240718BHJP(計算;計数)
要約【課題】複数の要素画像(EI)群が連続する動画像データの目的物の三次元空間位置を追跡する。
【解決手段】光学システム100において、画像解析装置30は、最初のEI群から目的物の深度位置にリフォーカスした画像を再構成する画像再構成部31、テンプレートのEIを選定するテンプレート選定部32、EI群中の各輝点の代表点とその位置変化を求める輝点代表点特定部33及び輝点追跡部34、各EIにおいてテンプレート中の各輝点の代表点と対応する輝点の代表点にテンプレート中の各輝点の代表点と同じラベルを付ける輝点ラベリング部35及び再構成画像中の目的物の三次元空間の座標を目的物の初期座標に設定し、2番目以降のEI群において同じラベルが付いた輝点の代表点の位置変化に基づいて該ラベルにより識別される目的物ののXY座標を更新し、隣り合うEI間でのそれら代表点の間隔に基づいてZ座標を更新する三次元座標更新部36を備える。
【選択図】図1
特許請求の範囲【請求項１】
互いにずれた複数の視点から同一被写体を撮像した複数の要素画像が配列された要素画像群が時間的に連続する動画像データを解析して画像中の目的物の三次元空間位置を追跡する画像解析装置であって、
最初の要素画像群から目的物の深度位置にリフォーカスした画像を再構成する画像再構成部と、
最初の要素画像群から輝点を最も多く含む要素画像をテンプレートとして選定するテンプレート選定部と、
２番目以降の要素画像群中の各輝点の代表点を求める輝点代表点特定部と、
２番目以降の要素画像群中の各輝点の代表点の位置変化を求める輝点追跡部と、
最初の要素画像群において再構成画像中の目的物に対応する画素の集まりからなる各輝点の代表点に目的物を識別するラベルを付け、２番目以降の要素画像群中の各要素画像においてテンプレート中の各輝点の代表点と対応する輝点の代表点にテンプレート中の各輝点の代表点と同じラベルを付ける輝点ラベリング部と、
再構成画像中の目的物の三次元空間の座標を求めて当該座標をラベルで識別される目的物の初期座標に設定し、２番目以降の要素画像群において同じラベルが付いた輝点の代表点の位置変化に基づいて該ラベルにより識別される目的物のＸＹ座標を更新するとともに、隣り合う要素画像間でのそれら代表点の間隔に基づいて該目的物のＺ座標を更新する三次元座標更新部と、
を備えた画像解析装置。
続きを表示（約 2,200 文字）【請求項２】
前記画像再構成部が、最初の要素画像群中の各要素画像を深度位置に応じたずらし量でずらして重ね合わせて複数の深度位置にリフォーカスした画像を再構成し、それら再構成した画像を深度位置に応じてリサイズしてＺ方向にスタックして目的物の三次元像を再構成するものであり、
前記輝点ラベリング部が、三次元像の各ボクセルのＸＹ座標に各深度位置の画像のリサイズ比率を乗じて最初の要素画像群の画素座標に変換し、当該変換した画素座標の画素および該深度位置にリフォーカスした画像を再構成する際に当該画素に重ね合わされる画素の集まりからなる各輝点の代表点に目的物を識別するラベルを付けるものである
ことを特徴とする請求項１に記載の画像解析装置。
【請求項３】
前記テンプレート選定部が、複数の輝点を含む要素画像のうち輝点どうしの分離度合いが最も大きい要素画像をテンプレートとして選定する
ことを特徴とする請求項１に記載の画像解析装置。
【請求項４】
前記テンプレート選定部が、２番目以降の要素画像群からテンプレートを選定してテンプレートを更新する
ことを特徴とする請求項１に記載の画像解析装置。
【請求項５】
前記輝点ラベリング部が、２番目以降の要素画像群中の各要素画像において最近傍探索によりテンプレート中の各輝点の代表点と対応する輝点の代表点を見つける
ことを特徴とする請求項１に記載の画像解析装置。
【請求項６】
前記輝点ラベリング部が、２番目以降の要素画像群において所定数以上の輝点を含む要素画像をラベリング対象とする
ことを特徴とする請求項１に記載の画像解析装置。
【請求項７】
前記輝点代表点特定部が、要素画像群を二値化処理し、二値化された各輝点の重心を求め、当該重心をその輝点の代表点とする
ことを特徴とする請求項１に記載の画像解析装置。
【請求項８】
前記輝点追跡部が、時間的に前後する要素画像群間で最近傍探索により各輝点の代表点の移動先を見つけ、各輝点の代表点の移動前後の位置関係から各輝点の代表点の位置変化を求める
ことを特徴とする請求項１に記載の画像解析装置。
【請求項９】
互いにずれた複数の視点から同一被写体を撮像した複数の要素画像が配列された要素画像群が時間的に連続する動画像データを解析して画像中の目的物の三次元空間位置を追跡する画像解析方法であって、
最初の要素画像群から目的物の深度位置にリフォーカスした画像を再構成するステップと、
最初の要素画像群において再構成画像中の目的物に対応する画素の集まりからなる各輝点の代表点に目的物を識別するラベルを付けるステップと、
再構成画像中の目的物の三次元空間の座標を求めて当該座標をラベルで識別される目的物の初期座標に設定するステップと、
最初の要素画像群から輝点を最も多く含む要素画像をテンプレートとして選定するステップと、
２番目以降の要素画像群中の各輝点の代表点を求めるステップと、
２番目以降の要素画像群中の各輝点の代表点の位置変化を求めるステップと、
２番目以降の要素画像群の各要素画像においてテンプレート中の各輝点の代表点と対応する輝点の代表点にテンプレート中の各輝点の代表点と同じラベルを付けるステップと、
２番目以降の要素画像群において同じラベルが付いた輝点の代表点の位置変化に基づいて該ラベルにより識別される目的物のＸＹ座標を更新するとともに、隣り合う要素画像間でのそれら代表点の間隔に基づいて該目的物のＺ座標を更新するステップと、
を備えた画像解析方法。
【請求項１０】
コンピューターに、互いにずれた複数の視点から同一被写体を撮像した複数の要素画像が配列された要素画像群が時間的に連続する動画像データを解析して画像中の目的物の三次元空間位置を追跡させるプログラムであって、
最初の要素画像群から目的物の深度位置にリフォーカスした画像を再構成する画像再構成手段、
最初の要素画像群から輝点を最も多く含む要素画像をテンプレートとして選定するテンプレート選定手段、
２番目以降の要素画像群中の各輝点の代表点を求める輝点代表点特定手段、
２番目以降の要素画像群中の各輝点の代表点の位置変化を求める輝点追跡手段、
最初の要素画像群において再構成画像中の目的物に対応する画素の集まりからなる各輝点の代表点に目的物を識別するラベルを付け、２番目以降の要素画像群中の各要素画像においてテンプレート中の各輝点の代表点と対応する輝点の代表点にテンプレート中の各輝点の代表点と同じラベルを付ける輝点ラベリング手段、および
再構成画像中の目的物の三次元空間の座標を求めて当該座標をラベルで識別される目的物の初期座標に設定し、２番目以降の要素画像群において同じラベルが付いた輝点の代表点の位置変化に基づいて該ラベルにより識別される目的物のＸＹ座標を更新するとともに、隣り合う要素画像間でのそれら代表点の間隔に基づいて該目的物のＺ座標を更新する三次元座標更新手段、
としてコンピューターを機能させるプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像解析装置、画像解析方法およびプログラムに関し、特に、光線空間（ライトフィールド）を記録したライトフィールド画像から得られる要素画像群の連続データから画像中の目的物の三次元空間位置を追跡するのに好適な画像解析技術に関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
生体分子や細胞内挙動を繊細かつダイナミックに観察するには高速かつ大規模な三次元イメージングが必要となる。一般的に、そのような三次元画像は、コンフォーカル顕微鏡（共焦点顕微鏡）を使って試料に対する合焦位置を深度方向（Ｚ方向）に所定ピッチで連続的に変えて、各合焦位置における試料の像を撮像することで生成される（例えば、特許文献１、２を参照）。また、三次元イメージングを可能にする顕微鏡としてスピニングディスク共焦点顕微鏡がある。スピニングディスク共焦点法は、多数のピンホールが並ぶ回転ディスクにレーザー光を照射することで、複数の平行な光を作り、それらで試料を高速スキャンして共焦点画像を形成するというものである。
【先行技術文献】
【特許文献】
【０００３】
特開２０１１－０４４０１６号公報
特開２０１４－１５７１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
共焦点顕微鏡による三次元イメージングは、深度方向にスキャンが必要なため計測に時間がかかり、高速事象を観察するには不向きである。例えば、３０ｆｐｓで三次元空間をＺ方向に３０スキャンして撮像する場合、三次元空間全体の撮像速度は３０ｆｐｓ／３０＝１ｖｐｓとなり、三次元空間を撮るのに１秒要する。神経活動はミリ秒オーダーの現象であるため、生体分子や細胞内挙動の観察用途では共焦点顕微鏡による三次元イメージングはスピード面で不十分である。
【０００５】
また、三次元イメージングの単位体積あたりのデータサイズが非常に大きいため、そのような体積画像が時間的に連続した動画像データとなるとデータサイズが数テラバイト規模になることがある。そのような大規模データは、伝送速度が早い有線通信を使っても伝送に非常に時間がかかり、それよりも伝送速度が遅い無線通信では事実上伝送できなくなるおそれがある。
【０００６】
三次元イメージングの別の選択肢としてライトフィールド顕微鏡（ＬＦＭ：Light Field Microscopy）がある。ライトフィールドとは三次元空間における光線の集合を表す。ＬＦＭは、多数のマイクロレンズが二次元配列されたマイクロレンズアレイを中間像面に配置し、対物レンズの開口絞り上の光線の通過位置とイメージセンサ上での光線の取得位置を得ることでライトフィールドを記録できるようにしたものである。ＬＦＭにより記録されたライトフィールド画像から、小口径レンズに相当するサブアパーチャ画像が取得できる。サブアパーチャ画像は視点をずらして被写体を部分的に撮像したものであり、それぞれがピンホール効果により深い被写界深度を持つと同時に他のサブアパーチャ画像との間で視差を有する。したがって、サブアパーチャ画像をずらして重ね合わせることで任意の深度位置にリフォーカスした画像を再構成（reconstruction）することができる。
【０００７】
このように、ＬＦＭは、深度方向にスキャンすることなくシングルショットで三次元像を高速に撮像することができるため、高速事象を観察するのに向いている。また、データサイズの点でも、ライトフィールド画像自体は二次元画像であるからデータサイズは小さく、それらが時間的に連続した動画像データもデータサイズは小さい。
【０００８】
そこで、本発明は、ライトフィールド画像のように視差情報を含む二次元画像が時間的に連続する動画像データを解析して画像中の目的物の三次元空間位置を追跡することを課題とする。
【課題を解決するための手段】
【０００９】
本発明の一局面に従うと、互いにずれた複数の視点から同一被写体を撮像した複数の要素画像が配列された要素画像群が時間的に連続する動画像データを解析して画像中の目的物の三次元空間位置を追跡する画像解析装置であって、最初の要素画像群から目的物の深度位置にリフォーカスした画像を再構成する画像再構成部と、最初の要素画像群から輝点を最も多く含む要素画像をテンプレートとして選定するテンプレート選定部と、２番目以降の要素画像群中の各輝点の代表点を求める輝点代表点特定部と、２番目以降の要素画像群中の各輝点の代表点の位置変化を求める輝点追跡部と、最初の要素画像群において再構成画像中の目的物に対応する画素の集まりからなる各輝点の代表点に目的物を識別するラベルを付け、２番目以降の要素画像群中の各要素画像においてテンプレート中の各輝点の代表点と対応する輝点の代表点にテンプレート中の各輝点の代表点と同じラベルを付ける輝点ラベリング部と、再構成画像中の目的物の三次元空間の座標を求めて当該座標をラベルで識別される目的物の初期座標に設定し、２番目以降の要素画像群において同じラベルが付いた輝点の代表点の位置変化に基づいて該ラベルにより識別される目的物のＸＹ座標を更新するとともに、隣り合う要素画像間でのそれら代表点の間隔に基づいて該目的物のＺ座標を更新する三次元座標更新部と、を備えた画像解析装置が提供される。
【００１０】
本発明の別の局面に従うと、互いにずれた複数の視点から同一被写体を撮像した複数の要素画像が配列された要素画像群が時間的に連続する動画像データを解析して画像中の目的物の三次元空間位置を追跡する画像解析方法であって、最初の要素画像群から目的物の深度位置にリフォーカスした画像を再構成するステップと、最初の要素画像群において再構成画像中の目的物に対応する画素の集まりからなる各輝点の代表点に目的物を識別するラベルを付けるステップと、再構成画像中の目的物の三次元空間の座標を求めて当該座標をラベルで識別される目的物の初期座標に設定するステップと、最初の要素画像群から輝点を最も多く含む要素画像をテンプレートとして選定するステップと、２番目以降の要素画像群中の各輝点の代表点を求めるステップと、２番目以降の要素画像群中の各輝点の代表点の位置変化を求めるステップと、２番目以降の要素画像群の各要素画像においてテンプレート中の各輝点の代表点と対応する輝点の代表点にテンプレート中の各輝点の代表点と同じラベルを付けるステップと、２番目以降の要素画像群において同じラベルが付いた輝点の代表点の位置変化に基づいて該ラベルにより識別される目的物のＸＹ座標を更新するとともに、隣り合う要素画像間でのそれら代表点の間隔に基づいて該目的物のＺ座標を更新するステップと、を備えた画像解析方法が提供される。
（【００１１】以降は省略されています）

関連特許