特許ウォッチ

公開番号2025156220
公報種別公開特許公報(A)
公開日2025-10-14
出願番号2025054445
出願日2025-03-27
発明の名称画像処理装置、画像処理方法およびプログラム
出願人国立大学法人広島大学,国立大学法人静岡大学
代理人個人
主分類A61B 1/045 20060101AFI20251002BHJP(医学または獣医学;衛生学)
要約【課題】マルチコア光ファイバが捉えた画像から軽負荷かつ高速に鮮明なリフォーカス画像を再構成する。
【解決手段】画像処理装置60は、ファイババンドル端面画像中の各コア端面の全体および中心部の各領域の画素の代表値を求め、当該代表値を有する画素をxy座標系に再配置するとともにそれ以外の画素を補完して、光線の入射角が相異なる画像を生成する端面画像処理部61と、光線の入射角が相異なる画像から、xy各座標に入射する各光線の入射角をuvベクトルで表した4次元のライトフィールドを推定するライトフィールド推定部62と、ライトフィールドにおける各uvベクトルを任意の深度に応じて決まる係数で重み付けしてライトフィールドを掛け合わせて発散防止処理を行って当該深度のリフォーカス画像を生成するリフォーカス部63と、を備えている。
【選択図】図1
特許請求の範囲【請求項１】
導波路コアである光ファイバを多数束ねてなるファイババンドルの端面画像から任意の深度のリフォーカス画像を再構成する画像処理装置であって、
前記端面画像中の各コア端面の全体および中心部の各領域の画素の代表値を求め、当該代表値を有する画素をｘｙ座標系に再配置するとともにそれ以外の画素を補完して、光線の入射角が相異なる画像を生成する端面画像処理部と、
前記光線の入射角が相異なる画像から、ｘｙ各座標に入射する各光線の入射角をｕｖベクトルで表した４次元のライトフィールドを推定するライトフィールド推定部と、
前記ライトフィールドにおける各ｕｖベクトルを任意の深度に応じて決まる係数で重み付けして前記ライトフィールドを掛け合わせて発散防止処理を行って当該深度のリフォーカス画像を生成するリフォーカス部と、を備えた
ことを特徴とする画像処理装置。
続きを表示（約 970 文字）【請求項２】
複数の異なる深度で生成した前記リフォーカス画像に基づいて三次元像を再構成する三次元像再構成部を備えた、請求項１に記載の画像処理装置。
【請求項３】
前記リフォーカス部が、ｘｙ座標系の局所領域ごとに前記発散防止処理を施すものである、請求項１または２に記載の画像処理装置。
【請求項４】
導波路コアである光ファイバを多数束ねてなるファイババンドルの端面画像から任意の深度のリフォーカス画像を再構成する画像処理方法であって、
前記端面画像中の各コア端面の全体および中心部の各領域の画素の代表値を求め、当該代表値値を有する画素をｘｙ座標系に再配置するとともにそれ以外の画素を補完して、光線の入射角が相異なる画像を自動的に生成するステップと、
前記光線の入射角が相異なる画像から、ｘｙ各座標に入射する各光線の入射角をｕｖベクトルで表した４次元のライトフィールドを自動的に推定するステップと、
前記ライトフィールドにおける各ｕｖベクトルを任意の深度に応じて決まる係数で重み付けして前記ライトフィールドを掛け合わせて発散防止処理を行って当該深度のリフォーカス画像を自動的に生成するステップと、を備えた
ことを特徴とする画像処理方法。
【請求項５】
コンピューターに、導波路コアである光ファイバを多数束ねてなるファイババンドルの端面画像から任意の深度のリフォーカス画像を再構成させるプログラムであって、
前記端面画像中の各コア端面の全体および中心部の各領域の画素の代表値を求め、当該代表値を有する画素をｘｙ座標系に再配置するとともにそれ以外の画素を補完して、光線の入射角が相異なる画像を生成する端面画像処理手段、
前記光線の入射角が相異なる画像から、ｘｙ各座標に入射する各光線の入射角をｕｖベクトルで表した４次元のライトフィールドを推定するライトフィールド推定手段、および
前記ライトフィールドにおける各ｕｖベクトルを任意の深度に応じて決まる係数で重み付けして前記ライトフィールドを掛け合わせて発散防止処理を行って当該深度のリフォーカス画像を生成するリフォーカス手段、
としてコンピューターを機能させるプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関し、特に、マルチコア光ファイバイメージングに好適な画像処理技術に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
近年、生物学的構造や材料科学の微細な構造を詳細に観察するための技術として、顕微内視鏡が広く利用されている。特に、生きた細胞や組織の非侵襲的なイメージングにおいては、高解像度での観察が求められている。このような背景の下、マルチコア光ファイバを用いたイメージング技術が注目されている。マルチコア光ファイバは、複数の導波路コアを一つのファイバ内に持ち、それぞれのコアが独立して光を伝送することができる。これにより、伝統的なシングルコアファイバに比べて、高密度で情報を伝送することが可能となり、顕微鏡イメージングの分野において新たな可能性を開くものと期待されている。
【０００３】
一方で生体分子や細胞内挙動を繊細かつダイナミックに観察するには高速かつ大規模な三次元イメージングが求められる。その場合、撮像画像から任意の深度にリフォーカスした画像を再構成するリフォーカス技術が必要となる。マイクロレンズアレイを通して撮像したライトフィールドカメラ画像とは違ってマルチコア光ファイバを通じて捉えた画像には視差情報が含まれないため、リフォーカス画像の再構成がしばしば問題となる。これに関して、マルチコア光ファイバの端面画像からライトフィールドを推定し、当該ライトフィールドに基づいて任意の深度にリフォーカスした画像を生成する手法が提案されている（例えば、特許文献１、２および非特許文献１、２を参照）。この技術により、マルチコア光ファイバを使用する内視顕微鏡において一度の撮影で複数の焦点深度を持つ画像を後処理により生成することが可能となり、より柔軟なイメージングが実現される。
【先行技術文献】
【特許文献】
【０００４】
特表２０２１－５１１８７１号公報
特開２０２３－１３４４５６号公報
【非特許文献】
【０００５】
A.Orth et al., “Extended depth of field imaging through multicore optical fibers,” Opt. Express 26(5), 6407-6419 (2018).
A.Orth et al., “Optical fiber bundles: Ultra-slim light field imaging probes.” Sci. Adv.5, eaav1555(2019). DOI:10.1126/sciadv.aav1555
【発明の概要】
【発明が解決しようとする課題】
【０００６】
観察物の三次元像は、視差を持つ画像をシフトして重ね合わせるシフト加算を行って複数深度のリフォーカス画像を再構成し、それらを深度方向にスタックすることで再構成することができる。しかし、顕微鏡の画像はＰＳＦ（Point Spread Function）の影響でぼやけが生じており、そのような画像を元にリフォーカスを行うと深度方向に間伸びした三次元像が再構成されてしまう。デコンボリューションによりＰＳＦの影響を取り除いて鮮明な三次元像を得ることができるが、デコンボリューションは計算負荷が大きく処理に時間がかかるという問題がある。
【０００７】
上記問題に鑑み、本発明の目的は、マルチコア光ファイバが捉えた画像からデコンボリューション処理なしに軽負荷かつ高速に鮮明なリフォーカス画像、さらには三次元像を再構成することにある。
【課題を解決するための手段】
【０００８】
本発明の一局面に従うと、導波路コアである光ファイバを多数束ねてなるファイババンドルの端面画像から任意の深度のリフォーカス画像を再構成する画像処理装置であって、前記端面画像中の各コア端面の全体および中心部の各領域の画素の代表値を求め、当該代表値を有する画素をｘｙ座標系に再配置するとともにそれ以外の画素を補完して、光線の入射角が相異なる画像を生成する端面画像処理部と、前記光線の入射角が相異なる画像から、ｘｙ各座標に入射する各光線の入射角をｕｖベクトルで表した４次元のライトフィールドを推定するライトフィールド推定部と、前記ライトフィールドにおける各ｕｖベクトルを任意の深度に応じて決まる係数で重み付けして前記ライトフィールドを掛け合わせて発散防止処理を行って当該深度のリフォーカス画像を生成するリフォーカス部と、を備えた画像処理装置およびこれに対応する画像処理方法、および上記の画像処理をコンピューターに実行させるためのコンピュータープログラムが提供される。
【０００９】
さらに、複数の異なる深度で生成した前記リフォーカス画像に基づいて三次元像を再構成する三次元像再構成部を備えた画像処理装置およびこれに対応する画像処理方法、および上記の画像処理をコンピューターに実行させるためのコンピュータープログラムが提供される。
【発明の効果】
【００１０】
本発明によると、ファイババンドルの端面画像からライトフィールドを推定し、当該ライトフィールドに対してシフト乗算を行うことより、デコンボリューション処理を行うことなく軽負荷かつ高速に鮮明なリフォーカス画像、さらには三次元像を再構成することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許