特許ウォッチ

公開番号2025084126
公報種別公開特許公報(A)
公開日2025-06-02
出願番号2024202828
出願日2024-11-20
発明の名称内視鏡装置から獲得した身体の内部のイメージを復元する方法及び装置
出願人メディンテックインコーポレイテッド,MEDINTECH INC.
代理人弁理士法人IPX
主分類A61B 1/045 20060101AFI20250526BHJP(医学または獣医学;衛生学)
要約【課題】内視鏡を介して獲得したイメージ及び内視鏡スコープについての情報に基づいて撮影した臓器を3次元に復元する内視鏡装置から獲得した身体の内部のイメージを復元する方法及び装置を提供する。
【解決手段】少なくとも一つのプロセッサ210を含むコンピューティング装置200によって行われる、身体の内部のイメージを復元する方法は、内視鏡スコープの端部の姿勢情報及び身体の内部に対する撮影イメージを含む基礎データを獲得する段階と、基礎データに対する身体の内部表面のイメージ的情報を含む特徴点を用いて基礎データを復元することによって身体の内部に対する3次元の最終イメージを生成する段階と、を含む。
【選択図】図1
特許請求の範囲【請求項１】
少なくとも一つのプロセッサを含むコンピューティング装置によって行われる、身体の内部のイメージを復元する方法であって、
内視鏡スコープの端部の姿勢情報及び前記身体の内部に対する撮影イメージを含む基礎データを獲得する段階と、
前記基礎データに対する、身体の内部表面のイメージ的情報を含む特徴点を用いて前記基礎データを復元することによって前記身体の内部に対する３次元の最終イメージを生成する段階と、
を含む、方法。
続きを表示（約 1,100 文字）【請求項２】
前記特徴点は、前記身体の内部表面に形成される柄又は質感を表現するように学習された特徴点生成モデルによって生成される、請求項１に記載の方法。
【請求項３】
前記柄又は質感は、血管、凹凸、しわ及び病変のうちの少なくとも一つを含む、請求項２に記載の方法。
【請求項４】
前記特徴点生成モデルは、前記身体の内部表面に薬品が塗布された形状を表現することによって前記特徴点を生成する、請求項２に記載の方法。
【請求項５】
前記基礎データは、前記内視鏡スコープの端部から前記身体の内部表面までのデプス情報をさらに含む、請求項１に記載の方法。
【請求項６】
前記３次元の最終イメージを生成する段階は、
前記基礎データ及び前記特徴点を用いてポイントクラウドデータを生成する段階と、
前記ポイントクラウドデータを復元して前記最終イメージを生成する段階と、
を含む、請求項１に記載の方法。
【請求項７】
前記３次元の最終イメージを生成する段階は、
前記ポイントクラウドデータで、所定の基準範囲を外れた領域に存在するポイントを除去することによって修正ポイントクラウドデータを生成する段階と、
前記修正ポイントクラウドデータを復元して前記最終イメージを生成する段階と、
を含む、請求項６に記載の方法。
【請求項８】
前記最終イメージ内で表面が滑っこく復元された部分を盲点領域と判断する段階をさらに含み、
前記盲点領域は、前記身体の内部において前記内視鏡スコープを介しての撮影が漏れた部位を含む、請求項１に記載の方法。
【請求項９】
少なくとも一つのプロセッサを含むコンピューティング装置によって行われる、身体の内部のイメージを復元する方法であって、
身体の内部に対する撮影イメージに基づいて、内視鏡スコープの端部から前記身体の内部表面までのデプス情報を学習されたデプス推定モデルを用いて獲得する段階と、
前記撮影イメージに基づいて、前記内視鏡スコープの端部の姿勢情報を学習された姿勢推定モデルを用いて獲得する段階と、
前記デプス情報及び前記姿勢情報を用いて前記身体の内部に対する３次元の最終イメージを生成する段階と、
を含む、方法。
【請求項１０】
前記デプス推定モデルは、身体の内部に対する第１学習イメージ及び前記第１学習イメージに対応するデプスイメージを含む第１学習データによって学習される、請求項９に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示はイメージを復元する技術に関し、具体的には、内視鏡装置から獲得した身体の内部のイメージを復元する方法及び装置に関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
内視鏡は手術を行うか又は剖検せずにスコープを身体に挿入して臓器を観察する医療器具を通称する。内視鏡は、人体の内部にスコープを挿入し、光を照射して、内壁の表面で反射された光を可視化する。目的及び身体部位によって内視鏡の種類が区分され、大別して、内視鏡管が金属で形成された硬性内視鏡（ＲｉｇｉｄＥｎｄｏｓｃｏｐｅ）と、消化器内視鏡として代表される軟性内視鏡（ｆｌｅｘｉｂｌｅｅｎｄｏｓｃｏｐｅ）とに区分することができる。
【０００３】
一方、医療分野で２次元イメージを用いて臓器を３次元に復元する技術が活発に応用されており、内視鏡映像においても同様である。内視鏡の場合、撮影対象となる身体部位が３次元の複雑で非定型的形状を有するので、２次元イメージに比べて３次元イメージから具体的な情報を得ることができるので、３次元復元の利点がある。２次元イメージから３次元イメージを復元する技術は、多重時点で撮影されたイメージを整合し、時差を計算する伝統的な非学習方式からデプス情報に基づいてディープニューラルネットワークを用いる技術まで発展した。
【０００４】
消化器内視鏡の場合、撮影の対象となる臓器の形状が複雑であり、患者ごとに偏差が大きいので、撮影するスコープの動きも非常に不規則的になるしかない。特に、大腸内視鏡の場合、細長い管の形態を撮影するから、スコープの動きが微細であっても撮影イメージの変化が大きく発生するので、３次元復元のための良質のイメージを獲得しにくい。また、復元のためには、臓器の各領域に特徴的形状が存在しなければならないが、内視鏡映像の特徴の上、臓器の表面についての情報のみを獲得することができ、胃や大腸の場合、表面の色が似ているので、高正確度の復元が難しい。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示は前述した従来技術の問題点を解決するためのものであり、内視鏡を介して獲得したイメージ及び内視鏡スコープについての情報に基づいて撮影した臓器を３次元に復元する内視鏡装置から獲得した身体の内部のイメージを復元する方法及び装置に関する。
【０００６】
ただ、本実施例が達成しようとする技術的課題は前述したような技術的課題に限定されず、他の技術的課題が存在し得る。
【課題を解決するための手段】
【０００７】
前述したような課題を実現するための本開示の一実施例によって、身体の内部のイメージを復元する方法が開示される。前記方法は、内視鏡スコープの端部の姿勢情報及び前記身体の内部に対する撮影イメージを含む基礎データを獲得する段階と、前記基礎データに対する、身体の内部表面のイメージ的情報を含む特徴点を用いて前記基礎データを復元することによって前記身体の内部に対する３次元の最終イメージを生成する段階と、を含む。
【０００８】
代案として、前記特徴点は、前記身体の内部表面に形成される柄又は質感を表現するように学習された特徴点生成モデルによって生成することができる。
【０００９】
代案として、前記柄又は質感は、血管、凹凸、しわ及び病変のうちの少なくとも一つを含むことができる。
【００１０】
代案として、前記特徴点生成モデルは、前記身体の内部表面に薬品が塗布された形状を表現することによって前記特徴点を生成することができる。
（【００１１】以降は省略されています）

関連特許