特許ウォッチ

公開番号2025143100
公報種別公開特許公報(A)
公開日2025-10-01
出願番号2024042842
出願日2024-03-18
発明の名称情報処理装置、及び情報処理プログラム
出願人富士フイルム株式会社
代理人弁理士法人太陽国際特許事務所
主分類A61B 1/00 20060101AFI20250924BHJP(医学または獣医学;衛生学)
要約【課題】内視鏡の視点の推定結果に基づいて、自律的に内視鏡の視点の追跡を停止する。
【解決手段】情報処理装置3は、内視鏡画像4から内視鏡2の視点の追跡が可能か否かを推定し、内視鏡2の視点の追跡が可能と推定された場合に、内視鏡画像4から生成された疑似仮想内視鏡画像7及び仮想内視鏡画像6を用いて内視鏡2の視点を追跡し、追跡後の内視鏡2の視点に基づいて気管支モデル5から生成された追跡先仮想内視鏡画像6C及び追跡先仮想深度画像17と内視鏡画像4を用いて、内視鏡2の視点の追跡結果を判定し、追跡に失敗したと判定された場合、追跡の開始指示が通知されるまで、内視鏡2の視点の追跡を停止する。
【選択図】図1
特許請求の範囲【請求項１】
生体の内視鏡画像から、前記内視鏡画像を撮影した内視鏡の視点の追跡が可能か否かを推定する推定部と、
前記推定部によって、前記内視鏡の視点の追跡が可能と推定された場合に、前記内視鏡画像及び前記生体の３次元モデルから生成された画像を用いて前記内視鏡の視点を追跡する追跡部と、
追跡後の前記内視鏡の視点に基づいて前記３次元モデルから生成された３次元モデル画像及び前記内視鏡画像を用いて、前記追跡部による前記内視鏡の視点の追跡結果を判定する判定部と、
前記判定部によって追跡に失敗したと判定された場合、追跡の開始指示が通知されるまで、前記内視鏡の視点の追跡を停止する制御を行う制御部と、
を備えた情報処理装置。
続きを表示（約 1,300 文字）【請求項２】
前記３次元モデル画像は、追跡後の前記内視鏡の視点から前記３次元モデルを眺めた場合の画像である前記生体の追跡先仮想内視鏡画像、及び前記追跡先仮想内視鏡画像が得られた位置に対応した前記３次元モデルの深度画像である追跡先仮想深度画像の少なくとも一方であり、
前記判定部は、前記追跡先仮想内視鏡画像、前記追跡先仮想深度画像、及び前記内視鏡から前記内視鏡の視点の追跡に成功したか否かを出力するように予め機械学習が行われた判定モデルを用いて、前記内視鏡の視点の追跡結果を判定する
請求項１に記載の情報処理装置。
【請求項３】
前記３次元モデル画像は、追跡後の前記内視鏡の視点から前記３次元モデルを眺めた場合の画像である前記生体の追跡先仮想内視鏡画像、及び前記追跡先仮想内視鏡画像が得られた位置に対応した前記３次元モデルの深度画像である追跡先仮想深度画像の少なくとも一方であり、
前記判定部は、前記内視鏡画像と、前記追跡先仮想内視鏡画像及び前記追跡先仮想深度画像の少なくとも一方とからそれぞれ得られた前記生体の構造を表す構造情報を比較することによって、前記内視鏡の視点の追跡結果を判定する
請求項１に記載の情報処理装置。
【請求項４】
前記推定部は、前記内視鏡画像からは前記内視鏡の視点の追跡ができないと推定した場合、前記内視鏡の視点の追跡が可能であると推定される前記内視鏡画像が取得されるまで、前記内視鏡の視点の追跡を一時停止する
請求項１～請求項３の何れか１項に記載の情報処理装置。
【請求項５】
前記判定部によって追跡に失敗したと判定された場合、前記制御部は、医療従事者が前記内視鏡の位置合わせを行うために参照する画像であって、追跡に成功した視点から前記３次元モデルを眺めた場合の画像である仮想内視鏡画像を表示装置に表示する制御を行う
請求項１～請求項３の何れか１項に記載の情報処理装置。
【請求項６】
前記制御部は、前記内視鏡の視点の追跡に失敗する前に、最後に追跡に成功した視点における前記仮想内視鏡画像を前記表示装置に表示する制御を行う
請求項５に記載の情報処理装置。
【請求項７】
前記制御部は、前記内視鏡の視点の追跡に失敗する前に、最後に追跡に成功した視点からもっと近い場所にある気管支の分岐点を含んだ前記仮想内視鏡画像を前記表示装置に表示する制御を行う
請求項５に記載の情報処理装置。
【請求項８】
前記内視鏡の視点の追跡状態が実行中、一時停止中、及び停止中の何れの状態であるかを報知する制御を行う
請求項４に記載の情報処理装置。
【請求項９】
前記制御部は、前記３次元モデル画像の表示形態を変化させることによって、前記内視鏡の視点の追跡状態を報知する
請求項８に記載の情報処理装置。
【請求項１０】
前記内視鏡の視点の追跡状態が一時停止である場合、前記制御部は、前記内視鏡の視点の追跡を一時停止した理由を報知する制御を行う
請求項９に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、及び情報処理プログラムに関する。
続きを表示（約 1,200 文字）【背景技術】
【０００２】
特許文献１には、内視鏡画像と、３次元画像データから生成した仮想内視鏡画像とを用いて画像マッチングを行い、内視鏡の位置を推定する内視鏡システムが開示されている。
【０００３】
特許文献２には、内視鏡画像を取得すると共に、３次元画像データから仮想画像を生成し、内視鏡画像における分岐部特徴情報と、仮想画像における分岐部特徴情報とを比較することによって内視鏡画像と仮想画像の対応付けを行い、内視鏡画像の撮影時の内視鏡の位置を推定する医療画像観察支援装置が開示されている。
【０００４】
特許文献３には、内視鏡画像と３次元画像データを取得し、３次元画像データから仮想化内視鏡画像を生成し、内視鏡画像と仮想化内視鏡画像との類似性を判定して、類似していない場合には、仮想化内視鏡画像と内視鏡画像が一致するように、仮想化内視鏡の位置及び姿勢情報を更新する内視鏡挿入支援装置が開示されている。
【０００５】
特許文献４には、管腔臓器の分岐管路の観察の有無を判定し、目標分岐管路が観察済みになっていないと判定された場合には、目標分岐管路の位置が現在の視点位置よりも先端側であるか否かを判定し、現在の視点位置よりも先端側であると判定された場合には、目標分岐管路が観察済みになるまで待機するナビゲーションシステムが開示されている。
【先行技術文献】
【特許文献】
【０００６】
国際公開第２０１４／１４１９６８号公報
国際公開第２００７／１２９４９３号公報
特開２０１２－１６５８３８号公報
国際公開第２０１６／００９７０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
内視鏡検査等において、内視鏡画像から生体内における内視鏡の視点を推定し、内視鏡が目標箇所に到達するように内視鏡の進行方向を医療従事者に報知する情報処理装置が用いられることがある。
【０００８】
例えば不存在の場合と比較して、被写体の形状や模様の特定を困難にさせる領域である構造不明領域が内視鏡画像に含まれると、内視鏡画像から得られる情報が減少し、内視鏡の視点の推定精度が低下することがある。
【０００９】
この場合、そのまま推定した内視鏡の視点を用いて内視鏡の進行方向を決定すると、誤った進行方向を医療従事者に報知してしまう状況が発生することがある。
【００１０】
本開示は、上記事情を考慮して成されたものであり、内視鏡の視点の推定結果に基づいて、自律的に内視鏡の視点の追跡を停止することができる情報処理装置、及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許