特許ウォッチ

公開番号2025054262
公報種別公開特許公報(A)
公開日2025-04-07
出願番号2024163583
出願日2024-09-20
発明の名称制御装置、学習済みモデル生成装置、内視鏡システム、医療支援方法、学習済みモデル生成方法およびプログラム
出願人オリンパスメディカルシステムズ株式会社
代理人弁理士法人酒井国際特許事務所
主分類A61B 1/00 20060101AFI20250328BHJP(医学または獣医学;衛生学)
要約【課題】光学系から被写体等の測定対象物までの距離の検出精度をさらに向上することができる制御装置、学習済みモデル生成装置、内視鏡システム、医療支援方法、学習済みモデル生成方法およびプログラムを提供する。
【解決手段】光学系から被写体までの距離を示すデプスマップを出力パラメータとして出力する学習済みモデルに、前記第1の画像、前記第2の画像および前記第3の画像を入力パラメータとして入力することによって前記被写体のデプスマップを推論し、前記被写体のデプスマップを出力する。
【選択図】図9
特許請求の範囲【請求項１】
プロセッサを備える制御装置であって、
前記プロセッサは、
焦点距離を変更可能な光学系と、前記光学系が結像した像を露光して静止画を生成する撮像素子と、前記光学系を前記光学系の光軸方向に沿って移動させて前記焦点距離を変更する焦点調整機構と、を備える撮像装置から、
前記光学系の近点側において前記撮像素子が被写体を撮像して生成した第１の画像と、前記焦点調整機構によって前記光学系を近点側と遠点側との間において焦点距離を変化させて移動させている期間に前記撮像素子が前記被写体を撮像して生成した第２の画像と、
前記光学系の遠点側において前記撮像素子が前記被写体を撮像して生成した第３の画像と、
を取得し、
前記光学系から被写体までの距離を示すデプスマップを出力パラメータとして出力する学習済みモデルに、前記第１の画像、前記第２の画像および前記第３の画像を入力パラメータとして入力することによって前記被写体のデプスマップを推論し、
前記被写体のデプスマップを出力する、
制御装置。
続きを表示（約 2,800 文字）【請求項２】
請求項１に記載の制御装置であって、
前記第２の画像は、
前記焦点調整機構が前記近点側と前記遠点側との間で焦点距離を変化させる期間に、前記撮像素子が時間的に連続する画像群で構成される動画における、少なくとも１枚のフレーム画像である、
制御装置。
【請求項３】
請求項２に記載の制御装置であって、
前記プロセッサは、
前記光学系のカメラパラメータを取得し、
前記カメラパラメータと、前記被写体のデプスマップと、に基づいて、前記被写体の形状を推定する、
制御装置。
【請求項４】
請求項３に記載の制御装置であって、
前記プロセッサは、
前記光学系を近点端および遠点端それぞれで停止するように前記焦点調整機構を制御する、
制御装置。
【請求項５】
請求項３に記載の制御装置であって、
前記プロセッサは、
前記光学系を近点端から遠点端へ直線的に移動するように前記焦点調整機構を制御する、
制御装置。
【請求項６】
請求項３に記載の制御装置であって、
前記プロセッサは、
前記光学系を近点端および遠点端それぞれにおいて一定時間内で停止するように前記焦点調整機構を制御する、
制御装置。
【請求項７】
プロセッサを備える学習済みモデル生成装置であって、
前記プロセッサは、
焦点距離を変更可能な光学系と、前記光学系が結像した像を露光して静止画を生成する撮像素子と、前記光学系を前記光学系の光軸方向に沿って移動させて前記焦点距離を変更する焦点調整機構と、を備える撮像装置から、
前記光学系の近点側において前記撮像素子が複数の対象物をそれぞれ撮像して生成した複数の第１の画像と、前記焦点調整機構によって前記光学系を近点側と遠点側との間において焦点距離を変化させて移動させている期間に前記撮像素子が前記複数の対象物をそれぞれ撮像して生成した複数の第２の画像と、
前記光学系の遠点側において前記撮像素子が前記複数の対象物それぞれを撮像して生成した複数の第３の画像と、
前記光学系から前記複数の対象物それぞれの距離に関するデプスマップの正解値と、
を前記複数の対象物それぞれに組み合わせた学習データを取得し、
前記学習データを用いて学習することによって、前記第１の画像、前記第２の画像および前記第３の画像を入力パラメータとし、前記光学系から被写体までの距離を示すデプスマップを出力パラメータとして出力する学習済みモデルを生成する、
学習済みモデル生成装置。
【請求項８】
被検体の体内を撮像可能な内視鏡と、
プロセッサを備え、前記内視鏡が接続可能な制御装置と、
を備え、
前記内視鏡は、
焦点距離を変更可能な光学系と、
前記光学系が結像した像を露光して静止画を生成する撮像素子と、
前記光学系を前記光学系の光軸方向に沿って移動させて前記焦点距離を変更する焦点調整機構と、
を備え、
前記プロセッサは、
前記内視鏡から、
前記光学系の近点側において前記撮像素子が被写体を撮像して生成した第１の画像と、前記焦点調整機構によって前記光学系を近点側と遠点側との間において焦点距離を変化させて移動させている期間に前記撮像素子が前記被写体を撮像して生成した第２の画像と、
前記光学系の遠点側において前記撮像素子が前記被写体を撮像して生成した第３の画像と、
を取得し、
前記光学系から被写体までの距離を示すデプスマップを出力パラメータとして出力する学習済みモデルに、前記第１の画像、前記第２の画像および前記第３の画像を入力パラメータとして入力することによって前記被写体のデプスマップを推論し、
前記被写体のデプスマップを出力する、
内視鏡システム。
【請求項９】
プロセッサを備える制御装置が実行する医療支援方法であって、
前記プロセッサが、
焦点距離を変更可能な光学系と、前記光学系が結像した像を露光して静止画を生成する撮像素子と、前記光学系を前記光学系の光軸方向に沿って移動させて前記焦点距離を変更する焦点調整機構と、を備える撮像装置から、
前記光学系の近点側において前記撮像素子が被写体を撮像して生成した第１の画像と、前記焦点調整機構によって前記光学系を近点側と遠点側との間において焦点距離を変化させて移動させている期間に前記撮像素子が前記被写体を撮像して生成した第２の画像と、
前記光学系の遠点側において前記撮像素子が前記被写体を撮像して生成した第３の画像と、
を取得し、
前記光学系から被写体までの距離を示すデプスマップを出力パラメータとして出力する学習済みモデルに、前記第１の画像、前記第２の画像および前記第３の画像を入力パラメータとして入力することによって前記被写体のデプスマップを推論し、
前記被写体のデプスマップを出力する、
ことを含む、
医療支援方法。
【請求項１０】
プロセッサを備える学習済みモデル生成装置が実行する学習方法であって、
前記プロセッサが、
焦点距離を変更可能な光学系と、前記光学系が結像した像を露光して静止画を生成する撮像素子と、前記光学系を前記光学系の光軸方向に沿って移動させて前記焦点距離を変更する焦点調整機構と、を備える撮像装置から、
前記光学系の近点側において前記撮像素子が複数の対象物をそれぞれ撮像して生成した複数の第１の画像と、前記焦点調整機構によって前記光学系を近点側と遠点側との間において焦点距離を変化させて移動させている期間に前記撮像素子が前記複数の対象物をそれぞれ撮像して生成した複数の第２の画像と、
前記光学系の遠点側において前記撮像素子が前記複数の対象物それぞれを撮像して生成した複数の第３の画像と、
前記光学系から前記複数の対象物それぞれの距離に関するデプスマップの正解値と、
を前記複数の対象物それぞれに組み合わせた学習データを取得し、
前記学習データを用いて学習することによって、前記第１の画像、前記第２の画像および前記第３の画像を入力パラメータとし、前記光学系から被写体までの距離を示すデプスマップを出力パラメータとして出力する学習済みモデルを生成する、
ことを含む、
学習方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、制御装置、学習済みモデル生成装置、内視鏡システム、医療支援方法、学習済みモデル生成方法およびプログラムに関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置において、撮像した画像のボケ具合から被写体と撮像装置との距離を推定する技術が知られている。例えば、特許文献１では、光学系の収差の影響を受けた第１画像に生じる被写体までの距離に応じて非線形に変化するボケを学習することによって生成された統計モデルに、光学系の収差の影響を受けた第２画像を入力し、第２画像中の被写体までの距離を示す距離情報を取得する。
【０００３】
また、特許文献２では、レンズの焦点距離を近端から望端まで連続して移動させながらイメージセンサが露光して撮像したスイープ画像における全焦点画像に対する各画像領域のボケ量と、レンズの焦点距離を含む撮像装置の光学的係数値と、に基づいて、スイープ画像における各画像領域における撮像装置と被写体との距離を算出し、この距離を各画像領域における画素値で示すデプスマップ（距離マップ）を生成する。
【先行技術文献】
【特許文献】
【０００４】
特開２０２０－１４８４８３号公報
特許第５８６８１８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述した引用文献１,２では、フォーカス駆動中に撮像されたデータを有効活用していないため、光学系から被写体等の測定対象物までの距離の検出精度をさらに向上させる余地があった。
【０００６】
本開示は、上記に鑑みてなされたものであって、光学系から被写体等の測定対象物までの距離の検出精度をさらに向上することができる制御装置、学習済みモデル生成装置、内視鏡システム、医療支援方法、学習済みモデル生成方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本開示に係る制御装置は、プロセッサを備える制御装置であって、前記プロセッサは、焦点距離を変更可能な光学系と、前記光学系が結像した像を露光して静止画を生成する撮像素子と、前記光学系を前記光学系の光軸方向に沿って移動させて前記焦点距離を変更する焦点調整機構と、を備える撮像装置から、前記光学系の近点側において前記撮像素子が被写体を撮像して生成した第１の画像と、前記焦点調整機構によって前記光学系を近点側と遠点側との間において焦点距離を変化させて移動させている期間に前記撮像素子が前記被写体を撮像して生成した第２の画像と、前記光学系の遠点側において前記撮像素子が前記被写体を撮像して生成した第３の画像と、を取得し、前記光学系から被写体までの距離を示すデプスマップを出力パラメータとして出力する学習済みモデルに、前記第１の画像、前記第２の画像および前記第３の画像を入力パラメータとして入力することによって前記被写体のデプスマップを推論し、前記被写体のデプスマップを出力する。
【０００８】
また、本開示に係る制御装置は、上記開示において、前記第２の画像は、前記焦点調整機構が前記近点側と前記遠点側との間で焦点距離を変化させる期間に、前記撮像素子が時間的に連続する画像群で構成される動画における、少なくとも１枚のフレーム画像である。
【０００９】
また、本開示に係る制御装置は、上記開示において、前記プロセッサは、前記光学系のカメラパラメータを取得し、前記カメラパラメータと、前記被写体のデプスマップと、に基づいて、前記被写体の形状を推定する。
【００１０】
また、本開示に係る制御装置は、上記開示において、前記プロセッサは、前記光学系を近点端および遠点端それぞれで停止するように前記焦点調整機構を制御する。
（【００１１】以降は省略されています）

関連特許