特許ウォッチ

公開番号2024173368
公報種別公開特許公報(A)
公開日2024-12-12
出願番号2023091738
出願日2023-06-02
発明の名称眼科装置
出願人株式会社トプコン
代理人弁護士法人クレオ国際法律特許事務所
主分類A61B 3/15 20060101AFI20241205BHJP(医学または獣医学;衛生学)
要約【課題】瞳孔検出の際、学習済みモデルを用いるAI画像認識によりロバストに瞳孔領域を検出できる眼科装置を提供すること。
【解決手段】眼科装置Aは、被検眼Eの前眼部を撮影する前眼部ステレオカメラ22を備え、学習済みモデル設定部621と、瞳孔検出処理部632と、を有する。学習済みモデル設定部621は、予め収集した前眼部カメラ画像データに瞳孔領域情報を付加した教師データを多数用意し、選定した機械学習モデルに教師データを読み込ませる学習処理により作成される学習済み瞳孔領域予測モデルを設定する。瞳孔検出処理部632は、学習済み瞳孔領域予測モデルに、前眼部ステレオカメラ22から取得した前眼部カメラ画像データを入力する推論実行によってモデル出力される瞳孔領域の予測情報に基づいて、被検眼Eの瞳孔領域を検出する。
【選択図】図6
特許請求の範囲【請求項１】
被検眼の前眼部を撮影する前眼部カメラを備える眼科装置であって、
前記被検眼の前眼部画像に関する学習済みモデルを設定する学習済みモデル設定部と、前記被検眼の瞳孔領域を検出する瞳孔検出処理部と、を有し、
前記学習済みモデル設定部は、予め収集した前眼部カメラ画像データに瞳孔領域情報を付加した教師データを多数用意し、選定した機械学習モデルに前記教師データを読み込ませる学習処理により作成される学習済み瞳孔領域予測モデルを設定し、
前記瞳孔検出処理部は、前記学習済み瞳孔領域予測モデルに、前記前眼部カメラから取得した前眼部カメラ画像データを入力する推論実行によってモデル出力される瞳孔領域の予測情報に基づいて、前記被検眼の前記瞳孔領域を検出する
ことを特徴する眼科装置。
続きを表示（約 1,400 文字）【請求項２】
請求項１に記載された眼科装置において、
前記学習済みモデル設定部は、眼科装置の種類や型式を問わずに前記前眼部カメラ画像データを多数収集し、前記前眼部カメラ画像データに前記瞳孔領域情報を付加して前記教師データを作成し、前記教師データを用いて作成される前記学習済み瞳孔領域予測モデルを設定する
ことを特徴する眼科装置。
【請求項３】
請求項２に記載された眼科装置において、
前記瞳孔検出処理部は、前記前眼部カメラ画像データをモデル入力する前記推論実行によって、前記前眼部カメラ画像データに瞳孔確率値がピクセル単位で書き込まれた瞳孔確率マップを取得し、前記瞳孔確率マップでの前記瞳孔確率値の分布識別処理によって抽出される高確率値領域を瞳孔候補領域として検出する
ことを特徴する眼科装置。
【請求項４】
請求項３に記載された眼科装置において、
前記瞳孔検出処理部は、前記瞳孔候補領域が複数検出されたとき、それぞれの候補領域をラベリングし、瞳孔可能性が最も高い候補領域に瞳孔ラベルを付与し、前記瞳孔ラベルが付与された前記瞳孔候補領域を、瞳孔領域として検出する
ことを特徴する眼科装置。
【請求項５】
請求項４に記載された眼科装置において、
前記瞳孔検出処理部は、前記瞳孔領域が検出されると、検出された前記瞳孔領域の形状に基づいて瞳孔位置座標を取得する
ことを特徴する眼科装置。
【請求項６】
請求項５に記載された眼科装置において、
前記瞳孔検出処理部は、検出された前記瞳孔領域の領域面積が設定面積範囲内であることを確認する第１瞳孔判定条件と、検出された前記瞳孔領域における閾値以上の瞳孔確率値の集約を前記瞳孔確率マップにより確認する第２瞳孔判定条件と、を判断し、
前記第１瞳孔判定条件と前記第２瞳孔判定条件のうち、少なくとも一方の条件が成立しないと瞳孔領域検出失敗をあらわすエラー設定とし、前記第１瞳孔判定条件と前記第２瞳孔判定条件が共に成立すると瞳孔領域検出成功の検出処理結果を出力する
ことを特徴する眼科装置。
【請求項７】
請求項１から６までの何れか一項に記載された眼科装置において、
光学系を内蔵する本体部と、前記本体部を架台部に対して三次元方向に移動させる駆動部と、装置各部を制御する制御部と、を備え、
前記前眼部カメラは、前記本体部に有する対物レンズの外周位置に設けられ、前記被検眼の前眼部に向かってレンズ光軸を傾斜配置した少なくとも２つ以上のカメラによって構成され、
前記制御部は、前記被検眼と前記本体部との相対位置関係を調整する制御を行うアライメント制御部に、前記瞳孔検出処理部と、瞳孔に対するオートアライメントを実行するオートアライメント部と、を有し、
前記瞳孔検出処理部は、前記前眼部カメラからのカメラ画像と、前記学習済みモデル設定部に設定されている前記学習済み瞳孔領域予測モデルと、を用いて瞳孔領域を検出し、
前記オートアライメント部は、瞳孔に対するオートアライメントの際、被検眼に対する瞳孔領域の検出が成功すると２つの瞳孔位置座標を取得し、前記２つの瞳孔位置座標に基づいて算出される瞳孔の三次元現在座標を、瞳孔の三次元目標座標に収束させる移動指令を前記駆動部に対し出力する
ことを特徴する眼科装置。

発明の詳細な説明【技術分野】
【０００１】
本開示は、眼科装置に関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
従来、被検眼と装置光学系との間の位置合わせを好適に行うことが可能な眼科装置を提供することを目的とし、前眼部カメラとして、対物レンズの両側位置にステレオカメラを配置し、被検眼の前眼部を異なる方向から同時に撮影する眼科装置が知られている（特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
特開２０１３－２４８３７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、顎受け部に被検者が顎を支持した状態で被検眼の眼特性検査又は撮影する際、被検者が変わる毎に被検眼の位置がずれるため、被検眼と本体部（＝装置光学系）との相対位置関係を調整するアライメント制御（位置合わせ制御）が必要である。
【０００５】
しかし、ステレオカメラにより撮影されるステレオカメラ画像は、瞼や睫毛などの映り込みにより瞳孔が隠れてしまうケラレが生じ易くなる。特に、撮影画角が広角の眼底カメラなどの眼科装置の場合、撮影画角の広角化に伴う光学的な制約から対物レンズのレンズ径が大きくなり、カメラ取付け角度が、レンズ径が小さい場合のカメラ取付け角度に比べて鋭角になる。このため、被検眼の瞳孔形状が細長い楕円形状になるし、瞼や睫毛などの映り込みにより瞳孔が隠れてしまうケラレがさらに生じ易くなる。
【０００６】
これに対し、従来の瞳孔領域検出手法は、ステレオカメラ画像から輝点を探索し、輝点が探索されないと画像全体、輝点が探索されると輝点周辺画像を、画像中で最も輝度が低い瞳孔を判別する輝度閾値を用いて二値化し、二値化画像から検出する手法を採用している。したがって、ステレオカメラ画像を用いて瞳孔領域を検出する従来技術の場合、瞼や睫毛の映り込みなどがあると、二値化により瞳孔領域の一部が欠落した瞳孔領域形状の画像になる。このように、瞳孔画像中に輝度レベルが瞳孔輝度よりも高くなった部分が存在すると、輝度が高くなった部分は瞳孔領域として認識されず、認識された瞳孔領域の円形度や領域面積が低下し、正確で安定して瞳孔領域を検出することが難しい、という課題がある。
【０００７】
本開示は、上記課題に着目してなされたもので、瞳孔検出の際、学習済みモデルを用いるＡＩ画像認識によりロバストに瞳孔領域を検出できる眼科装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本開示の眼科装置は、被検眼の前眼部を撮影する前眼部カメラを備える。前記被検眼の前眼部画像に関する学習済みモデルを設定する学習済みモデル設定部と、前記被検眼の瞳孔領域を検出する瞳孔検出処理部と、を有する。前記学習済みモデル設定部は、予め収集した前眼部カメラ画像データに瞳孔領域情報を付加した教師データを多数用意し、選定した機械学習モデルに前記教師データを読み込ませる学習処理により作成される学習済み瞳孔領域予測モデルを設定する。前記瞳孔検出処理部は、前記学習済み瞳孔領域予測モデルに、前記前眼部カメラから取得した前眼部カメラ画像データを入力する推論実行によってモデル出力される瞳孔領域の予測情報に基づいて、前記被検眼の前記瞳孔領域を検出する。
【発明の効果】
【０００９】
本開示の眼科装置では、瞳孔領域の検出情報を、映り込みなどの瞳孔検出を阻害する影響を受ける前眼部カメラ画像情報ではなく、推論実行により学習済み瞳孔領域予測モデルからモデル出力される瞳孔領域の予測情報としている。よって、瞳孔検出の際、学習済みモデルを用いるＡＩ画像認識によりロバストに瞳孔領域を検出することができる。
【図面の簡単な説明】
【００１０】
実施例１の眼科装置を顎受け部側から視た外観構成を示す斜視図である。
実施例１の眼科装置をコントロールパネル側から視た外観構成を示す斜視図である。
実施例１の眼科装置を顎受け部側から本体部の正面を視た外観構成を示す正面図である。
実施例１の眼科装置の内蔵品及び付属品の概要構成を示す側面図である。
実施例１の眼科装置における光学系構成を示す概要図である。
実施例１の眼科装置における制御系構成を示すブロック図である。
実施例１の眼科装置により被検眼の前眼部像、眼底像、眼底断層像の何れかを撮影するときの基本操作の流れを示すフローチャートである。
実施例１の瞳孔検出処理部での瞳孔検出処理において機械学習モデルとして選定したＰＳＰＮｅｔ構造を示す概要図である。
実施例１の瞳孔検出処理部における瞳孔検出処理の流れを示すフローチャートである。
背景技術において瞳孔に対するオートアライメントに先行して被検眼の瞳孔を検出する瞳孔検出処理の流れを示すフローチャートである。
背景技術の瞳孔検出処理での前眼部カメラ画像例(a)、前眼部画像からの輝点探索例(b)、輝点周辺の二値化例(c)、輪郭エッジに対する楕円近似の適用による瞳孔中心座標の取得例(d)、を示す画像説明図である。
実施例１の瞳孔検出処理での前眼部カメラ画像例(a)、瞳孔確率マップ例(b)、瞳孔候補領域のうち瞳孔ラベルが付された瞳孔領域例(c)、楕円近似の適用による瞳孔中心座標の取得例(d)、を示す画像説明図である。
実施例２の眼科装置において３つのカメラによる前眼部３方向カメラが取り付けられた対物レンズユニットを示す斜視図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許