特許ウォッチ

公開番号2024095513
公報種別公開特許公報(A)
公開日2024-07-10
出願番号2023149489
出願日2023-09-14
発明の名称三次元再構成に基づく眼位ずれ角度の測定方法及び装置
出願人中山大学中山眼科中心,清華大学,TSINGHUA UNIVERSITY
代理人SK弁理士法人,個人,個人
主分類G06T 7/00 20170101AFI20240703BHJP(計算;計数)
要約【課題】眼位ずれ角度の測定の利便性及び測定精度を向上させる三次元再構成に基づく眼位ずれ角度の測定方法及び装置を提供する。
【解決手段】方法は、被測定者の顔画像シーケンスを収集し、第1のニューラルネットワークにおいて、顔画像シーケンスの遮蔽状態を取得することで、キーフレームの画像を決定し、キーフレームの画像を第2のニューラルネットワークに入力し、特徴点ヒートマップを取得し、顔特徴点座標に変換させ、顔特徴点と顔三次元モデルの投影点との間の目的関数を構築し、キーフレームの画像に対応する頭部姿勢を取得し、眼球の位置を初期化し、頭部姿勢に基づいて、基準眼位の眼球回転角度を予め設定された角度に固定し、基準眼位画像における眼球の頭部座標系での三次元座標を求め、被測定画像における眼球の頭部座標系での三次元座標を固定し、被測定画像における眼球回転角度を求めて、この眼球のずれ角度を得る。
【選択図】図1
特許請求の範囲【請求項１】
三次元再構成に基づく眼位ずれ角度の測定方法であって、
被測定者の顔のビデオストリーミング情報を収集し、前記ビデオストリーミング情報に基づいて前記被測定者の顔画像シーケンスを取得することと、
前記顔画像シーケンスを第１のニューラルネットワークに入力し、前記顔画像シーケンスの遮蔽状態を取得し、前記遮蔽状態に基づいて前記顔画像シーケンスのキーフレームの画像を決定することと、
前記キーフレームの画像を第２のニューラルネットワークに入力し、前記キーフレームの画像の特徴点ヒートマップを取得し、前記特徴点ヒートマップを顔特徴点座標に変換することと、
顔三次元モデルを構築し、前記顔特徴点座標及び前記顔三次元モデルに基づいて、前記顔特徴点座標と前記顔三次元モデルの投影座標との間の目的関数を取得し、前記目的関数に基づいて前記キーフレームの画像の顔特徴点座標に対応する頭部姿勢を得ることと、
前記キーフレームの画像から左眼と右眼の各々の１フレームの基準眼位画像を選択して眼球の位置を初期化し、前記頭部姿勢に基づいて、基準眼位の眼球回転角度を予め設定された角度に固定し、基準眼位画像における眼球の頭部座標系での基準三次元座標を求めることと、
前記基準三次元座標に基づいて、被測定画像における眼球の頭部座標系での三次元座標を固定し、前記被測定画像における眼球回転角度を求めて、前記眼球回転角度及び基準眼位の眼球回転角度に基づいて、前記被測定画像における眼球のずれ角度を得ることとを含む、ことを特徴とする三次元再構成に基づく眼位ずれ角度の測定方法。
続きを表示（約 2,700 文字）【請求項２】
前記した、前記顔画像シーケンスを第１のニューラルネットワークに入力し、前記顔画像シーケンスの遮蔽状態を取得することの前に、
第１のニューラルネットワークを訓練することをさらに含み、訓練過程は、初期の第１のニューラルネットワークを構築し、顔画像シーケンスを収集するとともに前記顔画像シーケンスの実際の遮蔽状態についてラベリングし、前記顔画像シーケンスにおける各フレームの画像を訓練画像として前記初期の第１のニューラルネットワークに順に入力し、前記訓練画像の予測遮蔽状態を取得し、前記予測遮蔽状態及び対応する実際の遮蔽状態に基づいて交差エントロピー損失関数を構築し、前記交差エントロピー損失関数に基づいて前記初期の第１のニューラルネットワークを監督訓練し、訓練済みのニューラルネットワークを前記第１のニューラルネットワークとして取得することである、ことを特徴とする請求項１に記載の三次元再構成に基づく眼位ずれ角度の測定方法。
【請求項３】
前記した、前記キーフレームの画像を第２のニューラルネットワークに入力し、前記キーフレームの画像の特徴点ヒートマップを取得することの前に、
第２のニューラルネットワークを訓練することをさらに含み、訓練過程は、初期の第２のニューラルネットワークを構築し、公開されたデータセットから顔画像を取得して、前記顔画像に実際の特徴点座標をマークし、前記実際の特徴点座標を実際の特徴点ヒートマップに変換させ、かつ、前記顔画像を初期の第２のニューラルネットワークに入力し、前記顔画像の予測される特徴点ヒートマップを取得し、前記実際の特徴点ヒートマップ及び前記予測される特徴点ヒートマップに基づいてＬ１損失関数を構築し、前記Ｌ１損失関数が収束するまで、前記Ｌ１損失関数に基づいて前記初期の第２のニューラルネットワークを監督訓練して、訓練済みの初期の第２のニューラルネットワークを第２のニューラルネットワークとして取得することである、ことを特徴とする請求項１に記載の三次元再構成に基づく眼位ずれ角度の測定方法。
【請求項４】
前記基準三次元座標に基づいて、被測定画像における眼球の頭部座標系での三次元座標を固定し、前記被測定画像における眼球回転角度を求めることは、
被測定画像における眼球の頭部座標系での三次元座標を固定し、虹彩特徴点と虹彩モデルの投影点との間の目的関数を構築し、反復最適化により前記被測定画像の眼球回転角度を求めることをさらに含む、ことを特徴とする請求項１に記載の三次元再構成に基づく眼位ずれ角度の測定方法。
【請求項５】
前記した、基準眼位の眼球回転角度を予め設定された角度に固定することについて、前記予め設定された角度は、０度に設定される、ことを特徴とする請求項１に記載の三次元再構成に基づく眼位ずれ角度の測定方法。
【請求項６】
前記した、被測定者の顔のビデオストリーミング情報を収集することは、
被測定者から前方に第１の予め設定された距離の位置に第１の視標を設け、第２の予め設定された距離の位置に第２の視標を設け、被測定者が左眼を遮蔽した状態、右眼を遮蔽した状態、左眼と右眼をすべて遮蔽した状態、及び、左眼と右眼をいずれも遮蔽していない状態のそれぞれで前記第１の視標と前記第２の視標を注視するときのビデオストリーミング情報をカメラで収集することを含む、ことを特徴とする請求項１に記載の三次元再構成に基づく眼位ずれ角度の測定方法。
【請求項７】
顔画像シーケンスの遮蔽状態は、左眼を遮蔽した状態と、右眼を遮蔽した状態と、左眼と右眼をすべて遮蔽した状態と、左眼と右眼をいずれも遮蔽していない状態とのうちの１つの状態である、ことを特徴とする請求項６に記載の三次元再構成に基づく眼位ずれ角度の測定方法。
【請求項８】
三次元再構成に基づく眼位ずれ角度の測定装置であって、
被測定者の顔のビデオストリーミング情報を収集し、前記ビデオストリーミング情報に基づいて前記被測定者の顔画像シーケンスを取得するための画像収集モジュールと、
前記顔画像シーケンスを第１のニューラルネットワークに入力し、前記顔画像シーケンスの遮蔽状態を取得し、前記遮蔽状態に基づいて前記顔画像シーケンスのキーフレームの画像を決定するためのキーフレーム抽出モジュールと、
前記キーフレームの画像を第２のニューラルネットワークに入力し、前記キーフレームの画像の特徴点ヒートマップを取得し、前記特徴点ヒートマップを顔特徴点座標に変換させ、かつ、顔三次元モデルを構築し、前記顔特徴点座標及び前記顔三次元モデルに基づいて、前記顔特徴点座標と前記顔三次元モデルの投影座標との間の目的関数を取得し、前記目的関数に基づいて前記キーフレームの画像の顔特徴点座標に対応する頭部姿勢を得るための顔三次元再構成モジュールと、
前記キーフレームの画像から左眼と右眼の各々の１フレームの基準眼位画像を選択して眼球の位置を初期化し、前記頭部姿勢に基づいて、基準眼位の眼球回転角度を予め設定された角度に固定し、基準眼位画像における眼球の頭部座標系での基準三次元座標を求めるための人眼三次元再構成モジュールと、
前記基準三次元座標に基づいて、被測定画像における眼球の頭部座標系での三次元座標を固定し、被測定画像における眼球回転角度を求めて、前記眼球回転角度及び基準眼位の眼球回転角度に基づいて、前記被測定画像における眼球のずれ角度を得るためのずれ角度測定モジュールとを含む、ことを特徴とする三次元再構成に基づく眼位ずれ角度の測定装置。
【請求項９】
コンピュータ機器であって、メモリと、プロセッサと、メモリに記憶されたコンピュータプログラムとを含み、前記プロセッサは、前記コンピュータプログラムを実行することで請求項１～７のいずれか１項に記載の方法のステップを実現する、ことを特徴とするコンピュータ機器。
【請求項１０】
コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサにより実行されると、請求項１～７のいずれか１項に記載の方法のステップを実現する、ことを特徴とするコンピュータ読み取り可能な記憶媒体。

発明の詳細な説明【技術分野】
【０００１】
本出願は、眼位測定の技術分野に関し、特に三次元再構成に基づく眼位ずれ角度の測定方法及び装置に関する。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
斜視とは、患者の両眼が間欠的又は持続的に目標物を同時に注視することができない状態のことをいい、斜視状態になった片目の視線がもう片方の目で見たものに向くことができず、例えば、水平方向での内斜視や垂直方向での上下斜視がある。斜視は、よくみられる眼科疾患であり、人口の約３％～８％に影響を与え、その中で、子供の約３％に発生する。斜視現象が生じると、早期判定して介入するによる治すことができるが、診療が遅れると両眼で奥行きを感じることが困難になり、子供に深刻な心理発展障害をもたらす可能性がある。大人にとっても、斜視は、例えば、閲読能力に影響を与え、転倒リスクを増加させ、社交的な不安をもたらすなど、多くの問題を引き起こし、心身の健康に深刻な影響を与え、生活の質を大幅に低下させるため、斜視現象が生じると、早く測定して判定を行う必要がある。斜視度の測定は、主に眼位ずれ角度の測定であり、この後の斜視手術設計の支援、疾病タイプの診断と病状の推定などに大いに役立つ。現在広く応用されている眼位ずれ角度の測定方法は、主に、プリズム遮蔽テスト、ヒルシュベルグ法、視野検査法などがあるが、上記測定方法は、いずれも、ある程度で患者の高度な協力に依存し、そして検査者の主観的な要素の影響を受け、大きな偏差が現れることがあり、異なる検査者によって、取得した検査結果が一致しない状況が生じることもあり、客観的な一致性に欠ける。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところで、本出願の実施例は、眼位ずれ角度の測定の利便性及び測定精度を向上させる、三次元再構成に基づく眼位ずれ角度の測定方法及び装置を提供する。
【０００４】
第１の態様によれば、本出願は、三次元再構成に基づく眼位ずれ角度の測定方法を提供する。
【課題を解決するための手段】
【０００５】
本出願は、以下の技術的解決手段により実現される。
【０００６】
三次元再構成に基づく眼位ずれ角度の測定方法であって、
被測定者の顔のビデオストリーミング情報を収集し、前記ビデオストリーミング情報に基づいて前記被測定者の顔画像シーケンスを取得することと、
前記顔画像シーケンスを第１のニューラルネットワークに入力し、前記顔画像シーケンスの遮蔽状態を取得し、前記遮蔽状態に基づいて前記顔画像シーケンスのキーフレームの画像を決定することと、
前記キーフレームの画像を第２のニューラルネットワークに入力し、前記キーフレームの画像の特徴点ヒートマップを取得し、前記特徴点ヒートマップを顔特徴点座標に変換することと、
顔三次元モデルを構築し、前記顔特徴点座標及び前記顔三次元モデルに基づいて、前記顔特徴点座標と前記顔三次元モデルの投影座標との間の目的関数を取得し、前記目的関数に基づいて前記キーフレームの画像の顔特徴点座標に対応する頭部姿勢を得ることと、
前記キーフレームの画像から左眼と右眼の各々の１フレームの基準眼位画像を選択して眼球の位置を初期化し、前記頭部姿勢に基づいて、基準眼位の眼球回転角度を予め設定された角度に固定し、基準眼位画像における眼球の頭部座標系での基準三次元座標を求めることと、
前記基準三次元座標に基づいて、被測定画像における眼球の頭部座標系での三次元座標を固定し、前記被測定画像における眼球回転角度を求めて、前記眼球回転角度及び基準眼位の眼球回転角度に基づいて、前記被測定画像における眼球のずれ角度を得ることを含む。
【０００７】
本出願の好ましい例では、前記した、前記顔画像シーケンスを第１のニューラルネットワークに入力し、前記顔画像シーケンスの遮蔽状態を取得することは、
第１のニューラルネットワークを訓練することをさらに含み、具体的な訓練過程は、初期の第１のニューラルネットワークを構築し、顔画像シーケンスを収集するとともに、前記顔画像シーケンスの実際の遮蔽状態についてラベリングし、前記顔画像シーケンスにおける各フレームの画像を訓練画像として前記初期の第１のニューラルネットワークに順に入力し、前記訓練画像の予測遮蔽状態を取得し、前記予測遮蔽状態及び対応する実際の遮蔽状態に基づいて交差エントロピー損失関数を構築し、前記交差エントロピー損失関数に基づいて前記初期の第１のニューラルネットワークを監督訓練し、訓練済みのニューラルネットワークを前記第１のニューラルネットワークとして取得することであるように構成されてもよい。
【０００８】
本出願の好ましい例では、前記した、前記キーフレームの画像を第２のニューラルネットワークに入力し、前記キーフレームの画像の特徴点ヒートマップを得ることは、
第２のニューラルネットワークを訓練することをさらに含み、具体的な訓練過程は、初期の第２のニューラルネットワークを構築し、公開されたデータセットから顔画像を取得し、前記顔画像に実際の特徴点座標をマークし、前記実際の特徴点座標を実際の特徴点ヒートマップに変換させ、かつ、前記顔画像を初期の第２のニューラルネットワークに入力して、前記顔画像の予測される特徴点ヒートマップを取得し、前記実際の特徴点ヒートマップ及び前記予測される特徴点ヒートマップに基づいてＬ１損失関数を構築し、前記Ｌ１損失関数が収束するまで前記Ｌ１損失関数に基づいて前記初期の第２のニューラルネットワークを監督訓練し、訓練済みの初期の第２のニューラルネットワークを第２のニューラルネットワークとして取得することであるように構成されてもよい。
【０００９】
本出願の好ましい例では、前記した、前記基準三次元座標に基づいて、被測定画像における眼球の頭部座標系での三次元座標を固定し、前記被測定画像における眼球回転角度を求めることは、被測定画像における眼球の頭部座標系での三次元座標を固定し、虹彩特徴点と虹彩モデルの投影点との間の目的関数を構築し、反復最適化により前記被測定画像の眼球回転角度を求めることをさらに含むように構成されてもよい。
【００１０】
本出願の好ましい例では、前記した、基準眼位の眼球回転角度を予め設定された角度に固定することについて、前記予め設定された角度は、０度に設定されるように構成されてもよい。
（【００１１】以降は省略されています）

関連特許