特許ウォッチ

公開番号2024095516
公報種別公開特許公報(A)
公開日2024-07-10
出願番号2023153679
出願日2023-09-20
発明の名称視線推定に基づく視線差測定方法及び装置
出願人中山大学中山眼科中心,清華大学,TSINGHUA UNIVERSITY
代理人SK弁理士法人,個人,個人
主分類G06T 7/00 20170101AFI20240703BHJP(計算;計数)
要約【課題】測定コストを削減し、測定精度を高めた視線差測定方法及び装置を提供する。
【解決手段】視線差測定方法は、被検者が視標を注視するときのビデオデータを取得し、ビデオデータから顔画像シーケンスを取得することと、該顔画像シーケンスを第1のニューラルネットワークに入力してキーフレーム抽出を行い、第1眼位顔画像及び第2眼位顔画像を取得し、これらを第2のニューラルネットワークに入力して顔特徴点抽出を行い、顔特徴点座標に基づいてトリミングを行い、第1眼部領域画像及び第2眼部領域画像を得ることと、公開データセットにおける眼部領域画像セットを利用して視線差分推定ネットワークを訓練し、訓練済みの視線差分推定ネットワークを得ることと、第1眼部領域画像及び第2眼部領域画像を訓練済みの視線差分推定ネットワークに入力して、第1眼部領域画像と第2眼部領域画像との間の予測視線差を得ることと、を含む。
【選択図】図1
特許請求の範囲【請求項１】
視線推定に基づく視線差測定方法であって、
被検者が視標を注視するときのビデオデータを取得し、前記ビデオデータに基づいて前記被検者の顔画像シーケンスを取得することと、
前記顔画像シーケンスを第１のニューラルネットワークに入力してキーフレーム抽出を行い、第１眼位顔画像及び第２眼位顔画像を得ることと、
前記第１眼位顔画像及び前記第２眼位顔画像を第２のニューラルネットワークにそれぞれ入力して顔特徴点抽出を行い、第１顔特徴点座標及び第２顔特徴点座標を取得し、前記第１顔特徴点座標及び前記第２顔特徴点座標に基づいてトリミングを行い、第１眼部領域画像及び第２眼部領域画像を得ることと、
公開データセットにおける眼部領域画像セットを利用して視線差分推定ネットワークを訓練し、訓練済みの視線差分推定ネットワークを得ることと、
前記第１眼部領域画像及び前記第２眼部領域画像を訓練済みの視線差分推定ネットワークに入力して、前記第１眼部領域画像と前記第２眼部領域画像との間の予測視線差を得ることと、を含む、ことを特徴とする視線推定に基づく視線差測定方法。
続きを表示（約 2,200 文字）【請求項２】
前記した、前記第１眼部領域画像及び前記第２眼部領域画像を訓練済みの視線差分推定ネットワークに入力することの前に、
前記第１眼部領域画像と前記第２眼部領域画像とをスティッチングしてスティッチングした画像を取得し、前記スティッチングした画像を前記訓練済みの視線差分推定ネットワークに入力し、前記スティッチングした画像の予測視線差を得ることをさらに含む、ことを特徴とする請求項１に記載の視線推定に基づく視線差測定方法。
【請求項３】
前記した、前記第１顔特徴点座標及び前記第２顔特徴点座標に基づいてトリミングを行い、第１眼部領域画像及び第２眼部領域画像を得ることは、
前記第１顔特徴点座標及び前記第２顔特徴点座標に基づいて眼部特徴点の重心及び軸平行バウンディングボックスを決定し、前記重心をトリミング中心とし、前記軸平行バウンディングボックスをトリミング領域のサイズとし、前記第１眼位顔画像及び前記第２眼位顔画像をトリミングして、前記第１眼位顔画像に対応する第１眼部領域画像及び前記第２眼位顔画像に対応する第２眼部領域画像を得ることを含む、ことを特徴とする請求項１に記載の視線推定に基づく視線差測定方法。
【請求項４】
前記した、公開データセットにおける眼部領域画像セットを利用して視線差分推定ネットワークを訓練し、訓練済みの視線差分推定ネットワークを得ることは、
公開データセットから眼部領域画像セットを取得し、前記眼部領域画像セットから２つの訓練画像を選択し、２つの前記訓練画像の視線方向ラベルに基づいて真の視線差を得て、２つの前記訓練画像を視線差分推定ネットワークに入力し、２つの前記訓練画像の予測視線差を得て、前記真の視線差及び前記予測視線差に基づいて損失関数を構築し、前記損失関数に基づいて前記視線差分推定ネットワークのパラメータを最適化し、前記損失関数が収束するまで前記最適化のステップを反復して、訓練済みの視線差分推定ネットワークを得ることを含む、ことを特徴とする請求項１に記載の視線推定に基づく視線差測定方法。
【請求項５】
前記した、前記損失関数に基づいて前記視線差分推定ネットワークのパラメータを最適化することは、
適応モーメント推定方法に基づいて前記視線差分推定ネットワークのパラメータを最適化することをさらに含む、ことを特徴とする請求項４に記載の視線推定に基づく視線差測定方法。
【請求項６】
前記視線差分推定ネットワークは、特徴抽出モジュールと差分推定モジュールとを含み、前記特徴抽出モジュールの出力端子が前記差分推定モジュールの入力端子に接続され、前記特徴抽出モジュールは、前記視線差分推定ネットワークに入力された眼部領域画像に対して特徴抽出を行い、前記眼部領域画像の視線差分特徴を出力し、前記差分推定モジュールは、前記特徴抽出モジュールから入力された視線差分特徴に対して差分推定を行い、前記眼部領域画像の予測視線差を得る、ことを特徴とする請求項１に記載の視線推定に基づく視線差測定方法。
【請求項７】
視線推定に基づく視線差測定装置であって、
被検者が視標を注視するときのビデオデータを取得し、前記ビデオデータに基づいて前記被検者の顔画像シーケンスを取得するデータ取得モジュールと、
前記顔画像シーケンスを第１のニューラルネットワークに入力してキーフレーム抽出を行い、第１眼位顔画像及び第２眼位顔画像を得るキーフレーム抽出モジュールと、
前記第１眼位顔画像及び前記第２眼位顔画像を第２のニューラルネットワークにそれぞれ入力して顔特徴点抽出を行い、第１顔特徴点座標及び第２顔特徴点座標を取得し、前記第１顔特徴点座標及び前記第２顔特徴点座標に基づいてトリミングを行い、第１眼部領域画像及び第２眼部領域画像を得る眼部トリミングモジュールと、
公開データセットにおける眼部領域画像セットを利用して視線差分推定ネットワークを訓練し、訓練済みの視線差分推定ネットワークを得る差分ネットワーク訓練モジュールと、
前記第１眼部領域画像及び前記第２眼部領域画像を訓練済みの視線差分推定ネットワークに入力して、前記第１眼部領域画像と前記第２眼部領域画像との間の予測視線差を得る視線差測定モジュールと、を備える、ことを特徴とする視線差測定装置。
【請求項８】
視線推定に基づく視線差測定装置であって、
前記第１眼部領域画像と前記第２眼部領域画像とをスティッチングしてスティッチングした画像を得る画像スティッチングモジュールをさらに含む、ことを特徴とする視線差測定装置。
【請求項９】
メモリと、プロセッサと、メモリに記憶されたコンピュータプログラムと、を含み、前記プロセッサは、前記コンピュータプログラムを実行することで、請求項１～６のいずれか１項に記載の方法のステップを実現する、ことを特徴とするコンピュータ機器。
【請求項１０】
プロセッサによって実行されると、請求項１～６のいずれか１項に記載の方法のステップを実現するコンピュータプログラムが記憶されている、ことを特徴とするコンピュータ読み取り可能な記憶媒体。

発明の詳細な説明【技術分野】
【０００１】
本願は、視線追跡の技術分野に関し、特に視線推定に基づく視線差測定方法及び装置に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
視線差の正確な測定は、斜視手術の設計、疾患の種類の診断や病状の推定などの支援に大きく寄与する。斜視は現在、世界中の児童の中で発病率が最も高い眼病の１つである。児童は、視覚発達の肝心な段階にあり、斜視の発症は生涯にわたる視力発達に影響する可能性があり、措置を講じて適時に矯正されなければ、深刻な場合、視野の一部を永久に失うことになりかねない。現在、視線差の測定は、主に専門の検査員が懐中電灯の光を利用して、従来のプリズムと交互遮蔽法を組み合わせて測定されているが、児童の場合、従来の測定方法に協力することが難しく、測定された度数に大きな誤差が生じてしまう。また、ヒルシュベルグ法による画像画素数計算方法のような、ＶＲ、アイトラッカー及びディスプレイなどの特殊な装置を利用して測定する新型視線差測定方法が徐々に登場しているが、技術はまだ未熟で、操作が難しく、また、測定コストも高い。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
そこで、本願の実施例は、操作性に優れており、計算コストを削減し、視線差の測定精度を向上させた視線推定に基づく視線差測定方法を提供する。
【課題を解決するための手段】
【０００４】
第１態様では、本願は、視線推定に基づく視線差測定方法を提供する。
【０００５】
本願は、以下の技術的解決手段により実現される。
【０００６】
視線推定に基づく視線差測定方法であって、
被検者が視標を注視するときのビデオデータを取得し、前記ビデオデータに基づいて前記被検者の顔画像シーケンスを取得することと、
前記顔画像シーケンスを第１のニューラルネットワークに入力してキーフレーム抽出を行い、第１眼位顔画像及び第２眼位顔画像を得ることと、
前記第１眼位顔画像及び第２眼位顔画像をそれぞれ第２のニューラルネットワークに入力して顔特徴点抽出を行い、第１顔特徴点座標及び第２顔特徴点座標を取得し、前記第１顔特徴点座標及び前記第２顔特徴点座標に基づいてトリミングを行い、第１眼部領域画像及び第２眼部領域画像を得ることと、
公開データセットにおける眼部領域画像セットを利用して視線差分推定ネットワークを訓練し、訓練済みの視線差分推定ネットワークを得ることと、
前記第１眼部領域画像及び前記第２眼部領域画像を訓練済みの視線差分推定ネットワークに入力して、前記第１眼部領域画像と前記第２眼部領域画像との間の予測視線差を得ることと、を含む。
【０００７】
本願の好ましい例では、前記した、前記第１眼部領域画像及び前記第２眼部領域画像を訓練済みの視線差分推定ネットワークに入力することの前に、
前記第１眼部領域画像と前記第２眼部領域画像とをスティッチングしてスティッチングした画像を取得し、前記スティッチングした画像を前記訓練済みの視線差分推定ネットワークに入力し、前記スティッチングした画像の予測視線差を得ることをさらに含むように構成されてもよい。
【０００８】
本願の好ましい例では、前記した、前記第１顔特徴点座標及び前記第２顔特徴点座標に基づいてトリミングを行い、第１眼部領域画像及び第２眼部領域画像を得ることは、
前記第１顔特徴点座標及び前記第２顔特徴点座標に基づいて眼部特徴点の重心及び軸平行バウンディングボックス（Axis-Aligned Bounding Box）を決定し、前記重心をトリミング中心とし、前記軸平行バウンディングボックスをトリミング領域のサイズとし、前記第１眼位顔画像及び前記第２眼位顔画像をトリミングして、前記第１眼位顔画像に対応する第１眼部領域画像及び前記第２眼位顔画像に対応する第２眼部領域画像を得ることをさらに含むように構成されてもよい。
【０００９】
本願の好ましい例では、前記公開データセットにおける眼部領域画像セットを利用して視線差分推定ネットワークを訓練し、訓練済みの視線差分推定ネットワークを得ることは、
公開データセットから眼部領域画像セットを取得し、前記眼部領域画像セットから２つの訓練画像を選択し、２つの前記訓練画像の視線方向ラベルに基づいて真の視線差を得て、２つの前記訓練画像を視線差分推定ネットワークに入力し、２つの前記訓練画像の予測視線差を得て、前記真の視線差及び前記予測視線差に基づいて損失関数を構築し、前記損失関数に基づいて前記視線差分推定ネットワークのパラメータを最適化し、前記損失関数が収束するまで前記最適化のステップを反復して、訓練済みの視線差分推定ネットワークを得ることをさらに含むように構成されてもよい。
【００１０】
本願の好ましい例では、前記した、前記損失関数に基づいて前記視線差分推定ネットワークのパラメータを最適化することは、
適応モーメント推定方法に基づいて前記視線差分推定ネットワークのパラメータを最適化することをさらに含むように構成されてもよい。
（【００１１】以降は省略されています）

関連特許