特許ウォッチ

公開番号2025120729
公報種別公開特許公報(A)
公開日2025-08-18
出願番号2024015769
出願日2024-02-05
発明の名称視線領域特定方法、および視線領域特定システム
出願人独立行政法人国立高等専門学校機構
代理人個人,個人,個人
主分類G06F 3/0346 20130101AFI20250808BHJP(計算;計数)
要約【課題】広範な対象で利用できる使用者の視線を特定する視線領域特定方法及びシステムを提供する。
【解決手段】視線領域特定システム10において、電子計算機6は、使用者91の顔全体を撮像し撮像データを取得する撮像手段21と、撮像データを、予め作成された視線領域予測の学習済みモデルに入力して、使用者の視線領域を特定する特定部と、を有する。予め作成された視線領域の学習済みモデルは、複数の注視座標点の情報を有する顔全体を含む画像を学習用データとして、学習用データから顔領域を検出し、顔領域に対して畳み込みニューラルネットワークを用いて機械学習を行い作成されたものである。撮像手段21は、使用者91の前方に配置され、学習用データの注視座標点の情報が、使用者91の視界に対して少なくとも左右にそれぞれ30度以上となるように配置された複数の注視座標点を用いる。
【選択図】図1
特許請求の範囲【請求項１】
使用者の顔全体を撮像手段で撮像し撮像データを取得する撮像工程と、
前記撮像データを、予め作成された視線領域予測の学習済みモデルに入力して、前記使用者の視線領域を特定する特定工程と、を有し、
前記予め作成された視線領域の学習済みモデルが、注視座標点の情報を有する顔全体を含む画像を学習用データとして、前記学習用データから顔領域を検出し、前記顔領域に対して畳み込みニューラルネットワークを用いて機械学習を行い作成されたものであり、
前記撮像手段が、前記使用者の前方に配置されたものであり、
前記学習用データの前記注視座標点の情報が、前記使用者の視界に対して少なくとも左右にそれぞれ３０度以上となるように配置された複数の注視座標点を用いたものである、視線領域特定方法。
続きを表示（約 800 文字）【請求項２】
前記複数の注視座標点が、少なくとも左右方向に５点以上、上下方向に５点以上の行列を構成し、それぞれの隣接する注視座標点間の距離が１５ｃｍ以上となるように配置されたものである、請求項１に記載の視線領域特定方法。
【請求項３】
前記特定工程で特定される前記使用者の視線領域が、推定確率が上位の複数の視線領域の候補について、加重重心を求めて特定されたものである、請求項１に記載の視線領域特定方法。
【請求項４】
前記撮像する工程の撮像データが、前記使用者の顔全体を、所定の時間ごとに連続的に複数回撮像した複数の撮像データを含む連続撮像データであり、
前記特定工程により、前記連続撮像データのそれぞれの撮像データについて視線領域を特定し、
前記連続撮像データに基づいて特定されたそれぞれの前記視線領域を、移動平均処理したものを、前記所定の時間の平均視線領域とする時間平均化処理工程を有する、請求項１に記載の視線領域特定方法。
【請求項５】
使用者の顔全体を撮像し撮像データを取得する撮像手段と、
前記撮像データを、予め作成された視線領域予測の学習済みモデルに入力して、前記使用者の視線領域を特定する特定部と、を有し、
前記予め作成された視線領域の学習済みモデルが、複数の注視座標点の情報を有する顔全体を含む画像を学習用データとして、前記学習用データから顔領域を検出し、前記顔領域に対して畳み込みニューラルネットワークを用いて機械学習を行い作成されたものであり、
前記撮像手段が、前記使用者の前方に配置されたものであり、
前記学習用データの前記注視座標点の情報が、前記使用者の視界に対して少なくとも左右にそれぞれ３０度以上となるように配置された複数の注視座標点を用いたものである、視線領域特定システム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、使用者の視線を特定する視線領域特定方法に関する。また、本発明は視線領域特定システムに関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
視線の推定に関しては数多くの手法（非特許文献１、非特許文献２）が提案されており、その成果は様々な分野に利用されている。一例として、発話が困難な脳血管障害者や筋萎縮性側索硬化症患者の意思表示を目的とした視線領域特定装置がある（非特許文献３）。視線で画面上のアイコンを選択したり、文字を入力したりすることで文章を書いて読み上げるなどの機能を備えており、意思や気持ちの伝達が可能になるため、生活の質が改善されることが期待されている。
【０００３】
特許文献１は、眼球信号のためのシステム等に関して、以下のような技術を開示している。主に眼球運動に基づいてデバイス着用者の意図を識別するためのシステムおよび方法が提供される。当該システムは、アイトラッキングを実行して画面表示を制御する邪魔にならないヘッドウェア内に含まれてもよい。当該システムは、リモートアイトラッキングカメラ、リモートディスプレイおよび／または他の補助的な入力も利用してもよい。画面レイアウトは、高速眼球信号の形成および確実な検出を容易にするように最適化される。眼球信号の検出は、デバイス着用者による自発的な制御下にある生理学的な眼球運動の追跡に基づく。眼球信号の検出は、ウェアラブルコンピューティングおよび幅広いディスプレイデバイスに適合する動作をもたらす。
【０００４】
特許文献２は、人物の顔を含む画像を取得する画像取得部と、前記人物の目を含む部分画像を前記画像から抽出する画像抽出部と、視線方向を推定するための機械学習を行った学習済みの学習器に前記部分画像を入力することで、前記人物の視線方向を示す視線情報を当該学習器から取得する推定部と、を備える、人物の視線方向を推定するための情報処理装置を開示している。
【０００５】
特許文献３は、オペレータの視線の変化に応じた眼球の変位量を検出する眼球変位量検出手段と、眼球変位量検出手段からの変位量検出出力を受け取って所定の時間分の当該眼球変位量を平滑化する信号平滑手段と、信号平滑手段からの眼球変位量平滑出力を受け取り、表示画面上の座標との対応づけを学習，認識するニューラルネットワークとを備えたことを特徴とする視線認識装置を開示している。
【０００６】
特許文献４は、電子計算機への入力情報が表示された画面を見ている使用者の顔全体を、前記画面を有する表示部の周囲に固定された撮像手段で撮像し撮像データを取得する撮像工程と、前記撮像データを、予め作成された視線領域予測の学習済みモデルに入力して、前記使用者の視線領域を特定する特定工程と、を有し、前記予め作成された視線領域の学習済みモデルが、注視座標点の情報を有する顔全体を含む画像を学習用データとして、前記学習用データから顔領域を検出し、前記顔領域の畳み込みニューラルネットワークに対して機械学習して作成したものである、視線領域特定方法等を開示している。
【先行技術文献】
【特許文献】
【０００７】
特表２０１７－５２６０７８号公報
特開２０１９－２８８４３号公報
特開平５－４６３０９号公報
特許第７２９６０６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１～３に開示されているように、視線領域の特定や、それによる入力・操作などを行うにあたっては、一般的には、使用者の目を撮影した情報に注目した処理が行われている。目の情報に頼ると、小さい領域の解像度が高い撮影像が必要となる。特に、目の大きさはヒトによって異なるし、さらに、いわゆる白目や黒目の位置関係に着目するにあたってもこれらの大きさもヒトによって異なる。
【０００９】
さらに、黒目においても角膜内の瞳孔と虹彩のように色調の区別が難しい部分を特定しないと視線の特定ができず、より高解像度の撮影像が必要となる。このような目を中心に視線を特定しようとすると、カメラの仕様も重要となり、その撮像したデータの画像処理の負荷も大きい。また、視線領域の特定にあたっては、個人差も生じるため、操作を開始する前にキャリブレーションも必要となる。
【００１０】
しかし、視線領域特定装置は、そもそも意思表示や複雑な操作が難しい重度の重複障害等を有する特別支援学校の児童などで利用することが求められている場合がある。このような児童などに繰り返し複数回の高度な処理を求めるキャリブレーション処理などは難しい場合がある。
（【００１１】以降は省略されています）

関連特許