特許ウォッチ

公開番号2025027566
公報種別公開特許公報(A)
公開日2025-02-28
出願番号2023132422
出願日2023-08-16
発明の名称視線追跡システム、視線追跡方法、および視線追跡プログラム
出願人JFEエンジニアリング株式会社,株式会社XMAT
代理人弁理士法人酒井国際特許事務所
主分類G06T 19/00 20110101AFI20250220BHJP(計算;計数)
要約【課題】種々の作業者が注目する部分の注目度を、高い実感度で確認する視線追跡システム、視線追跡方法及び視線追跡プログラムを提供する。
【解決手段】視線追跡システムによる視線追跡方法は、熟練者などのユーザが視聴操作端末を装着して、機械設備などの実体物である観測対象に対して検査作業を行い視線情報を取得し、観測対象を検査して必要であると考える個所に対して、検査し注視を行うユーザの視線を追跡する視線追跡処理を開始し、視線データの作成準備である視点確認処理を開始し、教育者である熟練者が、視聴操作端末を装着して、観測対象または観測対象の3次元オブジェクトを観察して点検や検査を行い視線データを作成し、視線データを記憶部の視線情報データベースに格納する。
【選択図】図3
特許請求の範囲【請求項１】
ユーザの視線を追跡する視線追跡システムであって、
前記ユーザの視線情報を取得し、取得した当該視線情報を用いて前記ユーザが注目している少なくとも１つの領域と前記領域に対する注目度を導出し、導出結果を前記ユーザが視認している観測対象または所定の撮像手段によって撮像された前記観測対象の画像に重畳させる
視線追跡システム。
続きを表示（約 1,200 文字）【請求項２】
前記視線情報は、所定の原点に対して設定された３次元空間において前記対象物の表面に規定された３次元メッシュと、前記ユーザの視線または前記撮像手段による撮像方向との交点座標に基づいて生成される情報である
請求項１に記載の視線追跡システム。
【請求項３】
前記観測対象は、実空間における実オブジェクト、または仮想的に生成された観測対象オブジェクトであり、
前記交点座標は、前記実体物の表面または前記観測対象オブジェクトにおける外面部分の位置座標を基準として設定される
請求項２に記載の視線追跡システム。
【請求項４】
前記視線情報は、前記ユーザの視線もしくは前記撮像手段による撮像が滞留した時間、または前記ユーザの視線が向いた、もしくは前記撮像手段による撮像が行われた回数の情報を含む
請求項１に記載の視線追跡システム。
【請求項５】
前記導出結果における、前記対象物または前記対象物の画像への重畳を、導出結果オブジェクトを用いて行う
請求項１に記載の視線追跡システム。
【請求項６】
前記導出結果オブジェクトは、色、形状、または大きさによって前記導出結果を表現する
請求項５に記載の視線追跡システム。
【請求項７】
前記視線情報または前記導出結果オブジェクトが、異なる複数の端末によってアクセス可能な記憶部に格納されて、前記複数の端末において即時または適時に共有可能に構成される
請求項５または６に記載の視線追跡システム。
【請求項８】
前記視線情報とあらかじめ生成された教育情報とに基づいて前記視線情報を評価し、
前記評価によって導出された評価結果を前記ユーザに通知する
請求項１に記載の視線追跡システム。
【請求項９】
ハードウェアを有するプロセッサが実行する視線追跡方法であって、
ユーザの視線を追跡する前記ユーザの視線情報を取得し、
取得した当該視線情報を用いて前記ユーザが注目している少なくとも１つの領域と前記領域に対する注目度を導出し、
導出結果を前記ユーザが視認している対象物または所定の撮像手段によって撮像された前記対象物の画像に重畳させる
視線追跡方法。
【請求項１０】
ハードウェアを有するプロセッサに、
ユーザの視線を追跡することによって前記ユーザの視線情報を取得し、
取得した当該視線情報を用いて前記ユーザが注目している少なくとも１つの領域と前記領域に対する注目度を導出し、
導出結果を前記ユーザが視認している対象物または所定の撮像手段によって撮像された前記対象物の画像に重畳させる
ことを実行させる視線追跡プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、視線追跡システム、視線追跡方法、および視線追跡プログラムに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
特許文献１には、左右方向の撮影位置を変えて対象物を撮影することで得られた複数の参照画像を記憶した参照画像データベースと、アイトラッキング装置から入力されたシーン画像の特徴点を抽出した後、参照画像データベースに記憶している参照画像ごとに、シーン画像と参照画像の特徴点を利用して、シーン画像の特徴点と参照画像の特徴点とを対応付けすることで、シーン画像と参照画像間における対応点を探索する処理を行い、対応点の探索結果に基づいて参照画像を選択する対応点探索手段と、対応点探索手段が選択した参照画像にかかる対応点を用いて、注視点を対象物の基準画像上の座標に変換する処理を行う注視点変換手段を備える注視点変換装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１４－１８６７２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した従来の構成においては、視線解析結果を情報処理装置の表示部に表示させて確認する必要があった。例えば、対象物を手に取って検査する熟練者の視線を追跡した結果の情報を情報処理装置の表示部に表示させて未熟練者が視聴しても、注視すべき視点ポイントが表示された映像を眺めるに過ぎないという制約があった。この場合、未熟練者などの教育対象者は、所定の技術における熟練者の技能に関する知識を映像や画像から得ることはできる一方、追体験の実感度を向上させることが困難であった。そのため、従来の視線追跡を用いた技術では、未熟練者などの教育対象者において臨場感が低く、技能に関する教育効果が限定されるという問題があった。そこで、例えば熟練者である教育者などのユーザや、未熟練者である教育対象者などの種々のユーザが注目する部分の注目度を、高い実感度で確認できる技術が求められていた。
【０００５】
本発明は、上記に鑑みてなされたものであって、その目的は、種々のユーザが注目する部分の注目度を、高い実感度で確認することができる視線追跡システム、視線追跡方法、および視線追跡プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、上記目的を達成するために、本発明に係る視線追跡システムは、ユーザの視線を追跡する視線追跡システムであって、前記ユーザの視線情報を取得し、取得した当該視線情報を用いて前記ユーザが注目している少なくとも１つの領域と前記領域に対する注目度を導出し、導出結果を前記ユーザが視認している観測対象または所定の撮像手段によって撮像された前記観測対象の画像に重畳させる。
【０００７】
本発明の一態様に係る視線追跡システムは、上記の発明において、前記視線情報は、所定の原点に対して設定された３次元空間において前記対象物の表面に規定された３次元メッシュと、前記ユーザの視線または前記撮像手段による撮像方向との交点座標に基づいて生成される情報である。
【０００８】
本発明の一態様に係る視線追跡システムは、上記の発明において、前記観測対象は、実空間における実オブジェクト、または仮想的に生成された観測対象オブジェクトであり、前記交点座標は、前記実体物の表面または前記観測対象オブジェクトにおける外面部分の位置座標を基準として設定される。
【０００９】
本発明の一態様に係る視線追跡システムは、上記の発明において、前記視線情報は、前記ユーザの視線もしくは前記撮像手段による撮像が滞留した時間、または前記ユーザの視線が向いた、もしくは前記撮像手段による撮像が行われた回数の情報を含む。
【００１０】
本発明の一態様に係る視線追跡システムは、上記の発明において、前記導出結果における、前記対象物または前記対象物の画像への重畳を、導出結果オブジェクトを用いて行う。
（【００１１】以降は省略されています）

関連特許