TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2024162431
公報種別公開特許公報(A)
公開日2024-11-21
出願番号2023077924
出願日2023-05-10
発明の名称学習モデル生成プログラム、情報処理装置及び学習モデル生成方法
出願人国立大学法人 東京大学
代理人弁理士法人フィールズ国際特許事務所
主分類G06T 7/00 20170101AFI20241114BHJP(計算;計数)
要約【課題】視線推定に用いる学習モデルの汎化性能を向上させることを可能とする学習モデル生成プログラム、情報処理装置及び学習モデル生成方法を提供する。
【解決手段】第1カメラによって人物の頭部を撮影した第1対象画像データと、第2カメラによって人物の頭部を撮影した第1参照画像データとから、第1カメラについて正規化処理が行われた第1仮想カメラと第2カメラについて正規化処理が行われた第2仮想カメラとの間における相対的な回転角度に対応する第1回転行列を特定し、第1対象画像データと、第1参照画像データと、第1回転行列と、人物の視線方向を示す第1視線情報とを含む教師データを生成し、生成した教師データを学習することによって学習モデルを生成する。
【選択図】図5
特許請求の範囲【請求項1】
第1カメラによって人物の頭部を撮影した第1対象画像データと、第2カメラによって前記頭部を撮影した第1参照画像データとから、前記第1カメラについて正規化処理が行われた第1仮想カメラと前記第2カメラについて正規化処理が行われた第2仮想カメラとの間における相対的な回転角度に対応する第1回転行列を特定し、
前記第1対象画像データと、前記第1参照画像データと、前記第1回転行列と、前記人物の視線方向を示す第1視線情報とを含む教師データを生成し、
生成した前記教師データを学習することによって学習モデルを生成する、
処理をコンピュータに実行させることを特徴とする学習モデル生成プログラム。
続きを表示(約 2,300 文字)【請求項2】
請求項1において、
第3カメラによって前記頭部を撮影した第2対象画像データと、第4カメラによって前記頭部を撮影した第2参照画像データとから、前記第3カメラについて正規化処理が行われた第3仮想カメラと前記第4カメラについて正規化処理が行われた第4仮想カメラとの間における相対的な回転角度に対応する第2回転行列とを算出し、
前記第2対象画像データと、前記第2参照画像データと、前記第2回転行列とを前記学習モデルに入力し、
前記学習モデルから出力された第2視線情報を取得し、
取得した前記第2視線情報を出力する、
ことを特徴とする学習モデル生成プログラム。
【請求項3】
請求項2において、
前記学習モデルは、第1対象モジュールと、第2対象モジュールと、第3対象モジュールと、第4対象モジュールと、第1参照モジュールと、第2参照モジュールと、第3参照モジュールと、第4参照モジュールと、を有し、
前記第1対象モジュールは、前記第2対象画像データに映る前記頭部に対応する第1対象特徴量を抽出し、
前記第1参照モジュールは、前記第2参照画像データに映る前記頭部に対応する第1参照特徴量を抽出し、
前記第2対象モジュールは、前記第1対象モジュールによって抽出された前記第1対象特徴量から、前記第3参照モジュールにおいて用いられる回転可能な第2対象特徴量を抽出し、
前記第2参照モジュールは、前記第1参照モジュールによって抽出された前記第1参照特徴量から、前記第3対象モジュールにおいて用いられる回転可能な第2参照特徴量を抽出し、
前記第3対象モジュールは、前記第1対象特徴量と、前記第1回転行列と、前記第2参照モジュールによって抽出された前記第2参照特徴量とを用いて、前記第2対象特徴量を更新し、
前記第3参照モジュールは、前記第1参照特徴量と、前記第1回転行列と、前記第2対象モジュールによって抽出された前記第2対象特徴量とを用いて、前記第2参照特徴量を更新し、前記第4対象モジュールは、前記第1対象特徴量と、前記第3対象モジュールによって更新された前記第2対象特徴量とを用いて、前記第2対象画像データに映る前記人物の視線方向を示す対象視線情報を推定し、
前記第4参照モジュールは、前記第2参照特徴量と、前記第3参照モジュールによって更新された前記第2参照特徴量とを用いて、前記第2参照画像データに映る前記人物の視線方向を示す参照視線情報を推定する、
ことを特徴とする学習モデル生成プログラム。
【請求項4】
請求項3において、
前記取得する処理では、前記第4対象モジュールによって推定された前記対象視線情報を前記第2視線情報として取得する、
ことを特徴とする学習モデル生成プログラム。
【請求項5】
請求項3において、
前記学習モデルは、
前記第1対象特徴量と、前記第1回転行列と、前記第3参照モジュールによって抽出された前記第2参照特徴量とを用いて、前記第2対象特徴量をさらに更新する第5対象モジュールと、
前記第1参照特徴量と、前記第1回転行列と、前記第3対象モジュールによって抽出された前記第2対象特徴量とを用いて、前記第2参照特徴量をさらに更新する第5参照モジュールと、
前記第1対象特徴量と、前記第5対象モジュールによって更新された前記第2対象特徴量とを用いて、前記対象視線情報を更新する第6対象モジュールと、
前記第1参照特徴量と、前記第5参照モジュールによって更新された前記第2参照特徴量とを用いて、前記参照視線情報を推定する第6参照モジュールと、を有する、
ことを特徴とする学習モデル生成プログラム。
【請求項6】
請求項5において、
前記取得する処理では、前記第6対象モジュールによって更新された前記対象視線情報を前記第2視線情報として取得する、
ことを特徴とする学習モデル生成プログラム。
【請求項7】
第1カメラによって人物の頭部を撮影した第1対象画像データと、第2カメラによって前記頭部を撮影した第1参照画像データとから、前記第1カメラについて正規化処理が行われた第1仮想カメラと前記第2カメラについて正規化処理が行われた第2仮想カメラとの間における相対的な回転角度に対応する第1回転行列を特定する行列特定部と、
前記第1対象画像データと、前記第1参照画像データと、前記第1回転行列と、前記人物の視線方向を示す第1視線情報とを含む教師データを生成するデータ生成部と、
生成した前記教師データを学習することによって学習モデルを生成するモデル生成部と、を有する、
ことを特徴とする情報処理装置。
【請求項8】
第1カメラによって人物の頭部を撮影した第1対象画像データと、第2カメラによって前記頭部を撮影した第1参照画像データとから、前記第1カメラについて正規化処理が行われた第1仮想カメラと前記第2カメラについて正規化処理が行われた第2仮想カメラとの間における相対的な回転角度に対応する第1回転行列を特定し、
前記第1対象画像データと、前記第1参照画像データと、前記第1回転行列と、前記人物の視線方向を示す第1視線情報とを含む教師データを生成し、
生成した前記教師データを学習することによって学習モデルを生成する、
処理をコンピュータが実行することを特徴とする学習モデル生成方法。

発明の詳細な説明【技術分野】
【0001】
本発明は、学習モデル生成プログラム、情報処理装置及び学習モデル生成方法に関する。
続きを表示(約 1,500 文字)【背景技術】
【0002】
例えば、対象者(人物)の頭部が映る画像データを用いることによって、対象者の視線方向を推定する技術(以下、単に視線推定技術とも呼ぶ)がある。このような技術では、例えば、対象者の目が映る画像データを学習済の学習モデル(以下、単に学習モデルとも呼ぶ)に入力することによって、対象者の視線方向の推定を行う(特許文献1、特許文献2及び非特許文献1を参照)。
【先行技術文献】
【特許文献】
【0003】
特開2022-187546号公報
特開2022-187547号公報
【非特許文献】
【0004】
X. Zhang, Y. Sugano, and A. Bulling, “Revisiting data normalization for appearance-based gaze estimation,” in ETRA, 2018.
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、上記のような学習モデルは、例えば、画像データに映る対象者の頭部の向きによって、対象者の視線方向を精度良く推定することができない場合がある。具体的に、例えば、画像データに映る対象者の頭部の向きが学習時において学習されていない向きである場合、学習モデルは、対象者の視線方向を精度良く推定することができない場合がある。すなわち、上記のような視線推定技術では、例えば、汎化性能の高い学習モデルを生成することができない場合がある。
【0006】
この点、例えば、様々な配置位置の複数のカメラ(撮影装置)によって撮影された複数の画像データを用いて学習モデルの生成を行うことにより、学習モデルの汎化性能を向上させることが可能になる。
【0007】
しかしながら、この場合、例えば、カメラの組合せごとに教師データを生成する必要が生じ、学習モデルの生成に要する作業負担が増大する。そのため、上記のような視線推定技術では、例えば、学習モデルの生成に要する作業負担を抑制しつつ、学習モデルの汎化性能を向上させることが可能な方法が望まれている。
【0008】
そこで、本発明の目的は、視線推定に用いる学習モデルの汎化性能を向上させることを可能とする学習モデル生成プログラム、情報処理装置及び学習モデル生成方法を提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するための本発明における学習モデル生成プログラムは、第1カメラによって人物の頭部を撮影した第1対象画像データと、第2カメラによって前記頭部を撮影した第1参照画像データとから、前記第1カメラについて正規化処理が行われた第1仮想カメラと前記第2カメラについて正規化処理が行われた第2仮想カメラとの間における相対的な回転角度に対応する第1回転行列を特定し、前記第1対象画像データと、前記第1参照画像データと、前記第1回転行列と、前記人物の視線方向を示す第1視線情報とを含む教師データを生成し、生成した前記教師データを学習することによって学習モデルを生成する、処理をコンピュータに実行させる。
【発明の効果】
【0010】
本発明における学習モデル生成プログラム、情報処理装置及び学習モデル生成方法によれば、視線推定に用いる学習モデルの汎化性能を向上させることが可能になる。
【図面の簡単な説明】
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する
Flag Counter

関連特許

国立大学法人 東京大学
情報処理装置、制御装置、及びプログラム
5日前
国立大学法人 東京大学
プログラム、情報処理システム、及び情報処理方法
5日前
日本電信電話株式会社
配送計画装置、配送計画方法およびプログラム
5日前
日本電信電話株式会社
配送計画装置、配送計画方法およびプログラム
5日前
国立大学法人 東京大学
体臭原因物質分泌抑制剤
7日前
プライムプラネットエナジー&ソリューションズ株式会社
電池材料の製造方法
5日前
プライムプラネットエナジー&ソリューションズ株式会社
電池材料の製造方法
5日前
プライムプラネットエナジー&ソリューションズ株式会社
電池材料の製造方法
5日前
プライムプラネットエナジー&ソリューションズ株式会社
電池材料の製造方法
5日前
個人
情報提示方法
27日前
個人
プログラム
26日前
個人
自動精算システム
1か月前
個人
RFタグ読取装置
1か月前
個人
アカウントマップ
20日前
個人
プログラム
19日前
個人
売買システム
1か月前
個人
管理サーバ
1か月前
個人
市場受発注システム
1か月前
個人
発想支援方法及びシステム
1か月前
個人
分類処理プログラム及び方法
1か月前
個人
学習装置及び推論装置
19日前
日本精機株式会社
車両用表示装置
1か月前
個人
案件管理装置および端末装置
6日前
日本精機株式会社
車両用表示装置
1か月前
富士通株式会社
金融システム
27日前
株式会社発明屋
電池指向の構造設計
13日前
井関農機株式会社
ロボット作業車両
1か月前
個人
VRによる人体各部位の立体化
1か月前
トヨタ自動車株式会社
管理装置
14日前
個人
ダブルオークションシステム
2日前
富士通株式会社
プロセッサ
12日前
株式会社イズミ
総合代行システム
2日前
株式会社プレニーズ
仲介システム
20日前
トヨタ自動車株式会社
作業評価装置
1か月前
個人
販売支援システム
1か月前
村田機械株式会社
人員配置システム
1か月前
続きを見る