TOP特許意匠商標
特許ウォッチ Twitter
10個以上の画像は省略されています。
公開番号2024162431
公報種別公開特許公報(A)
公開日2024-11-21
出願番号2023077924
出願日2023-05-10
発明の名称学習モデル生成プログラム、情報処理装置及び学習モデル生成方法
出願人国立大学法人 東京大学
代理人弁理士法人フィールズ国際特許事務所
主分類G06T 7/00 20170101AFI20241114BHJP(計算;計数)
要約【課題】視線推定に用いる学習モデルの汎化性能を向上させることを可能とする学習モデル生成プログラム、情報処理装置及び学習モデル生成方法を提供する。
【解決手段】第1カメラによって人物の頭部を撮影した第1対象画像データと、第2カメラによって人物の頭部を撮影した第1参照画像データとから、第1カメラについて正規化処理が行われた第1仮想カメラと第2カメラについて正規化処理が行われた第2仮想カメラとの間における相対的な回転角度に対応する第1回転行列を特定し、第1対象画像データと、第1参照画像データと、第1回転行列と、人物の視線方向を示す第1視線情報とを含む教師データを生成し、生成した教師データを学習することによって学習モデルを生成する。
【選択図】図5
特許請求の範囲【請求項1】
第1カメラによって人物の頭部を撮影した第1対象画像データと、第2カメラによって前記頭部を撮影した第1参照画像データとから、前記第1カメラについて正規化処理が行われた第1仮想カメラと前記第2カメラについて正規化処理が行われた第2仮想カメラとの間における相対的な回転角度に対応する第1回転行列を特定し、
前記第1対象画像データと、前記第1参照画像データと、前記第1回転行列と、前記人物の視線方向を示す第1視線情報とを含む教師データを生成し、
生成した前記教師データを学習することによって学習モデルを生成する、
処理をコンピュータに実行させることを特徴とする学習モデル生成プログラム。
続きを表示(約 2,300 文字)【請求項2】
請求項1において、
第3カメラによって前記頭部を撮影した第2対象画像データと、第4カメラによって前記頭部を撮影した第2参照画像データとから、前記第3カメラについて正規化処理が行われた第3仮想カメラと前記第4カメラについて正規化処理が行われた第4仮想カメラとの間における相対的な回転角度に対応する第2回転行列とを算出し、
前記第2対象画像データと、前記第2参照画像データと、前記第2回転行列とを前記学習モデルに入力し、
前記学習モデルから出力された第2視線情報を取得し、
取得した前記第2視線情報を出力する、
ことを特徴とする学習モデル生成プログラム。
【請求項3】
請求項2において、
前記学習モデルは、第1対象モジュールと、第2対象モジュールと、第3対象モジュールと、第4対象モジュールと、第1参照モジュールと、第2参照モジュールと、第3参照モジュールと、第4参照モジュールと、を有し、
前記第1対象モジュールは、前記第2対象画像データに映る前記頭部に対応する第1対象特徴量を抽出し、
前記第1参照モジュールは、前記第2参照画像データに映る前記頭部に対応する第1参照特徴量を抽出し、
前記第2対象モジュールは、前記第1対象モジュールによって抽出された前記第1対象特徴量から、前記第3参照モジュールにおいて用いられる回転可能な第2対象特徴量を抽出し、
前記第2参照モジュールは、前記第1参照モジュールによって抽出された前記第1参照特徴量から、前記第3対象モジュールにおいて用いられる回転可能な第2参照特徴量を抽出し、
前記第3対象モジュールは、前記第1対象特徴量と、前記第1回転行列と、前記第2参照モジュールによって抽出された前記第2参照特徴量とを用いて、前記第2対象特徴量を更新し、
前記第3参照モジュールは、前記第1参照特徴量と、前記第1回転行列と、前記第2対象モジュールによって抽出された前記第2対象特徴量とを用いて、前記第2参照特徴量を更新し、前記第4対象モジュールは、前記第1対象特徴量と、前記第3対象モジュールによって更新された前記第2対象特徴量とを用いて、前記第2対象画像データに映る前記人物の視線方向を示す対象視線情報を推定し、
前記第4参照モジュールは、前記第2参照特徴量と、前記第3参照モジュールによって更新された前記第2参照特徴量とを用いて、前記第2参照画像データに映る前記人物の視線方向を示す参照視線情報を推定する、
ことを特徴とする学習モデル生成プログラム。
【請求項4】
請求項3において、
前記取得する処理では、前記第4対象モジュールによって推定された前記対象視線情報を前記第2視線情報として取得する、
ことを特徴とする学習モデル生成プログラム。
【請求項5】
請求項3において、
前記学習モデルは、
前記第1対象特徴量と、前記第1回転行列と、前記第3参照モジュールによって抽出された前記第2参照特徴量とを用いて、前記第2対象特徴量をさらに更新する第5対象モジュールと、
前記第1参照特徴量と、前記第1回転行列と、前記第3対象モジュールによって抽出された前記第2対象特徴量とを用いて、前記第2参照特徴量をさらに更新する第5参照モジュールと、
前記第1対象特徴量と、前記第5対象モジュールによって更新された前記第2対象特徴量とを用いて、前記対象視線情報を更新する第6対象モジュールと、
前記第1参照特徴量と、前記第5参照モジュールによって更新された前記第2参照特徴量とを用いて、前記参照視線情報を推定する第6参照モジュールと、を有する、
ことを特徴とする学習モデル生成プログラム。
【請求項6】
請求項5において、
前記取得する処理では、前記第6対象モジュールによって更新された前記対象視線情報を前記第2視線情報として取得する、
ことを特徴とする学習モデル生成プログラム。
【請求項7】
第1カメラによって人物の頭部を撮影した第1対象画像データと、第2カメラによって前記頭部を撮影した第1参照画像データとから、前記第1カメラについて正規化処理が行われた第1仮想カメラと前記第2カメラについて正規化処理が行われた第2仮想カメラとの間における相対的な回転角度に対応する第1回転行列を特定する行列特定部と、
前記第1対象画像データと、前記第1参照画像データと、前記第1回転行列と、前記人物の視線方向を示す第1視線情報とを含む教師データを生成するデータ生成部と、
生成した前記教師データを学習することによって学習モデルを生成するモデル生成部と、を有する、
ことを特徴とする情報処理装置。
【請求項8】
第1カメラによって人物の頭部を撮影した第1対象画像データと、第2カメラによって前記頭部を撮影した第1参照画像データとから、前記第1カメラについて正規化処理が行われた第1仮想カメラと前記第2カメラについて正規化処理が行われた第2仮想カメラとの間における相対的な回転角度に対応する第1回転行列を特定し、
前記第1対象画像データと、前記第1参照画像データと、前記第1回転行列と、前記人物の視線方向を示す第1視線情報とを含む教師データを生成し、
生成した前記教師データを学習することによって学習モデルを生成する、
処理をコンピュータが実行することを特徴とする学習モデル生成方法。

発明の詳細な説明【技術分野】
【0001】
本発明は、学習モデル生成プログラム、情報処理装置及び学習モデル生成方法に関する。
続きを表示(約 1,500 文字)【背景技術】
【0002】
例えば、対象者(人物)の頭部が映る画像データを用いることによって、対象者の視線方向を推定する技術(以下、単に視線推定技術とも呼ぶ)がある。このような技術では、例えば、対象者の目が映る画像データを学習済の学習モデル(以下、単に学習モデルとも呼ぶ)に入力することによって、対象者の視線方向の推定を行う(特許文献1、特許文献2及び非特許文献1を参照)。
【先行技術文献】
【特許文献】
【0003】
特開2022-187546号公報
特開2022-187547号公報
【非特許文献】
【0004】
X. Zhang, Y. Sugano, and A. Bulling, “Revisiting data normalization for appearance-based gaze estimation,” in ETRA, 2018.
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、上記のような学習モデルは、例えば、画像データに映る対象者の頭部の向きによって、対象者の視線方向を精度良く推定することができない場合がある。具体的に、例えば、画像データに映る対象者の頭部の向きが学習時において学習されていない向きである場合、学習モデルは、対象者の視線方向を精度良く推定することができない場合がある。すなわち、上記のような視線推定技術では、例えば、汎化性能の高い学習モデルを生成することができない場合がある。
【0006】
この点、例えば、様々な配置位置の複数のカメラ(撮影装置)によって撮影された複数の画像データを用いて学習モデルの生成を行うことにより、学習モデルの汎化性能を向上させることが可能になる。
【0007】
しかしながら、この場合、例えば、カメラの組合せごとに教師データを生成する必要が生じ、学習モデルの生成に要する作業負担が増大する。そのため、上記のような視線推定技術では、例えば、学習モデルの生成に要する作業負担を抑制しつつ、学習モデルの汎化性能を向上させることが可能な方法が望まれている。
【0008】
そこで、本発明の目的は、視線推定に用いる学習モデルの汎化性能を向上させることを可能とする学習モデル生成プログラム、情報処理装置及び学習モデル生成方法を提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するための本発明における学習モデル生成プログラムは、第1カメラによって人物の頭部を撮影した第1対象画像データと、第2カメラによって前記頭部を撮影した第1参照画像データとから、前記第1カメラについて正規化処理が行われた第1仮想カメラと前記第2カメラについて正規化処理が行われた第2仮想カメラとの間における相対的な回転角度に対応する第1回転行列を特定し、前記第1対象画像データと、前記第1参照画像データと、前記第1回転行列と、前記人物の視線方向を示す第1視線情報とを含む教師データを生成し、生成した前記教師データを学習することによって学習モデルを生成する、処理をコンピュータに実行させる。
【発明の効果】
【0010】
本発明における学習モデル生成プログラム、情報処理装置及び学習モデル生成方法によれば、視線推定に用いる学習モデルの汎化性能を向上させることが可能になる。
【図面の簡単な説明】
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する
Flag Counter

関連特許

国立大学法人 東京大学
プロペラ
2日前
国立大学法人 東京大学
腸管壁保持装置
1か月前
国立大学法人 東京大学
双方向散乱顕微鏡
1か月前
国立大学法人東京農工大学
タンクモジュール
25日前
国立大学法人 東京大学
てんかんの検出方法
1か月前
国立大学法人 東京大学
粘性の測定装置及び方法
18日前
国立大学法人 東京大学
制御装置、および制御方法
23日前
国立大学法人 東京大学
消化管幹細胞活性化用組成物
2日前
国立大学法人 東京大学
海産魚スクーチカ症予防治療剤
1か月前
国立大学法人 東京大学
炭酸カルシウム結晶の製造方法
2日前
国立大学法人 東京大学
切片作成装置および切片作成方法
1か月前
国立大学法人 東京大学
搬送トレイおよびワーク作業装置
1か月前
国立大学法人 東京大学
血糖制御能力の推定方法及び装置
25日前
国立大学法人 東京大学
スピーカー及びオーディオシステム
11日前
住友ゴム工業株式会社
錯体の製造方法
1か月前
東京瓦斯株式会社
液体肥料の製造方法
1か月前
国立大学法人 東京大学
東大式メイクアップ理論による肌年齢推定方法
2日前
国立大学法人 東京大学
情報処理システム、プログラム及び情報処理方法
24日前
国立大学法人 東京大学
伸縮性配線基板及び該伸縮性配線基板の製造方法
1か月前
国立大学法人 東京大学
ジエン系高靭性エラストマーおよびその製造方法
1か月前
ダイキン工業株式会社
検知方法および検知装置
1か月前
国立大学法人 東京大学
情報処理システム、プログラム及び情報処理方法
24日前
個人
生体ガスの分析に基づく腸炎の診断補助方法
18日前
国立大学法人 東京大学
楽器用樹脂構造体および楽器用樹脂構造体の製造方法
4日前
国立大学法人 東京大学
静脈置換用緩徐生分解性シルクフィブロイン人工血管
12日前
株式会社アイシン
キチンから水溶性多糖を製造する方法
1か月前
国立大学法人 東京大学
IoTデバイス、データ転送システムおよびデータ転送方法
23日前
積水化学工業株式会社
圧電素子及びウェアラブルデバイス
23日前
国立大学法人 東京大学
ポリロタキサン添加によるシリコーン系高分子材料の強靭化
1か月前
国立大学法人 東京大学
核酸アプタマー及び当該核酸アプタマーを含む骨再生誘導材
29日前
学校法人東京女子医科大学
ハイドロゲルおよびその製造方法
1か月前
国立研究開発法人理化学研究所
リビングセンサディスプレイ
1か月前
ケンツメディコ株式会社
特定装置及びコンピュータプログラム
1か月前
ダイキン工業株式会社
情報処理装置、情報処理方法及びプログラム
16日前
日東電工株式会社
センサ及び電気インピーダンストモグラフィシステム
1か月前
国立大学法人 東京大学
熱電変換素子、熱電変換モジュール、熱電変換方法及び揺らぎ検知センサー
1か月前
続きを見る