特許ウォッチ

公開番号2025043907
公報種別公開特許公報(A)
公開日2025-04-01
出願番号2023151497
出願日2023-09-19
発明の名称予測装置、予測方法、教師データ生成装置、教師データ生成方法、モデル学習装置、モデル学習方法、およびプログラム
出願人国立大学法人筑波大学
代理人弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
主分類G06T 7/00 20170101AFI20250325BHJP(計算;計数)
要約【課題】眼の特徴点を検出する必要なく、画像から開眼度を直接予測する。
【解決手段】予測装置(30)は、眼を被写体として含む検査画像を取得する取得部(311)と、眼を被写体として含む画像が入力されると開眼度を出力するよう学習された深層学習モデル(ML2)を用いて、検査画像から開眼度を予測する予測部(312)と、を含む。
【選択図】図5
特許請求の範囲【請求項１】
眼を被写体として含む検査画像を取得する取得部と、
眼を被写体として含む画像が入力されると開眼度を出力するよう学習された深層学習モデルを用いて、前記検査画像から開眼度を予測する予測部と、
を含む、予測装置。
続きを表示（約 1,400 文字）【請求項２】
前記深層学習モデルは、眼を被写体として含む画像に開眼度が関連付けられた教師データを用いて学習され、
前記教師データは、同一の眼を被写体として２つの互いに異なる撮影装置が撮影した２つの画像に基づき生成されたものである、
請求項１に記載の予測装置。
【請求項３】
前記教師データは、前記２つの画像のうち、各画像に基づき取得可能な開眼度の精度がより高い一方の画像から取得した当該開眼度を、他方の画像に対して関連付けることにより生成されたものである、
請求項２に記載の予測装置。
【請求項４】
前記２つの撮影装置は互いに性能が異なり、
前記一方の画像は、前記２つの撮影装置のうち性能がより高い方の第１撮影装置が撮影した第１画像であり、
前記他方の画像は、前記２つの撮影装置のうち性能がより低い方の第２撮影装置が撮影した第２画像である、
請求項３に記載の予測装置。
【請求項５】
２つの互いに異なる撮影装置が同一の眼を被写体として撮影した２つの画像を取得する取得部と、
前記２つの画像に基づいて、眼を被写体として含む画像に開眼度が関連付けられた教師データを生成する生成部と、
を含む、教師データ生成装置。
【請求項６】
眼を被写体として含む画像に開眼度が関連付けられた教師データを取得する取得部と、
眼を被写体として含む画像を入力として開眼度を出力する深層学習モデルを、前記教師データを用いて学習させる学習部と、を含み、
前記教師データは、同一の眼を被写体として２つの互いに異なる撮影装置が撮影した２つの画像を参照して生成されたものである、
モデル学習装置。
【請求項７】
コンピュータが実行する予測方法であって、
前記コンピュータが、眼を被写体として含む検査画像を取得する取得ステップと、
前記コンピュータが、眼を被写体として含む画像を入力として開眼度を出力するよう学習された深層学習モデルを用いて、前記検査画像から開眼度を予測する予測ステップと、
を含む、予測方法。
【請求項８】
コンピュータが実行する教師データ生成方法であって、
前記コンピュータが、２つの互いに異なる撮影装置が同一の眼を被写体として撮影した２つの画像を取得する取得ステップと、
前記コンピュータが、前記２つの画像を参照して、眼を被写体として含む画像に開眼度が関連付けられた教師データを生成する生成ステップと、
を含む、教師データ生成方法。
【請求項９】
コンピュータが実行するモデル学習方法であって、
前記コンピュータが、眼を被写体として含む画像に開眼度が関連付けられた教師データを取得する取得ステップと、
前記コンピュータが、前記画像を入力として開眼度を出力する深層学習モデルを、前記教師データを用いて学習させる学習ステップと、を含み、
前記教師データは、同一の眼を被写体として２つの互いに異なる撮影装置が撮影した２つの画像を参照して生成されたものである、
モデル学習方法。
【請求項１０】
コンピュータを請求項１に記載の予測装置として機能させるプログラムであって、前記コンピュータを前記取得部および前記予測部として機能させる、プログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像から顔の特徴量を求める技術に関する。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
画像から顔の特徴量を求める技術が知られている。顔の特徴量の一例として、開眼度がある。開眼度は、例えば、覚醒度を評価するために必要となる情報である。覚醒度を評価する指標の一例としては、開眼時間割合を示すＰＥＲＣＬＯＳ（PERcent time of slow eyelid CLOSures）がある。ＰＥＲＣＬＯＳは、眼を被写体として含む画像の時系列における各画像の開眼度から算出される。このため、画像から開眼度を取得する技術が求められる。非特許文献１には、画像に対してセグメンテーションを行って眼の特徴点を検出し、検出した特徴点に基づき開眼度を算出することが記載されている。
【先行技術文献】
【非特許文献】
【０００３】
Qianyang Zhuang et. al., "Driver fatigue detection method based on eye states with pupil and iris segmentation", Ieee Access, 8:173440-173449, 2020
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１に記載された技術では、画像から眼の特徴点を精度よく検出できない場合には開眼度を精度よく得ることができないという問題があった。本発明の一態様は、眼の特徴点を検出する必要なく、画像から開眼度を直接予測する技術を実現することを目的とする。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、本発明の態様１に係る予測装置は、眼を被写体として含む検査画像を取得する取得部と、眼を被写体として含む画像が入力されると開眼度を出力するよう学習された深層学習モデルを用いて、前記検査画像から開眼度を予測する予測部と、を含む。上記構成によれば、眼の特徴点を検出する必要なく、画像から開眼度を直接予測することができる。
【０００６】
また、上記の課題を解決するために、本発明の態様２に係る予測装置は、態様１において、前記深層学習モデルは、眼を被写体として含む画像に開眼度が関連付けられた教師データを用いて学習され、前記教師データは、同一の眼を被写体として２つの互いに異なる撮影装置が撮影した２つの画像に基づき生成されたものである。上記構成において、同一の眼を被写体として２つの互いに異なる撮影装置が撮影した２つの画像は、眼を被写体として撮影した１つの画像に比べて、または、同一の眼を被写体として同一の撮影装置が撮影した２つの画像に比べて、より多様な情報を含む。したがって、そのようなより多様な情報を含む２つの画像に基づき生成された教師データは、より良質であることが期待される。その結果、そのような良質な教師データを参照することで精度よく学習された深層学習モデルを用いることができ、検査画像から開眼度を精度よく直接予測することができる。
【０００７】
また、上記の課題を解決するために、本発明の態様３に係る予測装置は、態様２において、教師データは、前記２つの画像のうち、各画像に基づき取得可能な開眼度の精度がより高い一方の画像から取得した当該開眼度を、他方の画像に対して関連付けることにより生成されたものである。上記構成によれば、当該教師データは、眼を被写体として含む画像に対して当該画像から取得可能な開眼度よりも高精度な開眼度が関連付けられたものとなる。その結果、そのような教師データを用いて学習された深層学習モデルを用いることができ、検査画像からさらに精度よく開眼度を直接予測することができる。
【０００８】
また、上記の課題を解決するために、本発明の態様４に係る予測装置は、態様３において、前記２つの撮影装置は互いに性能が異なり、前記一方の画像は、前記２つの撮影装置のうち性能がより高い方の第１撮影装置が撮影した第１画像であり、前記他方の画像は、前記２つの撮影装置のうち性能がより低い方の第２撮影装置が撮影した第２画像である。上記構成によれば、第２撮影装置と同程度の性能の撮影装置で撮影した検査画像から精度よく開眼度を直接予測することができる。また、検査画像を得るために、性能がより高い方の第１撮影装置ほどの性能の撮影装置を用いる必要なく、性能がより低い方の第２撮影装置と同程度の性能の撮影装置を用いればよい。そのような撮影装置は廉価であることが多いため、検査画像から開眼度を精度よく直接予測する予測装置を廉価に実現することができる。
【０００９】
また、上記の課題を解決するために、本発明の態様５に係る教師データ生成装置は、２つの互いに異なる撮影装置が同一の眼を被写体として撮影した２つの画像を取得する取得部と、前記２つの画像に基づいて、眼を被写体として含む画像に開眼度が関連付けられた教師データを生成する生成部と、を含む。上記構成において、同一の眼を被写体として２つの互いに異なる撮影装置が撮影した２つの画像は、眼を被写体として撮影した１つの画像に比べて、または、同一の眼を被写体として同一の撮影装置が撮影した２つの画像に比べて、より多様な情報を含む。したがって、そのようなより多様な情報を含む２つの画像に基づくことにより、より良質な教師データを生成することができる。
【００１０】
また、上記の課題を解決するために、本発明の態様６に係るモデル学習装置は、眼を被写体として含む画像に開眼度が関連付けられた教師データを取得する教師データ取得部と、眼を被写体として含む画像を入力として開眼度を出力する深層学習モデルを、前記教師データを用いて学習させる学習部と、を含み、前記教師データは、同一の眼を被写体として２つの互いに異なる撮影装置が撮影した２つの画像を参照して生成されたものである。上記構成において、同一の眼を被写体として２つの互いに異なる撮影装置が撮影した２つの画像は、眼を被写体として撮影した１つの画像に比べて、または、同一の眼を被写体として同一の撮影装置が撮影した２つの画像に比べて、より多様な情報を含む。したがって、そのようなより多様な情報を含む２つの画像に基づき生成されている教師データは、良質であることが期待される。その結果、そのような教師データを用いることで、画像から開眼度を直接予測する深層学習モデルを、精度よく学習させることができる。
（【００１１】以降は省略されています）

関連特許