特許ウォッチ

公開番号2025090039
公報種別公開特許公報(A)
公開日2025-06-17
出願番号2023204992
出願日2023-12-05
発明の名称モデル生成装置、生体データ推定装置、モデル生成システム、生体データ推定システム、および、モデル生成プログラム
出願人三菱電機株式会社
代理人弁理士法人山王内外特許事務所
主分類A61B 5/02 20060101AFI20250610BHJP(医学または獣医学;衛生学)
要約【課題】ノイズの要因となる事象が発生し得るシーンにおいて対象者の第1生体データを得る場合であっても、ノイズの影響を抑えて精度よく対象者の第1生体データを得ることが可能な機械学習モデルを生成するモデル生成装置を提供する。
【解決手段】テスト実施者の肌領域を含む撮像画像を取得する撮像画像取得部(11)と、撮像画像から輝度データを抽出する輝度データ抽出部(12)と、計測結果に第1生体データが得られる環境にて生じ得るノイズの影響があらわれにくいデバイスによって測定されたテスト実施者の第2生体データである生体参照データを取得する生体参照データ取得部(13)と、生体参照データから、第1生体データの波形を模した学習用波形データを生成するデータ加工部(14)と、輝度データと学習用波形データを学習用データとして、輝度データを入力とし第1生体データを出力する機械学習モデルを生成するモデル学習部(15)とを備えた。
【選択図】図1
特許請求の範囲【請求項１】
被験者の第１生体データを得るための機械学習モデルを生成するモデル生成装置であって、
テスト実施者を撮像した、前記テスト実施者の肌領域を含む撮像画像を取得する撮像画像取得部と、
前記撮像画像取得部が取得した前記撮像画像から、前記テスト実施者の前記肌領域における輝度変化を示す輝度データを抽出する輝度データ抽出部と、
計測結果に前記第１生体データが得られる環境にて生じ得るノイズの影響があらわれにくいデバイスによって測定された前記テスト実施者の第２生体データである生体参照データを取得する生体参照データ取得部と、
前記生体参照データ取得部が取得した前記生体参照データから、前記機械学習モデルを学習する際の教師データとなる、前記生体参照データとして測定された前記第２生体データの種類とは異なる種類の前記第１生体データの波形を模した学習用波形データを生成するデータ加工部と、
前記輝度データ抽出部が抽出した前記輝度データと前記データ加工部が生成した前記学習用波形データを学習用データとして、前記輝度データを入力とし前記第１生体データを出力する前記機械学習モデルを生成するモデル学習部
とを備えたモデル生成装置。
続きを表示（約 1,000 文字）【請求項２】
前記機械学習モデルが出力する前記第１生体データは脈波データである
ことを特徴とする請求項１記載のモデル生成装置。
【請求項３】
前記機械学習モデルが出力する前記第１生体データは血圧波形である
ことを特徴とする請求項１記載のモデル生成装置。
【請求項４】
前記データ加工部は、前記生体参照データにおけるピークを検出し、検出した前記ピークに基づき前記学習用波形データを生成する
ことを特徴とする請求項１記載のモデル生成装置。
【請求項５】
前記データ加工部は、前記学習用波形データにおけるピーク間の間隔と、前記生体参照データにおけるピーク間の間隔との誤差が間隔判定用閾値以内となるよう、前記学習用波形データを生成する
ことを特徴とする請求項４記載のモデル生成装置。
【請求項６】
前記デバイスは心電計であり、前記生体参照データは心電図データである
ことを特徴とする請求項１記載のモデル生成装置。
【請求項７】
前記データ加工部は、前記生体参照データにおけるピーク間の間隔との誤差が前記間隔判定用閾値以内となるよう設定した前記ピークについて、隣り合う前記ピークを相互にスムーズに結ぶことで、前記学習用波形データを前記第１生体データの波形を模した波形とする
ことを特徴とする請求項５記載のモデル生成装置。
【請求項８】
前記データ加工部は、前記生体参照データにおけるピーク間の間隔との誤差が前記間隔判定用閾値以内となるよう設定した前記ピークについて、各ピークを中心とするガウス分布曲線で相互に結ぶことで、前記学習用波形データを前記第１生体データの波形を模した波形とする
ことを特徴とする請求項５記載のモデル生成装置。
【請求項９】
前記被験者は車両のドライバである
ことを特徴とする請求項１記載のモデル生成装置。
【請求項１０】
前記輝度データ抽出部は、
前記撮像画像から、前記テスト実施者の前記肌領域を検出する肌領域検出部と、
前記撮像画像上の、前記肌領域に対応する領域に、前記輝度データを抽出するための計測領域を設定する計測領域設定部と、
前記撮像画像上の前記計測領域における前記輝度変化に基づき、前記輝度データを抽出する信号抽出部を備える
ことを特徴とする請求項１記載のモデル生成装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、モデル生成装置、生体データ推定装置、モデル生成システム、生体データ推定システム、および、モデル生成プログラムに関する。
続きを表示（約 3,600 文字）【背景技術】
【０００２】
従来、人の顔を撮像した撮像画像と、機械学習における学習済みのモデル（以下「機械学習モデル」という。）とに基づき、脈波等、人の生体データを得る技術が知られている（例えば、特許文献１）。
このような技術の適用例として、例えば、近年、車両においても、乗員の顔を撮像した撮像画像と機械学習モデルとに基づき乗員の生体データを得る技術が開発されている。得られた生体データは、例えば、乗員における体調異常の発生の検知に用いられる。
【先行技術文献】
【特許文献】
【０００３】
国際公開第２０１９／１５２９８３号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
機械学習モデルを用いて精度よく生体データを推定する対象となる人（以下「被験者」という。）の生体データを得るためには、機械学習モデルが、生体データを得ようとするシーンにて収集された学習用データに基づいて生成されており、かつ、学習用データに含まれている教師データとしての生体データにはノイズが少ないことが求められる。以下、機械学習モデルを用いて得られる被験者の生体データを「第１生体データ」、教師データとしての生体データを「第２生体データ」ともいう。
しかし、第１生体データを得ようとするシーンにおいては、振動または外光等、ノイズの要因となる事象が発生し得、収集される第２生体データにはノイズが多く含まれる可能性があり、精度よく第１生体データを得るための機械学習モデルを生成することが難しいという課題があった。
例えば、第２生体データの収集には、パルスオキシメータ等の脈波センサを用いることが考えられるが、脈波センサで収集された第２生体データには、振動または外光等の影響によるノイズがのる。そのため、脈波センサで収集された第２生体データを教師データとして機械学習モデルを生成しても、精度よく第１生体データが得られる機械学習モデルにはならない可能性がある。
【０００５】
本開示は、上記のような課題を解決するためになされたもので、被験者の第１生体データを得るための機械学習モデルを生成するモデル生成装置であって、ノイズの要因となる事象が発生し得るシーンにおいて被験者の第１生体データを得る場合であっても、ノイズの影響を抑えて精度よく被験者の第１生体データを得ることが可能な機械学習モデルを生成するモデル生成装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
本開示に係るモデル生成装置は、被験者の第１生体データを得るための機械学習モデルを生成するモデル生成装置であって、テスト実施者を撮像した、テスト実施者の肌領域を含む撮像画像を取得する撮像画像取得部と、撮像画像取得部が取得した撮像画像から、テスト実施者の肌領域における輝度変化を示す輝度データを抽出する輝度データ抽出部と、計測結果に第１生体データが得られる環境にて生じ得るノイズの影響があらわれにくいデバイスによって測定されたテスト実施者の第２生体データである生体参照データを取得する生体参照データ取得部と、生体参照データ取得部が取得した生体参照データから、機械学習モデルを学習する際の教師データとなる、生体参照データとして測定された第２生体データの種類とは異なる種類の第１生体データの波形を模した学習用波形データを生成するデータ加工部と、輝度データ抽出部が抽出した輝度データとデータ加工部が生成した学習用波形データを学習用データとして、輝度データを入力とし第１生体データを出力する機械学習モデルを生成するモデル学習部とを備えた。
【発明の効果】
【０００７】
本開示によれば、ノイズの要因となる事象が発生し得るシーンにおいて被験者の第１生体データを得る場合であってもノイズの影響を抑えて精度よく被験者の第１生体データを得ることが可能な機械学習モデルを提供することができる。
【図面の簡単な説明】
【０００８】
実施の形態１に係るモデル生成装置の構成例を示す図である。
図２Ａ、図２Ｂおよび図２Ｃは、実施の形態１に係るモデル生成装置における、計測領域設定部による計測領域の設定方法の一例について説明するための図である。
図３Ａおよび図３Ｂは、実施の形態１における第１データ加工部によるピーク検出方法の一例について説明するための図である。
実施の形態１に係るモデル生成装置において、データ加工部が過去Ｔｑ分の生体参照データＢｒ（ｎ）からピークを検出し、検出したピークに基づき学習用波形データＷＴ（ｔ）を生成するまでの流れの一例について説明するための図である。
実施の形態１に係るモデル生成装置において、データ加工部が過去Ｔｑ分の生体参照データＢｒ（ｎ）からピークを検出し、検出したピークに基づき学習用波形データＷＴ（ｔ）を生成するまでの流れの一例について説明するためのその他の図である。
実施の形態１に係るモデル生成装置の動作について説明するためのフローチャートである。
図６のステップＳＴ２における輝度データ抽出部による輝度データを抽出処理の詳細について説明するためのフローチャートである。
実施の形態１に係る生体データ推定装置の動作について説明するためのフローチャートである。
図９Ａおよび図９Ｂは、教師データの種類によって、当該教師データを含む学習用データに基づき生成された機械学習モデルから得られた第１生体データの精度、言い換えれば、機械学習モデルの精度が異なる一例について説明するための図である。
脈波データの波形形状と心電図データの波形形状との違いを説明するための図である。
図１１Ａおよび図１１Ｂは、実施の形態１に係るモデル生成装置のハードウェア構成の一例を示す図である。
実施の形態１において、データ加工部が実施する処理の一部がサーバ上で実行される構成とした場合のシステムの構成例について説明するための図である。
データ加工部が実施する処理の一部がサーバ上で実行される構成とした場合において、第１データ加工部が生成する加工後ピークデータの内容の一例について説明するための図である。
【発明を実施するための形態】
【０００９】
以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、実施の形態１に係るモデル生成装置１０の構成例を示す図である。
実施の形態１に係るモデル生成装置１０は、撮像装置２０、デバイス３０、および、生体データ推定装置４０と接続される。
モデル生成装置１０と生体データ推定装置４０とで生体データ推定システム５００を構成する。
【００１０】
実施の形態１に係る生体データ推定装置４０は、撮像装置２０が人を撮像した撮像画像（以下「推定用撮像画像」という。）に基づき、予め、撮像画像に基づいて得られた輝度データを入力とし生体データを出力するよう学習済みのモデル（以下「機械学習モデル」という。）を用いて、当該人の生体データを推定する。実施の形態１において、生体データ推定装置４０が生体データを推定する対象となる人を「被験者」という。また、生体データ推定装置４０が推定する、被験者の生体データを「第１生体データ」ともいう。なお、撮像画像に基づいて得られる輝度データについては、後述する。
生体データ推定装置４０は、予め定められたフレームレートＦｒで、少なくとも、被験者の肌を含む領域である肌領域が存在すべき範囲（以下「肌存在範囲」という。）を撮像した、一連のフレームＩｍ（ｋ）からなる推定用撮像画像を取得する。ここで、ｋは、それぞれフレームに割り当てられるフレーム番号を示す。例えば、フレームＩｍ（ｋ）の次のタイミングで与えられるフレームは、フレームＩｍ（ｋ＋１）である。
実施の形態１では、肌領域は、被験者の顔に対応する領域とする。なお、これは一例に過ぎず、肌領域は、被験者の顔以外の領域であってもよい。例えば、肌領域は、被験者の目、眉、鼻、口、おでこ、頬、または、顎のような、顔に属する部位、に対応する領域であってもよい。また、肌領域は、被験者の頭、肩、手、首、または、足のような、顔以外の身体部位、に対応する領域であってもよい。肌領域は複数の領域であってもよい。
（【００１１】以降は省略されています）

関連特許