特許ウォッチ

公開番号2023155988
公報種別公開特許公報(A)
公開日2023-10-24
出願番号2022065542
出願日2022-04-12
発明の名称鼻唇側影分析方法
出願人花王株式会社
代理人個人
主分類G06T 7/00 20170101AFI20231017BHJP(計算;計数)
要約【課題】鼻及び鼻下と頬との境目に現れる陰影である鼻唇側影を適切に分析する技術を提供する。
【解決手段】鼻唇側影分析方法では、一以上のプロセッサが、被評価者の顔が写る評価用顔画像を取得する画像取得工程と、複数人分の教師データに基づいて機械学習された学習済みモデルに、当該取得された評価用顔画像を入力することで、被評価者における頬のほうれい線近傍部位の隆起状態を示す第一評価値を取得する評価値取得工程とを実行する。
【選択図】図2
特許請求の範囲【請求項１】
鼻及び鼻下と頬との境目に現れる陰影である鼻唇側影を分析する方法であって、
一以上のプロセッサが、
被評価者の顔が写る評価用顔画像を取得する画像取得工程と、
複数人分の教師データに基づいて機械学習された学習済みモデルに、前記取得された評価用顔画像を入力することで、前記被評価者における頬のほうれい線近傍部位の隆起状態を示す第一評価値を取得する評価値取得工程と、
を実行する鼻唇側影分析方法。
続きを表示（約 1,500 文字）【請求項２】
前記評価値取得工程では、前記第一評価値に加えて、前記被評価者のほうれい線の状態を示す第二評価値を更に取得する、
請求項１に記載の鼻唇側影分析方法。
【請求項３】
前記一以上のプロセッサが、
前記取得された第一評価値及び第二評価値を用いて、頬のほうれい線近傍部位の隆起状態とほうれい線の状態との組合せで分類された複数の鼻唇側影クラスの中から前記被評価者が属する鼻唇側影クラスを決定するクラス決定工程、
を更に実行する請求項２に記載の鼻唇側影分析方法。
【請求項４】
前記一以上のプロセッサが、
頬のほうれい線近傍部位の隆起状態を示す軸とほうれい線の状態を示す軸との２軸で示されるグラフ上に、前記取得された第一評価値及び第二評価値で示される前記被評価者の評価データがプロットされた評価グラフを出力する工程、
を更に実行する請求項２に記載の鼻唇側影分析方法。
【請求項５】
前記画像取得工程で取得される前記評価用顔画像は、前記被評価者の顔における目及び目より上方の部位を除く目よりも下方の部位が顎周りを中心に顔の輪郭線を含んで表示されるように正規化されている、
請求項１から４のいずれか一項に記載の鼻唇側影分析方法。
【請求項６】
前記一以上のプロセッサが、
頬のほうれい線近傍部位の隆起状態とほうれい線の状態との各組合せに対応する、鼻唇側影の低減のための製剤、該製剤の塗布方法若しくは美容施術（医療行為を除く）、又はそれらの組合せに関する複数の推奨情報の中から、前記取得された第一評価値及び第二評価値に対応する推奨情報を出力する工程、
を更に実行する請求項２から４のいずれか一項に記載の鼻唇側影分析方法。
【請求項７】
前記一以上のプロセッサが、
鼻唇側影の状態が前記被評価者の目標状態を示す前記被評価者の目標顔画像を取得する工程と、
前記取得された目標顔画像を前記学習済みモデルに入力することで、鼻唇側影の前記目標状態に対応する頬のほうれい線近傍部位の隆起状態を示す第一目標値及びほうれい線の状態を示す第二目標値を取得する工程と、
前記取得された第一評価値及び第二評価値と、前記取得された第一目標値及び第二目標値とを対比可能に出力する工程と、
を更に実行する請求項２から４のいずれか一項に記載の鼻唇側影分析方法。
【請求項８】
顔画像の入力に応じて該顔画像における頬のほうれい線近傍部位の隆起状態を示す第一評価値及びほうれい線の状態を示す第二評価値を出力可能な鼻唇側影評価モデルの学習方法であって、
一以上のプロセッサが、
顔画像と、該顔画像に写る人顔に関する頬のほうれい線近傍部位の隆起状態の目視評価値及びほうれい線の状態の目視評価値を含む正解情報との組合せを複数人分有する教師データを取得する工程と、
前記取得された教師データを用いて前記鼻唇側影評価モデルを学習させる工程と、
を実行する鼻唇側影評価モデルの学習方法。
【請求項９】
前記一以上のプロセッサ及びメモリを少なくとも備える鼻唇側影分析装置であって、
請求項１から４のいずれか一項に記載の鼻唇側影分析方法を実行可能な鼻唇側影分析装置。
【請求項１０】
前記一以上のプロセッサ及びメモリを少なくとも備える鼻唇側影評価モデル学習装置であって、
請求項８に記載の鼻唇側影評価モデルの学習方法を実行可能な鼻唇側影評価モデル学習装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、顔画像を用いて鼻及び鼻下と頬との境目に現れる陰影である鼻唇側影を分析する技術に関する。
続きを表示（約 3,400 文字）【背景技術】
【０００２】
下記特許文献１には、被験者の顔が撮影された画像から肌の毛穴、角栓のポルフィリン、シワ、シミ、肌色のうち、少なくとも１つを解析する方法が開示されている。シワの解析では、Ｒ画像とＧ画像の差分画像に対してガウシアンフィルタ等で歪補正した後、シワを強調する画像処理を行い、シワの数と総面積が数値化されている。
下記特許文献２には、被験者の全顔又は局部顔が撮影された画像における対象領域のシワ毎の位置情報及び大きさ情報を抽出して、被験者のシワを評価する手法が開示されている。シワ解析パラメータとして、シワ面積率、総シワ平均深さ、最大シワ平均深さ、最大シワ最大深さ（μｍ）、シワ総体積（ｍｍ３）、ＩＳＯ標準表面粗さパラメータ等が解析される。
下記特許文献３には、シワのエイジングシミュレート画像を生成してシワの経時変化をシミュレートする手法が開示されている。
下記特許文献４には、顎部のたるみの進行度合いを評価する方法及びそれを用いて顎のたるみを改善するための各種美容処理の有効性を評価する方法が開示されている。この方法は、被検者の顎部から頚部の形状を側面から観察し、観察された顎部から頚部の形状をグレード０から５の評価基準の中で最も合致する形状のグレードに分類し、グレード数の増大が顎部のたるみの進行を示す。
下記特許文献５には、被験者の顔データの解析領域に対して顔の所定の部位毎に予め設定されたシワの延びやすい角度範囲内のシワ成分をそれぞれ抽出した複数のシワ成分抽出データを生成し、複数のシワ成分抽出データのそれぞれに対してシワ成分を強調した複数のシワ成分強調データを生成し、複数のシワ成分強調データを互いに合成した合成データを生成し、合成データにおいて所定の閾値以上の強度を有するシワ成分を被験者のシワとして検出することで、シワの誤検知を低減させる手法が開示されている。
下記特許文献６には、被験者の表情ジワやお手入れ時の皮膚のヨレから適切に肌状態を解析するべく、被験者の顔の動画像に含まれる表情の変化に基づき、顔の解析領域に予め配列された複数の追跡点の変化量を追跡し、その変化量から当該解析領域における肌の圧縮率を取得し、得られた圧縮率に基づいて被験者の肌状態を解析する手法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２００７－１５２０８４号公報
特開２０１０－１１９４３１号公報
特開２０１２－１８１８４３号公報
特開２０１３－５９５２９号公報
特開２０１３－６９１２２号公報
特開２０１４－１９３１９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のように、被評価者の顔画像からシワの数や大きさ、深さを分析する手法や、顎部のたるみの進行度合いを評価する手法が存在している。このようなシワや頬のたるみと共に顔に老化印象を付与する因子の一つとしてほうれい線が知られている。
ほうれい線は、鼻及び鼻下（鼻と上唇との間の部分）と頬との境目にあるシワ或いは溝を指し示し、そのシワ（溝）の深さによって評価される。これは、ほうれい線の深さがほうれい線の陰影の状態に関与し、結果として顔の老化印象に影響するからである。
【０００５】
本発明者らは、このようなほうれい線とは別に、ほうれい線に近接する頬の部位（頬のほうれい線近傍部位と表記される）の隆起によっても、ほうれい線と同様の、鼻及び鼻下と頬との境目の陰影が生じ、顔の老化印象に影響を与えていることを新たに見出した。即ち、鼻及び鼻下と頬との境目に生じる陰影である鼻唇側影の評価は、ほうれい線の状態のみの評価では十分ではないことが新たに見出されたのである。
【０００６】
本発明は、このような観点からなされたものであり、鼻唇側影を適切に分析する技術を提供する。「鼻唇側影」とは、鼻及び鼻下と頬との境目に現れる陰影を意味する。
【課題を解決するための手段】
【０００７】
本発明によれば、鼻及び鼻下と頬との境目に現れる陰影である鼻唇側影を分析する方法であって、一以上のプロセッサが、被評価者の顔が写る評価用顔画像を取得する画像取得工程と、複数人分の教師データに基づいて機械学習された学習済みモデルに、前記取得された評価用顔画像を入力することで、前記被評価者における頬のほうれい線近傍部位の隆起状態を示す第一評価値を取得する評価値取得工程とを実行する鼻唇側影分析方法が提供され得る。
また、本発明によれば、顔画像の入力に応じて該顔画像における頬のほうれい線近傍部位の隆起状態を示す第一評価値及びほうれい線の状態を示す第二評価値を出力可能な鼻唇側影評価モデルの学習方法であって、一以上のプロセッサが、顔画像と、該顔画像に写る人顔に関する頬のほうれい線近傍部位の隆起状態の目視評価値及びほうれい線の状態の目視評価値を含む正解情報との組合せを複数人分有する教師データを取得する工程と、前記取得された教師データを用いて前記鼻唇側影評価モデルを学習させる工程とを実行する鼻唇側影評価モデルの学習方法が提供され得る。
また、上述の鼻唇側影分析方法を少なくとも含んだ鼻唇側影の見た目印象の評価方法も提供可能である。
また、上述の一以上のプロセッサ及びメモリを少なくとも備える鼻唇側影分析装置であって上述の鼻唇側影分析方法を実行可能な鼻唇側影分析装置、上述の鼻唇側影評価モデルの学習方法を実行可能な鼻唇側影評価モデル学習装置なども提供され得る。
【発明の効果】
【０００８】
本発明によれば、鼻唇側影を適切に分析する技術を提供することができる。
【図面の簡単な説明】
【０００９】
本実施形態に係る鼻唇側影分析方法及び鼻唇側影評価モデルの学習方法を実行可能な情報処理装置のハードウェア構成例を概念的に示す図である。
本実施形態に係る鼻唇側影分析方法のフローチャートである。
本実施形態における頬のほうれい線近傍部位の隆起状態の評価方法を示す概念図である。
顔画像内の顔の領域の範囲とＡＩモデルの推定精度との関係を示すグラフである。
顔画像内の顔の領域の縦方向の位置とＡＩモデルの推定精度との関係を示すグラフである。
鼻唇側影の評価結果の出力例を示す図である。
変形例に係る鼻唇側影分析方法のフローチャートである。
第一評価値及び第二評価値と第一目標値及び第二目標値との出力例を示す図である。
本実施形態に係る鼻唇側影評価モデルの学習方法のフローチャートである。
図１０（ａ）は、ほうれい線グレードに関する目視評価値とＡＩモデルの推定値（第二評価値）との関係を示すグラフであり、図１０（ｂ）は、ふくらみグレードに関する目視評価値とＡＩモデルの推定値（第一評価値）との関係を示すグラフである。
図１１（ａ）はテスト用の顔画像に基づいてＡＩモデルにより推定されたほうれい線グレード及びふくらみグレードに関する各評価値の分布を示すグラフであり、図１１（ｂ）は、図１１（ａ）の評価値に対して線形補正を適用した結果を示すグラフである。
図１２（ａ）は９つの鼻唇側影クラスの各々における代表的な鼻唇側影状態イメージを示す図であり、図１２（ｂ）はほうれい線グレード「０」のサンプル提供者を除いた２１３名のサンプル提供者の９つの鼻唇側影クラスの分布を示す図である。
図１２（ｂ）で示されるサンプル提供者の分布と各サンプル提供者の特定製剤の満足度との関係を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の好ましい実施形態の例（以降、本実施形態と表記する）について説明する。以下に挙げる実施形態は例示であり、本発明は以下の実施形態の構成に限定されない。
（【００１１】以降は省略されています）

関連特許