特許ウォッチ

公開番号2024075940
公報種別公開特許公報(A)
公開日2024-06-05
出願番号2022187221
出願日2022-11-24
発明の名称生体部位検出装置、生体部位検出方法、プログラム、及び車載表示装置
出願人日本精機株式会社
代理人個人,個人,個人,個人,個人
主分類G06T 7/00 20170101AFI20240529BHJP(計算;計数)
要約【課題】撮像光である赤外光等の反射による反射パターン、及び、例えば太陽光等がウインドシールド等で反射して生じる反射パターンの双方について、種類の異なる複数の検出器を使用することなく対策可能とする。
【解決手段】生体部位検出装置200は、撮像部210と、生体部位検出処理部230と、を有し、生体部位検出処理部230は、反射光パターン抽出部232と、抽出された反射光パターンの種類等を検出する反射光パターン検出部233と、生体の部位の特徴量を学習した結果である学習モデルを複数、記憶する記憶部240と、反射光パターンの検出結果に基づいて、記憶部の中から、検出された反射光パターンに影響を受けにくい検出アルゴリズムを用いた学習モデルを選択する学習モデル選択部235と、選択された学習モデルを用いて、生体の部位を検出する生体部位検出部236と、を有する。
【選択図】図2
特許請求の範囲【請求項１】
撮像画像に基づいて生体の部位を検出する生体部位検出装置であって、
検出対象である前記生体の部位からの撮像光の反射光を受光する受光部を有する撮像部と、
前記撮像部により取得された撮像画像に基づいて、前記生体の部位を検出する生体部位検出処理部と、
を有し、
前記生体部位検出処理部は、
前記撮像画像に基づいて、所定の反射光パターンを抽出する反射光パターン抽出部と、
抽出された反射光パターンについて、少なくともその種類、及び位置を検出する反射光パターン検出部と、
生体の部位の特徴量を学習した結果である学習モデルを複数、記憶する記憶部と、
前記反射光パターン検出部による反射光パターンの検出結果に基づいて、前記記憶部の中から、検出された反射光パターンに影響を受けにくい検出アルゴリズムを用いた学習モデルを選択する学習モデル選択部と、
選択された学習モデルを用いて、前記生体の部位を検出する生体部位検出部と、
を有する、生体部位検出装置。
続きを表示（約 2,100 文字）【請求項２】
前記生体部位検出装置の少なくとも前記撮像部は、
車両に設けられ、光の反射性と透過性を併せ持つ反射透光部材に画像の表示光を照射して、前記車両の乗員に対して画像を表示する反射型の車載表示装置内の、前記反射透光部材を通過して直接的に到来する外光が遮蔽される位置に設けられている、
請求項１に記載の生体部位検出装置。
【請求項３】
前記学習モデル選択部は、
前記反射光パターンが検出されない場合には、通常の検出に用いられる第１のアルゴリズムを用いた第１の学習モデルを選択し、
前記反射光パターンが検出され、かつ検出された反射光パターンが前記撮像光の反射に基づく第１の反射光パターンである場合には、前記第１のアルゴリズムよりも、検出条件の数が低減されている第２のアルゴリズムを用いた第２の学習モデルを選択する、
又は、
前記反射光パターンが検出され、かつ検出された反射光パターンが前記撮像光の反射に基づく第１の反射光パターンである場合には、前記撮像部における前記受光部の受光面での前記第１の反射光パターンが存在する範囲を除くように、特徴量の検出候補となる要素を限定することで、前記第１のアルゴリズムよりも、検出条件の数が低減された第２のアルゴリズムを用いた第２の学習モデルを選択する、
請求項１に記載の生体部位検出装置。
【請求項４】
前記学習モデル選択部は、
前記反射光パターンが検出され、検出された反射光パターンが前記撮像光以外の外光の反射に基づく第２の反射光パターンであり、前記生体の部位の検出に失敗する場合、あるいは、失敗する可能性が高いと判断される場合には、
前記検出対象である生体の部位の周辺に位置する周辺部位について、骨格検出による周辺部位の検出を実施すると共に、
検出された周辺部位と、前記検出対象である生体の部位との間の少なくとも１つ以上の関係性に基づいて、前記検出対象である生体の部位の、推定による検出を実施する、
請求項１に記載の生体部位検出装置。
【請求項５】
前記生体部位検出部による検出結果の出力の可否を判定する機能を有する結果出力部を有する、
請求項１に記載の生体部位検出装置。
【請求項６】
前記反射光パターン抽出部は、
前記撮像部における前記受光部から得られる撮像画像について、画素値が飽和して階調性が失われた、所定形状の画像領域を抽出する、
請求項１に記載の生体部位検出装置。
【請求項７】
前記記憶部は、
前記反射光パターンの検出に用いられる複数の学習モデル、及び各学習モデルに対応した学習データを記憶する反射光パターン記憶部を有し、
前記反射光パターン検出部は、
前記反射光パターン記憶部における前記複数の学習モデルの中から、反射光パターンの種類に対応する学習モデルを選択し、かつ、選択された学習モデルに対応する学習データを選択し、選択された学習モデル、及び学習データに基づいて、反射光パターンの検出を実施する、
請求項１に記載の生体部位検出装置。
【請求項８】
前記生体部位検出処理部は、
前記撮像部における前記受光部から得られる撮像画像について、画素値ヒストグラムの均等化を実施する均等化処理部を有し、
前記均等化処理部は、
前記反射光パターン検出部の検出結果に応じて、ヒストグラム均等化法（ＨＥ法）、適応ヒストグラム均等化法（ＡＨＥ法）、及び、コントラスト制限適応ヒストグラム均等化法（ＣＬＡＨＥ法）の中から１つを選択して均等化処理を実施し、
前記生体部位検出部は、均等化処理後の画像データに基づいて、前記生体の部位の検出を実施する、
請求項１に記載の生体部位検出装置。
【請求項９】
撮像画像に基づいて生体の部位を検出する生体部位検出方法であって、
検出対象である前記生体の部位からの撮像光の反射光を受光する撮像ステップと、
前記撮像ステップにより取得された撮像画像に基づいて、前記生体の部位を検出する生体部位検出処理ステップと、
を含み、
前記生体部位検出処理ステップは、
前記撮像画像に基づいて、特定の反射光パターンを抽出する反射光パターン抽出ステップと、
抽出された反射光パターンについて、少なくともその種類、及び位置を検出する反射光パターン検出ステップと、
前記反射光パターン検出ステップによる反射光パターンの検出結果に基づいて、判定された反射光パターンに影響を受けにくい検出アルゴリズムを用いた学習モデルを選択する学習モデル選択ステップと、
選択された学習モデルを用いて、前記生体の部位を検出する生体部位検出ステップと、
を含む、生体部位検出方法。
【請求項１０】
請求項９に記載の生体部位検出方法をコンピュータに実行させるプログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、生体部位検出装置、生体部位検出方法、プログラム、及び車載表示装置等に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
特許文献１には、人体の部位の特徴量を学習した結果である学習モデルを記憶する学習モデル記憶部と、距離画像を取得する距離画像取得部と、距離画像から人物領域を抽出する前方人物抽出部と、人物領域と学習モデルに基づいて人体の部位を検出する人体部位検出部と、を備える人体部位検出システムが示されている。
【０００３】
また、特許文献２には、ヘッドアップディスプレイ（ＨＵＤ）装置の利用者に赤外光を照射して利用者を撮像し、その撮像画像に基づいて利用者の目の位置（瞳孔等の位置）を検出する際に、ＨＵＤ装置に太陽光や街灯の光等の強い外光が入射した場合であっても、画像処理によって目の位置の検出を可能とすることが記載されている。
【０００４】
また、特許文献３には、自動車のハンドルを握っている運転者の撮像画像に基づいて、骨格検知処理を実施することが記載されている。
【先行技術文献】
【特許文献】
【０００５】
特開２０１６－９１１０８号公報（図１等）
特開２０２１－１３３８０１号公報（図３～図６等）
特開２０２０－９５７５６号公報（［００２４］、図２等）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明者の検討によって、以下の課題が明らかとなった。
（１）車両の乗員（運転者等）の、例えば顔検出を実施する場合において、乗員の顔の一部が、眼鏡やサングラス、マスク等の装着物によって覆われている場合、撮像光である赤外光がその装着物で反射し、これに起因して撮像画像に不要な反射パターンが生じる場合がある。不要な反射パターンが生じると、顔検出等に必要な特徴量の検出精度が低下する。
（２）また、上記特許文献２に記載される、太陽光や街灯光等が撮像部に直接的に入射される問題は、例えばＨＵＤ装置の窓部にフィルタを設けて外光を遮断することで対策できる。
但し、この場合であっても、太陽光や街灯光がウインドシールドで反射して、その反射光が、例えばＨＵＤ装置の内部の撮像部に入射すること、言い換えれば、外光が撮像部の赤外線カメラ等に間接的に入射する場合がある。この場合においても、撮像画像に、外光による反射パターンが生じる。
例えば、半導体検出器を使用する場合、半導体検出器は赤外光の波長帯域のみならず、ある程度の可視光の波長帯域にも感度をもつ。よって、太陽光等の強度が強く、また、不要な反射パターンの範囲が撮像面において大きな面積を占める場合には、いわゆる白飛びが広範囲に生じて、特徴量の検出がほとんどできず、顔検出に失敗するという場合も想定され得る。
【０００７】
（３）検出精度の低下を抑制する方法としては、例えば、顔を検出する検出器（顔検出器）に加えて、他の評価軸、例えば骨格検出の機能を有する骨格検出器を使用する方法等が考えられる。
しかし、ＨＵＤ装置に使用される、計算資源の乏しい組み込み機器（言い換えれば、車載表示装置等に特化した、限定された構成をもつ機器）においては、種類の異なる複数の検出器を高速度で動かすことは、現実には難しいといった問題がある。
従って、計算資源の乏しい組込み機器においても、高速かつ一定の精度を保証した実用に耐える顔等の検出を可能とする必要がある。
【０００８】
このような新規な課題が、本発明者によって明らかとされた。この課題については、上記の特許文献１～３には記載されておらず、その対策についての記載もない。
【０００９】
言い換えれば、特許文献１は、上記（１）～（３）に示した課題については言及されておらず、その対策についての記載もない。
【００１０】
また、特許文献２では、太陽光等が直接的にＨＵＤ装置等の内部に入射することを問題としており、太陽光等がウインドシールドで反射して間接的にＨＵＤ装置等の内部に入射するという課題については記載がない。
また、この特許文献２では、反射光パターンが撮像面上で大きく広がり、白飛びが広範に生じて顔等の検出がまったくできない場合等の対策についても記載されていない。
（【００１１】以降は省略されています）

関連特許