特許ウォッチ

公開番号2024053531
公報種別公開特許公報(A)
公開日2024-04-15
出願番号2023111583
出願日2023-07-06
発明の名称画像処理装置、認証システム、方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06V 40/16 20220101AFI20240408BHJP(計算;計数)
要約【課題】本発明は、人物の顔の遮蔽状態を考慮して、効率的に顔認証を行う技術を提供することを目的とする。
【解決手段】画像から検出された第1の人物の第1の顔情報と第1の姿勢情報、及び前記第1の人物とは異なる第2の人物の第2の姿勢情報の少なくともいずれかに基づいて、前記第1の人物の顔が前記第1の人物の一部または前記第2の人物の一部によって遮蔽されているか否かを判定する。前記第1の人物の顔が前記第1の人物の一部及び前記第2の人物の一部によって遮蔽されていないと判定した場合、前記第1の人物の顔認証を行う。
【選択図】図3
特許請求の範囲【請求項１】
画像から検出された第１の人物の第１の顔情報と第１の姿勢情報、及び前記第１の人物とは異なる第２の人物の第２の姿勢情報の少なくともいずれかに基づいて、前記第１の人物の顔が前記第１の人物の一部または前記第２の人物の一部によって遮蔽されているか否かを判定する判定手段と、
前記判定手段が前記第１の人物の顔が前記第１の人物の一部及び前記第２の人物の一部によって遮蔽されていないと判定した場合、前記第１の人物の顔認証を行う認証手段と、を備える、
ことを特徴とする画像処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記画像よりも前に撮像された画像において前記第１の人物の顔が、前記第１の人物の一部または前記第２の人物の一部によって遮蔽されていた場合、前記第１の人物の顔の状態を判定する顔判定手段を更に備え、
前記認証手段は、前記第１の人物の顔の状態に基づくモデルを用いて前記第１の人物の顔認証を行う、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記認証手段は、前記判定手段が前記第１の人物の顔が前記第１の人物の一部または前記第２の人物の一部によって遮蔽されていると判定した場合、前記第１の人物の顔認証を抑制する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記顔判定手段は、前記画像よりも前に撮像された画像において前記第１の人物の顔が、前記第１の人物の一部及び前記第２の人物の一部によって遮蔽されていない場合、前記第１の人物の顔の状態を判定することを抑制する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記モデルは、前記画像から前記第１の人物の顔の特徴を抽出するモデルである、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記画像において同一人物の顔情報と姿勢情報とを対応付ける対応手段を更に備える、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記判定手段は、前記第１の顔情報と、前記第１の姿勢情報が有する前記第１の人物の関節点の信頼度または前記第２の姿勢情報が有する前記第２の人物の関節点の信頼度に基づいて、前記第１の人物の顔が前記第１の人物の一部または前記第２の人物の一部によって遮蔽されているか否かを判定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記判定手段は、前記第１の人物の顔の位置と、前記第１の姿勢情報が有する前記第１の人物の関節点の位置または前記第２の姿勢情報が有する前記第２の人物の関節点の位置との間の距離に基づいて、前記第１の人物の顔が前記第１の人物の一部または前記第２の人物の一部によって遮蔽されているか否かを判定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記第１の人物の顔の特徴と、登録済みの第１の人物の顔の特徴とを照合する照合手段をさらに備える、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記照合手段は、前記第１の人物の顔の特徴と、前記登録済みの第１の人物の顔の特徴との間の類似度に基づいて、前記第１の人物の顔と前記登録済みの第１の人物の顔とが同一であるか否かを照合する、
ことを特徴とする請求項９に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、認証システム、方法、及びプログラムに関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
画像処理装置は、登録した顔の画像と照合する顔の画像を照合することで、登録した顔と照合する顔とが同一であるか否かを判定する、いわゆる顔認証を行う。動画像を用いて顔認証を行う場合では、動画像に含まれる顔の状態が変動することがある。そのため、動画像から顔認証可能な静止画像を選択し、選択した画像を顔認証に利用する方法が提案されている。例えば、特許文献１は、顔画像の画質評価を行い、画質が良好な顔画像を用いて顔認証用の３次元顔形状モデルを構成する方法を記載している。また、特許文献２は、複数の顔画像から顔の特徴点を検出し、顔の特徴点から顔の信頼度を算出し、信頼度の高い顔画像で顔認証する方法を記載している。
【先行技術文献】
【特許文献】
【０００３】
特許第４９３９９６８号公報
特許第６８３５２２３号公報
【非特許文献】
【０００４】
Ren, Shaoqing, et al. "Faster r-cnn: Towards real-time object detection with region proposal networks." Advances in neural information processing systems. 2015.
Cao, Zhe, et al. "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields." CVPR 2017: 1302-1310.
DENG, Jiankang, et al. Arcface: Additive angular margin lossfor deep face recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019. p. 4690-4699.
Grabner, Helmut, et al. "Real-time tracking via on-line boosting." Bmvc. Vol. 1. No. 5. 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
顔認証に適さない顔画像の一例として、本人の手で本人の顔を遮蔽している顔画像がある。例えば、顔を遮蔽している顔画像は、本人が自身の手で顔をかいている顔画像、本人がマスクや眼鏡等を着脱している顔画像、化粧やフェイスペイントが施された顔を含む顔画像などである。また、他人の手足などによって人物の顔が遮蔽される場合もある。このように、人物又は他人の行動によって人物の顔の状態が大きく変化する場合がある。
【０００６】
しかしながら、特許文献１及び特許文献２は、画像において人物の顔の状態を変える姿勢（例えば、本人又は他人の手で本人の顔を遮蔽する姿勢）を検出できない。そのため、特許文献１及び特許文献２は、顔認証に適さない顔画像を用いて顔認証を行ってしまい、効率的に顔認証を行えないといった課題がある。
【０００７】
そこで、本発明は、人物の顔の遮蔽状態を考慮して、効率的に顔認証を行う技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の目的を達成するために、本発明の一実施形態に係る画像処理装置は、以下の構成を備える。すなわち、画像処理装置は、画像から検出された第１の人物の第１の顔情報と第１の姿勢情報、及び前記第１の人物とは異なる第２の人物の第２の姿勢情報の少なくともいずれかに基づいて、前記第１の人物の顔が前記第１の人物の一部または前記第２の人物の一部によって遮蔽されているか否かを判定する判定手段と、前記判定手段が前記第１の人物の顔が前記第１の人物の一部及び前記第２の人物の一部によって遮蔽されていないと判定した場合、前記第１の人物の顔認証を行う認証手段と、を備える、ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、人物の顔の遮蔽状態を考慮して、効率的に顔認証を行う技術を提供することができる。
【図面の簡単な説明】
【００１０】
第１実施形態に係る画像処理装置のハードウェア構成の一例を示す図。
第１実施形態に係る画像処理装置の機能構成の一例を示す図。
第１実施形態に係る画像処理装置が行う認証処理を説明するフローチャート。
第１実施形態に係る人物の手によって人物の顔が遮蔽された場合を示す図。
第１実施形態に係る人物の腕によって人物の顔が遮蔽された場合を示す図。
第１実施形態に係る顔の特徴を抽出するモデルを選択する処理を説明するフローチャート。
第１実施形態に係る認証処理を行った場合の効果を説明する図。
第１実施形態に係る姿勢情報と顔情報の対応付けの一例を説明する図。
第２実施形態に係る画像処理装置が行う認証処理を説明するフローチャート。
第２実施形態に係る他人の姿勢が人物の顔を遮蔽する一例を説明する図。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許