特許ウォッチ

公開番号2025016796
公報種別公開特許公報(A)
公開日2025-02-04
出願番号2024197788,2023525373
出願日2024-11-13,2022-02-04
発明の名称人物検索装置、人物検索システム、人物検索方法、および、人物検索プログラム
出願人三菱電機株式会社
代理人弁理士法人山王内外特許事務所
主分類G06T 7/00 20170101AFI20250128BHJP(計算;計数)
要約【課題】複数のカメラが撮影したた画像の中から特定人物が含まれる画像を高い精度で検索する人物検索装置を提供する。
【解決手段】人物検索システムにおいて、人物検索装置は、検索対象の人物の全身画像特徴量及び顔画像特徴量を取得し、データベース内との類似度を示す全身画像特徴量の第1類似度及び顔画像特徴量の第2類似度を算出する類似度算出部、第1類似度が第1閾値を超えたか、第2類似度が第2閾値を超えたかを判定する分類部、分類部の結果を用いて、第2閾値を超えた撮影情報を用いて領域及び時間帯を算出し、第1閾値を超え、第2閾値を超えない第2の撮影情報により、領域及び時間帯を条件として絞り込みを行う人物検索部並びに第2閾値を超えた顔画像特徴量に紐づいた全身画像特徴量と全身画像特徴量との差分値が、第3閾値を超えた場合、全身画像特徴量を、顔画像特徴量に紐づいた全身画像特徴量に置き換える全身画像特徴量補正部を含む。
【選択図】図9
特許請求の範囲【請求項１】
複数のカメラにより撮影された複数の画像の中から、検索対象の人物が含まれる画像を検索する人物検索装置であって、
検索対象の人物が示された特定人物画像における人物の全身画像特徴量および顔画像特徴量を取得すると、前記複数のカメラから出力された画像ごとに、全身画像特徴量、顔画像特徴量、および、カメラ識別情報と撮影位置と撮影日時とを含む撮影情報、が紐づけられて保存されたデータベースを参照して、前記特定人物画像の全身画像特徴量と前記データベース内の全身画像特徴量との類似度を示す第１類似度を算出するとともに、前記特定人物画像の顔画像特徴量と前記データベース内の顔画像特徴量との類似度を示す第２類似度を算出する、類似度算出部と、
前記第１類似度が第１閾値を超えたかを判定するとともに、前記第２類似度が第２閾値を超えたかを判定する、分類部と、
前記特定人物画像の全身画像特徴量を補正する、全身画像特徴量補正部と、
前記分類部の判定結果を用いて、前記データベースから、前記第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を取得し、取得した撮影情報を用いて、前記特定人物画像に示される人物が撮影された可能性がある領域および時間帯を算出し、前記データベースから、前記第１類似度が第１閾値を超えた全身画像特徴量および前記第２類似度が第２閾値を超えない顔画像特徴量に紐づけられた第２の撮影情報を取得し、取得した第２の撮影情報について、前記領域および前記時間帯を条件として絞り込みを行い、特定人物撮影情報を生成する、人物検索部と、
を備え、
前記全身画像特徴量補正部は、前記分類部の判定結果を用いて、前記データベースから、前記第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた全身画像特徴量を取得し、取得した全身画像特徴量と前記特定人物画像の全身画像特徴量との差分値が、第３閾値を超えた場合、当該特定人物画像の全身画像特徴量を、当該第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた全身画像特徴量に置き換える、人物検索装置。
続きを表示（約 3,100 文字）【請求項２】
複数のカメラにより撮影された複数の画像の中から、検索対象の人物が含まれる画像を検索する人物検索装置であって、
検索対象の人物が示された特定人物画像における人物の全身画像特徴量および顔画像特徴量を取得すると、前記複数のカメラから出力された画像ごとに、全身画像特徴量、顔画像特徴量、および、カメラ識別情報と撮影位置と撮影日時とを含む撮影情報、が紐づけられて保存されたデータベースを参照して、前記特定人物画像の全身画像特徴量と前記データベース内の全身画像特徴量との類似度を示す第１類似度を算出するとともに、前記特定人物画像の顔画像特徴量と前記データベース内の顔画像特徴量との類似度を示す第２類似度を算出する、類似度算出部と、
前記第１類似度が第１閾値を超えたかを判定するとともに、前記第２類似度が第２閾値を超えたかを判定する、分類部と、
前記分類部の判定結果を用いて、前記データベースから、前記第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を取得し、取得した撮影情報を用いて、前記特定人物画像に示される人物が撮影された可能性がある領域および時間帯を算出し、前記データベースから、前記第１類似度が第１閾値を超えた全身画像特徴量および前記第２類似度が第２閾値を超えない顔画像特徴量に紐づけられた第２の撮影情報を取得し、取得した第２の撮影情報について、前記領域および前記時間帯を条件として絞り込みを行い、特定人物撮影情報を生成する、人物検索部と、
を備えた、人物検索装置。
【請求項３】
複数のカメラにより撮影された複数の画像の中から、検索対象の人物が含まれる画像を検索する人物検索装置であって、
検索対象の人物が示された特定人物画像における人物の全身画像特徴量および顔画像特徴量を取得すると、前記複数のカメラから出力された画像ごとに、全身画像特徴量、顔画像特徴量、および、カメラ識別情報と撮影位置と撮影日時とを含む撮影情報、が紐づけられて保存されたデータベースを参照して、前記特定人物画像の全身画像特徴量と前記データベース内の全身画像特徴量との類似度を示す第１類似度を算出するとともに、前記特定人物画像の顔画像特徴量と前記データベース内の顔画像特徴量との類似度を示す第２類似度を算出する、類似度算出部と、
前記第１類似度が第１閾値を超えたかを判定するとともに、前記第２類似度が第２閾値を超えたかを判定する、分類部と、
前記特定人物画像の全身画像特徴量を補正する、全身画像特徴量補正部と、
前記分類部の判定結果を用いて、前記データベースから、第１類似度が第１閾値を超えた全身画像特徴量および第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を取得し、取得した撮影情報を用いて、特定人物撮影情報を生成する、人物検索部と、
を備え、
前記全身画像特徴量補正部は、前記分類部の判定結果を用いて、前記データベースから、前記第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた全身画像特徴量を取得し、取得した全身画像特徴量と前記特定人物画像の全身画像特徴量との差分値が、第３閾値を超えた場合、当該特定人物画像の全身画像特徴量を、当該第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた全身画像特徴量に置き換える、人物検索装置。
【請求項４】
前記人物検索部は、
さらに、前記特定人物撮影情報と、当該特定人物撮影情報のカメラ識別情報に示されるカメラが撮影した画像とを、検索を要求した監視端末へ出力する、
請求項１から請求項３のいずれか１項に記載の人物検索装置。
【請求項５】
カメラごとに撮影された画像の全身画像特徴量および顔画像特徴量と、当該画像の撮影情報と、を取得し、取得した全身画像特徴量、顔画像特徴量、および、撮影情報を紐づけて、前記データベースに保存する、人物特徴保存部を、さらに備えた、
請求項１から請求項３のいずれか１項に記載の人物検索装置。
【請求項６】
受け付けた画像から全身画像を抽出する全身画像抽出部と、
受け付けた画像から顔画像を抽出する顔画像抽出部と、
前記全身画像抽出部により抽出された全身画像から全身画像特徴量を抽出する全身画像特徴量抽出部と、
前記顔画像抽出部により抽出された顔画像から顔画像特徴量を抽出する顔画像特徴量抽出部と、をさらに備え、
前記類似度算出部は、
前記全身画像特徴量抽出部から全身画像特徴量を取得するとともに、前記顔画像特徴量抽出部から顔画像特徴量を取得する、
請求項２に記載の人物検索装置。
【請求項７】
受け付けた画像から全身画像を抽出する全身画像抽出部と、
受け付けた画像から顔画像を抽出する顔画像抽出部と、
前記全身画像抽出部により抽出された全身画像から全身画像特徴量を抽出する全身画像特徴量抽出部と、
前記顔画像抽出部により抽出された顔画像から顔画像特徴量を抽出する顔画像特徴量抽出部と、をさらに備え、
前記類似度算出部は、
前記全身画像特徴量抽出部から全身画像特徴量を取得するとともに、前記顔画像特徴量抽出部から顔画像特徴量を取得する、
請求項３に記載の人物検索装置。
【請求項８】
複数のカメラにより撮影された画像および撮影情報を取得する、カメラ画像取得部と、
カメラごとに撮影された画像の全身画像特徴量および顔画像特徴量と、当該画像の撮影情報と、を取得し、取得した全身画像特徴量、顔画像特徴量、および、撮影情報を紐づけて、前記データベースに保存する、人物特徴保存部と、を備え、
前記全身画像抽出部は、前記カメラ画像取得部が取得した画像から全身画像を抽出し、
前記顔画像抽出部は、前記カメラ画像取得部が取得した画像から顔画像を抽出し、
前記全身画像特徴量抽出部は、前記カメラ画像取得部が取得した画像の全身画像から全身画像特徴量を抽出して、前記人物特徴保存部へ出力し、
前記顔画像特徴量抽出部は、前記カメラ画像取得部が取得した画像の顔画像から顔画像特徴量を抽出して、前記人物特徴保存部へ出力する、請求項６または請求項７に記載の人物検索装置。
【請求項９】
前記人物検索部は、
前記特定人物撮影情報を生成する際に、同一のカメラを示すカメラ識別情報が複数含まれる場合、同一のカメラを示すカメラ識別情報を、所定の時間間隔ごとに間引きする、
請求項１から請求項３のいずれか１項に記載の人物検索装置。
【請求項１０】
前記全身画像特徴量抽出部は、前記カメラが撮影した画像を受け付けると、カメラ識別情報が示すカメラごとの補正量を用いて補正した全身画像特徴量を算出するものであって、
前記全身画像特徴量補正部は、前記第２類似度が第２閾値を超えた顔画像特徴量および互いに異なるカメラを示すカメラ識別情報に紐づけられた複数の全身画像特徴量を用いて、前記複数の全身画像特徴量のそれぞれが、他の複数の全身画像特徴量と同程度となるように前記全身画像特徴量抽出部に用いられる補正量を修正する、請求項７に記載の人物検索装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、複数の画像の中から、特定人物が含まれる画像を検索する人物検索装置に関する。
続きを表示（約 2,900 文字）【背景技術】
【０００２】
画像に含まれる人物を識別する技術の中には、画像における人物の特徴量を用いて人物を識別する技術がある。
例えば、特許文献１には、撮像部（カメラ）により撮像された人物を含む画像から、人物の顔に関する第１の特徴量および体に関する第２の特徴量を抽出し、抽出された第１の特徴量および第２の特徴量にそれぞれ重み付けを付与して算出した第３の特徴量に基づいて人物を識別することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１９－２３７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、複数の画像が複数のカメラで撮影された画像である場合、例えば、異なる撮影条件において撮影された画像が含まれ、撮影条件ごとに画像における人物の特徴量が異なる場合が多い。
このような場合、従来の技術では、人物を識別する精度にばらつきが生じてしまうため、複数のカメラで撮影された画像の中から特定人物が含まれる画像を検索する精度が低くなる傾向がある、という課題があった。
特許文献１に記載の人物識別装置は、複数のカメラ全ての撮影条件に合うように、重み付けを最適に定めることが困難であり、依然として、上記課題を解決できるものではない。
【０００５】
本開示は、複数のカメラで撮影された画像の中から特定人物が含まれる画像を高い精度で検索する、人物検索装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示の人物検索装置は、複数のカメラにより撮影された複数の画像の中から、検索対象の人物が含まれる画像を検索する人物検索装置であって、検索対象の人物が示された特定人物画像における人物の全身画像特徴量および顔画像特徴量を取得すると、複数のカメラから出力された画像ごとに、全身画像特徴量、顔画像特徴量、および、カメラ識別情報と撮影位置と撮影日時とを含む撮影情報、が紐づけられて保存されたデータベースを参照して、特定人物画像の全身画像特徴量とデータベース内の全身画像特徴量との類似度を示す第１類似度を算出するとともに、特定人物画像の顔画像特徴量とデータベース内の顔画像特徴量との類似度を示す第２類似度を算出する、類似度算出部と、第１類似度が第１閾値を超えたかを判定するとともに、第２類似度が第２閾値を超えたかを判定する、分類部と、特定人物画像の全身画像特徴量を補正する、全身画像特徴量補正部と、分類部の判定結果を用いて、データベースから、第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた撮影情報を取得し、取得した撮影情報を用いて、特定人物画像に示される人物が撮影された可能性がある領域および時間帯を算出し、データベースから、第１類似度が第１閾値を超えた全身画像特徴量および第２類似度が第２閾値を超えない顔画像特徴量に紐づけられた第２の撮影情報を取得し、取得した第２の撮影情報について、領域および時間帯を条件として絞り込みを行い、特定人物撮影情報を生成する、人物検索部と、を備え、全身画像特徴量補正部は、分類部の判定結果を用いて、データベースから、第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた全身画像特徴量を取得し、取得した全身画像特徴量と特定人物画像の全身画像特徴量との差分値が、第３閾値を超えた場合、当該特定人物画像の全身画像特徴量を、当該第２類似度が第２閾値を超えた顔画像特徴量に紐づけられた全身画像特徴量に置き換える、ように構成したものである。
【発明の効果】
【０００７】
本開示によれば、複数のカメラで撮影された画像の中から特定人物が含まれる画像を高い精度で検索する、人物検索装置を提供することができる、という効果を奏する。
【図面の簡単な説明】
【０００８】
本開示に係る人物検索装置を含む人物検索システムを示す図である。
本開示の実施の形態１に係る人物検索装置を含む人物検索システムの構成を示す図である。
本開示において用いられる画像の一例を示す図である。
本開示の実施の形態１に係る人物検索装置におけるデータ生成処理を示すフローチャートである。
本開示の実施の形態１に係る人物検索装置における人物検索処理を示すフローチャートである。
図７におけるＳＴ１８０における詳細な処理を示すフローチャートである。
本開示の実施の形態１に係る人物検索装置を含む人物検索システムの構成の変形例１を示す図である。
本開示の実施の形態１に係る人物検索装置を含む人物検索システムの構成の変形例２を示す図である。
本開示の実施の形態２に係る人物検索装置を含む人物検索システムの構成を示す図である。
本開示の実施の形態２に係る人物検索装置における補正値更新処理を示すフローチャートである。
本開示の実施の形態２に係る人物検索装置における全身画像特徴量を用いて画像を抽出する処理を示すフローチャートである。
本開示の実施の形態３に係る人物検索装置を含む人物検索システムの構成を示す図である。
本開示における閾値決定部の構成を示す図である。
本開示における第１閾値調整処理を示すフローチャートである。
本開示における第２閾値調整処理を示すフローチャートである。
本開示に係る人物検索装置のハードウェア構成の第１の例を示す図である。
本開示に係る人物検索装置のハードウェア構成の第２の例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本開示をより詳細に説明するために、本開示を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、本開示に係る人物検索装置１００を含む人物検索システム１を示す図である。
図２は、本開示の実施の形態１に係る人物検索装置１００を含む人物検索システム１の構成を示す図である。
【００１０】
図１に示す人物検索システム１は、人物検索装置１００、データベース２００、監視端末３００、カメラ４００、および、画像記録装置５００、を有する。
人物検索システム１において、人物検索装置１００は、データベース２００、監視端末３００、カメラ４００、および、画像記録装置５００、と通信可能に接続される。
また、監視端末３００、カメラ４００、および、画像記録装置５００は、相互に通信可能に接続される。
人物検索システム１は、複数のカメラ４００（４００－ｎ：ｎは１以上の任意の整数）により撮影された複数の画像の中から、検索対象の人物が含まれる画像を検索するシステムである。
（【００１１】以降は省略されています）

関連特許