特許ウォッチ

公開番号2025173540
公報種別公開特許公報(A)
公開日2025-11-28
出願番号2024079098
出願日2024-05-15
発明の名称人物同定装置、及び人物同定方法
出願人株式会社NTTドコモ
代理人弁理士法人旺知国際特許事務所
主分類G06T 7/292 20170101AFI20251120BHJP(計算;計数)
要約【課題】複数のカメラの各撮像画像に写り込んだ人物の位置の推定結果の統合を可能にする。
【解決手段】人物同定装置20は、第1決定部230a、第2決定部230b、及び統合部230cを備える。第1決定部230aは、カメラ30Aの人物に関し、時刻T1における第1位置と時刻T2における第2位置を決定する。第1決定部230aは、カメラ30Bの人物に関し、時刻T1における第3位置と時刻T2における第4位置を決定する。第2決定部230bは、第1位置及び第2位置に基づいてカメラ30Aの人物について位置の軌跡を補足済であるかを決定し、第3位置及び第4位置に基づいてカメラ30Bの人物について位置の軌跡を補足済であるかを決定する。統合部230cは、カメラ30Aにより撮像された人物とカメラ30Bにより撮像された人物とが同一であると判定された場合に、第1位置と第3位置とを統合し、第2位置と第4位置とを統合する。
【選択図】図1
特許請求の範囲【請求項１】
対象領域を第１方向から見た第１画像に基づいて、前記第１画像に写り込む人物に関して、第１フレームにおける前記対象領域の３Ｄモデル上の第１位置と、前記第１フレームに続く第２フレームにおける前記３Ｄモデル上の第２位置とを決定し、前記対象領域を第１方向とは異なる第２方向から見た第２画像に基づいて、前記第２画像に写り込む人物に関して、前記第１フレームにおける前記３Ｄモデル上の第３位置と、前記第２フレームにおける前記３Ｄモデル上の第４位置とを決定する第１決定部と、
前記第１位置と前記第２位置とに基づいて、前記第１画像に写り込む人物が、前記第１フレームと前記第２フレームとの間で同一であると判定された場合、前記第１画像に写り込む人物は当該人物の位置の軌跡を捕捉している既存人物と決定し、前記第１位置と前記第２位置とに基づいて、前記第１画像に写り込む人物が、前記第１フレームと前記第２フレームとの間で異なると判定された場合、前記第１画像に写り込む人物は当該人物の位置の軌跡を捕捉していない新規人物と決定し、前記第３位置と前記第４位置とに基づいて、前記第２画像に写り込む人物が、前記第１フレームと前記第２フレームとの間で同一であると判定された場合、前記第２画像に写り込む人物は前記既存人物と決定し、前記第３位置と前記第４位置とに基づいて、前記第２画像に写り込む人物が、前記第１フレームと前記第２フレームとの間で異なると判定された場合、前記第２画像に写り込む人物は前記新規人物と決定する第２決定部と、
前記第１位置と前記第３位置に基づいて、前記第１フレームにおいて、前記第１画像に写り込む人物と前記第２画像に写り込む人物とが同一であるかを判定された場合、前記第１位置と前記第３位置とを統合し、前記第２位置と前記第４位置に基づいて、前記第２フレームにおいて、前記第１画像に写り込む人物と前記第２画像に写り込む人物とが同一であると判定された場合、前記第２位置と前記第４位置とを統合する統合部と、
を備える人物同定装置。
続きを表示（約 2,600 文字）【請求項２】
前記第１位置と前記第２位置とに基づいて、前記第１画像に写り込む人物が、前記第１フレームと前記第２フレームとの間で同一であるかを判定し、前記第３位置と前記第４位置とに基づいて、前記第２画像に写り込む人物が、前記第１フレームと前記第２フレームとの間で同一であるかを判定する第１判定部と、
前記第１位置と前記第３位置とに基づいて、前記第１フレームにおいて、前記第１画像に写り込む人物と前記第２画像に写り込む人物とが同一であるかを判定し、前記第２位置と前記第４位置とに基づいて、前記第２フレームにおいて、前記第１画像に写り込む人物と前記第２画像に写り込む人物とが同一であるかを判定する第２判定部と、
を備える請求項１に記載の人物同定装置。
【請求項３】
前記第２判定部は、
前記第１画像の第１フレームに写り込む人物の足の向き、前記第２画像の第１フレームに写り込む人物の足の向き、前記第１位置、及び前記第３位置に基づいて、前記第１フレームにおいて、前記第１画像に写り込む人物と前記第２画像に写り込む人物とが同一であるかを判定し、
前記第１画像の第２フレームに写り込む人物の足の向き、前記第２画像の第２フレームに写り込む人物の足の向き、前記第２位置、及び前記第４位置に基づいて、前記第２フレームにおいて、前記第１画像に写り込む人物と前記第２画像に写り込む人物とが同一であるかを判定する、
請求項２に記載の人物同定装置。
【請求項４】
前記第２判定部は、
前記第１画像の第１フレームに写り込む人物の足の向きと前記第２画像の第１フレームに写り込む人物の足の向きとがなす角度が第１角度以下であり、且つ、前記第１位置と前記第３位置との距離が閾値以下である場合に、前記第１フレームにおいて、前記第１画像に写り込む人物と前記第２画像に写り込む人物とが同一であると判定し、
前記第１画像の第２フレームに写り込む人物の足の向きと前記第２画像の第２フレームに写り込む人物の足の向きとがなす角度が前記第１角度以下であり、且つ、前記第２位置と前記第４位置との距離が前記閾値以下である場合に、前記第２フレームにおいて、前記第１画像に写り込む人物と前記第２画像に写り込む人物とが同一であると判定する、
請求項３に記載の人物同定装置。
【請求項５】
前記第１決定部は、機械学習モデルを用いて、前記第１位置、前記第２位置、前記第３位置及び前記第４位置を決定し、
前記機械学習モデルは、前記第１位置の確からしさを示す第１指標、前記第２位置の確からしさを示す第２指標、前記第３位置の確からしさを示す第３指標、及び前記第４位置の確からしさを示す第４指標を出力し、
前記統合部は、前記第１指標を前記第１位置の重みとするとともに前記第３指標を前記第３位置の重みとする重み付け平均により前記第１位置と前記第３位置とを統合し、前記第２指標を前記第２位置の重みとするとともに前記第４指標を前記第４位置の重みとする重み付け平均により前記第２位置と前記第４位置とを統合する、
請求項１に記載の人物同定装置。
【請求項６】
前記統合部は、
前記第１位置と前記第３位置とのいずれか一方を選択することにより、前記第１位置と前記第３位置とを統合し、前記第２位置と前記第４位置とのいずれか一方を選択することにより、前記第２位置と前記第４位置とを統合する、請求項１に記載の人物同定装置。
【請求項７】
前記第１決定部は、機械学習モデルを用いて、前記第１位置、前記第２位置、前記第３位置及び前記第４位置を決定し、
前記機械学習モデルは、前記第１位置の確からしさを示す第１指標、前記第２位置の確からしさを示す第２指標、前記第３位置の確からしさを示す第３指標、及び前記第４位置の確からしさを示す第４指標を出力し、
前記統合部は、前記第１指標と前記第３指標とに基づいて前記第１位置と前記第３位置とのいずれか一方を選択し、前記第１指標と前記第３指標とに基づいて前記第２位置と前記第４位置とのいずれか一方を選択する、請求項６に記載の人物同定装置。
【請求項８】
対象領域を第１方向から見た第１画像に基づいて、前記第１画像に写り込む人物に関して、第１フレームにおける前記対象領域の３Ｄモデル上の第１位置と、前記第１フレームに続く第２フレームにおける前記３Ｄモデル上の第２位置とを決定し、前記対象領域を第１方向とは異なる第２方向から見た第２画像に基づいて、前記第２画像に写り込む人物に関して、前記第１フレームにおける前記３Ｄモデル上の第３位置と、前記第２フレームにおける前記３Ｄモデル上の第４位置とを決定することと、
前記第１位置と前記第２位置とに基づいて、前記第１画像に写り込む人物が、前記第１フレームと前記第２フレームとの間で同一であると判定された場合、前記第１画像に写り込む人物は当該人物の位置の軌跡を捕捉している既存人物と決定し、前記第１位置と前記第２位置とに基づいて、前記第１画像に写り込む人物が、前記第１フレームと前記第２フレームとの間で異なると判定された場合、前記第１画像に写り込む人物は当該人物の位置の軌跡を捕捉していない新規人物と決定し、前記第３位置と前記第４位置とに基づいて、前記第２画像に写り込む人物が、前記第１フレームと前記第２フレームとの間で同一であると判定された場合、前記第２画像に写り込む人物は前記既存人物と決定し、前記第３位置と前記第４位置とに基づいて、前記第２画像に写り込む人物が、前記第１フレームと前記第２フレームとの間で異なると判定された場合、前記第２画像に写り込む人物は前記新規人物と決定することと、
前記第１位置と前記第３位置に基づいて、前記第１フレームにおいて、前記第１画像に写り込む人物と前記第２画像に写り込む人物とが同一であるかを判定された場合、前記第１位置と前記第３位置とを統合し、前記第２位置と前記第４位置に基づいて、前記第２フレームにおいて、前記第１画像に写り込む人物と前記第２画像に写り込む人物とが同一であると判定された場合、前記第２位置と前記第４位置とを統合することと、
を含む人物同定方法。

発明の詳細な説明【技術分野】
【０００１】
本開示は、人物同定装置、及び人物同定方法、に関する。
続きを表示（約 3,400 文字）【背景技術】
【０００２】
特許文献１には、一台のカメラにより撮像された画像に含まれる被写体の位置を推定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２４－２５３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
現実空間に存在する人物の位置情報を、カメラによる撮像画像を用いて推定するには、現実空間を網羅的に撮像範囲に収める必要がある。網羅的に撮像範囲に収めるには、画角及び障害物の観点から１台のカメラでは困難であるため、複数台のカメラでの撮像が必要となる。複数台のカメラを用いた場合には、各カメラの撮像画像に基づく推定結果を統合する必要がある。
【課題を解決するための手段】
【０００５】
本開示の一態様に係る人物同定装置は、対象領域を第１方向から見た第１画像に基づいて、前記第１画像に写り込む人物に関して、第１フレームにおける前記対象領域の３Ｄモデル上の第１位置と、前記第１フレームに続く第２フレームにおける前記３Ｄモデル上の第２位置とを決定し、前記対象領域を第１方向とは異なる第２方向から見た第２画像に基づいて、前記第２画像に写り込む人物に関して、前記第１フレームにおける前記３Ｄモデル上の第３位置と、前記第２フレームにおける前記３Ｄモデル上の第４位置とを決定する第１決定部と、前記第１位置と前記第２位置とに基づいて、前記第１画像に写り込む人物が、前記第１フレームと前記第２フレームとの間で同一であると判定された場合、前記第１画像に写り込む人物は当該人物の位置の軌跡を捕捉している既存人物と決定し、前記第１位置と前記第２位置とに基づいて、前記第１画像に写り込む人物が、前記第１フレームと前記第２フレームとの間で異なると判定された場合、前記第１画像に写り込む人物は当該人物の位置の軌跡を捕捉していない新規人物と決定し、前記第３位置と前記第４位置とに基づいて、前記第２画像に写り込む人物が、前記第１フレームと前記第２フレームとの間で同一であると判定された場合、前記第２画像に写り込む人物は前記既存人物と決定し、前記第３位置と前記第４位置とに基づいて、前記第２画像に写り込む人物が、前記第１フレームと前記第２フレームとの間で異なると判定された場合、前記第２画像に写り込む人物は前記新規人物と決定する第２決定部と、前記第１位置と前記第３位置に基づいて、前記第１フレームにおいて、前記第１画像に写り込む人物と前記第２画像に写り込む人物とが同一であるかを判定された場合、前記第１位置と前記第３位置とを統合し、前記第２位置と前記第４位置に基づいて、前記第２フレームにおいて、前記第１画像に写り込む人物と前記第２画像に写り込む人物とが同一であると判定された場合、前記第２位置と前記第４位置とを統合する統合部と、を備える。
【０００６】
また、本開示の一態様に係る人物同定方法は、対象領域を第１方向から見た第１画像に基づいて、前記第１画像に写り込む人物に関して、第１フレームにおける前記対象領域の３Ｄモデル上の第１位置と、前記第１フレームに続く第２フレームにおける前記３Ｄモデル上の第２位置とを決定し、前記対象領域を第１方向とは異なる第２方向から見た第２画像に基づいて、前記第２画像に写り込む人物に関して、前記第１フレームにおける前記３Ｄモデル上の第３位置と、前記第２フレームにおける前記３Ｄモデル上の第４位置とを決定することと、前記第１位置と前記第２位置とに基づいて、前記第１画像に写り込む人物が、前記第１フレームと前記第２フレームとの間で同一であると判定された場合、前記第１画像に写り込む人物は当該人物の位置の軌跡を捕捉している既存人物と決定し、前記第１位置と前記第２位置とに基づいて、前記第１画像に写り込む人物が、前記第１フレームと前記第２フレームとの間で異なると判定された場合、前記第１画像に写り込む人物は当該人物の位置の軌跡を捕捉していない新規人物と決定し、前記第３位置と前記第４位置とに基づいて、前記第２画像に写り込む人物が、前記第１フレームと前記第２フレームとの間で同一であると判定された場合、前記第２画像に写り込む人物は前記既存人物と決定し、前記第３位置と前記第４位置とに基づいて、前記第２画像に写り込む人物が、前記第１フレームと前記第２フレームとの間で異なると判定された場合、前記第２画像に写り込む人物は前記新規人物と決定することと、前記第１位置と前記第３位置に基づいて、前記第１フレームにおいて、前記第１画像に写り込む人物と前記第２画像に写り込む人物とが同一であるかを判定された場合、前記第１位置と前記第３位置とを統合し、前記第２位置と前記第４位置に基づいて、前記第２フレームにおいて、前記第１画像に写り込む人物と前記第２画像に写り込む人物とが同一であると判定された場合、前記第２位置と前記第４位置とを統合することと、を含む。
【発明の効果】
【０００７】
本開示によれば、対象空間の３Ｄモデルを用いることで、複数のカメラで撮像された人物の画像に基づいて、モデル座標系における当該人物の位置情報を比較することによって、カメラ間の人物同定が可能となる。
【図面の簡単な説明】
【０００８】
本開示の一実施形態に係る人物同定装置２０の構成を示すブロック図である。
カメラ３０Ａ及びカメラ３０Ｂの撮像範囲を説明するための図である。
足の重心の位置を説明するための図である。
処理装置２３０がプログラムＰＲ１に従って実行する人物同手方法の流れを示すフローチャートである。
人物同定装置２０の動作例を説明するための図である。
人物同定装置２０の動作例を説明するための図である。
人物同定装置２０の動作例を説明するための図である。
【発明を実施するための形態】
【０００９】
（Ａ．実施形態）
図１は、人物同定装置２０の構成例を示すブロック図である。人物同定装置２０は、例えば実店舗等の現実空間に存在する人物を複数のカメラにより撮像することで得られる各撮像画像に基づいて、各撮像画像に写り込む人物が同一であるか否か（即ち、同一人物であるか）を同定するとともに、同一人物と同定された人物の現実空間における位置を各撮像画像に基づいて推定する装置である。図１に示されるように、人物同定装置２０は、通信装置２１０と、記憶装置２２０と、処理装置２３０と、これらの装置を相互に接続するバス２４０とを備える。
【００１０】
通信装置２１０は、他の機器を接続可能なインターフェースを備え、無線通信又は有線通信を用いて、当該インターフェースに接続された他の機器と通信する。通信装置２１０に接続される他の機器の具体例としては、人物同定装置２０による人物の同定及び位置の推定の対象となる対象領域ＲＳに設置されるカメラ３０Ａ及びカメラ３０Ｂが挙げられる。人物同定装置２０は、通信網を介してカメラ３０Ａ及びカメラ３０Ｂと接続されてもよい。この場合、カメラ３０Ａ及びカメラ３０Ｂは実店舗等に配置され、人物同定装置２０は、実店舗等から遠隔に配置できる。カメラ３０Ａ及びカメラ３０Ｂの各々は、例えば単眼カメラであり、所定の周期で各々の撮像範囲を撮像し、撮像画像を表す画像データを通信装置２１０へ送信する。本実施形態では、カメラ３０Ａ及びカメラ３０Ｂは、互いに同期して撮像を行うことが好ましい。即ち、本実施形態では、カメラ３０Ａが撮像を行う時刻とカメラ３０Ｂが撮像を行う時刻とは略一致していることが好ましい。但し、カメラ３０Ａとカメラ３０Ｂとは、必ずしも同期して撮像する必要はない。以下の説明では、カメラ３０Ａとカメラ３０Ｂとを区別する必要がない場合、カメラ３０Ａ及びカメラ３０Ｂは「カメラ３０」と称される。また、カメラ３０により所定の周期で撮像される撮像画像の各々はフレームと称される。
（【００１１】以降は省略されています）

関連特許