特許ウォッチ

公開番号2024065990
公報種別公開特許公報(A)
公開日2024-05-15
出願番号2022175148
出願日2022-10-31
発明の名称照合支援プログラム、照合支援方法、および情報処理装置
出願人富士通株式会社
代理人個人
主分類G06V 40/10 20220101AFI20240508BHJP(計算;計数)
要約【課題】人物の照合処理の精度向上を図ること。
【解決手段】情報処理装置100は、対象の人物111が映った複数のフレームを含む対象の映像110上の物体112の位置を検出する。情報処理装置100は、取得した対象の映像110上の対象の人物111が有するいずれかの部位の位置を検出する。情報処理装置100は、対象の映像110の複数のフレームのうち、検出した物体112の動き方と検出したいずれかの部位の動き方とに相関関係が現れるフレームを含まない1以上のフレームを特定する。情報処理装置100は、特定した1以上のフレームに基づいて、対象の人物111の照合処理を実施する。
【選択図】図1
特許請求の範囲【請求項１】
人物を含む映像を取得し、
取得した前記映像を分析することで、前記映像の中に含まれる物体を検出し、
検出した前記物体と前記人物が有する複数の部位のうちいずれかの部位との位置関係に基づいて、前記物体の動きと前記いずれかの部位の動きとが相関関係を有するか否かを判定し、
前記物体の動きと前記いずれかの部位の動きとが相関関係を有すると判定されたときに、前記映像を構成する複数のフレームのうち、前記相関関係が現れる第一のフレームを特定し、
前記複数のフレームの中から前記第一のフレームが除外された第二のフレームを用いて、前記人物の照合を実施する、
処理をコンピュータに実行させることを特徴とする照合支援プログラム。
続きを表示（約 2,200 文字）【請求項２】
取得した前記映像上の前記人物とは異なる物体の位置を検出し、
検出した前記物体の位置と、取得した前記映像上の前記複数の部位のそれぞれの部位の位置との位置関係を特定する、
処理を前記コンピュータに実行させ、
前記第二のフレームは、前記複数のフレームのうち、前記物体の動きと前記いずれかの部位の動きとに相関関係が現れる前記第一のフレームを含まない１以上のフレームである、ことを特徴とする請求項１に記載の照合支援プログラム。
【請求項３】
映像の入力に応じて当該映像に映った人物が有する部位の位置を出力する第一の機械学習モデルに、取得した前記映像を入力することにより、取得した前記映像上の前記複数の部位のそれぞれの部位の位置を検出する、
処理を前記コンピュータに実行させ、
前記位置関係を特定する処理は、
検出した前記物体の位置と、検出した前記複数の部位の少なくともいずれかの部位の位置との位置関係を特定し、
前記第二のフレームは、前記複数のフレームのうち、前記物体の動きと前記いずれかの部位の動きとに相関関係が現れる前記第一のフレームを含まない１以上のフレームである、ことを特徴とする請求項１に記載の照合支援プログラム。
【請求項４】
前記映像を分析することで、前記人物の骨格情報を生成し、
生成した前記人物の骨格情報を用いて、前記人物の骨格または関節の位置を特定する、
処理を前記コンピュータに実行させ、
前記人物が有する部位の位置は、当該部位の骨格または関節の位置である、ことを特徴とする請求項３に記載の照合支援プログラム。
【請求項５】
前記複数の部位は、前記人物が有する手の部位を含み、
前記判定する処理は、
検出した前記物体と、取得した前記映像上の前記手の部位との位置関係に基づいて、前記物体の動きと前記手の部位の動きとが相関関係を有するか否かを判定し、
前記第一のフレームを特定する処理は、
前記物体の動きと前記手の部位の動きとが相関関係を有すると判定されたときに、前記複数のフレームのうち、前記相関関係が現れる前記第一のフレームを特定し、前記複数のフレームのうち、特定した前記第一のフレームを含まない１以上のフレームを特定し、前記第二のフレームとして設定する、ことを特徴とする請求項１～３のいずれか一つに記載の照合支援プログラム。
【請求項６】
前記判定する処理は、
検出した前記物体の位置の時系列と、前記複数の部位の少なくともいずれかの部位の位置の時系列との位置関係に基づいて、前記物体の動きと前記いずれかの部位の動きとが相関関係を有するか否かを判定し、
前記第一のフレームを特定する処理は、
前記物体の動きと前記いずれかの部位の動きとが相関関係を有すると判定されたときに、前記複数のフレームのうち、前記相関関係が現れる前記第一のフレームを特定し、前記複数のフレームのうち、特定した前記第一のフレームを含まない１以上のフレームを特定し、前記第二のフレームとして設定する、ことを特徴とする請求項１～３のいずれか一つに記載の照合支援プログラム。
【請求項７】
前記実施する処理は、
前記第二のフレームにおける、前記複数の部位の位置の時間変化に関する特徴に基づいて、前記人物の照合を実施する、ことを特徴とする請求項１～３のいずれか一つに記載の照合支援プログラム。
【請求項８】
取得した前記映像上の基準の位置に対する、前記複数の部位の少なくともいずれかの部位の位置の相対的な座標の分散を算出する、
処理を前記コンピュータに実行させ、
前記判定する処理は、
検出した前記物体の位置と、前記いずれかの部位の位置との位置関係、および、算出した前記分散に基づいて、前記物体の動きと前記いずれかの部位の動きとが相関関係を有するか否かを判定し、
前記第一のフレームを特定する処理は、
前記物体の動きと前記いずれかの部位の動きとが相関関係を有すると判定されたときに、前記複数のフレームのうち、前記相関関係が現れる前記第一のフレームを特定し、前記複数のフレームのうち、特定した前記第一のフレームを含まない１以上のフレームを特定し、前記第二のフレームとして設定する、ことを特徴とする請求項１～３のいずれか一つに記載の照合支援プログラム。
【請求項９】
人物が有する部位の位置の入力に応じて当該人物の歩容に関する特徴ベクトルを出力する第二の機械学習モデルに、前記第二のフレーム上の前記複数の部位の位置を入力することにより、前記人物の歩容に関する特徴ベクトルを生成する、
処理を前記コンピュータに実行させ、
前記実施する処理は、
生成した前記特徴ベクトルに基づいて、前記人物の照合を実施する、ことを特徴とする請求項１～３のいずれか一つに記載の照合支援プログラム。
【請求項１０】
前記実施する処理は、
前記第二のフレームにおける、前記複数の部位のシルエットに関する特徴に基づいて、前記人物の照合を実施する、ことを特徴とする請求項１～３のいずれか一つに記載の照合支援プログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、照合支援プログラム、照合支援方法、および情報処理装置に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
従来、第１人物に関する特徴と、第２人物に関する特徴とを照合することにより、第１人物が、第２人物と一致するのかを判定する照合処理を実施することがある。例えば、人物同士の指紋、静脈、光彩、または、声紋などの特徴を照合する技術が考えられる。例えば、人物同士の歩容の特徴を照合する技術が考えられる。
【０００３】
先行技術としては、例えば、撮影画像に写る歩行者の実空間における歩行特性を示す解析データを、個人識別用データと比較することにより、撮影画像に写る歩行者を特定するものがある。また、例えば、被写体の画像に形状モデルを当てはめて、パーツ単位での代表点位置の時系列画像データを抽出する技術がある。また、例えば、映像内の人物の身元を、当該人物の歩行に従って認識する技術がある。また、例えば、電子デバイスの部分的に周期的な動きを検出する技術がある。
【先行技術文献】
【特許文献】
【０００４】
特開２０１７－２０５１３５号公報
特開２００５－２０２６５３号公報
米国特許出願公開第２０１７／０２４３０５８号明細書
米国特許出願公開第２０２０／００２６８３１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、人物の照合処理を精度よく実施することが難しい場合がある。例えば、ある人物が荷物を持つ場合の歩容の特徴は、同一の人物が荷物を持たない場合の歩容の特徴と一致しないことがあり、人物の照合処理を精度よく実施することができなくなる場合がある。
【０００６】
１つの側面では、本発明は、人物の照合処理の精度向上を図ることを目的とする。
【課題を解決するための手段】
【０００７】
１つの実施態様によれば、人物を含む映像を取得し、取得した前記映像を分析することで、前記映像の中に含まれる物体を検出し、検出した前記物体と前記人物が有する複数の部位のうちいずれかの部位との位置関係に基づいて、前記物体の動きと前記いずれかの部位の動きとが相関関係を有するか否かを判定し、前記物体の動きと前記いずれかの部位の動きとが相関関係を有すると判定されたときに、前記映像を構成する複数のフレームのうち、前記相関関係が現れる第一のフレームを特定し、前記複数のフレームの中から前記第一のフレームが除外された第二のフレームを用いて、前記人物の照合を実施する照合支援プログラム、照合支援方法、および情報処理装置が提案される。
【発明の効果】
【０００８】
一態様によれば、人物の照合処理の精度向上を図ることが可能になる。
【図面の簡単な説明】
【０００９】
図１は、実施の形態にかかる照合支援方法の一実施例を示す説明図である。
図２は、照合処理システム２００の一例を示す説明図である。
図３は、情報処理装置１００のハードウェア構成例を示すブロック図である。
図４は、特徴情報管理テーブル４００の記憶内容の一例を示す説明図である。
図５は、映像撮影装置２０１のハードウェア構成例を示すブロック図である。
図６は、情報処理装置１００の機能的構成例を示すブロック図である。
図７は、情報処理装置１００の動作の流れを示す説明図である。
図８は、骨格情報を取得する一例を示す説明図（その１）である。
図９は、骨格情報を取得する一例を示す説明図（その２）である。
図１０は、機械学習モデルを学習する一例を示す説明図である。
図１１は、人物を検出する一例を示す説明図である。
図１２は、所持品を検出する一例を示す説明図である。
図１３は、除外対象とするフレームを特定する一例を示す説明図である。
図１４は、処理対象とする１以上のフレームを特定する一例を示す説明図である。
図１５は、照合処理を実施する一例を示す説明図である。
図１６は、全体処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、図面を参照して、本発明にかかる照合支援プログラム、照合支援方法、および情報処理装置の実施の形態を詳細に説明する。
（【００１１】以降は省略されています）

関連特許