特許ウォッチ

公開番号2025116740
公報種別公開特許公報(A)
公開日2025-08-08
出願番号2024011347
出願日2024-01-29
発明の名称情報処理装置、プログラム、システム及び情報処理方法
出願人ソフトバンク株式会社
代理人弁理士法人RYUKA国際特許事務所
主分類G06T 7/174 20170101AFI20250801BHJP(計算;計数)
要約【課題】対象の範囲を示す矩形範囲を決定する情報処理装置、方法、プログラム及びシステムを提供する。
【解決手段】情報処理装置300は、対象と接地面とを対象の真上等以外の位置から撮像した第1撮像画像と、対象と接地面とを撮像した第2撮像画像とを取得する画像取得部304と、第1撮像画像における対象の範囲を示す第1矩形範囲を特定する矩形範囲特定部306と、第1矩形範囲に基づいて、第1撮像画像における接地面内の対象の範囲を示す接地面範囲を特定する接地面範囲特定部308と、第1撮像画像における接地面の予め定められた複数の基準点と、第2撮像画像における接地面の複数の基準点とを用いて、第1撮像画像における接地面範囲を第2撮像画像内に射影変換する射影変換部310と、第2撮像画像内に射影変換された接地面範囲に基づいて、第2撮像画像における対象の範囲を示す第2矩形範囲を決定する矩形範囲決定部312と、を備える。
【選択図】図5
特許請求の範囲【請求項１】
対象と前記対象が接地している接地面とを前記対象の真上等以外の位置から撮像する第１撮像部が、前記対象と前記接地面とを撮像した第１撮像画像と、前記対象を真上等から撮像する第２撮像部が、前記対象と前記接地面とを撮像した第２撮像画像とを取得する画像取得部と、
前記第１撮像画像を解析して、前記第１撮像画像における前記対象の範囲を示す第１矩形範囲を特定する矩形範囲特定部と、
前記第１矩形範囲に基づいて、前記第１撮像画像における前記接地面内の前記対象の範囲を示す接地面範囲を特定する接地面範囲特定部と、
前記第１撮像画像における前記接地面の予め定められた複数の基準点と、前記第２撮像画像における前記接地面の前記複数の基準点とを用いて、前記第１撮像画像における前記接地面範囲を、前記第２撮像画像内に射影変換する射影変換部と、
前記射影変換部によって前記第２撮像画像内に射影変換された前記接地面範囲に基づいて、前記第２撮像画像における前記対象の範囲を示す第２矩形範囲を決定する矩形範囲決定部と
を備える情報処理装置。
続きを表示（約 1,600 文字）【請求項２】
前記画像取得部は、前記対象の真上及び前記対象の真上に実質的に等しい斜め上とは異なる位置から前記対象と前記接地面とを撮像する前記第１撮像部が、前記対象と前記接地面とを撮像した前記第１撮像画像と、前記対象の真上又は前記対象の真上に実質的に等しい斜め上から前記対象を撮像する第２撮像部が、前記対象と前記接地面とを撮像した前記第２撮像画像とを取得する、請求項１に記載の情報処理装置。
【請求項３】
前記対象は人物である、請求項２に記載の情報処理装置。
【請求項４】
前記接地面範囲特定部は、前記第１矩形範囲の下側の２つの頂点である第１の点及び第２の点と、前記矩形範囲特定部によって特定された前記第１矩形範囲の横の中心であって、前記第１矩形範囲の上から、前記第１矩形範囲の縦の長さの予め定められた割合の長さの位置である前記第１矩形範囲内の第３の点と、前記第３の点を中心とした前記第１の点の点対称の位置である第４の点と、前記第３の点を中心とした前記第２の点の点対称の位置である第５の点とを特定し、前記第１の点、前記第２の点、前記第４の点、及び前記第５の点によって構成される四角形の前記接地面範囲を特定し、
前記射影変換部は、前記第１撮像画像における前記接地面の前記複数の基準点と、前記第２撮像画像における前記複数の基準点とを用いて、前記第１撮像画像における前記第１の点、前記第２の点、前記第３の点、前記第４の点、及び前記第５の点を、前記第２撮像画像内に射影変換する、請求項３に記載の情報処理装置。
【請求項５】
前記矩形範囲特定部は、前記第１撮像画像における前記対象の姿勢を推定し、推定した前記対象の前記姿勢に基づいて、前記対象の右足の接地点と、前記対象の左足の接地点との中点を、前記対象の重心点として特定し、
前記射影変換部は、前記対象の前記重心点を更に前記第２撮像画像内に射影変換し、
前記矩形範囲決定部は、前記射影変換部によって前記第２撮像画像内に射影変換された前記接地面範囲から前記第２矩形範囲のサイズを決定し、前記射影変換部によって前記第２撮像画像内に射影変換された前記対象の前記重心点を前記第２矩形範囲の中心点とする、請求項４に記載の情報処理装置。
【請求項６】
前記矩形範囲決定部は、前記第１の点、前記第２の点、前記第４の点、及び前記第５の点の座標の横方向の最大値と最小値との差分と、縦方向の最大値と最小値との差分とのうち、大きい方の値を１辺の長さとして、前記第２矩形範囲のサイズを決定する、請求項５に記載の情報処理装置。
【請求項７】
前記矩形範囲特定部は、前記対象の右足首を示す点、右膝を示す点、左足首を示す点、及び左膝を示す点を含む前記対象の骨格を推定し、前記右足首を示す点と前記左足首を示す点との中点の縦方向の位置を、前記右足首を示す点と前記右膝を示す点又は前記左足首を示す点と前記左膝を示す点から算出した脛の長さに基づいて調整することによって、前記対象の重心点を特定する、請求項５に記載の情報処理装置。
【請求項８】
前記画像取得部は、前記第１撮像部が前記対象を連続的に撮像した複数の撮像画像のうち、前記対象の右足と左足との距離がより長い画像を前記第１撮像画像として選択する、請求項２から７のいずれか一項に記載の情報処理装置。
【請求項９】
前記矩形範囲決定部が決定した前記第２矩形範囲に、前記対象を表すメタデータを付与するアノテーション部
を備える、請求項１から７のいずれか一項に記載の情報処理装置。
【請求項１０】
前記射影変換部は、前記接地面に配置された複数のマーカを検出することによって、前記第１撮像画像における前記複数の基準点と、前記第２撮像画像における前記複数の基準点とを特定する、請求項１から７のいずれか一項に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、プログラム、システム及び情報処理方法に関する。
続きを表示（約 3,100 文字）【背景技術】
【０００２】
特許文献１には、前方画像の一部を切り出し、切り出した画像に対して射影変換を行うことで、第２タイミングにおける車両ＶＣの下方に位置する、矩形状の路面領域に対応する下方画像を生成する画像表示装置が記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０２３－１４１７９２号公報
【発明の概要】
【課題を解決するための手段】
【０００３】
本発明の一実施態様によれば、情報処理装置が提供される。前記情報処理装置は、対象と前記対象が接地している接地面とを前記対象の真上等以外の位置から撮像する第１撮像部が、前記対象と前記接地面とを撮像した第１撮像画像と、前記対象を真上等から撮像する第２撮像部が撮像した前記対象と前記接地面とを含む第２撮像画像とを取得する画像取得部を備えてよい。前記情報処理装置は、前記第１撮像画像を解析して、前記第１撮像画像における前記対象の範囲を示す第１矩形範囲を特定する矩形範囲特定部を備えてよい。前記情報処理装置は、前記第１矩形範囲に基づいて、前記第１撮像画像における前記接地面内の前記対象の範囲を示す接地面範囲を特定する接地面範囲特定部を備えてよい。前記情報処理装置は、前記第１撮像画像における前記接地面の予め定められた複数の基準点と、前記第２撮像画像における前記接地面の前記複数の基準点とを用いて、前記第１撮像画像における前記接地面範囲を、前記第２撮像画像内に射影変換する射影変換部を備えてよい。前記情報処理装置は、前記射影変換部によって前記第２撮像画像内に射影変換された前記接地面範囲に基づいて、前記第２撮像画像における前記対象の範囲を示す第２矩形範囲を決定する矩形範囲決定部を備えてよい。
【０００４】
前記情報処理装置において、前記画像取得部は、前記対象の真上及び前記対象の真上に実質的に等しい斜め上とは異なる位置から前記対象と前記接地面とを撮像する前記第１撮像部が、前記対象と前記接地面とを撮像した前記第１撮像画像と、前記対象の真上又は前記対象の真上に実質的に等しい斜め上から前記対象を撮像する第２撮像部が、前記対象と前記接地面とを撮像した前記第２撮像画像とを取得してよい。前記情報処理装置において、前記対象は人物であってよい。前記いずれかの情報処理装置において、前記接地面範囲特定部は、前記第１矩形範囲の下側の２つの頂点である第１の点及び第２の点と、前記矩形範囲特定部によって特定された前記矩形範囲の横の中心であって、前記矩形範囲の上から、前記矩形範囲の縦の長さの予め定められた割合の長さの位置である前記矩形範囲内の第３の点と、前記第３の点を中心とした前記第１の点の点対称の位置である第４の点と、前記第３の点を中心とした前記第２の点の点対称の位置である第５の点とを特定し、前記第１の点、前記第２の点、前記第４の点、及び前記第５の点によって構成される四角形の前記接地面範囲を特定してよい。前記射影変換部は、前記第１撮像画像における前記接地面の前記複数の基準点と、前記第２撮像画像における前記複数の基準点とを用いて、前記第１撮像画像における前記第１の点、前記第２の点、前記第３の点、前記第４の点、及び前記第５の点を、前記第２撮像画像内に射影変換してよい。
【０００５】
前記いずれかの情報処理装置において、前記矩形範囲特定部は、前記第１撮像画像における前記対象の姿勢を推定し、推定した前記対象の前記姿勢に基づいて、前記対象の右足の接地点と、前記対象の左足の接地点との中点を、前記対象の重心点として特定してよい。前記射影変換部は、前記対象の前記重心点を更に前記第２撮像画像内に射影変換してよい。前記矩形範囲決定部は、前記射影変換部によって前記第２撮像画像内に射影変換された前記接地面範囲から前記第２矩形範囲のサイズを決定し、前記射影変換部によって前記第２撮像画像内に射影変換された前記対象の前記重心点を前記第２矩形範囲の中心点としてよい。
【０００６】
前記いずれかの情報処理装置において、前記矩形範囲決定部は、前記第１の点、前記第２の点、前記第４の点、及び前記第５の点の座標の横方向の最大値と最小値との差分と、縦方向の最大値と最小値との差分とのうち、大きい方の値を１辺の長さとして、前記第２矩形範囲のサイズを決定してよい。前記矩形範囲特定部は、前記対象の右足首を示す点、右膝を示す点、左足首を示す点、左膝を示す点を含む前記対象の骨格を推定し、前記右足首を示す点と前記左足首を示す点との中点の縦方向の位置を、前記右足首を示す点と前記右膝を示す点又は前記左足首を示す点と前記左膝を示す点から算出した脛の長さに基づいて調整することによって、前記対象の重心点を特定してよい。
【０００７】
前記いずれかの情報処理装置において、前記画像取得部は、前記第１撮像部が前記対象を連続的に撮像した複数の画像のうち、前記対象の右足と左足との距離がより長い画像を前記第１撮像画像として選択してよい。
【０００８】
前記いずれかの情報処理装置は、前記矩形範囲決定部が決定した前記矩形範囲に、前記対象を表すメタデータを付与するアノテーション部を備えてよい。前記いずれかの情報処理装置において、前記射影変換部は、前記接地面に配置された複数のマーカを検出することによって、前記第１撮像画像における前記複数の基準点と、前記第２撮像画像における前記複数の基準点とを特定してよい。前記情報処理装置は、前記アノテーション部によってメタデータが付与された撮像画像を含む学習データを用いた機械学習を実行してよい。前記学習実行部は、複数の当該学習データを用いて、撮像画像を入力として、撮像画像に真上から撮像した人物が含まれる場合に、撮像画像のその部分が人物であることを出力することが可能な学習モデルを生成してよい。
【０００９】
本発明の一実施態様によれば、情報処理装置が提供される。前記情報処理装置は、第１撮像部が、人物の胴部、四肢、及び頭部が分離された態様で前記人物を撮像した第１撮像画像と、前記第１撮像部とは異なる方向から前記人物を撮像する第２撮像部が、前記人物の胴部、四肢、及び頭部が分離されない態様で前記人物を撮像した第２撮像画像とを取得する画像取得部を備えてよい。前記情報処理装置は、前記第１撮像画像を解析して、前記第１撮像画像における前記人物の範囲を示す第１矩形範囲を特定する矩形範囲特定部を備えてよい。前記情報処理装置は、前記第１矩形範囲に基づいて、前記第１撮像画像における前記人物の接地面内の前記人物の範囲を示す接地面範囲を特定する接地面範囲特定部を備えてよい。前記情報処理装置は、前記第１撮像画像における前記接地面の予め定められた複数の基準点と、前記第２撮像画像における前記接地面の前記複数の基準点とを用いて、前記第１撮像画像における前記接地面範囲を、前記第２撮像画像内に射影変換する射影変換部を備えてよい。前記情報処理装置は、前記射影変換部によって前記第２撮像画像内に射影変換された前記接地面範囲に基づいて、前記第２撮像画像における前記人物の範囲を示す第２矩形範囲を決定する矩形範囲決定部を備えてよい。
【００１０】
本発明の一実施態様によれば、コンピュータによって実行されると、前記コンピュータを前記情報処理装置として機能させるためのプログラムが提供される。
（【００１１】以降は省略されています）

関連特許