特許ウォッチ

公開番号2024126769
公報種別公開特許公報(A)
公開日2024-09-20
出願番号2023035386
出願日2023-03-08
発明の名称動作推定装置
出願人株式会社NTTドコモ,株式会社セック
代理人弁理士法人旺知国際特許事務所
主分類G06T 7/20 20170101AFI20240912BHJP(計算;計数)
要約【課題】2次元画像に写る解析対象の動作を精度良く推定する。
【解決手段】取得部141は、現実空間SRと解析対象Hとが撮影された2次元画像PCを取得する。対象モデル生成部142は、現実空間SRにおける解析対象Hの形体を模した3次元対象モデルMを生成する。深度推定部143は、2次元画像PCを撮像する撮像装置Cに対する解析対象Hの深度を推定する。配置部144は、深度推定部143によって推定された深度および2次元画像PC上の解析対象Hの位置に基づいて、現実空間SRを模した3次元空間モデルSV上に3次元対象モデルMを配置する。動作推定部145は、3次元空間モデルSV内の物体Bを示す物体モデルBmと3次元対象モデルMとの相対位置に基づいて、現実空間SRにおける解析対象Hの動作を推定する。
【選択図】図1
特許請求の範囲【請求項１】
現実空間と前記現実空間に位置する解析対象とが撮影された２次元画像を取得する取得部と、
前記２次元画像に基づいて、前記現実空間における前記解析対象の形体を模した３次元対象モデルを生成する対象モデル生成部と、
前記２次元画像に基づいて、前記２次元画像を撮像する撮像装置に対する前記解析対象の深度を推定する深度推定部と、
前記深度推定部によって推定された前記深度および前記２次元画像上の前記解析対象の位置に基づいて、前記現実空間を模した３次元空間モデル上に前記３次元対象モデルを配置する配置部と、
前記３次元空間モデル内の物体を示す物体モデルと前記３次元対象モデルとの相対位置に基づいて、前記現実空間における前記解析対象の動作を推定する動作推定部と、
を備える動作推定装置。
続きを表示（約 780 文字）【請求項２】
前記動作推定部は、前記物体モデルと前記３次元対象モデルとが接触する箇所に基づいて、前記動作を推定する、
請求項１記載の動作推定装置。
【請求項３】
前記動作推定部は、前記３次元対象モデルの特定の部位が向く方向に位置する前記物体モデルに基づいて、前記動作を推定する、
請求項１記載の動作推定装置。
【請求項４】
前記動作は、前記現実空間の所定箇所に対する動作であり、
前記所定箇所を特定する特定情報を前記３次元空間モデルに表示する表示制御部を更に備える、
請求項１記載の動作推定装置。
【請求項５】
前記表示制御部は、前記動作の継続時間に基づいて、前記特定情報の表示態様を変更する、
請求項４記載の動作推定装置。
【請求項６】
前記解析対象は、人であり、
前記３次元対象モデルは、前記人の骨格を示す骨格モデルである、
請求項１記載の動作推定装置。
【請求項７】
前記配置部は、前記深度、前記２次元画像上の前記解析対象の位置および前記現実空間における前記撮像装置の位置に基づいて、前記現実空間における前記解析対象の位置を示す３次元座標を推定し、前記３次元空間モデル上の前記３次元座標に対応する位置に、前記３次元対象モデルを配置する、
請求項１記載の動作推定装置。
【請求項８】
前記２次元画像および前記深度推定部によって推定された前記深度に基づいて、前記３次元空間モデルを生成する空間モデル生成部を更に備え、
前記配置部は、前記２次元画像上の前記解析対象の位置に対応する前記３次元空間モデル上の位置に、前記３次元対象モデルを配置する、
請求項１記載の動作推定装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、動作推定装置に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
従来、監視カメラ等で撮像された２次元画像を解析し、解析対象の行動を推定する技術が知られている。例えば、下記特許文献１に記載の特定動作検出装置は、患者のベッドからの離床を判断する際に、ベッド上で起き上がってベッドに腰掛ける動作の有無を含んで判断する。特定動作検出装置は、カメラ、ベッド検出部、人物姿勢検出部、相対位置算出部、相対位置情報保持部および行動推定部を備える。カメラは、監視エリア全体を撮像する。ベッド検出部は、カメラの撮像映像からベッドを抽出し、その抽出情報からベッドのエリアを算出する。人物姿勢検出部は、カメラの撮像画像からベッド上の患者の特定部位の座標情報を入手し、その情報から患者の姿勢を検出する。相対位置算出部は、ベッド検出部及び人物姿勢検出部が検出した情報を基に、ベッドと患者との相対位置を算出する。相対位置情報保持部は、相対位置算出部が算出した時系列の相対位置情報を保持する。行動推定部は、相対位置情報保持部が保持する複数の時系列情報を基に、ベッド上の患者の行動を推定する。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－１０８１２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
多くの場合、解析対象を撮像するのは１台のカメラであり、撮像されるのは一方向から見た解析対象の２次元画像である。一方で、現実空間は３次元空間であり、一方向から撮像した２次元画像から解析対象の動作を正確に検出するのは困難であった。
【０００５】
本発明の目的は、２次元画像に写る解析対象の動作を精度良く推定することにある。
【課題を解決するための手段】
【０００６】
本発明の一態様にかかる動作推定装置は、現実空間と前記現実空間に位置する解析対象とが撮影された２次元画像を取得する取得部と、前記２次元画像に基づいて、前記現実空間における前記解析対象の形体を模した３次元対象モデルを生成する対象モデル生成部と、前記２次元画像に基づいて、前記２次元画像を撮像する撮像装置に対する前記解析対象の深度を推定する深度推定部と、前記深度推定部によって推定された前記深度および前記２次元画像上の前記解析対象の位置に基づいて、前記現実空間を模した３次元空間モデル上に前記３次元対象モデルを配置する配置部と、前記３次元空間モデル内の物体を示す物体モデルと前記３次元対象モデルとの相対位置に基づいて、前記現実空間における前記解析対象の動作を推定する動作推定部と、を備える。
【発明の効果】
【０００７】
本発明の一態様によれば、２次元画像に写る解析対象の動作を精度良く推定できる。
【図面の簡単な説明】
【０００８】
第１実施形態にかかる動作推定装置１０の構成を示すブロック図である。
２次元画像ＰＣの一例を示す模式図である。
３次元空間モデルＳＶの一例を示す模式図である。
動作推定部１４５による動作の推定結果を模式的に示す図である。
動作推定部１４５による動作の推定結果を模式的に示す図である。
動作例２における特定情報Ｎｓの表示例を模式的に示す図である。
動作の継続時間に基づく特定情報Ｎｓの表示例を模式的に示す図である。
現実空間ＳＲにおける解析対象Ｈの位置を模式的に示す図である。
動作推定装置１０の動作を示すフローチャートである。
第２実施形態にかかる動作推定装置１０の構成を示すブロック図である。
【発明を実施するための形態】
【０００９】
Ａ．第１実施形態
図１は、第１実施形態にかかる動作推定装置１０の構成を示すブロック図である。動作推定装置１０は、現実空間ＳＲで撮像された２次元画像ＰＣに基づいて、当該２次元画像ＰＣに写る解析対象Ｈ（例えば人Ｈ１，Ｈ２）の動作を推定する。
【００１０】
動作推定装置１０は、具体的には、例えばパーソナルコンピュータ、タブレットまたはスマートフォン等の情報処理端末である。動作推定装置１０は、例えば入力装置１００と、表示装置１１０と、通信装置１２０と、記憶装置１３０と、処理装置１４０と、バス１５０と、を含む。入力装置１００、表示装置１１０、通信装置１２０および記憶装置１３０の各々と、処理装置１４０とは、データの授受を仲介するバス１５０によって相互に接続される。バス１５０は、単一のバスを用いて構成されてもよいし、要素間毎に異なるバスを用いて構成されてもよい。
（【００１１】以降は省略されています）

関連特許