特許ウォッチ

公開番号2024102423
公報種別公開特許公報(A)
公開日2024-07-31
出願番号2023006281
出願日2023-01-19
発明の名称行動推定システム
出願人株式会社アジラ
代理人個人
主分類G06T 7/20 20170101AFI20240724BHJP(計算;計数)
要約【課題】行動推定に用いる学習内容等を最新のものに容易に更新可能でありながら、様々な場所に設置された撮影手段により撮影された映像に映った行動体の行動を迅速かつ低負荷で推定することが可能な行動推定システムを提供する。
【解決手段】検出用エッジサーバ2では、撮影された時系列画像Yを記憶すると共に、時系列画像Yに映った行動体Zの特徴点を検出し、特徴点情報を行動推定用クラウドサーバ3に送信する。行動推定用クラウドサーバ3では、複数の特徴点情報の変位が注目行動に相当する場合にアラート信号をユーザ端末4に送信する。ユーザ端末4は、対応する複数の時系列画像Yを要求するための映像要求信号を検出用エッジサーバ2に送信する。検出用エッジサーバ2は、記憶された時系列画像Yの中から要求された複数の時系列画像Yをユーザ端末4に送信し、複数の時系列画像Yはユーザ端末4で表示される。
【選択図】図4
特許請求の範囲【請求項１】
複数の撮影手段にそれぞれ接続された複数の検出用エッジサーバと、
クラウド上に設けられた行動推定用クラウドサーバと、
ユーザ端末と、
を備えた行動推定システムであって、
各検出用エッジサーバは、
前記撮影手段により撮影された時系列画像を取得する取得部と、
前記取得した各時系列画像を記憶するエッジ側記憶部と、
前記時系列画像に映った行動体の特徴点を検出する検出部と、
各時系列画像から検出された特徴点に関する特徴点情報を、対応する時系列画像との紐づけ情報と共に、ネットワーク通信を用いて前記行動推定用クラウドサーバに送信するエッジ側送信部と、
前記ユーザ端末から送信された信号を受信するエッジ側受信部と、
を備え、
前記行動推定用クラウドサーバは、
注目行動が生じた場合の前記特徴点情報の変位を記憶したクラウド側記憶部と、
前記送信された複数の特徴点情報を受信するクラウド側受信部と、
前記複数の特徴点情報の変位が前記注目行動に相当するか否かを判定する判定部と、
前記複数の特徴点情報の変位が前記注目行動に相当すると判定された場合に、前記複数の特徴点情報に対応する紐づけ情報を含むアラート信号を、ネットワーク通信を用いて前記ユーザ端末に送信するクラウド側送信部と、
を備え、
前記ユーザ端末は、
画像及び映像を表示可能な表示部と、
前記アラート信号を受信する端末側受信部と、
前記アラート信号に含まれる紐づけ情報に対応する複数の時系列画像を要求するための映像要求信号を、ネットワーク通信を用いて前記検出用エッジサーバに送信する端末側送信部と、
を備え、
前記映像要求信号が前記エッジ側受信部で受信されると、前記エッジ側送信部が、前記エッジ側記憶部に記憶された時系列画像の中から前記要求された複数の時系列画像を前記ユーザ端末に送信し、前記要求された複数の時系列画像は、前記端末側受信部で受信されると、前記表示部に表示されることを備えたことを特徴とする行動推定システム。
続きを表示（約 1,400 文字）【請求項２】
前記ユーザ端末は、ユーザにより操作される、前記映像要求信号の送信を許可するための送信許可部を更に備えており、
前記端末側送信部は、前記送信許可部において送信を許可された場合に、前記映像要求信号を送信することを特徴とする請求項１に記載の行動推定システム。
【請求項３】
前記行動推定用クラウドサーバは、前記受信した複数の特徴点情報の変位が前記注目行動を相当すると判定された場合に、前記受信した複数の特徴点情報の変位を示す行動映像を生成する映像生成部を更に備え、
前記クラウド側送信部は、前記アラート信号に加えて前記行動映像を、ネットワーク通信を用いて前記ユーザ端末に送信し、
前記端末側受信部が前記行動映像を受信した場合に、前記表示部は、前記行動映像を表示することを特徴とする請求項１に記載の行動推定システム。
【請求項４】
前記クラウド側記憶部には、複数の前記注目行動に関して、各注目行動が生じた場合の前記特徴点情報の変位が記憶されており、
前記ユーザ端末は、前記複数の注目行動の中から必要とするものをユーザが設定可能な設定部を更に備えており、
前記判定部は、前記複数の特徴点情報の変位が前記設定された注目行動に相当するか否かを判定することを特徴とする請求項１に記載の行動推定システム。
【請求項５】
複数の撮影手段にそれぞれ接続された複数の検出用エッジサーバと、クラウド上に設けられた行動推定用クラウドサーバと、ユーザ端末と、を有する行動推定システムで行われる方法であって、
各検出用エッジサーバで行われる方法は、
前記撮影手段により撮影された時系列画像を取得するステップと、
前記取得した各時系列画像を記憶するステップと、
前記時系列画像に映った行動体の特徴点を検出するステップと、
各時系列画像から検出された特徴点に関する特徴点情報を、対応する時系列画像との紐づけ情報と共に、ネットワーク通信を用いて前記行動推定用クラウドサーバに送信するステップと、
を備え、
前記行動推定用クラウドサーバで行われる方法は、
前記送信された複数の特徴点情報を受信するステップと、
注目行動が生じた場合の前記特徴点情報の変位を記憶したクラウド側記憶部を参照して、前記複数の特徴点情報の変位が前記注目行動に相当するか否かを判定するステップと、
前記複数の特徴点情報の変位が前記注目行動に相当すると判定された場合に、前記複数の特徴点情報に対応する紐づけ情報を含むアラート信号を、ネットワーク通信を用いて前記ユーザ端末に送信するステップと、
を備え、
前記ユーザ端末で行われる方法は、
前記アラート信号を受信するステップと、
前記アラート信号に含まれる紐づけ情報に対応する複数の時系列画像を要求するための映像要求信号を、ネットワーク通信を用いて前記検出用エッジサーバに送信するステップと、
を備え、
前記検出用エッジサーバでは、前記映像要求信号が受信されると、前記記憶された時系列画像の中から前記要求された複数の時系列画像を前記ユーザ端末に送信し、
前記ユーザ端末では、前記要求された複数の時系列画像が受信されると、前記ユーザ端末の表示部に表示されることを備えたことを特徴とする行動推定方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、行動推定に用いる学習内容等を最新のものに容易に更新可能でありながら、様々な場所に設置された撮影手段により撮影された映像に映った行動体の行動を迅速かつ低負荷で推定することが可能な行動推定システムに関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
従来より、映像に映った人間の関節等から姿勢を検知し、当該姿勢の変化に応じて行動を推定する装置が知られている。（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
特許第６５２５１７９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、行動推定に用いる学習内容やアルゴリズムというものは、日々改善されていくものであるところ、例えば、上記装置を様々な場所に設置している状況で、上記学習内容等を変更した場合には、装置ごとに学習内容等を変更する手間が生じてしまう。
【０００５】
また、上記装置に対応するサーバをクラウド上に設け、各撮影手段から送信された映像を当該サーバで処理する構成とすれば、装置ごとに学習内容等を変更する手間は省けるが、その場合、ネットワークやクラウドストレージに大きな負荷がかかり、行動推定処理の著しい遅延や通信費用の著しい増大等の問題が生じてしまう。
【０００６】
そこで、本発明は、行動推定に用いる学習内容等を最新のものに容易に更新可能でありながら、様々な場所に設置された撮影手段により撮影された映像に映った行動体の行動を迅速かつ低負荷で推定することが可能な行動推定システムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明は、複数の撮影手段にそれぞれ接続された複数の検出用エッジサーバと、クラウド上に設けられた行動推定用クラウドサーバと、ユーザ端末と、を備えた行動推定システムであって、各検出用エッジサーバは、前記撮影手段により撮影された時系列画像を取得する取得部と、前記取得した各時系列画像を記憶するエッジ側記憶部と、前記時系列画像に映った行動体の特徴点を検出する検出部と、各時系列画像から検出された特徴点に関する特徴点情報を、対応する時系列画像との紐づけ情報と共に、ネットワーク通信を用いて前記行動推定用クラウドサーバに送信するエッジ側送信部と、前記ユーザ端末から送信された信号を受信するエッジ側受信部と、を備え、前記行動推定用クラウドサーバは、注目行動が生じた場合の前記特徴点情報の変位を記憶したクラウド側記憶部と、前記送信された複数の特徴点情報を受信するクラウド側受信部と、前記複数の特徴点情報の変位が前記注目行動に相当するか否かを判定する判定部と、前記複数の特徴点情報の変位が前記注目行動に相当すると判定された場合に、前記複数の特徴点情報に対応する紐づけ情報を含むアラート信号を、ネットワーク通信を用いて前記ユーザ端末に送信するクラウド側送信部と、を備え、前記ユーザ端末は、画像及び映像を表示可能な表示部と、前記アラート信号を受信する端末側受信部と、前記アラート信号に含まれる紐づけ情報に対応する複数の時系列画像を要求するための映像要求信号を、ネットワーク通信を用いて前記検出用エッジサーバに送信する端末側送信部と、を備え、前記映像要求信号が前記エッジ側受信部で受信されると、前記エッジ側送信部が、前記エッジ側記憶部に記憶された時系列画像の中から前記要求された複数の時系列画像を前記ユーザ端末に送信し、前記要求された複数の時系列画像は、前記端末側受信部で受信されると、前記表示部に表示されることを備えたことを特徴とする行動推定システムを提供している。
【０００８】
このような構成によれば、行動推定に用いる学習内容等はクラウド上に設けられた行動推定用クラウドサーバに集約されることとなるため、行動推定システムの設計者側で当該学習内容等を最新のものに容易に更新し、全ての検出用エッジサーバで取得された画像に対して行われる行動推定処理に、当該変更を一括で反映させることが可能となる。また、特徴点を検出するという重い処理は現場サイドの検出用エッジサーバ（物理サーバ）で行われ、検出された特徴点がネットワーク通信を用いて行動推定用クラウドサーバに送信され、行動を推定するという軽い処理は行動推定用クラウドサーバで行われるので、ネットワーク及びクラウドストレージの軽量化が実現され、その結果、迅速な行動推定処理が実現されると共に、通信費用の増大が抑制される。また、注目行動が生じた場合に、実際の映像がユーザ端末に表示されるので、ユーザが、「実際にどのような（どの程度の）問題が生じたか」を迅速かつ明確に把握することが可能となる。更に、顔を含む映像は注目行動が生じた場合にのみ、ユーザ端末に表示される（検出用エッジサーバの外側に出る）こととなるので、個人情報が漏えいする可能性が低減される。特に、検出用エッジサーバとユーザ端末の利用者を同一人物、又は、同一の組織に属する人物に限定しておけば、顔を含む個人情報を外部に提供することがなくなるので、個人情報保護法上の取り扱いという観点においても有利になる。
【０００９】
また、本発明の別の観点によれば、上記行動推定システムに対応する行動推定方法を提供している。
【発明の効果】
【００１０】
本発明の行動推定システムによれば、行動推定に用いる学習内容等を最新のものに容易に更新可能でありながら、様々な場所に設置された撮影手段により撮影された映像に映った行動体の行動を迅速かつ低負荷で推定することが可能となる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許