特許ウォッチ

公開番号2024144283
公報種別公開特許公報(A)
公開日2024-10-11
出願番号2024048119
出願日2024-03-25
発明の名称3点サポートイベント検出方法と装置
出願人富士通株式会社
代理人個人,個人
主分類H04N 7/18 20060101AFI20241003BHJP(電気通信技術)
要約【課題】本発明は、3点サポートイベント検出方法と装置を提供する。
【解決手段】かかる方法は、上下車イベントの連続ビデオフレームにおいて現在のビデオフレーム内の目標関心領域を確定し;前記目標関心領域と運転者の手との間の関係に基づいて、現在のビデオフレームが3点サポート条件を満足したかを判断し;及び、前記上下車イベントの連続ビデオフレームに3点サポート条件を満足した少なくとも1つのフレームがある場合に、上下車イベントに3点サポートイベントが発生したと確認することを含む。
【選択図】図6
特許請求の範囲【請求項１】
３点サポートイベントを検出する装置であって、
上下車イベントの連続したビデオフレームにおいて、現在のビデオフレーム内の目標関心領域を確定する第一確定ユニット；
前記目標関心領域と運転者の手との間の関係に基づいて、現在のビデオフレームが３点サポート条件を満足したかを判断する判断ユニット；及び
前記上下車イベントの連続したビデオフレームに３点サポート条件を満足した少なくとも１つのフレームがある場合に、上下車イベントに３点サポートイベントが発生したと確認する第二確定ユニットを含む、装置。
続きを表示（約 1,300 文字）【請求項２】
請求項１に記載の装置であって、
前記目標関心領域はハンドル関心領域及び／又はステアリングホイール関心領域である、装置。
【請求項３】
請求項２に記載の装置であって、
前記第一確定ユニットが現在のビデオフレーム内のハンドル関心領域を確定することは、
ハンドル境界ボックスを確定し；及び
前記ハンドル境界ボックスの長さ及び／又は幅に対してそれぞれ所定の拡張を行って、ハンドル関心領域を得ることを含む、装置。
【請求項４】
請求項２に記載の装置であって、
前記第一確定ユニットが現在のビデオフレーム内のステアリングホイール関心領域を確定することは、
ステアリングホイール境界ボックスを確定し；及び
前記ステアリングホイール境界ボックスの長さ及び／又は幅に対してそれぞれ所定の拡張を行って、ステアリングホイール関心領域を得ることを含む、装置。
【請求項５】
請求項２に記載の装置であって、
前記３点サポート条件は、
運転者の左手首がハンドル関心領域内にあり；及び
運転者の右手首が左手首よりも現在のフレームの左側に近く、又は、運転者の右手首が左手首よりも現在のフレームの右側に近いことを含む、装置。
【請求項６】
請求項５に記載の装置であって、
運転者の左手首がハンドル関心領域内にあり、かつ、運転者の右手首が左手首よりも現在のフレームの左側に近く、又は、運転者の右手首が左手首よりも現在のフレームの右側に近い場合に、現在のビデオフレームが３点サポート条件を満足したと見なす、装置。
【請求項７】
請求項２に記載の装置であって、
前記３点サポート条件は、
運転者の右手首がハンドル関心領域内にあり；及び
運転者の左手首がステアリングホイール関心領域の垂直範囲内にあることを含む、装置。
【請求項８】
請求項７に記載の装置であって、
運転者の右手首がハンドル関心領域内にあり、かつ運転者の左手首がステアリングホイール関心領域の垂直範囲内にある場合に、現在のビデオフレームが３点サポート条件を満足したと見なす、装置。
【請求項９】
３点サポートイベントを検出する方法であって、
上下車イベントの連続したビデオフレームにおいて、現在のビデオフレーム内の目標関心領域を確定し；
前記目標関心領域と運転者の手との間の関係に基づいて、現在のビデオフレームが３点サポート条件を満足したかを判断し；及び
前記上下車イベントの連続したビデオフレームに３点サポート条件を満足した少なくとも１つのフレームがある場合に、上下車イベントに３点サポートイベントが発生したと確認することを含む、方法。
【請求項１０】
コンピュータ機器であって、
記憶器、及び前記記憶器に接続される処理器を含み、
前記記憶器にはコンピュータプログラムが記憶されており、
前記処理器は前記コンピュータプログラムを実行することで、請求項９に記載の方法を実行するように構成される、コンピュータ機器。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理の技術分野に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
情報技術の発展に伴い、画像に基づく目標（ターゲット）検出技術が益々普及している。例えば、ビデオ監視の分野では、目標検出技術を採用してビデオフレーム内の目標を検出することで、目標の境界ボックス情報を取得し、あるいは、目標のキーポイント（ｋｅｙｐｏｉｎｔ）情報を取得することができる。ここでのキーポイントは例えば、目標人物（対象者）の骨格の１８個のキーポイントであり、例えば、首、鼻、左肩、右肩、左腰、右腰、左目、右目、左肘、右肘、左膝、右膝、左耳、右耳、左手首、右手首、左足首及び右足首を含む。
【０００３】
なお、上述の背景技術についての紹介は、本発明の技術案を明確かつ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術に記述されているため、当業者にとって周知であると解釈してはならない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
発明者が次のようなことを発見した。即ち、一般的な画像について、骨格（スケルトン）検出モデルは正常に機能し得るが、魚眼画像について、骨格検出の精度が低い。また、従来の判断方法は運転者の骨格の各部分の間の位置関係の規則（ルール）に基づいており、該判断方法は仕組みが複雑であり、実施が難しい。よって、より一般的な判断方法についての更なる研究が必要である。
【０００５】
また、３点サポート（ｔｈｒｅｅ－ｐｏｉｎｔｓｕｐｐｏｒｔ）は、例えば、運転者がフォークリフトに乗り降りするときに、背中を外側に向け、両手で車体を掴み、片足ずつ動かす動作である。図１は正確な３点サポートを示す図である。図２は魚眼レンズにより撮影されたフォークリフトを示す図であり、運転者が車から降りる様子を示している。図３は魚眼レンズにより撮影されたフォークリフトを示すもう１つの図であり、運転者が車に乗り込む様子を示している。図２及び図３のシナリオでは３点サポートの検出を行う必要がある。
【０００６】
しかしながら、従来の検出方法ではこのような動作を検出することができない。このような動作の検出を実現するために、骨格検出の適用が検討されている。また、骨格検出を採用する際に次のような問題が存在し、１）一般的な骨格検出モデルの場合に、魚眼レンズによるビデオから骨格をうまく検出することができず；及び、２）運転者が両手で車体を掴んでいるかを判断することが困難である。
【０００７】
上述の問題点のうちの少なくとも１つ又は他の類似した問題点に鑑み、本発明の目的は、運転者が車に乗り降りするときに３点サポート状態にあるかを検出することができる３点サポートイベント検出方法と装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の実施例の１つの側面によれば、３点サポートイベント検出装置が提供され、前記装置は、
第一確定ユニットであって、上下車イベントの連続ビデオフレームにおいて、現在のビデオフレーム内の目標関心領域を確定する、もの；
判断ユニットであって、前記目標関心領域と運転者の手との間の関係に基づいて、現在のビデオフレームが３点サポート条件を満足したかを判断する、もの；及び
第二確定ユニットであって、前記上下車イベントの連続ビデオフレームに３点サポート条件を満足した少なくとも１つのフレームがある場合に、上下車イベントに３点サポートイベントが発生したと確認する、ものを含む。
【０００９】
本発明の実施例のもう１つの側面によれば、３点サポートイベント検出方法が提供され、前記方法は、
上下車イベントの連続ビデオフレームにおいて、現在のビデオフレーム内の目標関心領域を確定し；
前記目標関心領域と運転者の手との間の関係に基づいて、現在のビデオフレームが３点サポート条件を満足したかを判断し；及び
前記上下車イベントの連続ビデオフレームに３点サポート条件を満足した少なくとも１つのフレームがある場合に、上下車イベントに３点サポートイベントが発生したと確認することを含む。
【００１０】
本発明の実施例のまたもう１つの側面によれば、コンピュータ機器が提供され、それは記憶器及び該記憶器に接続される処理器を含み、前記記憶器にはコンピュータプログラムが記憶されており、前記処理器は前記コンピュータプログラムを実行して次のような方法を実現するように構成され、即ち、
上下車イベントの連続ビデオフレームにおいて、現在のビデオフレーム内の目標関心領域を確定し；
前記目標関心領域と運転者の手との間の関係に基づいて、現在のビデオフレームが３点サポート条件を満足したかを判断し；及び
前記上下車イベントの連続ビデオフレームに３点サポート条件を満足した少なくとも１つのフレームがある場合に、上下車イベントに３点サポートイベントが発生したと確認することを含む方法である。
【発明の効果】
（【００１１】以降は省略されています）

関連特許