特許ウォッチ

公開番号2024144285
公報種別公開特許公報(A)
公開日2024-10-11
出願番号2024048139
出願日2024-03-25
発明の名称運転者上下車状態判断方法と装置
出願人富士通株式会社
代理人個人,個人
主分類G06T 7/60 20170101AFI20241003BHJP(計算;計数)
要約【課題】本発明は、運転者上下車状態判断方法と装置を提供する。
【解決手段】かかる方法は、現在のビデオフレームにおける境界関心領域を確定し;前記境界関心領域及び前記現在のビデオフレームにおける運転者境界枠に基づいて、前記現在のビデオフレームにおける運転者の状態を確定し;及び、連続したビデオフレームにおける前記運転者の状態に基づいて前記運転者の上下車状態を確定することを含む。本発明の実施例により、車内ビデオに基づいて運転者の上下車状態を判断することができる。
【選択図】図3
特許請求の範囲【請求項１】
運転者の上下車状態を判断する装置であって、
現在のビデオフレーム内の境界関心領域を確定する第一確定ユニット；
前記境界関心領域及び前記現在のビデオフレームにおける運転者境界枠に基づいて、前記現在のビデオフレームにおける前記運転者の状態を確定する第二確定ユニット；及び
連続したビデオフレームにおける前記運転者の状態に基づいて前記運転者の上下車状態を確定する第三確定ユニットを含む、装置。
続きを表示（約 1,900 文字）【請求項２】
請求項１に記載の装置であって、
前記第一確定ユニットは前記現在のビデオフレームにおけるステアリングホイール境界枠及び把手境界枠に基づいて、又は、前記現在のビデオフレームにおけるステアリングホイール境界枠に基づいて、又は、前記現在のビデオフレームに基づいて、前記境界関心領域を確定する、装置。
【請求項３】
請求項２に記載の装置であって、
前記境界関心領域は前記ステアリングホイール境界枠を取り囲み、かつ、前記境界関心領域は前記把手境界枠の所定位置に所在し；又は
前記境界関心領域は前記ステアリングホイール境界枠と前記把手境界枠との間に位置し；又は
前記境界関心領域は前記ステアリングホイール境界枠、及び前記現在のビデオフレームの中心点を取り囲み、かつ、前記境界関心領域の高さは事前設定の第一閾値よりも小さく、前記境界関心領域の幅は事前設定の第二閾値よりも小さい；又は
前記境界関心領域は前記現在のビデオフレームの中心点を取り囲み、かつ、前記境界関心領域の高さは事前設定の第三閾値よりも小さく、前記境界関心領域の幅は事前設定の第四閾値よりも小さい、装置。
【請求項４】
請求項１に記載の装置であって、
前記運転者境界枠が前記境界関心領域とオーバーラップしない場合に、前記第二確定ユニットは前記運転者の前記現在のビデオフレームにおける状態を第一状態として確定し、
前記運転者境界枠が前記境界関心領域とオーバーラップしている場合に、前記第二確定ユニットは前記運転者の前記現在のビデオフレームにおける状態を第二状態として確定する、装置。
【請求項５】
請求項１に記載の装置であって、
前記第三確定ユニットは連続したビデオフレームにおける前記運転者の状態に基づいて状態転換タイミングを確定し、前記状態転換タイミング及び前記連続したビデオフレームにおける前記運転者の状態に基づいて、前記運転者の上下車状態を確定する、装置。
【請求項６】
請求項５に記載の装置であって、
前記連続したビデオフレームのうち、前記運転者の状態が第一状態の連続したビデオフレームの数が第五閾値よりも大きく、前記運転者の状態が第二状態の連続したビデオフレームの数が第六閾値よりも大きく、かつ、前記運転者の状態が前記第一状態の連続したビデオフレームと、前記運転者の状態が前記第二状態の連続したビデオフレームとが連続したものである場合に、前記第三確定ユニットは状態転換タイミングが存在すると確定する、装置。
【請求項７】
請求項５に記載の装置であって、
前記状態転換タイミングの直前の連続したビデオフレームにおける前記運転者の状態が第一状態であり、かつ、前記状態転換タイミングの直後の連続したビデオフレームにおける前記運転者の状態が第二状態である場合に、前記第三確定ユニットは前記運転者が上車状態にあると確定し、
前記状態転換タイミングの直前の連続したビデオフレームにおける前記運転者の状態が第二状態であり、かつ、前記状態転換タイミングの直後の連続したビデオフレームにおける前記運転者の状態が第一状態である場合に、前記第三確定ユニットは前記運転者が下車状態にあると確定する、装置。
【請求項８】
請求項６に記載の装置であって、
ビデオの開始段階の前記連続したビデオフレームに対応する前記第五閾値及び前記第六閾値は、ビデオの中間段階の前記連続したビデオフレームに対応する前記第五閾値及び前記第六閾値と同じであり又は異なる、装置。
【請求項９】
請求項６に記載の装置であって、
前記第五閾値と前記第六閾値は同じであり又は異なる、装置。
【請求項１０】
記憶器、及び前記記憶器に接続される処理器を含むコンピュータ機器であって、
前記記憶器にはコンピュータプログラムが記憶されており、
前記処理器は、前記コンピュータプログラムを実行することで、
現在のビデオフレームにおける境界関心領域を確定し；
前記境界関心領域及び前記現在のビデオフレームにおける運転者境界枠に基づいて、前記現在のビデオフレームにおける運転者の状態を確定し；及び
連続したビデオフレームにおける前記運転者の状態に基づいて前記運転者の上下車状態を確定する
ことを含む方法を実現するように構成される、コンピュータ機器。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理の技術分野に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
情報技術の発展に伴い、画像に基づく目標（ターゲット）検出技術が益々広く採用されている。例えば、ビデオ監視の分野では、目標検出技術を使用してビデオフレーム内の目標を検出することで、目標の境界ボックス（境界枠）情報を取得し、あるいは、目標のキーポイント（ｋｅｙｐｏｉｎｔ）情報を取得することができる。ここでのキーポイントは例えば、目標人物（対象者）の骨格（スケルトン）の１８個のキーポイント、即ち、首、鼻、左肩、右肩、左腰、右腰、左目、右目、左肘、右肘、左膝、右膝、左耳、右耳、左手首、右手首、左足首及び右足首を含む。
【０００３】
なお、上述の背景技術についての紹介は、本発明の技術案を明確かつ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術に記述されているため、当業者にとって周知であると解釈してはならない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
発明者が次のようなことを発見した。即ち、一般的な画像について、骨格検出モデルは正常に機能し得るが、魚眼画像について、骨格検出の精度が低い。また、運転者上下車状態の従来の判断方法は運転者の骨格の各部分の間の位置関係の規則（ルール）に基づいており、該判断方法は仕組みが複雑であり、実施が難しい。よって、より一般的な判断方法についての更なる研究が必要である。
【０００５】
上述の問題点のうちの少なくとも１つ又は他の類似した問題点に鑑み、本発明の目的は、検出精度を向上させることができる運転者上下車状態判断方法と装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の実施例の１つの側面によれば、運転者上下車状態判断装置が提供され、前記装置は、
現在のビデオフレーム内の境界関心領域を確定する第一確定ユニット；
前記境界関心領域及び前記現在のビデオフレーム内の運転者境界枠に基づいて、前記現在のビデオフレーム内の運転者の状態を確定する第二確定ユニット；及び
連続したビデオフレーム内の前記運転者の状態に基づいて前記運転者の上下車状態を確定する第三確定ユニットを含む。
【０００７】
本発明の実施例のもう１つの側面によれば、コンピュータ機器が提供され、それは記憶器及び処理器を含み、前記記憶器にはコンピュータプログラムが記憶されており、前記処理器は前記コンピュータプログラムを実行することで次のような方法を実現するように構成され、即ち、
現在のビデオフレーム内の境界関心領域を確定し；
前記境界関心領域及び前記現在のビデオフレーム内の運転者境界枠に基づいて、前記現在のビデオフレーム内の運転者の状態を確定し；及び
連続したビデオフレーム内の前記運転者の状態に基づいて前記運転者の上下車状態を確定することを含む方法である。
【発明の効果】
【０００８】
本発明の実施例により、キーポイント情報を必要とせず、車内ビデオに基づいて取得された目標境界枠情報のみを用いることで、運転者の上下車状態を判断することができる。
【図面の簡単な説明】
【０００９】
本発明の実施例の適用シナリオを示す図である。
本発明の実施例の適用シナリオを示す他の図である。
本発明の実施例における運転者上下車状態判断方法を示す図である。
本発明の実施例における方法により境界関心領域を確定することを示す図である。
本発明の実施例における方法により境界関心領域を確定することを示す他の図である。
本発明の実施例における方法により境界関心領域を確定することを示す他の図である。
本発明の実施例における方法により境界関心領域を確定することを示す他の図である。
本発明の実施例における方法により境界関心領域を確定することを示す他の図である。
本発明の実施例における方法により得られた境界関心領域を示す図である。
本発明の実施例における方法により得られた境界関心領域を示す他の図である。
連続したビデオフレーム内の運転者の状態を示す図である。
本発明の実施例における運転者上下車状態判断方法を示す他の図である。
本発明の実施例における方法による効果を表す例を示す図である。
本発明の実施例における方法による効果を表す例を示す他の図である。
本発明の実施例における運転者上下車状態判断装置を示す図である。
本発明の実施例における運転者上下車状態判断装置を示す他の図である。
本発明の実施例におけるコンピュータ機器を示す図である。
本発明の実施例におけるコンピュータ機器を示す他の図である。
【発明を実施するための形態】
【００１０】
添付した図面及び以下の説明を参照することにより、本発明の前述及び他の特徴が明らかになる。なお、明細書及び図面では本発明の特定の実施例を開示するが、それらは本発明の原理を採用し得る一部のみの実施例を示し、理解すべきは、本発明は記載される実施例に限定されず、即ち、本発明は添付する特許請求の範囲に属するすべての変更、変形及び代替によるものをも含むということである。
（【００１１】以降は省略されています）

関連特許