特許ウォッチ

公開番号2024144279
公報種別公開特許公報(A)
公開日2024-10-11
出願番号2024047046
出願日2024-03-22
発明の名称目標確定方法と装置
出願人富士通株式会社
代理人個人,個人
主分類G06V 20/59 20220101AFI20241003BHJP(計算;計数)
要約【課題】本発明は、目標確定方法と装置を提供する。
【解決手段】かかる方法は、候補目標境界枠を確定し;前記候補目標境界枠にスコアを付け、前記候補目標境界枠及びそのスコアと出現回数を候補目標境界枠リストに記録し;及び、連続したビデオフレームから得られた、前記候補目標境界枠リストにおける各候補目標境界枠のスコア及び出現回数に基づいて、目標を確定することを含む。本発明の実施例により、車内ビデオに基づいて検出された候補目標境界枠(候補把手境界枠)から目標境界枠(把手境界枠)を見つけることで、目標(把手)を特定することができる。
【選択図】図4
特許請求の範囲【請求項１】
目標を確定する装置であって、
候補目標境界枠を確定する第一確定ユニット；
前記候補目標境界枠にスコアを付け、前記候補目標境界枠及びそのスコアと出現回数を候補目標境界枠リストに記録する処理ユニット；及び
連続したビデオフレームから得られた、前記候補目標境界枠リストにおける各候補目標境界枠のスコア及び出現回数に基づいて、目標を確定する第二確定ユニットを含み、
最大出現回数が第一閾値（ｎ１）よりも小さく、かつ、最大スコアが第二閾値（ｆ１）よりも大きい場合に、前記第二確定ユニットは出現回数最大の候補目標境界枠に対応する候補目標を前記目標として確定し、
そうでない場合に、
最大出現回数と２番目に大きい出現回数との差が第三閾値（ｎ２）よりも小さい場合に、前記第二確定ユニットはスコア最大の候補目標境界枠に対応する候補目標を前記目標として確定し、そうでない場合に、前記第二確定ユニットは出現回数最大の候補目標境界枠に対応する候補目標を前記目標として確定する、装置。
続きを表示（約 1,900 文字）【請求項２】
請求項１に記載の装置であって、
前記候補目標境界枠が前記候補目標境界枠リストにおける任意の１つの候補目標境界枠都とオーバーラップしない場合に、前記処理ユニットは前記候補目標境界枠を新境界枠として確定し、前記新境界枠及びそのスコアと出現回数を候補目標境界枠リストに記録する、装置。
【請求項３】
請求項１に記載の装置であって、
前記候補目標境界枠が前記候補目標境界枠リストにおける任意の１つの候補目標境界枠とオーバーラップせず、かつ、前記候補目標境界枠が現在のビデオフレームにおける所定境界枠ともオーバーラップしない場合に、前記処理ユニットは前記候補目標境界枠を新境界枠として確定し、前記候補目標境界枠及びそのスコアと出現回数を候補目標境界枠リストに記録する、装置。
【請求項４】
請求項１に記載の装置であって、
前記候補目標境界枠が前記候補目標境界枠リストにおける任意の１つの候補目標境界枠とオーバーラップしている場合に、前記処理ユニットは前記候補目標境界枠を旧境界枠として確定し、前記候補目標境界枠リストにおける前記旧境界枠のスコア及び出現回数を更新することを含む、装置。
【請求項５】
請求項１に記載の装置であって、
前記候補目標境界枠リストに１つのみの候補目標境界枠がある場合に、前記第二確定ユニットは前記候補目標境界枠に対応する目標を所望の目標として確定し、
前記候補目標境界枠リストに複数の候補目標境界枠がある場合に、前記第二確定ユニットは前記候補目標境界枠の出現回数の大から小への順序及び前記候補目標境界枠のスコアの大から小への順序に従って、前記候補目標境界枠リストにおける候補目標境界枠に対してそれぞれ並べ替えを行い、並べ替え後の前記候補目標境界枠に基づいて前記目標を確定する、装置。
【請求項６】
請求項１から５のうちの任意の１項に記載の装置であって、
前記候補目標境界枠は候補把手境界枠であり、前記目標は把手である、装置。
【請求項７】
目標を確定する方法であって、
候補目標境界枠を確定し；
前記候補目標境界枠にスコアを付け、前記候補目標境界枠及びそのスコアと出現回数を候補目標境界枠リストに記録し；及び
連続したビデオフレームから得られた、前記候補目標境界枠リストにおける各候補目標境界枠のスコア及び出現回数に基づいて、目標を確定することを含み、
最大出現回数が第一閾値（ｎ１）よりも小さく、かつ、最大スコアが第二閾値（ｆ１）よりも大きい場合に、出現回数最大の候補目標境界枠に対応する候補目標を前記目標として確定し、
そうでない場合に、
最大出現回数と２番目に大きい出現回数との差が第三閾値（ｎ２）よりも小さい場合に、スコア最大の候補目標境界枠に対応する候補目標を前記目標として確定し、そうでない場合に、出現回数最大の候補目標境界枠に対応する候補目標を前記目標として確定する、方法。
【請求項８】
請求項７に記載の方法であって、
前記候補目標境界枠が前記候補目標境界枠リストにおける任意の１つの候補目標境界枠都とオーバーラップせず、かつ、前記候補目標境界枠が現在のビデオフレームにおける所定境界枠ともオーバーラップしない場合に、前記候補目標境界枠を新境界枠として確定し、前記候補目標境界枠及びそのスコアと出現回数を候補目標境界枠リストに記録する、方法。
【請求項９】
請求項７に記載の方法であって、
前記候補目標境界枠リストに１つのみの候補目標境界枠がある場合に、前記候補目標境界枠に対応する目標を所望の目標として確定し、
前記候補目標境界枠リストに複数の候補目標境界枠がある場合に、前記候補目標境界枠の出現回数の大から小への順序及び前記候補目標境界枠のスコアの大から小への順序に従って、前記候補目標境界枠リストにおける候補目標境界枠に対してそれぞれ並べ替えを行い、並べ替え後の前記候補目標境界枠に基づいて前記目標を確定する、方法。
【請求項１０】
コンピュータ機器であって、
記憶器、及び前記記憶器に接続される処理器を含み、
前記記憶器にはコンピュータプログラムが記憶されており、
前記処理器は前記コンピュータプログラムを実行することで請求項７から９のうちの任意の１項に記載の方法を実現するように構成される、コンピュータ機器。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理の技術分野に関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
情報技術の発展に伴い、画像に基づく目標（ターゲット）検出技術が益々広く適用されている。例えば、ビデオ監視の分野では、目標検出技術を採用してビデオフレーム内の目標を検出することで、目標の境界ボックス（境界枠）情報を取得し、あるいは、目標のキーポイント（ｋｅｙｐｏｉｎｔ）情報を取得することができる。ここでのキーポイントは例えば、目標人物（対象者）の骨格（スケルトン）の１８個のキーポイント、即ち、首、鼻、左肩、右肩、左腰、右腰、左目、右目、左肘、右肘、左膝、右膝、左耳、右耳、左手首、右手首、左足首及び右足首を含む。
【０００３】
なお、上述の背景技術についての紹介は、本発明の技術案を明確かつ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術に記述されているため、当業者にとって周知であると解釈してはならない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
発明者が次のようなことを発見した。即ち、一般的な画像の場合に、骨格検出モデルは正常に機能し得るが、魚眼画像の場合に、骨格検出の精度が低い。また、運転者の上下車状態の従来の判断方法は、運転者の骨格部分と、検出された目標（例えば、把手（ハンドル））との間の位置関係の規則（ルール）に基づいており、如何に、検出された多くの目標から所望の目標（例えば、真の把手）を見つけるかは該判断方法にとって非常に重要である。
【０００５】
上述の問題点のうちの少なくとも１つ又は他の類似した問題点に鑑み、本発明の目的は、検出された多くの目標から真の目標を見つけることができる目標確定方法と装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の実施例の１つの側面によれば、目標確定装置が提供され、前記装置は、
候補目標境界枠を確定する第一確定ユニット；
前記候補目標境界枠にスコアを付け、また、前記候補目標境界枠及びそのスコアと出現回数を候補目標境界枠リストに記録する処理ユニット；及び
連続したビデオフレームから得られた、前記候補目標境界枠リストにおける各候補目標境界枠のスコア及び出現回数に基づいて、目標を確定する第二確定ユニットを含み、
そのうち、
最大出現回数が第一閾値（ｎ１）よりも小さく、かつ、最大スコアが第二閾値（ｆ１）よりも大きい場合に、前記第二確定ユニットは出現回数最大の候補目標境界枠に対応する候補目標を前記目標として確定し、
そうでない場合に、最大出現回数と２番目に大きい出現回数との差が第三閾値（ｎ２）よりも小さい場合に、前記第二確定ユニットはスコア最大の候補目標境界枠に対応する候補目標を前記目標として確定し、
そうでない場合に、前記第二確定ユニットは出現回数最大の候補目標境界枠に対応する候補目標を前記目標として確定する。
【０００７】
本発明の実施例のもう１つの側面によれば、目標確定方法が提供され、そのうち、前記方法は、
候補目標境界枠を確定し；
前記候補目標境界枠にスコアを付け、また、前記候補目標境界枠及びそのスコアと出現回数を候補目標境界枠リストに記録し；及び
連続したビデオフレームから得られた、前記候補目標境界枠リストにおける各候補目標境界枠のスコア及び出現回数に基づいて、目標を確定することを含み、
そのうち、
最大出現回数が第一閾値（ｎ１）よりも小さく、かつ、最大スコアが第二閾値（ｆ１）よりも大きい場合に、出現回数最大の候補目標境界枠に対応する候補目標を前記目標として確定し、
そうでない場合に、最大出現回数と２番目に大きい出現回数との差が第三閾値（ｎ２）よりも小さい場合に、スコア最大の候補目標境界枠に対応する候補目標を前記目標として確定し、
そうでない場合に、出現回数最大の候補目標境界枠に対応する候補目標を前記目標として確定する。
【０００８】
本発明の実施例の他の側面によれば、コンピュータ機器が提供され、それは記憶器及び処理器を含み、前記記憶器にはコンピュータプログラムが記憶されており、前記処理器は前記コンピュータプログラムを実行することで次のような方法を実現するように構成され、即ち、
候補目標境界枠を確定し；
前記候補目標境界枠にスコアを付け、また、前記候補目標境界枠及びそのスコアと出現回数を候補目標境界枠リストに記録し；及び
連続したビデオフレームから得られた、前記候補目標境界枠リストにおける各候補目標境界枠のスコア及び出現回数に基づいて、目標を確定することを含み、
そのうち、
最大出現回数が第一閾値（ｎ１）よりも小さく、かつ、最大スコアが第二閾値（ｆ１）よりも大きい場合に、出現回数最大の候補目標境界枠に対応する候補目標を前記目標として確定し、
そうでない場合に、最大出現回数と２番目に大きい出現回数との差が第三閾値（ｎ２）よりも小さい場合に、スコア最大の候補目標境界枠に対応する候補目標を前記目標として確定し、
そうでない場合に、出現回数最大の候補目標境界枠に対応する候補目標を前記目標として確定する方法である。
【発明の効果】
【０００９】
本発明の実施例により、車内ビデオに基づいて検出された候補目標境界枠（候補把手境界枠）から目標境界枠（把手境界枠）を見つけることで、目標（把手）を位置決め（ポジショニング／特定）することができる。
【図面の簡単な説明】
【００１０】
本発明の実施例の適用シナリオを示す図である。
本発明の実施例のもう１つの適用シナリオを示す図である。
カウンター式フォークリフトのルーフに設けられるカメラヘッドにより撮影された１つのビデオフレームを示す図である。
本発明の実施例における目標確定方法を示す図である。
本発明の実施例におけるもう１つの目標確定方法を示す図である。
本発明の実施例における方法による効果を表す１つの例を示す図である。
本発明の実施例における方法による効果を表すもう１つの例を示す図である。
本発明の実施例における目標確定装置を示す図である。
本発明の実施例におけるもう１つの目標確定装置を示す図である。
本発明の実施例におけるコンピュータ機器を示す図である。
本発明の実施例におけるもう１つのコンピュータ機器を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許