特許ウォッチ

公開番号2024087790
公報種別公開特許公報(A)
公開日2024-07-01
出願番号2023210559
出願日2023-12-13
発明の名称足位置の補正方法、装置及び記憶媒体
出願人富士通株式会社
代理人個人,個人
主分類G06T 7/20 20170101AFI20240624BHJP(計算;計数)
要約【課題】本開示は、目標追跡における足位置の補正方法、装置及び記憶媒体を提供する。
【解決手段】該方法は、少なくとも1つの目標が複数の棚が配置された空間内を移動する際に取り込まれた画像シーケンスに基づいて決定された少なくとも1つの目標のうちの1つの目標のトラックレットにおける複数の画像ブロックについて、各画像ブロックの外接枠を参照して画像ブロックの第1の候補足位置を決定するステップと、複数の画像ブロックについて、複数の棚の位置を参照して各画像ブロックの複数の追加候補足位置を決定するステップと、第1の候補足位置及び追加候補足位置を含む、複数の画像ブロックの候補足位置セットにおける候補足位置を頂点として、複数の画像ブロックのうちの開始画像ブロックから終了画像ブロックまでの有向グラフを構築するステップと、有向グラフの最小コスト経路に基づいて目標の補正後の足位置軌跡を決定するステップと、を含む。
【選択図】図2
特許請求の範囲【請求項１】
コンピュータが実行する、目標追跡における足位置の補正方法であって、
少なくとも１つの目標が複数の棚が配置された空間内を移動する際に取り込まれた画像シーケンスに基づいて決定された前記少なくとも１つの目標のうちの１つの目標のトラックレットにおける複数の画像ブロックについて、各画像ブロックの外接枠を参照して該画像ブロックの第１の候補足位置を決定するステップと、
前記複数の画像ブロックについて、前記複数の棚の位置を参照して各画像ブロックの複数の追加候補足位置を決定するステップと、
第１の候補足位置及び追加候補足位置を含む、前記複数の画像ブロックの候補足位置セットにおける候補足位置を頂点として、前記複数の画像ブロックのうちの開始画像ブロックから終了画像ブロックまでの有向グラフを構築するステップと、
前記有向グラフの最小コスト経路に基づいて前記目標の補正後の足位置軌跡を決定するステップと、を含む、方法。
続きを表示（約 3,600 文字）【請求項２】
追加候補位置選択操作により、各画像ブロックの第２の候補足位置及び第３の候補足位置を該画像ブロックの２つの追加候補足位置として決定し、
前記追加候補位置選択操作は、
該画像ブロックの前記第１の候補足位置から、第１の方向に沿って前記第２の候補足位置を探索することと、
該画像ブロックの前記第１の候補足位置から、前記第１の方向とは反対の第２の方向に沿って前記第３の候補足位置を探索することと、を含み、
前記複数の棚の位置及び該画像ブロックの外接枠を参照して前記第２の候補足位置及び前記第３の候補足位置を探索する、請求項１に記載の方法。
【請求項３】
前記追加候補位置選択操作は、各画像ブロックの第４の候補足位置及び第５の候補足位置を該画像ブロックの他の２つの追加候補足位置として決定することをさらに含み、
該画像ブロックの前記第１の候補足位置から、前記第１の方向に垂直な第３の方向に沿って前記第４の候補足位置を探索し、
該画像ブロックの前記第１の候補足位置から、前記第３の方向とは反対の第４の方向に沿って前記第５の候補足位置を探索し、
前記複数の棚の位置及び該画像ブロックの外接枠を参照して前記第４の候補足位置及び前記第５の候補足位置を探索する、請求項２に記載の方法。
【請求項４】
該画像ブロックの前記第１の候補足位置から、第１の方向に沿って前記第２の候補足位置を探索する際に、
第１の条件を満たす第１の点が存在する場合、該第１の点の位置を前記第２の候補足位置として選択し、
前記第１の条件を満たす前記第１の点が存在しない場合、該第１の候補足位置及び該第１の候補足位置の直前の候補足位置に基づいて該第２の候補足位置を決定し、
前記第１の条件は、該第１の候補足位置から前記第１の方向に沿って１つの棚を通過して該棚の外の前記第１の点に到達し、且つ前記第１の点と該第１の候補足位置との距離と該第１の候補足位置に対応する対応画像ブロックの高さとの比が第１の所定閾値よりも小さいことであり、
該画像ブロックの前記第１の候補足位置から、第２の方向に沿って前記第３の候補足位置を探索する際に、
第２の条件を満たす第２の点が存在する場合、該第２の点の位置を前記第３の候補足位置として選択し、
前記第２の条件を満たす前記第２の点が存在しない場合、該第１の候補足位置及び該第１の候補足位置の直前の候補足位置に基づいて該第３の候補足位置を決定し、
前記第２の条件は、該第１の候補足位置から前記第２の方向に沿って１つの棚を通過して該棚の外の前記第２の点に到達し、且つ前記第２の点と該第１の候補足位置との距離と該第１の候補足位置に対応する対応画像ブロックの高さとの比が第２の所定閾値よりも小さいことである、請求項２に記載の方法。
【請求項５】
該画像ブロックの前記第１の候補足位置から、前記第１の方向に垂直な第３の方向に沿って前記第４の候補足位置を探索する際に、
第３の条件を満たす第３の点が存在する場合、該第３の点の位置を前記第４の候補足位置として選択し、
前記第３の条件を満たす前記第３の点が存在しない場合、該第１の候補足位置及び該第１の候補足位置の直前の候補足位置に基づいて該第４の候補足位置を決定し、
前記第３の条件は、該第１の候補足位置から前記第３の方向に沿って１つの棚を通過して該棚の外の前記第３の点に到達し、且つ前記第３の点と該第１の候補足位置との距離と該第１の候補足位置に対応する対応画像ブロックの幅との比が第３の所定閾値よりも小さいことであり、
該画像ブロックの前記第１の候補足位置から、前記第３の方向とは反対の第４の方向に沿って前記第５の候補足位置を探索する際に、
第４の条件を満たす第４の点が存在する場合、該第４の点の位置を前記第５の候補足位置として選択し、
前記第４の条件を満たす前記第４の点が存在しない場合、該第１の候補足位置及び該第１の候補足位置の直前の候補足位置に基づいて該第５の候補足位置を決定し、
前記第４の条件は、該第１の候補足位置から前記第４の方向に沿って１つの棚を通過して該棚の外の前記第４の点に到達し、且つ前記第４の点と該第１の候補足位置との距離と該第１の候補足位置に対応する対応画像ブロックの幅との比が第４の所定閾値よりも小さいことである、請求項３に記載の方法。
【請求項６】
前記有向グラフにおける時間的に隣接する２つの候補足位置について、先行候補足位置から後続候補足位置までの辺のコスト関数は、前記先行候補足位置からそれに対応する第１の候補足位置までのユークリッド距離、前記後続候補足位置からそれに対応する第１の候補足位置までのユークリッド距離、及び前記先行候補足位置と前記後続候補足位置との連結線が棚を通過しているか否かに関連する、請求項１に記載の方法。
【請求項７】
前記先行候補足位置から前記後続候補足位置までの辺のコスト関数は、第１のコストと第２のコストと第３のコストとの合計であり、
前記第１のコストは、前記先行候補足位置から前記先行候補足位置に対応する第１の候補足位置までのユークリッド距離であり、
前記第２のコストは、前記後続候補足位置から前記後続候補足位置に対応する第１の候補足位置までのユークリッド距離であり、
前記第３のコストは、前記先行候補足位置と前記後続候補足位置との連結線が前記空間内の棚を通過しているか否かに関連する、請求項６に記載の方法。
【請求項８】
前記先行候補足位置と前記後続候補足位置との連結線が前記空間内の棚を通過している場合、前記第３のコストは第１の非負数に設定され、
前記先行候補足位置と前記後続候補足位置との連結線が前記空間内の棚を通過していない場合、前記第３のコストは第２の非負数に設定され、
前記第１の非負数及び前記第２の非負数は、前記第１の非負数と前記第２の非負数との差が前記複数の棚の画像空間における最大マッピング幅の３倍よりも大きくなるように設定される、請求項７に記載の方法。
【請求項９】
目標追跡における足位置の補正装置であって、
命令が記憶されたメモリと、
前記メモリに接続され、且つ前記命令を実行するように構成された少なくとも１つのプロセッサと、を含み、
前記少なくとも１つのプロセッサは、
少なくとも１つの目標が複数の棚が配置された空間内を移動する際に取り込まれた画像シーケンスに基づいて決定された前記少なくとも１つの目標のうちの１つの目標のトラックレットにおける複数の画像ブロックについて、各画像ブロックの外接枠を参照して該画像ブロックの第１の候補足位置を決定するステップと、
前記複数の画像ブロックについて、前記複数の棚の位置を参照して各画像ブロックの複数の追加候補足位置を決定するステップと、
第１の候補足位置及び追加候補足位置を含む、前記複数の画像ブロックの候補足位置セットにおける候補足位置を頂点として、前記複数の画像ブロックのうちの開始画像ブロックから終了画像ブロックまでの有向グラフを構築するステップと、
前記有向グラフの最小コスト経路に基づいて前記目標の補正後の足位置軌跡を決定するステップと、を実現するように前記命令を実行する、装置。
【請求項１０】
プログラムが記憶されたコンピュータ読み取り可能な非一時的な記憶媒体であって、前記プログラムがコンピュータにより実行される際に、前記コンピュータは、
少なくとも１つの目標が複数の棚が配置された空間内を移動する際に取り込まれた画像シーケンスに基づいて決定された前記少なくとも１つの目標のうちの１つの目標のトラックレットにおける複数の画像ブロックについて、各画像ブロックの外接枠を参照して該画像ブロックの第１の候補足位置を決定するステップと、
前記複数の画像ブロックについて、前記複数の棚の位置を参照して各画像ブロックの複数の追加候補足位置を決定するステップと、
第１の候補足位置及び追加候補足位置を含む、前記複数の画像ブロックの候補足位置セットにおける候補足位置を頂点として、前記複数の画像ブロックのうちの開始画像ブロックから終了画像ブロックまでの有向グラフを構築するステップと、
前記有向グラフの最小コスト経路に基づいて前記目標の補正後の足位置軌跡を決定するステップと、を実現する、記憶媒体。

発明の詳細な説明【技術分野】
【０００１】
本開示は、情報処理及びコンピュータビジョンに関し、具体的には、コンピュータが実行する目標追跡における足位置の補正方法、装置及び記憶媒体に関する。
続きを表示（約 3,400 文字）【背景技術】
【０００２】
コンピュータ科学及び人工知能の発展に伴い、コンピュータビジョン技術はさらに発展した。コンピュータビジョン技術は、カメラにより取り込まれた画像シーケンス（ビデオ）に対して目標（ターゲット）追跡を行う目標追跡技術を含む。目標追跡技術は、ビデオにおける歩行者、自動車及び／又は動物などの複数の関心のあるタイプの目標を検出し、目標に基づいて識別子（ＩＤ）を付与して、異なる目標の軌跡を取得することができる。
【０００３】
マルチ目標追跡では、入力ビデオについて、目標の追跡結果を出力する。追跡結果画像において、各目標は、例えば、対応するＩＤ識別情報を有する矩形の外接枠で示される。ビデオの複数のフレームの画像シーケンスにおいて、同一のＩＤの外接枠の移動軌跡（例えば、外接枠の中心点の移動軌跡、外接枠の底辺中点の移動軌跡、又は外接枠の頂辺中点の移動軌跡）を該ＩＤの目標の軌跡として見なしてもよい。該複数のフレームにおいて、該ＩＤ外接枠により示される複数の画像ブロックの画像ブロックシーケンスは、該ＩＤの目標のトラックレット（ｔｒａｃｋｌｅｔ）と称される。トラックレットにおいて、各画像ブロックは、該トラックレットの１つのフレームの画像と見されてもよく、各フレームの画像に目標軌跡を表現する時間情報及び空間位置情報の情報を割り当ててもよい。言い換えれば、目標軌跡上の軌跡点は、位置属性及び時間属性を有してもよい。
【０００４】
通常、商品を保管又は陳列する空間（例えば、オフラインの販売場所）には、監視カメラが設置されている。なお、目標追跡モデルを用いて、空間内の関心のあるタイプの目標の空間内の移動軌跡を取得することができる。目標Ｔａｒ［ｉ］の軌跡は、目標追跡モデルにより取得された目標Ｔａｒ［ｉ］についてのトラックレットを用いて決定されてもよい。例えば、トラックレットにおける各画像ブロックの底辺の中点を用いて表されてもよい。該空間には、通常１つ以上の棚が配置されており、棚の上には製品（商品）が配置されている。棚の存在により、理想的には、目標（例えば、顧客）は隣接する監視ビデオフレームにより規定される時間内に棚の第１の側から棚の第２の側に突然変化することができず、顧客の足が棚の所在する領域に位置することもできない。しかし、実際には、目標追跡モデルに基づいて決定された軌跡には、例えば、同一の目標の時間的に隣接する２つの軌跡点が同一の棚の両側に出現するような誤りが発生する可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
以下は、本開示の態様を基本的に理解させるために、本開示の簡単な概要を説明する。なお、この簡単な概要は、本開示を網羅的な概要ではなく、本開示のポイント又は重要な部分を意図的に特定するものではなく、本開示の範囲を意図的に限定するものではなく、後述するより詳細的な説明の前文として、単なる概念を簡単な形で説明することを目的とする。
【０００６】
目標追跡モデルにより決定された軌跡に誤りがある可能性があることを考慮して、決定された軌跡の正確度を改善するために軌跡を補正することが望ましい。本発明の発明者は、複数の棚が配置された空間における目標追跡を検討し、本開示の技術的解決策を考案した。本開示の実施例が解決しようとする技術的課題は、以下の少なくとも１つの課題を含むが、これらに限定されない。誤った軌跡点を低減させ、目標追跡の正確度を改善する。
【課題を解決するための手段】
【０００７】
本開示の１つの態様では、コンピュータが実行する、目標追跡における足位置の補正方法であって、少なくとも１つの目標が複数の棚が配置された空間内を移動する際に取り込まれた画像シーケンスに基づいて決定された前記少なくとも１つの目標のうちの１つの目標のトラックレットにおける複数の画像ブロックについて、各画像ブロックの外接枠を参照して該画像ブロックの第１の候補足位置を決定するステップと、前記複数の画像ブロックについて、前記複数の棚の位置を参照して各画像ブロックの複数の追加候補足位置を決定するステップと、第１の候補足位置及び追加候補足位置を含む、前記複数の画像ブロックの候補足位置セットにおける候補足位置を頂点として、前記複数の画像ブロックのうちの開始画像ブロックから終了画像ブロックまでの有向グラフを構築するステップと、前記有向グラフの最小コスト経路に基づいて前記目標の補正後の足位置軌跡を決定するステップと、を含む、方法を提供する。
【０００８】
本開示のもう１つの態様では、目標追跡における足位置の補正装置であって、命令が記憶されたメモリと、前記メモリに接続され、且つ前記命令を実行するように構成された少なくとも１つのプロセッサと、を含み、前記少なくとも１つのプロセッサは、少なくとも１つの目標が複数の棚が配置された空間内を移動する際に取り込まれた画像シーケンスに基づいて決定された前記少なくとも１つの目標のうちの１つの目標のトラックレットにおける複数の画像ブロックについて、各画像ブロックの外接枠を参照して該画像ブロックの第１の候補足位置を決定するステップと、前記複数の画像ブロックについて、前記複数の棚の位置を参照して各画像ブロックの複数の追加候補足位置を決定するステップと、第１の候補足位置及び追加候補足位置を含む、前記複数の画像ブロックの候補足位置セットにおける候補足位置を頂点として、前記複数の画像ブロックのうちの開始画像ブロックから終了画像ブロックまでの有向グラフを構築するステップと、前記有向グラフの最小コスト経路に基づいて前記目標の補正後の足位置軌跡を決定するステップと、を実現するように前記命令を実行する、装置を提供する。
【０００９】
本開示のもう１つの態様では、目標追跡における足位置の補正装置であって、少なくとも１つの目標が複数の棚が配置された空間内を移動する際に取り込まれた画像シーケンスに基づいて決定された前記少なくとも１つの目標のうちの１つの目標のトラックレットにおける複数の画像ブロックについて、各画像ブロックの外接枠を参照して該画像ブロックの第１の候補足位置を決定する第１の候補足位置決定部と、前記複数の画像ブロックについて、前記複数の棚の位置を参照して各画像ブロックの複数の追加候補足位置を決定する追加候補足位置決定部と、第１の候補足位置及び追加候補足位置を含む、前記複数の画像ブロックの候補足位置セットにおける候補足位置を頂点として、前記複数の画像ブロックのうちの開始画像ブロックから終了画像ブロックまでの有向グラフを構築する有向グラフ構築部と、前記有向グラフの最小コスト経路に基づいて前記目標の補正後の足位置軌跡を決定する補正部と、を含む、装置を提供する。
【００１０】
本開示のもう１つの態様では、プログラムが記憶されたコンピュータ読み取り可能な非一時的な記憶媒体であって、前記プログラムがコンピュータにより実行される際に、前記コンピュータは、少なくとも１つの目標が複数の棚が配置された空間内を移動する際に取り込まれた画像シーケンスに基づいて決定された前記少なくとも１つの目標のうちの１つの目標のトラックレットにおける複数の画像ブロックについて、各画像ブロックの外接枠を参照して該画像ブロックの第１の候補足位置を決定するステップと、前記複数の画像ブロックについて、前記複数の棚の位置を参照して各画像ブロックの複数の追加候補足位置を決定するステップと、第１の候補足位置及び追加候補足位置を含む、前記複数の画像ブロックの候補足位置セットにおける候補足位置を頂点として、前記複数の画像ブロックのうちの開始画像ブロックから終了画像ブロックまでの有向グラフを構築するステップと、前記有向グラフの最小コスト経路に基づいて前記目標の補正後の足位置軌跡を決定するステップと、を実現する、記憶媒体を提供する。
（【００１１】以降は省略されています）

関連特許