特許ウォッチ

公開番号2025141316
公報種別公開特許公報(A)
公開日2025-09-29
出願番号2024041196
出願日2024-03-15
発明の名称画像処理装置、画像処理方法及び画像処理プログラム
出願人オムロン株式会社
代理人弁理士法人秀和特許事務所
主分類G06T 7/215 20170101AFI20250919BHJP(計算;計数)
要約【課題】同一のオブジェクトを複数のオブジェクトとして誤検知することを抑制する。
【解決手段】本画像処理装置は、第1のフレーム画像において第1の同一のオブジェクトを検出し、第2のフレーム画像において第2のオブジェクトを検出して枠を設定した場合に、第1の同一のオブジェクトを検出した検出期間の終了時間と、第2のオブジェクトを検出した検出期間の開始時間と、の間の期間である第1の期間が第2の閾値以下である第1の条件が満たされる場合に、第1の同一のオブジェクトとして検出されたオブジェクトに設定された第1の枠と、第2のオブジェクトとして検出されたオブジェクトに設定された第2の枠の差が第3の閾値以下または第1の枠と第2の枠の位置の差が第4の閾値以下である場合に、第1の同一のオブジェクトと第2のオブジェクトを同一のオブジェクトとして検出し、同一のオブジェクトの検出を継続する。
【選択図】図3
特許請求の範囲【請求項１】
記憶部と、
前記記憶部に接続されたプロセッサと、を備え、
前記プロセッサは、
カメラによって道路が撮影された動画のフレーム画像を取得する取得処理と、
前記フレーム画像から前記道路上のオブジェクトを抽出する抽出処理と、
前記フレーム画像から抽出された前記オブジェクトの大きさと位置に基づいた枠を設定する設定処理と、
連続する複数の前記フレーム画像に夫々設定された前記枠の位置の差が第１の閾値以下の場合に、同一のオブジェクトとして検出する検出処理と、
前記同一のオブジェクトを継続的に検出した検出期間を記憶する記憶処理と、
第１のフレーム画像において第１の同一のオブジェクトを検出し、前記第１のフレーム画像とは異なる第２のフレーム画像において前記第１の同一のオブジェクトとは異なる第２のオブジェクトを検出して前記枠を設定した場合に、
前記第１の同一のオブジェクトを検出した検出期間の終了時間と、前記第２のオブジェクトを検出した検出期間の開始時間と、の間の期間である第１の期間が第２の閾値以下である第１の条件が満たされる場合に、前記第１の同一のオブジェクトとして検出されたオブジェクトに設定された第１の枠と、前記第２のオブジェクトとして検出されたオブジェクトに設定された第２の枠の大きさの差が第３の閾値以下または前記第１の枠と前記第２の枠の位置の差が第４の閾値以下である場合に、前記第１の同一のオブジェクトと前記第２のオブジェクトを前記同一のオブジェクトとして検出し、前記同一のオブジェクトの検出を継続する継続処理と、を実行することを特徴とする、
画像処理装置。
続きを表示（約 2,700 文字）【請求項２】
前記検出処理は、連続する前記フレーム画像において前記同一のオブジェクトが検出されなくなったときに、前記同一のオブジェクトが検出された最後のフレーム画像と、前記最後のフレーム画像から予め設定したタイマーの期間中に取得した複数のフレーム画像との夫々に設定された前記枠の位置の差が前記第１の閾値以下の場合に、前記最後のフレーム画像から検出されたオブジェクトと前記複数のフレーム画像から検出されたオブジェクトとを同一のオブジェクトとして検出する処理をさらに含み、
前記記憶処理は、前記最後のフレーム画像から前記タイマーの期間内に再び前記同一のオブジェクトが検出された場合には、前記同一のオブジェクトが検出されなかった期間も継続的に検出したものとして前記検出期間を更新する処理をさらに含み、
前記継続処理は、前記同一の第１のオブジェクトを検出した検出期間と前記第２のオブジェクトを検出した検出期間とが重複する第２の条件が成立する場合に、前記同一の第２オブジェクトを前記同一の第１オブジェクトとして検出し、前記同一のオブジェクトの検出を継続する処理をさらに含む、
請求項１に記載の画像処理装置。
【請求項３】
前記プロセッサは、
前記第１の条件が成立する場合に、前記第１の条件を満たす二つの枠に外接する外接枠を作成する処理と、
前記外接枠内に存在する前記オブジェクトの占める割合を算出する処理と、を実行し、
前記第１の条件を満たす二つの枠の大きさの差が前記第３の閾値以下または前記第１の条件を満たす二つの枠の位置の差が前記第４の閾値以下である場合は、前記割合が第５の閾値以上である場合を含む、
請求項１に記載の画像処理装置。
【請求項４】
前記プロセッサは、前記同一のオブジェクトを検出するための前記外接枠とは異なる新
たな枠を前記オブジェクトの大きさと位置に基づいて設定し、前記新たな枠を用いて前記同一のオブジェクトの検出を継続する、
請求項１に記載の画像処理装置。
【請求項５】
前記プロセッサは、前記検出期間が前記第３の閾値以上である前記二つの枠に外接する前記外接枠内に存在する前記オブジェクトに対し、前記動画上における前記オブジェクトの位置の検出に用いる前記新たな枠を設定する、
請求項３に記載の画像処理装置。
【請求項６】
前記プロセッサは、さらに、前記第１のフレーム画像に設定した前記枠と前記第２のフレーム画像に設定した前記枠の大きさの差が第６の閾値以下の場合に、前記第１のフレーム画像において前記枠が設定されたオブジェクトと前記第２のフレーム画像において前記枠が設定されたオブジェクトを前記同一のオブジェクトとして検出する、
請求項１に記載の画像処理装置。
【請求項７】
前記プロセッサは、
前記新たな枠を用いた前記同一のオブジェクトの検出が継続されると、前記新たな枠で検出する前記同一のオブジェクトについての前記検出期間を、前記第１のフレーム画像に設定された前記枠で検出された前記検出期間と通算して算出する、
請求項２に記載の画像処理装置。
【請求項８】
カメラによって道路が撮影された動画のフレーム画像を取得する取得処理と、
前記フレーム画像から前記道路上のオブジェクトを抽出する抽出処理と、
前記フレーム画像から抽出された前記オブジェクトの大きさと位置に基づいた枠を設定する設定処理と、
連続する複数の前記フレーム画像に夫々設定された前記枠の位置の差が第１の閾値以下の場合に、同一のオブジェクトとして検出する検出処理と、
前記同一のオブジェクトを継続的に検出した検出期間を記憶する記憶処理と、
第１のフレーム画像において第１の同一のオブジェクトを検出し、前記第１のフレーム画像とは異なる第２のフレーム画像において前記第１の同一のオブジェクトとは異なる第２のオブジェクトを検出して前記枠を設定した場合に、
前記第１の同一のオブジェクトを検出した検出期間の終了時間と、前記第２のオブジェクトを検出した検出期間の開始時間と、の間の期間である第１の期間が第２の閾値以下である第１の条件が満たされる場合に、前記第１の同一のオブジェクトとして検出されたオブジェクトに設定された第１の枠と、前記第２のオブジェクトとして検出されたオブジェクトに設定された第２の枠の大きさの差が第３の閾値以下または前記第１の枠と前記第２の枠の位置の差が第４の閾値以下である場合に、前記第１の同一のオブジェクトと前記第２のオブジェクトを前記同一のオブジェクトとして検出し、前記同一のオブジェクトの検出を継続する継続処理と、をコンピュータが実行することを特徴とする、
画像処理方法。
【請求項９】
カメラによって道路が撮影された動画のフレーム画像を取得する取得処理と、
前記フレーム画像から前記道路上のオブジェクトを抽出する抽出処理と、
前記フレーム画像から抽出された前記オブジェクトの大きさと位置に基づいた枠を設定する設定処理と、
連続する複数の前記フレーム画像に夫々設定された前記枠の位置の差が第１の閾値以下の場合に、同一のオブジェクトとして検出する検出処理と、
前記同一のオブジェクトを継続的に検出した検出期間を記憶する記憶処理と、
第１のフレーム画像において第１の同一のオブジェクトを検出し、前記第１のフレーム画像とは異なる第２のフレーム画像において前記第１の同一のオブジェクトとは異なる第
２のオブジェクトを検出して前記枠を設定した場合に、
前記第１の同一のオブジェクトを検出した検出期間の終了時間と、前記第２のオブジェクトを検出した検出期間の開始時間と、の間の期間である第１の期間が第２の閾値以下である第１の条件が満たされる場合に、前記第１の同一のオブジェクトとして検出されたオブジェクトに設定された第１の枠と、前記第２のオブジェクトとして検出されたオブジェクトに設定された第２の枠の大きさの差が第３の閾値以下または前記第１の枠と前記第２の枠の位置の差が第４の閾値以下である場合に、前記第１の同一のオブジェクトと前記第２のオブジェクトを前記同一のオブジェクトとして検出し、前記同一のオブジェクトの検出を継続する継続処理と、をコンピュータに実行させることを特徴とする、
画像処理プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
カメラによって撮影した動画中のフレーム画像からオブジェクトを検出し、検出したオブジェクトを追跡する技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
特開２０１４－２０６９３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
動画中のオブジェクトの追跡には、当該オブジェクトを囲むように設定される枠を用いることができる。動画の各フレーム画像において上記枠を設定すると、異なる時刻のフレーム画像においてひとつのオブジェクトに対して別のオブジェクトが一部重畳したこと等により、別のオブジェクトとして新たな枠が設定されることがある。ひとつのオブジェクトに対して複数の枠が設定されてしまうと、追跡対象のオブジェクトはひとつであるにもかかわらず、複数のオブジェクトが検出されるという誤検知が生じる虞がある。
【０００５】
開示の技術の１つの側面は、同一のオブジェクトを複数のオブジェクトとして誤検知することを抑制できる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
開示の技術の１つの側面は、次のような画像処理装置によって例示される。本画像処理装置は、記憶部と、上記記憶部に接続されたプロセッサと、を備える。上記プロセッサは、カメラによって道路が撮影された動画のフレーム画像を取得する取得処理と、上記フレーム画像から上記道路上のオブジェクトを抽出する抽出処理と、上記フレーム画像から抽出された上記オブジェクトの大きさと位置に基づいた枠を設定する設定処理と、連続する複数の上記フレーム画像の夫々設定された上記枠の位置の差が第１の閾値以下の場合に、同一のオブジェクトとして検出する検出処理と、上記同一のオブジェクトを継続的に検出した検出期間を記憶する記憶処理と、第１のフレーム画像において第１の同一のオブジェクトを検出し、上記第１のフレーム画像とは異なる第２のフレーム画像において上記第１の同一のオブジェクトとは異なる第２のオブジェクトを検出して上記枠を設定した場合に、上記第１の同一のオブジェクトを検出した検出期間の終了時間と、上記第２のオブジェクトを検出した検出期間の開始時間と、の間の期間である第１の期間が第２の閾値以下である第１の条件が満たされる場合に、上記第１の同一のオブジェクトとして検出されたオブジェクトに設定された第１の枠と、上記第２のオブジェクトとして検出されたオブジェクトに設定された第２の枠の大きさの差が第３の閾値以下または上記第１の枠と上記第２の枠の位置の差が第４の閾値以下である場合に、上記第１の同一のオブジェクトと上記第２のオブジェクトを上記同一のオブジェクトとして検出し、上記同一のオブジェクトの検出を継続する継続処理と、を実行することを特徴とする。
【０００７】
本画像処理装置は、上記枠を設定済みの第１のフレーム画像の次のフレーム画像である第２のフレーム画像において新しいオブジェクトを検出して上記枠を設定した場合に、上記第１の期間が第２の閾値以下である第１の条件が成立する場合に、上記第１の条件を満
たす二つの枠の大きさの差が上記第３の閾値以下または上記第１の条件を満たす二つの枠の位置の差が上記第４の閾値以下である場合には、上記第１のフレーム画像において上記枠が設定されたオブジェクトと上記第２のフレーム画像において上記枠が設定されたオブジェクトとを同一のオブジェクトとして検出し、上記同一のオブジェクトの検出を継続する。そのため、本画像処理装置によれば、同一のオブジェクトが複数のオブジェクトとして誤検知されることが抑制される。
【０００８】
本画像処理装置は、次の特徴をさらに備えてもよい。上記検出処理は、連続する上記フレーム画像において上記同一のオブジェクトが検出されなくなったときに、上記同一のオブジェクトが検出された最後のフレーム画像と、上記最後のフレーム画像から予め設定したタイマーの期間中に取得した複数のフレーム画像との夫々に設定された上記枠の位置の差が上記第１の閾値以下の場合に、上記最後のフレーム画像から検出されたオブジェクトと上記複数のフレーム画像から検出されたオブジェクトとを同一のオブジェクトとして検出する処理をさらに含む。上記記憶処理は、上記最後のフレーム画像から上記タイマーの期間内に再び上記同一のオブジェクトが検出された場合には、上記同一のオブジェクトが検出されなかった期間も継続的に検出したものとして上記検出期間を更新する処理をさらに含む。上記継続処理は、上記同一の第１のオブジェクトを検出した検出期間と上記第２のオブジェクトを検出した検出期間とが重複する第２の条件が成立する場合に、上記同一の第２オブジェクトを上記同一の第１オブジェクトとして検出し、上記同一のオブジェクトの検出を継続する処理をさらに含む。上記タイマーが設定されると、フレーム画像中に一時的に上記オブジェクトが現れなくなった後も当該オブジェクトの検出が継続されるため、同一のオブジェクトが複数のオブジェクトとして検出されることが生じ得る。本画像処理装置によれば、上記第２の条件を満たす場合に上記同一のオブジェクトとして検出されるため、ひとつのオブジェクトが複数のオブジェクトとして誤認識されることが抑制される。
【０００９】
ここで、上記プロセッサは、上記第１の条件が成立する場合に、上記第１の条件を満たす二つの枠に外接する外接枠を作成する処理と、上記外接枠内に存在する上記オブジェクトの占める割合を算出する処理と、を実行し、上記第１の条件を満たす二つの枠の大きさの差が上記第３の閾値以下または上記第１の条件を満たす二つの枠の位置の差が上記第４の閾値以下である場合は、上記割合が第５の閾値以上である場合を含んでもよい。
【００１０】
本画像処理装置は、次の特徴をさらに備えてもよい。上記プロセッサは、上記同一のオブジェクトを検出するための上記外接枠とは異なる新たな枠を上記オブジェクトの大きさと位置に基づいて設定し、上記新たな枠を用いて上記同一のオブジェクトの検出を継続する。本画像処理装置は、このような特徴を備えることで、同一のオブジェクトの検出に用いる枠を設定できる。
（【００１１】以降は省略されています）

関連特許