特許ウォッチ

公開番号2025106196
公報種別公開特許公報(A)
公開日2025-07-15
出願番号2024211934
出願日2024-12-05
発明の名称改善されたオブジェクト属性分類
出願人アクシスアーベー
代理人園田・小林弁理士法人
主分類G06T 7/00 20170101AFI20250708BHJP(計算;計数)
要約【課題】画像におけるオブジェクト属性分類のための方法を提供する。
【解決手段】異なる空間解像度に関連する複数の特徴マップ層を使用してオブジェクトを位置特定し、オブジェクトを分類するようにトレーニングされた人工ニューラルネットワークエンティティから複数のオブジェクト提案を取得すること(S410)と、主要なオブジェクト提案と1つまたは複数の他のオブジェクト提案とを識別すること(S420)と、特徴マップ層を最も重要性が低い特徴マップ層から最も重要性が高い特徴マップ層までランク付けすること(S430)と、主要な提案と他の提案との属性クラス信頼性スコアに基づいて第1の属性についての属性クラスを決定すること(S440)と、を含む。第1の属性についての属性クラスを決定することは、特徴マップ層のランク付け並びにオブジェクトロケーション重複を考慮に入れることを含む。
【選択図】図4
特許請求の範囲【請求項１】
画像（１００）におけるオブジェクト属性分類の方法（４００）であって、
－異なる空間解像度に関連する複数の特徴マップ層（２１６－ｊ）を使用して画像中のオブジェクト（１１０、１１２）を位置特定し、前記オブジェクト（１１０、１１２）を分類するようにトレーニングされた人工ニューラルネットワーク（ＡＮＮ）エンティティ（２００、２０１）の出力から、同じ画像中の複数のオブジェクト提案を取得すること（Ｓ４１０）であって、各オブジェクト提案が、少なくとも、ｉ）同じ第１のオブジェクトクラスについてのオブジェクトクラス信頼性スコアと、ｉｉ）前記画像中の推定されるオブジェクトロケーションと、ｉｉｉ）同じ第１の属性についての１つまたは複数の異なる属性クラスの各々についての属性クラス信頼性スコアとを示し、各オブジェクト提案が、前記特徴マップ層のうちの１つに関連する、同じ画像中の複数のオブジェクト提案を取得すること（Ｓ４１０）と、
－前記複数のオブジェクト提案の中で、およびそれらのそれぞれの示されたオブジェクトクラス信頼性スコアに基づいて、主要なオブジェクト提案と１つまたは複数の他のオブジェクト提案とを含む第１のセットを識別すること（Ｓ４２０）と、
－前記第１の属性の分類のために有用な情報を抽出する能力に関して、前記特徴マップ層を最も重要性が低い特徴マップ層から最も重要性が高い特徴マップ層までランク付けすること（Ｓ４３０）と、
－前記第１のセットのすべてのメンバーの１つまたは複数の属性クラス信頼性スコアに基づいて前記第１の属性についての属性クラスを決定すること（Ｓ４４０）であって、前記決定することの一部として、前記１つまたは複数の他のオブジェクト提案に関連する前記特徴マップ層の前記ランク付け、ならびに、前記主要なオブジェクト提案と前記１つまたは複数の他のオブジェクト提案とのオブジェクトロケーション重複を考慮に入れることを含む、前記第１の属性についての属性クラスを決定すること（Ｓ４４０）と
を含み、
前記第１の属性についての前記属性クラスを決定することが、
－前記１つまたは複数の属性クラスの各特定の属性クラスについて、
＊前記特定の属性クラスについての属性クラス信頼性スコアを示す、前記第１のセットのメンバーにわたって反復すること、
＊各反復について、前記第１のセットの前記メンバーと前記主要なオブジェクト提案とのオブジェクトロケーション重複サイズと、前記メンバーに関連する前記特徴マップ層についての全体的ランク付けスコアと、前記メンバーによって示された前記特定の属性クラスについての前記属性クラス信頼性スコアとの積に等しいまたは前記積に比例する項を決定すること、および
＊前記特定の属性クラスについての全体的属性クラススコアを、前記反復することの間に決定された前記項の和に等しいまたは前記和に比例するものとして決定することと、
－前記第１の属性についての前記属性クラスを、最も高い全体的属性クラススコアを有する前記属性クラスとして決定することと
をさらに含む、方法（４００）。
続きを表示（約 1,200 文字）【請求項２】
各オブジェクト提案の前記オブジェクトロケーションが、バウンディングボックス（３２０～３２６）として示され、前記方法が、前記主要なオブジェクト提案（３２２）と前記１つまたは複数の他のオブジェクト提案（３２１、３２３～３２６）との前記オブジェクトロケーション重複を決定するための共通部分／和集合（ＩＯＵ）演算を使用することをさらに含む、請求項１に記載の方法。
【請求項３】
前記ランク付けおよび前記オブジェクトロケーション重複を考慮に入れることは、前記主要なオブジェクト提案とのより大きいオブジェクト重複を有する、およびより重要性が高いとしてランク付けされた特徴マップ層に関連する、オブジェクト提案によって示された属性クラス信頼性スコアが、前記第１の属性の前記属性クラスを決定することにとって、前記主要なオブジェクト提案とのより小さいオブジェクト重複を有する、およびより重要性が低いとしてランク付けされた特徴マップ層に関連する、オブジェクト提案によって示された属性クラス信頼性スコアよりも重要性が高くされることを含む、請求項１または２に記載の方法。
【請求項４】
前記反復することが、前記特定の属性クラスについての最も高い属性クラス信頼性スコアを示す、前記第１のセットのメンバーにわたってのみ実施される、請求項１から３のいずれか一項に記載の方法。
【請求項５】
各特定の属性クラスについての前記全体的属性クラススコアが、さらに、反復される前記第１のセットの前記メンバーの数に反比例するものとして定義される、請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記メンバーに関連する前記特徴マップ層についての前記全体的ランク付けスコアが、前記特徴マップ層についてのランク付けスコアと、前記複数の特徴マップ層のすべてについてのそのようなランク付けスコアの和との比として定義される、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記複数の特徴マップ層の前記ランク付けが、前記第１の属性に依存する、請求項１から６のいずれか一項に記載の方法。
【請求項８】
非最大抑制（ＮＭＳ）動作を使用して、前記主要なオブジェクト提案と前記１つまたは複数の他のオブジェクト提案とを識別することをさらに含む、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記ＡＮＮエンティティが、前記複数の特徴マップ層を提供するための特徴ピラミッドネットワーク（ＦＰＮ）（２２０）を備える、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記ＡＮＮエンティティが、前記画像の前記異なる空間解像度を提供するための複数の畳み込み層（２１０）を備える、請求項１から９のいずれか一項に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、一般に、画像処理の分野に関する。詳細には、本開示は、画像におけるオブジェクトの位置特定（ｌｏｃａｌｉｚａｔｉｏｎ）および分類に関し、ならびにオブジェクト属性の分類に関する。
続きを表示（約 3,600 文字）【背景技術】
【０００２】
人工ニューラルネットワーク（ＡＮＮ）ベースアーキテクチャは、静止画像、またはビデオの画像フレームなど、画像におけるいくつかのオブジェクトクラスの（セマンティック）オブジェクトのインスタンスを検出するために有用であることが判明している。オブジェクトクラスの例は、たとえば、人間、動物、車両、ライセンスプレート、顔、および同様のものを含む。あるオブジェクトクラスのオブジェクトが画像中に存在する可能性があるかどうかをただ決定することに加えて、そのようなアーキテクチャはまた、そのオブジェクトが画像中のどこに位置決め（ｌｏｃａｔｅ）されるかを推定するようにトレーニングされ得る。現代のそのようなアーキテクチャの一例は特徴ピラミッドネットワーク（ＦＰＮ）であり、ＦＰＮは、異なるスケールにおいてオブジェクトを検出するのに特に好適であると考えられている。
【０００３】
ＡＮＮベースアーキテクチャはまた、オブジェクトの、１つまたは複数の属性、特徴、さらにはアクティビティを分類するために使用され得る。オブジェクトの属性が、たとえば、色、テクスチャ、オブジェクト形状を含み、たとえば、オブジェクトが現在、ある方向に向いているかどうか、オブジェクトが移動しているのか静止しているのか、オブジェクトが（道路、歩道などの）特定のタイプの表面上に位置決めされるかどうか、あるいはカテゴリー分類され、ラベリングされ得る、オブジェクトまたはそのオブジェクトの所在の任意の他の詳細など、たとえばコンテキストを含み得る。属性分類は、たとえばコンピュータビジョンにおいて、たとえば、属性の適切な分類が、たとえば、同じシーン中に存在する異なるオブジェクトを区別するのを助け得るので、大切なタスクと見なされる。
【０００４】
しかしながら、現代のＡＮＮベースアーキテクチャは、しばしば、異なるオブジェクトを区別することが可能でなく、代わりに、いくつかのオブジェクト提案を提供することによって働く。各そのような提案は、たとえば、提案されるオブジェクトロケーション、１つまたは複数のオブジェクトクラスについての信頼性スコア、ならびに１つまたは複数の属性についての１つまたは複数の属性クラスについての信頼性スコアを含み得る。したがって、たとえば、画像中にいくつの別個のオブジェクトがあるか、それらのオブジェクトがどこに位置決めされるか、ならびに、最も可能性が高いオブジェクトおよび／またはそのオブジェクトについての属性クラスを確定するために、ＡＮＮベースアーキテクチャからの出力の後処理が必要とされる。知られているそのような後処理動作は、いわゆる非最大抑制（ＮＭＳ：ｎｏｎ－ｍａｘｉｍｕｍｓｕｐｐｒｅｓｓｉｏｎ）および共通部分／和集合（ＩＯＵ：ｉｎｔｅｒｓｅｃｔｉｏｎ－ｏｖｅｒ－ｕｎｉｏｎ）測度の使用を含む。
【０００５】
本開示は、ＡＮＮベースアーキテクチャからのオブジェクト提案のそのような後処理を発展させ、現代の技術の１つまたは複数の短所を緩和することを目指す。
【先行技術文献】
【特許文献】
【０００６】
ＤｏｎｇＬｉｕら、Ｓｉｍｕｌｔａｎｅｏｕｓｏｂｊｅｃｔｌｏｃａｌｉｚａｔｉｏｎａｎｄａｔｔｒｉｂｕｔｅｃｌａｓｓｉｆｉｃａｔｉｏｎｕｓｉｎｇｍｕｌｔｉｔａｓｋｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋｓ、ＵＳ１１０８７１３０Ｂ２
【非特許文献】
【０００７】
ＫａｉｍｉｎｇＨｅら、ＤｅｅｐＲｅｓｉｄｕａｌＬｅａｒｎｉｎｇｆｏｒＩｍａｇｅＲｅｃｏｇｎｉｔｉｏｎ、ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．４８５５０／ａｒＸｉｖ．１５１２．０３３８５
ＪｉｎｇＸｕら、ＲｅｇＮｅｔ：Ｓｅｌｆ－ＲｅｇｕｌａｔｅｄＮｅｔｗｏｒｋｆｏｒＩｍａｇｅＣｌａｓｓｉｆｉｃａｔｉｏｎ、ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．４８５５０／ａｒＸｉｖ．２１０１．００５９０
Ｔｓｕｎｇ－ＹｉＬｉｎら、ＦｅａｔｕｒｅＰｙｒａｍｉｄＮｅｔｗｏｒｋｓｆｏｒＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎ、ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．４８５５０／ａｒＸｉｖ．１６１２．０３１４４
ＭｉｎｇｘｉｎｇＴａｎら、ＥｆｆｉｃｉｅｎｔＤｅｔ：ＳｃａｌａｂｌｅａｎｄＥｆｆｉｃｉｅｎｔＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎ、ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．４８５５０／ａｒＸｉｖ．１９１１．０９０７０
ＷｅｉＬｉｕら、ＳＳＤ：ＳｉｎｇｌｅＳｈｏｔＭｕｌｔｉＢｏｘＤｅｔｅｃｔｏｒ、ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．４８５５０／ａｒＸｉｖ．１５１２．０２３２５
Ｔｓｕｎｇ－ＹｉＬｉｎら、ＦｏｃａｌＬｏｓｓｆｏｒＤｅｎｓｅＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎ、ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．４８５５０／ａｒＸｉｖ．１７０８．０２００２
ＴａｋｕｙａＡｋｉｂａら、Ｏｐｔｕｎａ：ＡＮｅｘｔ－ｇｅｎｅｒａｔｉｏｎＨｙｐｅｒｐａｒａｍｅｔｅｒＯｐｔｉｍｉｚａｔｉｏｎＦｒａｍｅｗｏｒｋ、ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．４８５５０／ａｒＸｉｖ．１９０７．１０９０２
【発明の概要】
【０００８】
上記で述べられた目的のために、本開示は、添付の独立請求項によって定義される、画像におけるオブジェクト属性分類のための改善された方法、デバイス、コンピュータプログラムおよびコンピュータプログラム製品を提案する。様々な実施形態が、添付の従属請求項によって定義される。
【０００９】
本開示の第１の態様によれば、画像におけるオブジェクト属性分類の方法が提供される。本方法は、異なる空間解像度に関連する複数の特徴マップ層を使用して画像中のオブジェクトを位置特定し、そのオブジェクトを分類するようにトレーニングされた人工ニューラルネットワーク（ＡＮＮ）エンティティの出力から、同じ画像中の複数のオブジェクト提案を取得することであって、各オブジェクト提案が、少なくとも、ｉ）同じ第１のオブジェクトクラスについてのオブジェクトクラス信頼性スコアと、ｉｉ）画像中の推定されるオブジェクトロケーションと、ｉｉｉ）同じ第１の属性についての１つまたは複数の異なる属性クラスの各々についての属性クラス信頼性スコアとを示し、各オブジェクト提案が、特徴マップ層のうちの１つに関連する、同じ画像中の複数のオブジェクト提案を取得することを含む。本方法は、複数のオブジェクト提案の中で、およびそれらのそれぞれの示されたオブジェクトクラス信頼性スコアに基づいて、主要なオブジェクト提案と１つまたは複数の他のオブジェクト提案とを含む第１のセットを識別することをさらに含む。本方法は、特徴マップ層を最も重要性が低い（ｌｅａｓｔｓｉｇｎｉｆｉｃａｎｔ）特徴マップ層から最も重要性が高い（ｍｏｓｔｓｉｇｎｉｆｉｃａｎｔ）特徴マップ層までランク付けすることをさらに含む。本方法は、第１のセットのすべてのメンバーの１つまたは複数の属性クラス信頼性スコアに基づいて第１の属性についての属性クラスを決定することであって、上記決定することの一部として、１つまたは複数の他のオブジェクト提案に関連する特徴マップ層のランク付け、ならびに、主要なオブジェクト提案と１つまたは複数の他のオブジェクト提案とのオブジェクトロケーション重複を考慮に入れることを含む、第１の属性についての属性クラスを決定することをさらに含む。
【００１０】
本明細書で後でより詳細に説明されるように、想定される方法は、主要なオブジェクト提案であると見なされない１つまたは複数のオブジェクト提案において見つけられるオブジェクト属性に関係する情報をただ無視するのではないという点で、現在利用可能な技術を改善する。代わりに、想定される方法は、この情報を、主要なオブジェクト提案によって提供される情報とともに使用し、特に、オブジェクトの特定の第１の属性についての最終の推定される属性クラスを判断するとき、特定の特徴マップ層から発生した情報が、より多い重みを与えられるべきであるのかより少ない重みを与えられるべきであるのかをも考慮する。本明細書において後に例示されるように、これは、たとえば、２つ以上のオブジェクトが画像の同じ部分中に存在するとき、属性を間違って分類する危険を低減する。
（【００１１】以降は省略されています）

関連特許