特許ウォッチ

公開番号2025100459
公報種別公開特許公報(A)
公開日2025-07-03
出願番号2024221796
出願日2024-12-18
発明の名称少なくとも一つの特定のシュード3Dバウンディングボックスを自動に生成することによって少なくとも一つの特定の客体をラベリングする方法及びこれを利用したコンピューティング装置{METHOD FOR LABELING AT LEAST ONE SPECIFIC OBJECT BY AUTOMATICALLY CREATING AT LEAST ONE SPECIFIC PSEUDO 3D BOUNDING BOX AND COMPUTING DEVICE USING THE SAME}
出願人株式会社ストラドビジョン,STRADVISION,INC.
代理人個人,個人
主分類G06T 7/00 20170101AFI20250626BHJP(計算;計数)
要約【課題】特定のシュード3Dバウンディングボックスを自動に生成することによって特定の客体をラベリングする方法及び装置を提供する。
【解決手段】方法は、ライダーデータ、イメージデータ及びキャリブレーションデータを含むローデータを利用してイメージ座標系上に少なくとも一つのプロジェクションされたライダー3Dバウンディングボックスを獲得し、ライダー3Dバウンディングボックス及びイメージ座標系上のGT用2Dバウンディングボックスに対して相互マッチングしているか否かを判断し、マッチングしている場合、第1のライダー3Dバウンディングボックスを第1のGT用2Dバウンディングボックスにフィッティングするために第1のライダー3Dバウンディングボックスに対してリグレッションを行い、かつ、マッチングしていない場合、特定のシュード3Dバウンディングボックスを生成してリグレッションを行う。
【選択図】図2
特許請求の範囲【請求項１】
少なくとも一つの特定のシュード３Ｄバウンディングボックスを自動に生成することによって少なくとも一つの特定の客体をラベリングする方法において、
（ａ）コンピューティング装置が、ライダーデータ、イメージデータ及びキャリブレーションデータを含むロー（ｒａｗ）データを利用してイメージ座標系上に少なくとも一つのプロジェクションされたライダー３Ｄバウンディングボックスのそれぞれを獲得し、前記プロジェクションされたライダー３Ｄバウンディングボックスのそれぞれ及び前記イメージ座標系上のＧＴ用２Ｄバウンディングボックスのそれぞれに対して相互マッチングしているか否かを判断する段階；及び
（ｂ）（ｂ１）前記プロジェクションされたライダー３Ｄバウンディングボックスの中で少なくとも一つである第１のプロジェクションされたライダー３Ｄバウンディングボックスのそれぞれ及び前記ＧＴ用２Ｄバウンディングボックスの中で少なくとも一つである第１のＧＴ用２Ｄバウンディングボックスのそれぞれがマッチングされていると判断されれば、前記コンピューティング装置が、前記第１のプロジェクションされたライダー３Ｄバウンディングボックスのそれぞれを前記第１のＧＴ用２Ｄバウンディングボックスのそれぞれにフィッティング（ｆｉｔｔｉｎｇ）するために、前記第１のプロジェクションされたライダー３Ｄバウンディングボックスのそれぞれに対してリグレッション（ｒｅｇｒｅｓｓｉｏｎ）を行うサブプロセス、及び（ｂ２）前記ＧＴ用２Ｄバウンディングボックスの中で少なくとも一つである第２のＧＴ用２Ｄバウンディングボックスのそれぞれが前記プロジェクションされたライダー３Ｄバウンディングボックスのいずれにもマッチングされていないと判断されれば、前記コンピューティング装置が、前記第２のＧＴ用２Ｄバウンディングボックスのそれぞれ、前記第２のＧＴ用２Ｄバウンディングボックスのそれぞれに対応する特定の客体それぞれの平均サイズ情報及び回転情報を参照して前記特定の客体それぞれに対応する特定のシュード３Ｄバウンディングボックスのそれぞれを生成し、前記特定のシュード３Ｄバウンディングボックスのそれぞれを前記第２のＧＴ用２Ｄバウンディングボックスのそれぞれにフィッティングするために前記特定のシュード３Ｄバウンディングボックスのそれぞれに対して前記リグレッションを行うサブプロセスを行う段階；
を含む方法。
続きを表示（約 4,100 文字）【請求項２】
前記（ａ）段階において、
前記コンピューティング装置が、前記ローデータに含まれた前記ライダーデータを３Ｄライダーモデルに入力して前記３Ｄライダーモデルをもって車両座標系上に少なくとも一つのライダー３Ｄバウンディングボックスのそれぞれを生成するようにし、前記ライダー３Ｄバウンディングボックスのそれぞれ及び前記ローデータに含まれた前記キャリブレーションデータを参照して前記ライダー３Ｄバウンディングボックスのそれぞれを前記イメージ座標系上にプロジェクションすることによって前記プロジェクションされたライダー３Ｄバウンディングボックスのそれぞれを獲得し、前記プロジェクションされたライダー３Ｄバウンディングボックスのそれぞれを含む座標の最小値のそれぞれ及び最大値のそれぞれを参照してライダー２Ｄバウンディングボックスのそれぞれを生成し、前記ライダー２Ｄバウンディングボックスのそれぞれ及び前記ＧＴ用２Ｄバウンディングボックスのそれぞれが相互マッチングしているか否かを判断するために、ＩＯＵ（ＩｎｔｅｒｓｅｃｔｉｏｎＯｖｅｒＵｎｉｏｎ）メトリックを利用してハンガリアン・アルゴリズム（Ｈｕｎｇａｒｉａｎａｌｇｏｒｉｔｈｍ）を適用することを特徴とする、請求項１に記載の方法。
【請求項３】
前記（ｂ１）サブプロセスにおいて、
前記コンピューティング装置が、前記第１のプロジェクションされたライダー３Ｄバウンディングボックスのそれぞれを含む座標の最小値のそれぞれ及び最大値のそれぞれを参照して第１のライダー２Ｄバウンディングボックスのそれぞれを生成し、前記第１のライダー２Ｄバウンディングボックスのそれぞれ及び前記第１のＧＴ用２Ｄバウンディングボックスのそれぞれを参照してＩＯＵメトリックを適用することによって獲得されるマッチング比率に対するロスである第１のＩＯＵロスを算出し、前記第１のプロジェクションされた２Ｄバウンディングボックスそれぞれの各中央値及び前記第１のＧＴ用２Ｄバウンディングボックスそれぞれの各中央値の間の各差分値を参照して生成されるロスである第１のセンターロスを算出し、前記第１のＩＯＵロス及び前記第１のセンターロスを参照して第１の統合ロスを生成し、前記第１の統合ロスを参照して前記第１のライダー２Ｄバウンディングボックスのそれぞれをフィッティングすることによって前記リグレッションを行い、前記第１の統合ロスを利用したバックプロパゲーションを通じて３Ｄライダーモデル（前記３Ｄライダーモデルは、前記ローデータに含まれた前記ライダーデータが入力されて車両座標系上に少なくとも一つのライダー３Ｄバウンディングボックスのそれぞれを生成するモデルである）のパラメーターをアップデートすることを特徴とする、請求項１に記載の方法。
【請求項４】
前記（ｂ２）サブプロセスにおいて、
前記コンピューティング装置が、前記第２のＧＴ用２Ｄバウンディングボックスのそれぞれを参照して前記第２のＧＴ用２Ｄバウンディングボックスそれぞれの前記イメージ座標系上の２Ｄバウンディングボックスの位置情報に対するｘ軸座標値のそれぞれとｙ軸座標値のそれぞれとを獲得し、前記ローデータに含まれた前記ライダーデータ上の前記２Ｄバウンディングボックスの位置情報のデプス情報を参照して前記イメージ座標系上の前記２Ｄバウンディングボックスの位置情報に対するｚ軸座標値を獲得し、前記２Ｄバウンディングボックスの位置情報を参照して前記特定の客体それぞれに対する３Ｄバウンディングボックスの位置予測情報を決定し、前記第２のＧＴ用２Ｄバウンディングボックスのそれぞれを通じて確認された前記特定の客体それぞれに対応する特定の客体クラスのそれぞれを参照して３Ｄライダーモデル（前記３Ｄライダーモデルは、前記ローデータに含まれた前記ライダーデータが入力されて車両座標系上に少なくとも一つのライダー３Ｄバウンディングボックスのそれぞれを生成するモデルである）から前記３Ｄライダーモデルによって既算出された前記特定の客体クラスのそれぞれに対応する平均幅、平均長さ及び平均高さのそれぞれを獲得し、前記特定の客体クラスのそれぞれに対応する前記平均幅、前記平均長さ及び前記平均高さのそれぞれを参照して前記特定の客体それぞれに対する前記平均サイズ情報を決定し、前記ローデータの中で前記イメージデータをＹａｗｒｅｇｒｅｓｓｉｏｎ（ヨー・リグレッション）モデルに入力して、前記Ｙａｗｒｅｇｒｅｓｓｉｏｎモデルをもってカメラ座標系上の前記特定の客体それぞれに対する第１の回転角度を出力するようにし、前記第１の回転角度及び前記ローデータに含まれた前記キャリブレーションデータを参照して前記第１の回転角度を前記車両座標系上の前記特定の客体それぞれに対する第２の回転角度に変換することによって前記第２の回転角度を前記特定の客体それぞれに対する前記回転情報として決定し、前記３Ｄバウンディングボックスの位置予測情報、前記特定の客体それぞれに対する前記平均サイズ情報及び前記回転情報を参照して前記特定のシュード３Ｄバウンディングボックスのそれぞれを生成することを特徴とする、請求項１に記載の方法。
【請求項５】
前記（ｂ２）サブプロセスにおいて、
前記コンピューティング装置が、前記イメージデータを前記Ｙａｗｒｅｇｒｅｓｓｉｏｎモデルに入力して、前記Ｙａｗｒｅｇｒｅｓｓｉｏｎモデルをもって複数のフィーチャーのそれぞれを出力するようにし、前記複数のフィーチャーのそれぞれにｃｏｎｃａｔｅｎａｔｉｏｎ（コンカチネーション）演算及びｃｏｎｖｏｌｕｔｉｏｎ（コンボリューション）演算を順次適用するようにした後、Ｙａｗ（ヨー）クラスヘッダーを通じて複数のマルチビンクラスの中で前記特定の客体の前方が指す方向に対応する特定のマルチビンクラスに分類されるようにし、前記複数のマルチビンクラスのそれぞれに対応して既設定された各基準角度の中で、前記特定のマルチビンクラスに対応して既設定された特定の基準角度から前記特定の客体が回転された角度である第３の回転角度を獲得するようにし、前記Ｙａｗデルタヘッダーを通じて前記複数のマルチビンクラスのそれぞれの前記各基準角度を基準にして既設定された複数の符号値のそれぞれを参照して前記特定の客体の前方が指す方向に対応する特定の符号値を獲得するようにし、前記第３の回転角度に前記特定の符号値を与えて第３の調整回転角度を獲得するようにし、前記第３の調整回転角度及び前記特定の基準角度を参照して前記特定の客体に対する前記第１の回転角度を推定させることを特徴とする、請求項４に記載の方法。
【請求項６】
前記（ｂ２）サブプロセスにおいて、
前記特定のシュード３Ｄバウンディングボックスのそれぞれが生成されれば、前記コンピューティング装置が、ＩＯＵメトリックを利用して前記特定のシュード３Ｄバウンディングボックスのそれぞれと前記第２のＧＴ用２Ｄバウンディングボックスのそれぞれとの間のマッチング比率を算出し、前記マッチング比率が既設定されたしきい値比率未満であると判断されれば、前記特定のシュード３Ｄバウンディングボックスのそれぞれに対して前記リグレッションを行うことを特徴とする、請求項４に記載の方法。
【請求項７】
前記（ｂ２）サブプロセスにおいて、
前記コンピューティング装置が、前記特定のシュード３Ｄバウンディングボックスのそれぞれを含む座標の最小値のそれぞれ及び最大値のそれぞれを参照して特定のシュード２Ｄバウンディングボックスのそれぞれを生成し、前記特定のシュード２Ｄバウンディングボックスのそれぞれ及び前記第２のＧＴ用２Ｄバウンディングボックスのそれぞれを参照して前記ＩＯＵメトリックを適用することによって獲得される前記マッチング比率に対するロスである第２のＩＯＵロスを算出し、前記特定のシュード２Ｄバウンディングボックスそれぞれの各中央値及び前記第２のＧＴ用２Ｄバウンディングボックスそれぞれの各中央値の間の各差分値を参照して生成されるロスである第２のセンターロスを算出し、前記第２のＩＯＵロス及び前記第２のセンターロスを参照して第２の統合ロスを生成し、前記第２の統合ロスを参照して前記特定のシュード２Ｄバウンディングボックスのそれぞれをフィッティングすることによって前記リグレッションを行うことを特徴とする、請求項６に記載の方法。
【請求項８】
前記（ｂ２）サブプロセスにおいて、
前記プロジェクションされたライダー３Ｄバウンディングボックスの中で少なくとも一つである第２のプロジェクションされたライダー３Ｄバウンディングボックスのそれぞれが前記ＧＴ用２Ｄバウンディングボックスのいずれにもマッチングされていないと判断されれば、前記コンピューティング装置が、前記第２のプロジェクションされたライダー３Ｄバウンディングボックスのそれぞれを削除することを特徴とする、請求項１に記載の方法。
【請求項９】
前記（ａ）段階において、
前記キャリブレーションデータは、カメラのイントリンシック（Ｉｎｔｒｉｎｓｉｃ）パラメーター、エクストリンシック（Ｅｘｔｒｉｎｓｉｃ）パラメーター及び前記ライダーデータを前記イメージデータに変換するための変換パラメーターを含むことを特徴とする、請求項１に記載の方法。
【請求項１０】
前記ＧＴ用２Ｄバウンディングボックスは、所定のカメラによって生成された前記イメージデータが入力されてディープラーニングモデルを通じて前記特定の客体を検出し、前記特定の客体に２Ｄバウンディングボックスを生成したデータから獲得されることを特徴とする、請求項１に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、少なくとも一つの特定のシュード３Ｄバウンディングボックスを自動に生成することによって少なくとも一つの特定の客体をラベリングする方法及びこれを利用したコンピューティング装置に関する。
続きを表示（約 3,500 文字）【背景技術】
【０００２】
最近、機械学習（ｍａｃｈｉｎｅｌｅａｒｎｉｎｇ）を利用して客体を識別する方法
などに関する研究が行われている。このような機械学習の一環として、入力層と出力層との間にいくつかの隠れ層（ｈｉｄｄｅｎｌａｙｅｒ）を持つニューラルネットワークを利用したディープラーニングは高い識別性能を有する。
【０００３】
そして、ディープラーニングを利用するニューラルネットワークは、一般に、ロスを利用したバックプロパゲーションを通じて学習を行うが、ディープラーニングネットワークの学習を行うためには、ラベリングツールによって客体にタッグ、すなわち、ラベルを追加したトレーニングデータが必要である。このようなトレーニングデータを準備するために、従来はマウスポインタなどを利用して３Ｄバウンディングボックスを生成するなどの単純な作業機能を追加するためのラベリングツールを具現したので、ラベリングツールの開発のための工数が大きくないという長所がある。
【０００４】
しかし、既存のラベリングツールを利用して作業する場合、作業者が直接マウスポインタを利用して３Ｄバウンディングボックスを生成するので、繰り返して作業することによって発生する作業者の集中力低下により、間違ってラベリングされる場合が頻繁であり、実際、事前に作業者にラベリング関連の教育を実施しても、依然としてラベリング関連の間違いが確認され、これによってラベリング作業が行われた結果物を別途回収するための工数が追加発生するという問題点がある。
【０００５】
また、２Ｄバウンディングボックスを生成する場合には、作業者がイメージ上の客体を確認した状態で、マウスポインタを利用してドラァグすることで客体を含むようにボックスを生成することができるが、３Ｄバウンディングボックスを生成するためには、客体に対応する３次元座標情報（ｘ、ｙ、ｚ）を確認した状態で、３Ｄバウンディングボックスのサイズ情報（ｗｉｄｔｈ、ｈｅｉｇｈｔ、ｌｅｎｇｔｈ）と回転情報（ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ）とを適宜設定すべきであるが、該当作業の難易度が高いため、客体一つ当たりの作業時間が多くかかるという問題点がある。
【０００６】
したがって、前記問題点を解決するための改善方案が要求される実情である。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上述の問題点を解決することをその目的とする。
【０００８】
また、本発明は、ライダーデータ、イメージデータ及びキャリブレーションデータを含むローデータを利用してイメージ座標系上に少なくとも一つのプロジェクションされたライダー３Ｄバウンディングボックスのそれぞれを獲得し、（ｉ）前記プロジェクションされたライダー３Ｄバウンディングボックスの中で少なくとも一つである第１のプロジェクションされたライダー３Ｄバウンディングボックスのそれぞれ及びＧＴ用２Ｄバウンディングボックスの中で少なくとも一つである第１のＧＴ用２Ｄバウンディングボックスのそれぞれがマッチングされていると判断されれば、前記第１のプロジェクションされたライダー３Ｄバウンディングボックスのそれぞれを前記第１のＧＴ用２Ｄバウンディングボックスのそれぞれにフィッティング（ｆｉｔｔｉｎｇ）するために前記第１のプロジェクションされたライダー３Ｄバウンディングボックスのそれぞれに対してリグレッション（ｒｅｇｒｅｓｓｉｏｎ）を行い、（ｉｉ）前記ＧＴ用２Ｄバウンディングボックスの中で少なくとも一つである第２のＧＴ用２Ｄバウンディングボックスのそれぞれが前記プロジェクションされたライダー３Ｄバウンディングボックスのいずれにもマッチングされていないと判断されれば、前記第２のＧＴ用２Ｄバウンディングボックスのそれぞれ及びこれに対応する特定の客体それぞれの平均サイズ情報及び回転情報を参照して前記特定の客体それぞれに対応する特定のシュード３Ｄバウンディングボックスのそれぞれを生成し、前記特定のシュード３Ｄバウンディングボックスのそれぞれを前記第２のＧＴ用２Ｄバウンディングボックスのそれぞれにフィッティングするために前記特定のシュード３Ｄバウンディングボックスのそれぞれに対して前記リグレッションを行うことを他の目的とする。
【課題を解決するための手段】
【０００９】
本発明の一実施例によると、少なくとも一つの特定のシュード３Ｄバウンディングボックスを自動に生成することによって少なくとも一つの特定の客体をラベリングする方法において、（ａ）コンピューティング装置が、ライダーデータ、イメージデータ及びキャリブレーションデータを含むロー（ｒａｗ）データを利用してイメージ座標系上に少なくとも一つのプロジェクションされたライダー３Ｄバウンディングボックスのそれぞれを獲得し、前記プロジェクションされたライダー３Ｄバウンディングボックスのそれぞれ及び前記イメージ座標系上のＧＴ用２Ｄバウンディングボックスのそれぞれに対して相互マッチングしているか否かを判断する段階；及び（ｂ）（ｂ１）前記プロジェクションされたライダー３Ｄバウンディングボックスの中で少なくとも一つである第１のプロジェクションされたライダー３Ｄバウンディングボックスのそれぞれ及び前記ＧＴ用２Ｄバウンディングボックスの中で少なくとも一つである第１のＧＴ用２Ｄバウンディングボックスのそれぞれがマッチングされていると判断されれば、前記コンピューティング装置が、前記第１のプロジェクションされたライダー３Ｄバウンディングボックスのそれぞれを前記第１のＧＴ用２Ｄバウンディングボックスのそれぞれにフィッティング（ｆｉｔｔｉｎｇ）するために、前記第１のプロジェクションされたライダー３Ｄバウンディングボックスのそれぞれに対してリグレッション（ｒｅｇｒｅｓｓｉｏｎ）を行うサブプロセス、及び（ｂ２）前記ＧＴ用２Ｄバウンディングボックスの中で少なくとも一つである第２のＧＴ用２Ｄバウンディングボックスのそれぞれが前記プロジェクションされたライダー３Ｄバウンディングボックスのいずれにもマッチングされていないと判断されれば、前記コンピューティング装置が、前記第２のＧＴ用２Ｄバウンディングボックスのそれぞれ、前記第２のＧＴ用２Ｄバウンディングボックスのそれぞれに対応する特定の客体それぞれの平均サイズ情報及び回転情報を参照して前記特定の客体それぞれに対応する特定のシュード３Ｄバウンディングボックスのそれぞれを生成し、前記特定のシュード３Ｄバウンディングボックスのそれぞれを前記第２のＧＴ用２Ｄバウンディングボックスのそれぞれにフィッティングするために前記特定のシュード３Ｄバウンディングボックスのそれぞれに対して前記リグレッションを行うサブプロセスを行う段階；を含む方法が提供される。
【００１０】
一例において、前記（ａ）段階において、前記コンピューティング装置が、前記ローデータに含まれた前記ライダーデータを３Ｄライダーモデルに入力して前記３Ｄライダーモデルをもって車両座標系上に少なくとも一つのライダー３Ｄバウンディングボックスのそれぞれを生成するようにし、前記ライダー３Ｄバウンディングボックスのそれぞれ及び前記ローデータに含まれた前記キャリブレーションデータを参照して前記ライダー３Ｄバウンディングボックスのそれぞれを前記イメージ座標系上にプロジェクションすることによって前記プロジェクションされたライダー３Ｄバウンディングボックスのそれぞれを獲得し、前記プロジェクションされたライダー３Ｄバウンディングボックスのそれぞれを含む座標の最小値のそれぞれ及び最大値のそれぞれを参照してライダー２Ｄバウンディングボックスのそれぞれを生成し、前記ライダー２Ｄバウンディングボックスのそれぞれ及び前記ＧＴ用２Ｄバウンディングボックスのそれぞれが相互マッチングしているか否かを判断するために、ＩＯＵ（ＩｎｔｅｒｓｅｃｔｉｏｎＯｖｅｒＵｎｉｏｎ）メトリックを利用してハンガリアン・アルゴリズム（Ｈｕｎｇａｒｉａｎａｌｇｏｒｉｔｈｍ）を適用することを特徴とする。
（【００１１】以降は省略されています）

関連特許