特許ウォッチ

公開番号2024102011
公報種別公開特許公報(A)
公開日2024-07-30
出願番号2024004724
出願日2024-01-16
発明の名称画像処理装置、画像処理方法及びコンピュータプログラム
出願人富士通株式会社
代理人個人,個人
主分類G06T 7/00 20170101AFI20240723BHJP(計算;計数)
要約【課題】本発明は、画像処理装置、画像処理方法及びコンピュータプログラムを提供する。
【解決手段】画像処理装置は、それぞれ、画像内の対象の複数のキーポイントのうちの各キーポイントに関する第一情報を取得し、かつ2D検出ネットワークである第一検出ネットワーク;前記対象の複数のキーポイントの間の3D構造関係を指示する第二情報を取得する第一情報取得ユニット;及び、前記第一情報及び前記第二情報を使用して前記第一検出ネットワークの損失関数を構築する構築ユニットを含み、前記画像処理装置は前記損失関数を用いて前記第一検出ネットワークを訓練する。
【選択図】図2
特許請求の範囲【請求項１】
画像を処理する装置であって、
それぞれ、画像内の対象の複数のキーポイントのうちの各キーポイントに関する第一情報を取得し、かつ２Ｄ検出ネットワークである第一検出ネットワーク；
前記対象の複数のキーポイントの間の３Ｄ構造関係を指示する第二情報を取得する第一情報取得ユニット；及び
前記第一情報及び前記第二情報を使用して前記第一検出ネットワークの損失関数を構築する構築ユニットを含み、
前記装置は前記損失関数を用いて前記第一検出ネットワークを訓練する、装置。
続きを表示（約 1,400 文字）【請求項２】
請求項１に記載の装置であって、
前記第一情報及び前記第二情報は前記複数のキーポイントのヒートマップ又は座標である、装置。
【請求項３】
請求項１に記載の装置であって、
前記構築ユニットは、前記第一検出ネットワークの損失関数に、前記第一情報と前記第二情報との間の差を表す損失関数を追加したものを、前記第一検出ネットワークの総損失関数とする、装置。
【請求項４】
請求項３に記載の装置であって、
前記第一情報取得ユニットは、第二検出ネットワークにより、前記画像内の前記対象の複数のキーポイントについて前記第二情報を取得し、前記第二検出ネットワークは３Ｄ検出ネットワークであり、
前記第一情報取得ユニットは、前記複数のキーポイントに対する前記第二検出ネットワークの３Ｄ予測結果を２Ｄ平面に投影することで、２Ｄ予測結果を前記第二情報として取得する、装置。
【請求項５】
請求項４に記載の装置であって、
前記第一検出ネットワークが予測した前記複数のキーポイントのうちの各キーポイントのヒートマップを前記第二検出ネットワークに提供する第二情報取得ユニットをさらに含み、
前記第二検出ネットワークは、前記ヒートマップ及び前記画像を入力として用いることで前記第二情報を取得する、装置。
【請求項６】
請求項４に記載の装置であって、
前記３Ｄ予測結果におけるカメラパラメータを校正することで、前記２Ｄ予測結果が真の値にアラインするようにさせる校正ユニットをさらに含む、装置。
【請求項７】
請求項６に記載の装置であって、
前記校正ユニットは、平行移動変換、回転変換及び尺度変換により、前記２Ｄ予測結果が前記真の値にアラインするようにさせ、
前記第一情報取得ユニットは、アライン後の２Ｄ予測結果を前記第二情報として使用する、装置。
【請求項８】
請求項７に記載の装置であって、
前記対象は前記画像内の手であり、
前記平行移動変換は、前記２Ｄ予測結果の平行移動を行うことで、前記２Ｄ予測結果中の手首に対応するキーポイントが真の値のうち手首に対応するキーポイントと重なり合うようにさせることを含み、
前記回転変換は、前記２Ｄ予測結果中の手首のキーポイントから中指の根元のキーポイントまでの手の方向を回転することで、前記２Ｄ予測結果における前記手の方向が真の値のうち前記手の方向にアラインするようにさせることを含み、
前記尺度変換は、前記２Ｄ予測結果の尺度を、真の値と同じサイズに変換することを含む、装置。
【請求項９】
コンピュータが実行する、画像を処理する方法であって、
第一検出ネットワークにより、それぞれ、画像内の対象の複数のキーポイントのうちの各キーポイントに関する第一情報を取得し、前記第一検出ネットワークは２Ｄ検出ネットワークであり；
前記対象の複数のキーポイントの間の３Ｄ構造関係を指示する第二情報を取得し；
前記第一情報及び前記第二情報を使用して前記第一検出ネットワークの損失関数を構築し；及び
前記損失関数を用いて前記第一検出ネットワークを訓練することを含む、方法。
【請求項１０】
コンピュータに、請求項９に記載の方法を実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理の技術分野に関し、特に、手（ハンド）の動作を分析するための画像処理装置、画像処理方法及びコンピュータプログラムに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
社会の発展に伴い、工場では規範化（標準化）管理が重要視されている。プロセス全体の規範化から個人の操作ステップの規範化に至るまで、一連の標準が存在する。標準的なプロセスに従って管理すると、不良品の発生を減らすとともに、事故の発生を減少させることもできる。操作フローが規範に一致しているかを判断する根拠として、最も重要なのは手の動作を分析することである。手の動作を分析するには、手の姿勢及び各指（フィンガー）の状態を把握し、このような情報をもとに、手の動作が標準を満たしているかを分析する必要がある。これらは基本的に手のキーポイントの検出に依存している。
【０００３】
手のキーポイントの検出は通常、２次元（２Ｄ）キーポイント検出と３次元（３Ｄ）キーポイント検出に分けられる。３Ｄキーポイント検出、特に、ＭＡＮＯ（ｈａｎｄＭｏｄｅｌｗｉｔｈＡｒｔｉｃｕｌａｔｅｄａｎｄＮｏｎ－ｒｉｇｉｄｄｅｆＯｒｍａｔｉｏｎｓ）に基づく３Ｄ検出方法は近年、広く開発されている。例えば、ＭＡＮＯに基づく検出技術は１つの標準的な手をベースに学習を行うことで、様々な手の姿勢を予測し得る。よって、３Ｄキーポイント検出ネットワーク、例えば、ＭＡＮＯに基づく検出ネットワークには手の構造情報が含まれている。しかし、３Ｄキーポイント検出ネットワークは一般に計算が複雑で非常に時間がかかり、大量のハードウェアデバイスによるサポートが必要であるため、一部の分野でのみ使用されている。
【０００４】
２Ｄキーポイント検出ネットワークは比較的簡単であり、長年の開発を経て精度が大幅に向上しているため、広く利用されている。しかし、その固有の訓練ストラテジーにも特定の問題が存在する。図１は２Ｄキーポイント検出の標準的なプロセスを示している。図１に示すように、２Ｄキーポイント検出ネットワークは通常、先に各キーポイントのヒートマップを出力し、次にヒートマップから最大の索引（インデックス）をキーポイントの座標として見つける。各キーポイントの座標の計算は互いに独立しており、それらの間の構造関係を学習しないので、学習プロセス全体には手全体の構造情報が欠ける。そのため、検出結果に偏差（偏り）があると、非常に不合理な手の構造が生じる恐れがある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の問題に鑑み、本発明の目的は、２Ｄキーポイント検出ネットワークに手の３Ｄ構造関係を導入することで２Ｄキーポイント検出の精度を向上させるための画像処理装置、画像処理方法及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一側面によれば、画像処理装置が提供され、それは、
それぞれ、画像内の対象（ｏｂｊｅｃｔ）の複数のキーポイントのうちの各キーポイントに関する第一情報を取得する第一検出ネットワークであって、第一検出ネットワークは２Ｄ検出ネットワークである、第一検出ネットワーク；
対象の複数のキーポイントの間の３Ｄ構造関係を指示する第二情報を取得する第一情報取得ユニット；及び
第一情報及び第二情報を用いて第一検出ネットワークの損失関数を構築する構築ユニットを含み、
そのうち、画像処理装置は損失関数を使用して第一検出ネットワークを訓練する。
【０００７】
本発明のもう１つの側面によれば、画像処理方法が提供され、それは、
第一検出ネットワークにより、それぞれ、画像内の対象の複数のキーポイントのうちの各キーポイントに関する第一情報を取得し、そのうち、第一検出ネットワークは２Ｄ検出ネットワークであり；
対象の複数のキーポイントの間の３Ｄ構造関係を指示する第二情報を取得し；
第一情報及び第二情報を用いて第一検出ネットワークの損失関数を構築し；及び
損失関数を使用して第一検出ネットワークを訓練することを含む。
【０００８】
本発明のもう１つの側面によれば、マシン（コンピュータ）可読記憶媒体が提供され、その中にはマシン（コンピュータ）可読命令コードを含むプログラムプロダクトが含まれており、そのうち、前記命令コードはコンピュータにより読み取って実行されるときに、前記コンピュータに、本発明による画像処理方法を実現させる。
【０００９】
本発明の他の側面によれば、コンピュータプログラムが提供され、前記コンピュータプログラムは前記コンピュータに、本発明による画像処理方法を実行させるためのものである。
【発明の効果】
【００１０】
本発明による画像処理装置、画像処理方法及びコンピュータプログラムを使用することで、２Ｄ検出ネットワークの訓練にキーポイントの間の３Ｄ構造関係を導入して２Ｄ検出ネットワークの検出精度を向上させることができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許