特許ウォッチ

公開番号2025010891
公報種別公開特許公報(A)
公開日2025-01-23
出願番号2023113182
出願日2023-07-10
発明の名称画像処理装置、画像処理方法およびプログラム
出願人キヤノン株式会社
代理人個人
主分類G06T 7/00 20170101AFI20250116BHJP(計算;計数)
要約【課題】画像から特徴点を検出する際の基準とすべき座標系を推定できるようにする。
【解決手段】車両や人物の顔などの被写体を含む複数の元画像に対してそれぞれ左右反転処理を行い、別画像を生成する。そして、元画像および別画像からそれぞれ特徴点を検出する。また、基準となる座標系の候補を複数取得し、別画像から検出した特徴点をそれぞれの座標系で逆変換した特徴点と、元画像から検出した特徴点との位置誤差を算出し、最も評価値の高い座標系を基準とする座標系として推定する。
【選択図】図1
特許請求の範囲【請求項１】
被写体を含む第１の画像に対して所定の変換処理を行って第２の画像を生成する生成手段と、
前記第１の画像および前記第２の画像から前記被写体に係る特徴点を検出する検出手段と、
前記検出手段による前記第１の画像での検出結果と前記第２の画像での検出結果との間の関係に基づいて、前記特徴点を検出するための検出器で基準となる座標系を決定する決定手段と、
を有することを特徴とする画像処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記決定手段は、前記検出手段によって前記第２の画像から検出された特徴点に対して前記所定の変換処理の逆変換を行った結果と、前記検出手段による前記第１の画像からの検出結果との差分に基づいて、前記基準となる座標系を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記検出手段によって前記第２の画像から検出された特徴点に対して前記所定の変換処理の逆変換を行った結果と、前記検出手段による前記第１の画像からの検出結果との間で対応付けを行い、前記対応付けられた特徴点の間での位置の差分に基づいて、前記基準となる座標系を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記検出手段は、前記被写体に係る特徴点を検出するとともに、前記検出した特徴点にラベルを付与し、
前記決定手段は、前記付与されたラベルに基づいて特徴点の対応付けを行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記決定手段は、特徴点の座標の距離が最小となる特徴点同士で対応付けを行うことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記決定手段は、特徴点の特徴量または特徴ベクトルの差分が最も小さい特徴点同士で対応付けを行うことを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記決定手段によって決定される座標系の候補を取得する取得手段をさらに有し、
前記決定手段は、前記取得手段によって取得された候補ごとに前記所定の変換処理の逆変換を行い、検出結果の差分の最も小さい候補を前記基準となる座標系として決定することを特徴とする請求項２または３に記載の画像処理装置。
【請求項８】
前記座標系の候補として、可変のパラメータを有する座標系を含み、
前記決定手段は、前記検出結果の差分が最も小さくなるように前記パラメータを算出して前記基準となる座標系を決定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記決定手段は、さらに前記特徴点の座標の真値を用いて前記基準となる座標系を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記検出手段は、前記被写体に係る特徴点を検出するとともに、前記検出した特徴点を複数の集合に区分けし、
前記決定手段は、前記集合ごとに前記基準となる座標系を決定することを特徴とする請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、特に、画像から特徴点を検出するために用いて好適な画像処理装置、画像処理方法およびプログラムに関する。
続きを表示（約 3,400 文字）【背景技術】
【０００２】
従来、画像に写る物体の検出や認識、奥行き値の推定などを行う際において、特徴点を検出して利用する手法が用いられることがある。その際、特徴点を分析したりマッチングしたりする場合においては、画像上における特徴点の座標値の精度が重要である。特許文献１には、撮影装置によって異なる複数の位置から測定対象を撮影し、撮影画像から特徴点の抽出およびマッチングを行い、測定対象の３次元形状を測量する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２００７－２１２４３０号公報
【非特許文献】
【０００４】
Joseph Redmon, et al., "You Only Look Once: Unified, Real-Time Object Detection", in arXiv, Submitted on 8 Jun 2015 (v1), last revised 9 May 2016 (this version, v5), <URL: https://arxiv.org/abs/1506.02640>
Wenhao Ding, et al., "Vehicle Pose and Shape Estimation through Multiple Monocular Vision", in arXiv, Submitted on 10 Feb 2018 (v1), last revised 11 Nov 2018 (this version, v5),<URL:https://arxiv.org/abs/1802.03515>
Yepeng Liu, et al., "MOS: A Low Latency and Lightweight Framework for Face Detection, Landmark Localization, and Head Pose Estimation", in arXiv, Submitted on 21 Oct 2021 (v1), last revised 1 Nov 2021 (this version, v3), <URL: https://arxiv.org/abs/2110.10953>
Michal J. Tyszkiewicz, et al., "DISK: Learning local features with policy gradient", in NeurIPS 2020, <URL: https://papers.nips.cc/paper/2020/file/a42a596fc71e17828440030074d15e74-Paper.pdf>
Jiankang Deng, et al., "ArcFace: Additive Angular Margin Loss for Deep Face Recognition", in arXiv, Submitted on 23 Jan 2018 (v1), last revised 4 Sep 2022 (this version, v4), <URL: https://arxiv.org/abs/1801.07698>
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般的に特徴点の検出器は、あらかじめ定められた座標系の位置姿勢を基準として、画像上における特徴点の座標値を出力する。しかしながら、基準とすべき座標系の位置姿勢が不明瞭である場合があり、特徴点の位置の誤差が生じる場合がある。
【０００６】
本発明は前述の問題点に鑑み、画像から特徴点を検出する際の基準とすべき座標系を推定できるようにすることを目的としている。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、被写体を含む第１の画像に対して所定の変換処理を行って第２の画像を生成する生成手段と、前記第１の画像および前記第２の画像から前記被写体に係る特徴点を検出する検出手段と、前記検出手段による前記第１の画像での検出結果と前記第２の画像での検出結果との間の関係に基づいて、前記特徴点を検出するための検出器で基準となる座標系を決定する決定手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画像から特徴点を検出する際の基準とすべき座標系を推定することができる。
【図面の簡単な説明】
【０００９】
実施形態に係る画像処理装置の機能構成例を示すブロック図である。
座標系を決定する処理手順の一例を示すフローチャートである。
画像群に含まれる元画像の例を示す図である。
元画像および別画像からの特徴点の検出結果の例を示す図である。
元画像に座標系Ｗ
0
、Ｗ
1
の座標軸を重畳した画像の例を示す図である。
座標系の候補に対する評価値を算出する詳細な処理手順の一例を示すフローチャートである。
座標系Ｗ
0
について、特徴点の座標の変換を行った結果の例を示す図である。
座標系Ｗ
1
について、特徴点の座標の変換を行った結果の例を示す図である。
ラベルを用いて特徴点を対応付けた結果の例を示す図である。
ある１つの特徴点のペアでの位置誤差を説明するための図である。
１枚の画像における各特徴点のペアでの位置誤差を示す図である。
各画像での位置誤差の積算値を説明するための図である。
画像から顔領域を検出する例を示す図である。
画像の左右反転を利用して別画像を生成した結果の例を示す図である。
元画像および別画像からの特徴点の検出結果の例を示す図である。
顔画像に座標系Ｗ
0
、Ｗ
1
の座標軸を重畳した画像の例を示す図である。
座標系Ｗ
0
について、特徴点の座標の変換を行った結果の例を示す図である。
座標系Ｗ
1
について、特徴点の座標の変換を行った結果の例を示す図である。
ラベルを用いて特徴点を対応付けた結果の例を示す図である。
ある１つの特徴点のペアでの位置誤差を説明するための図である。
１枚の画像における各特徴点のペアでの位置誤差を示す図である。
各画像での位置誤差の積算値を説明するための図である。
固有のラベルが存在しない自然特徴点を用いる場合に、対応する特徴点を決定する手順を説明するための図である。
変形例５において、ある１つの特徴点ペアの位置誤差を算出する処理手順の一例を示すフローチャートである。
変形例５において、座標系Ｗ
p
について特徴点の座標の変換を行った結果の例を示す図である。
異なる座標系により画像上における特徴点の位置の異なる解釈結果を説明するための図である。
変形例８において、元画像から作成した別画像の例を示す図である。
変形例９において、基準とする座標系をさらに最適化する処理手順の一例を示すフローチャートである。
顔画像に対する特徴点の検出結果の例を示す図である。
人手の作業で修正した特徴点の検出結果の例を示す図である。
実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照して、本発明の好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
（【００１１】以降は省略されています）

関連特許