特許ウォッチ

公開番号2025131369
公報種別公開特許公報(A)
公開日2025-09-09
出願番号2024029069
出願日2024-02-28
発明の名称カメラパラメータ推定装置、及びプログラム
出願人株式会社デンソー
代理人個人,個人,個人,個人,個人
主分類G06T 7/70 20170101AFI20250902BHJP(計算;計数)
要約【課題】カメラパラメータの推定を適正に行う。
【解決手段】ECU20は、複数のターゲットマーカが撮影された撮影画像内において各ターゲットマーカにおける複数の特徴点を検出する特徴点検出部21と、ターゲットマーカごとに、複数の特徴点をマーカ正面視座標上の真値に変換する射影変換を行い、射影変換した座標系において特徴点座標を算出する座標算出部22と、ターゲットマーカごとに、特徴点座標において真値座標との差として残る残差に基づき特徴点の検出精度を判定し、特徴点の検出精度が低いと判定されたターゲットマーカを特定するマーカ特定部23と、複数のターゲットマーカのうちいずれかのターゲットマーカが、特徴点の検出精度が低いターゲットマーカであると特定された場合に、その特定されたターゲットマーカを除く残りのターゲットマーカの特徴点の座標を用いてカメラパラメータを推定するパラメータ推定部24と、を備える。
【選択図】図3
特許請求の範囲【請求項１】
搭載対象に搭載されたカメラ（１１）から、複数の特徴点が定められかつ互いに異なる複数箇所に配置された複数のターゲットマーカ（１２）が撮影された撮影画像を取得し、その撮影画像に基づいて、前記カメラの搭載状態を示すカメラパラメータを推定するカメラパラメータ推定装置（２０）であって、
前記撮影画像内において前記各ターゲットマーカにおける前記複数の特徴点を検出する特徴点検出部と、
前記ターゲットマーカごとに、前記特徴点検出部により検出された前記複数の特徴点をマーカ正面視座標上の真値に変換する射影変換を行い、射影変換した座標系において前記各特徴点の座標である特徴点座標を算出する座標算出部と、
前記ターゲットマーカごとに、前記座標算出部により算出された前記特徴点座標において真値座標との差として残る残差に基づき前記特徴点の検出精度を判定し、前記特徴点の検出精度が低いと判定された前記ターゲットマーカを特定するマーカ特定部と、
前記複数のターゲットマーカのうちいずれかのターゲットマーカが、前記マーカ特定部により前記特徴点の検出精度が低いターゲットマーカであると特定された場合に、その特定されたターゲットマーカを除く残りの前記ターゲットマーカの前記特徴点の座標を用いて前記カメラパラメータを推定するパラメータ推定部と、
を備える、カメラパラメータ推定装置。
続きを表示（約 1,000 文字）【請求項２】
前記座標算出部は、ホモグラフィ行列により前記射影変換を行う、請求項１に記載のカメラパラメータ推定装置。
【請求項３】
前記マーカ特定部は、前記残差を閾値と比較し、前記残差が前記閾値よりも大きい場合に、前記特徴点の検出精度が低い旨を判定するものであり、
前記ターゲットマーカごとに、前記撮影画像上における当該ターゲットマーカの大きさに基づいて前記閾値を設定する閾値設定部を有する、請求項１に記載のカメラパラメータ推定装置。
【請求項４】
前記複数のターゲットマーカのうちいずれかのターゲットマーカが、前記マーカ特定部により前記特徴点の検出精度が低いターゲットマーカであると特定された場合に、その特定情報を外部に通知する通知部を備える、請求項１～３のいずれか１項に記載のカメラパラメータ推定装置。
【請求項５】
搭載対象に搭載されたカメラ（１１）から、複数の特徴点が定められかつ互いに異なる複数箇所に配置された複数のターゲットマーカ（１２）が撮影された撮影画像を取得し、その撮影画像に基づいて、前記カメラの搭載状態を示すカメラパラメータを推定するパラメータ推定用のプログラムであって、
前記撮影画像内において前記各ターゲットマーカにおける前記複数の特徴点を検出する特徴点検出処理と、
前記ターゲットマーカごとに、前記特徴点検出処理により検出された前記複数の特徴点をマーカ正面視座標上の真値に変換する射影変換を行い、射影変換した座標系において前記各特徴点の座標である特徴点座標を算出する座標算出処理と、
前記ターゲットマーカごとに、前記座標算出処理により算出された前記特徴点座標において真値座標との差として残る残差に基づき前記特徴点の検出精度を判定し、前記特徴点の検出精度が低いと判定された前記ターゲットマーカを特定するマーカ特定処理と、
前記複数のターゲットマーカのうちいずれかのターゲットマーカが、前記マーカ特定処理により前記特徴点の検出精度が低いターゲットマーカであると特定された場合に、その特定されたターゲットマーカを除く残りの前記ターゲットマーカの前記特徴点の座標を用いて前記カメラパラメータを推定するパラメータ推定処理と、
をコンピュータにより実行させる、プログラム。

発明の詳細な説明【技術分野】
【０００１】
この明細書における開示は、カメラパラメータ推定装置、及びプログラムに関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
例えば車両に搭載されたカメラにより撮影された画像に基づいて、車両の周辺監視や運転支援が実行される技術が知られている。また、車両の周辺監視や運転支援を適切に実行するためには、カメラによる撮影画像の座標系と、画像処理に用いる画像の座標系との相関関係が整合している必要があり、この精度を確保するために、カメラの搭載状態を示すカメラパラメータを推定する技術が提案されている。
【０００３】
例えば特許文献１に記載の技術では、カメラにより撮影された画像の歪みを補正するとともに、画像内の校正パターン（すなわちターゲットマーカ）の特徴点を検出し、さらに特徴点からカメラの位置及び向きを算出するようにしている。また、これら画像の歪み補正と、特徴点の検出と、カメラの位置及び向きの算出とからなる一連の処理を反復して行う場合において、その反復回数、又は最新の反復において決定された信頼値に基づいて繰り返すことにより、精度の良いパラメータを推定することとしている。
【先行技術文献】
【特許文献】
【０００４】
米国特許第１１３４１６８１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えば車両に搭載されたカメラにおいてカメラ画質が悪い場合や、カメラの取り付け誤差が生じている場合には、それらカメラ画質やカメラの取り付け誤差に起因して、校正パターンでの特徴点の検出精度が低下することが考えられる。この場合、精度の低い特徴点を用いて推定されたパラメータは精度が大きく悪化するが、反復処理を行うだけでは精度は改善できない。そのため、パラメータを適正に推定できないことが懸念される。
【０００６】
本発明は、上記事情に鑑みてなされたものであり、カメラパラメータの推定を適正に行うことができるカメラパラメータ推定装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示は、
搭載対象に搭載されたカメラから、複数の特徴点が定められかつ互いに異なる複数箇所に配置された複数のターゲットマーカが撮影された撮影画像を取得し、その撮影画像に基づいて、前記カメラの搭載状態を示すカメラパラメータを推定するカメラパラメータ推定装置であって、
前記撮影画像内において前記各ターゲットマーカにおける前記複数の特徴点を検出する特徴点検出部と、
前記ターゲットマーカごとに、前記特徴点検出部により検出された前記複数の特徴点をマーカ正面視座標上の真値に変換する射影変換を行い、射影変換した座標系において前記各特徴点の座標である特徴点座標を算出する座標算出部と、
前記ターゲットマーカごとに、前記座標算出部により算出された前記特徴点座標において真値座標との差として残る残差に基づき前記特徴点の検出精度を判定し、前記特徴点の検出精度が低いと判定された前記ターゲットマーカを特定するマーカ特定部と、
前記複数のターゲットマーカのうちいずれかのターゲットマーカが、前記マーカ特定部により前記特徴点の検出精度が低いターゲットマーカであると特定された場合に、その特定されたターゲットマーカを除く残りの前記ターゲットマーカの前記特徴点の座標を用いて前記カメラパラメータを推定するパラメータ推定部と、
を備える。
【０００８】
搭載対象に搭載されたカメラにより、複数箇所に配置された複数のターゲットマーカが撮影される場合には、いずれかのターゲットマーカにおいて特徴点の検出精度が低下することがあり、検出精度の低い特徴点によりカメラパラメータが推定されると、カメラパラメータの精度低下が懸念される。
【０００９】
この点、上記構成では、撮影画像内で検出された各ターゲットマーカの複数の特徴点をマーカ正面視座標上の真値に変換する射影変換を行い、射影変換した座標系においてターゲットマーカごとに各特徴点の座標である特徴点座標を算出するようにした。また、ターゲットマーカごとに、射影変換後の座標系における特徴点座標において真値座標との差として残る残差に基づき特徴点の検出精度を判定し、特徴点の検出精度が低いと判定されたターゲットマーカを特定するようにした。この場合、撮影画像において各ターゲットマーカに含まれる特徴点が正しく検出されていれば、射影変換後の座標系において特徴点座標が真値座標に略一致するのに対し、特徴点の検出誤差が生じていると、特徴点座標と真値座標との残差が大きくなる。このことから、各ターゲットマーカにおける特徴点の精度を適正に判断できる。
【００１０】
そして、複数のターゲットマーカのうち、特徴点の検出精度が低いターゲットマーカを除く残りのターゲットマーカの特徴点座標を用いてカメラパラメータを推定するようにした。この場合、ターゲットマーカごとに、パラメータ推定に用いる上での適否が判断され、パラメータ推定に適したターゲットマーカの特徴点情報のみがパラメータ推定に用いられることで、パラメータ推定の精度が高められる。また、一部のターゲットマーカで特徴点の検出精度が低いと判断された場合でも、残りのターゲットマーカの特徴点を用いてパラメータ推定の実施が可能となることから、パラメータ推定の作業効率を高めることが可能となる。その結果、カメラパラメータの推定を適正に行うことができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許