特許ウォッチ

公開番号2025099090
公報種別公開特許公報(A)
公開日2025-07-03
出願番号2023215476
出願日2023-12-21
発明の名称キャリブレーション装置、3次元座標検出システム、及びコンピュータプログラム
出願人株式会社豊田中央研究所,トヨタ自動車株式会社,株式会社デンソー,株式会社豊田自動織機,株式会社アイシン
代理人個人,個人
主分類A61B 5/107 20060101AFI20250626BHJP(医学または獣医学;衛生学)
要約【課題】複数の3次元視覚センサの座標系を1の3次元視覚センサの座標系に変換する変換行列の精度を向上させるキャリブレーション装置、3次元座標検出システム、及びコンピュータプログラムを提供する。
【解決手段】3次元座標検出システム1において、キャリブレーション装置は、複数の3次元視覚センサが生成する対象物の3次元情報から、第1～第nの3次元視覚センサそれぞれの座標系を基準3次元視覚センサの基準座標系に統合するための変換行列を求める変換行列生成部を備え、変換行列生成部は、変換行列初期値を用いて、複数のフレーム全てに対して座標変換を行い、基準座標系に統合し、第1～第nの3次元視覚センサのそれぞれについて基準座標系に統合した3次元座標値を用いて、フレーム毎に、複数の3次元視覚センサ間のバラツキを算出し、バラツキが少ないフレームの変換行列初期値を、変換行列とする。
【選択図】図1
特許請求の範囲【請求項１】
キャリブレーション装置であって、
基準３次元視覚センサと、第１～第ｎ（ｎは自然数）の３次元視覚センサを含む複数の３次元視覚センサが生成する対象物の３次元情報から、前記第１～第ｎの３次元視覚センサそれぞれの座標系を前記基準３次元視覚センサの基準座標系に統合するための変換行列を求める変換行列生成部を備え、
前記複数の３次元視覚センサは、時間的に同期して、前記３次元情報を有する複数のフレームをそれぞれ生成し、
前記キャリブレーション装置において、
前記変換行列生成部は、
前記第１～第ｎの３次元視覚センサのそれぞれについて、前記対象物の３次元情報から抽出された複数の特徴点からバラツキが少ない特徴点を選択して生成した変換行列初期値を用いて、前記複数のフレーム全てに対して座標変換を行い、前記基準座標系に統合し、
前記第１～第ｎの３次元視覚センサのそれぞれについて前記基準座標系に統合した３次元座標値を用いて、フレーム毎に、前記複数の３次元視覚センサ間のバラツキを算出し、前記バラツキが少ないフレームの変換行列初期値を、前記変換行列とする、
キャリブレーション装置。
続きを表示（約 710 文字）【請求項２】
請求項１に記載のキャリブレーション装置であって、
前記特徴点は、人体骨格の関節点である、
キャリブレーション装置。
【請求項３】
対象物の３次元座標を検出する３次元座標検出システムであって、
基準３次元視覚センサと、第１～第ｎ（ｎは自然数）の３次元視覚センサを含む複数の３次元視覚センサと、
請求項１または請求項２に記載のキャリブレーション装置と、
を備える、
３次元座標検出システム。
【請求項４】
基準３次元視覚センサと、第１～第ｎ（ｎは自然数）の３次元視覚センサを含む複数の３次元視覚センサの各センサ座標系間の変換行列を求めるコンピュータプログラムであって、
前記複数の３次元視覚センサは、時間的に同期して、対象物の３次元情報を有する複数のフレームをそれぞれ生成し、
前記コンピュータプログラムは、情報処理装置に、
前記第１～第ｎの３次元視覚センサのそれぞれについて、前記対象物の３次元情報から抽出された複数の特徴点からバラツキが少ない特徴点を選択して生成した変換行列初期値を用いて、前記複数のフレーム全てに対して座標変換を行い、前記基準３次元視覚センサの基準座標系に統合する機能と、
前記第１～第ｎの３次元視覚センサのそれぞれについて前記基準座標系に統合した３次元座標値を用いて、フレーム毎に、前記複数の３次元視覚センサ間のバラツキを算出し、前記バラツキが少ないフレームの変換行列初期値を、前記変換行列とする機能と、
を実現させる、
コンピュータプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、キャリブレーション装置に関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
従来、人の動作を、３次元視覚センサを用いて検出する技術が提案されている。例えば、非特許文献１、２には、カラーセンサ、深度センサ等のセンサを有するＫｉｎｅｃｔ（登録商標）を複数用いて、人の動作を検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
宮武順平、他２名、”複数台のＫｉｎｅｃｔを用いたモーションキャプチャの実現”、［ｏｎｌｉｎｅ］、ＨＡＩシンポジウム２０１６、Ｇ－２２（２０１６）、［２０２３年７月２３日検索］、インターネット＜ＵＲＬ：https://hai-conference.net/proceedings/HAI2016/pdf/G-22.pdf＞
Alexandros Kitsikidis、外３名、”ＤａｎｃｅＡｎａｌｙｓｉｓｕｓｉｎｇＭｕｌｔｉｐｌｅＫｉｎｅｃｔＳｅｎｓｏｒｓ”、［ｏｎｌｉｎｅ］、ＶＩＳＡＰＰ２０１４、２０１４．、［２０２３年７月２３日検索］、インターネット＜ＵＲＬ：https://ieeexplore.ieee.org/document/7295020＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記非特許文献１、２に記載に技術では、複数台のＫｉｎｅｃｔ（登録商標）を用いてモーションキャプチャを行うことにより、オクルージョン（不可視部位）を軽減し、トラッキングの精度を向上させている。しかしながら、上記非特許文献１、２では、各Ｋｉｎｅｃｔ（登録商標）の設置位置によって生じるずれを補正するための変換行列の精度が十分ではなかった。
【０００５】
このような問題は、検出の対象が人に場合に限定されず、犬等の他の動物や車等、種々の移動体の動きを検出する技術に共通する課題である。
【０００６】
本発明は、上述した課題を解決するためになされたものであり、複数の３次元視覚センサの座標系を１の３次元視覚センサの座標系に変換する変換行列の精度を向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
【０００８】
（１）本発明の一形態によれば、キャリブレーション装置が提供される。このキャリブレーション装置は、基準３次元視覚センサと、第１～第ｎ（ｎは自然数）の３次元視覚センサを含む複数の３次元視覚センサが生成する対象物の３次元情報から、前記第１～第ｎの３次元視覚センサそれぞれの座標系を前記基準３次元視覚センサの基準座標系に統合するための変換行列を求める変換行列生成部を備え、前記複数の３次元視覚センサは、時間的に同期して、前記３次元情報を有する複数のフレームをそれぞれ生成し、前記キャリブレーション装置において、前記変換行列生成部は、前記第１～第ｎの３次元視覚センサのそれぞれについて、前記対象物の３次元情報から抽出された複数の特徴点からバラツキが少ない特徴点を選択して生成した変換行列初期値を用いて、前記複数のフレーム全てに対して座標変換を行い、前記基準座標系に統合し、前記第１～第ｎの３次元視覚センサのそれぞれについて前記基準座標系に統合した３次元座標値を用いて、フレーム毎に、前記複数の３次元視覚センサ間のバラツキを算出し、前記バラツキが少ないフレームの変換行列初期値を、前記変換行列とする。
【０００９】
この構成によれば、変換行列初期値を用いて座標変換を行った全てのフレームからバラツキが少ないフレームを選択し、選択されたフレームにおいて用いられた変換行列初期値を、第１～第ｎの３次元視覚センサそれぞれの座標系を基準３次元視覚センサの基準座標系に統合するための変換行列とするため、誤差の小さい変換行列を生成することができる。すなわち、変換行列の精度を向上させることができる。
【００１０】
（２）上記形態のキャリブレーション装置であって、前記特徴点は、人体骨格の関節点であってもよい。このようにすると、人を対象としたモーションキャプチャの精度を向上させることができる。
（【００１１】以降は省略されています）

関連特許