特許ウォッチ

公開番号2025107664
公報種別公開特許公報(A)
公開日2025-07-22
出願番号2024000999
出願日2024-01-09
発明の名称情報処理装置、カメラシステム、情報処理方法及びプログラム
出願人株式会社ニコン
代理人個人
主分類G06T 7/55 20170101AFI20250714BHJP(計算;計数)
要約【課題】距離検出装置により取得された情報を処理すること。
【解決手段】本発明の一態様に係る情報処理装置は、距離検出装置により取得された情報を処理する装置である。情報処理装置は、第1距離検出装置により取得された第1距離情報及び第2距離検出装置により取得された第2距離情報に基づいて被写体を表現する形状情報を生成する形状情報生成部を備える。情報処理装置は、第1距離情報と第2距離情報とを同期させる同期部を備える。形状情報生成部は、第1距離情報の特定フレーム及び第2距離情報の第1フレームに基づく第1形状情報と、特定フレーム及び第2距離情報の第2フレームに基づく第2形状情報とを生成する。同期部は、第1形状情報と第2形状情報とを比較した結果に基づいて、第1フレームと第2フレームとのうちのいずれかのフレームを、特定フレームと同じ基準時刻に揃える。
【選択図】図7
特許請求の範囲【請求項１】
距離検出装置により取得された情報を処理する情報処理装置であって、
第１距離検出装置により取得された第１距離情報及び第２距離検出装置により取得された第２距離情報に基づいて被写体を表現する形状情報を生成する形状情報生成部と、
前記第１距離情報と前記第２距離情報とを同期させる同期部と、を備え、
前記形状情報生成部は、前記第１距離情報の特定フレーム及び前記第２距離情報の第１フレームに基づく第１形状情報と、前記特定フレーム及び前記第２距離情報の第２フレームに基づく第２形状情報とを生成し、
前記同期部は、前記第１形状情報と前記第２形状情報とを比較した結果に基づいて、前記第１フレームと前記第２フレームとのうちのいずれかのフレームを、前記特定フレームと同じ基準時刻に揃える、情報処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記形状情報生成部により生成された形状情報を解析する形状情報解析部を備え、
前記同期部は、前記形状情報解析部による解析結果に基づいて、前記第１フレームと前記第２フレームとのうちのいずれかのフレームを、前記特定フレームと同じ基準時刻に揃える、請求項１に記載の情報処理装置。
【請求項３】
前記形状情報解析部は、前記形状情報生成部により生成された形状情報のポリゴン数を算出し、
前記同期部は、前記ポリゴン数が少ない形状情報に対応する前記第２距離情報のフレームと前記特定フレームとを同じ基準時刻に揃える、請求項２に記載の情報処理装置。
【請求項４】
前記形状情報生成部は、形状情報としてメッシュを生成する、請求項１から請求項３のいずれか一項に記載の情報処理装置。
【請求項５】
前記形状情報解析部は、前記形状情報生成部により生成された形状情報の周波数成分を解析し、
前記同期部は、前記形状情報解析部により解析された形状情報のうちの所定周波数成分が小さい形状情報に対応する前記第２距離情報のフレームを、前記特定フレームと同じ基準時刻に揃える、請求項２に記載の情報処理装置。
【請求項６】
前記形状情報解析部は、前記形状情報生成部によって生成された形状情報の体積を算出し、
前記同期部は、前記体積が少ない形状情報に対応する前記第２距離情報のフレームと前記特定フレームとを同じ基準時刻に揃える、請求項２に記載の情報処理装置。
【請求項７】
前記形状情報解析部は、前記形状情報生成部により生成された形状情報の表面積を算出し、
前記同期部は、前記表面積が少ない形状情報に対応する前記第２距離情報のフレームと前記特定フレームとを同じ基準時刻に揃える、請求項２に記載の情報処理装置。
【請求項８】
前記第１距離情報及び前記第２距離情報のフレーム数が特定範囲内であるかを判定する判定部を備え、
前記形状情報生成部は、フレーム数が特定範囲内であるときに形状情報の生成を開始する、請求項１から請求項７のいずれか一項に記載の情報処理装置。
【請求項９】
アラートを出力するアラート出力部を備え、
前記アラート出力部は、フレーム数が特定範囲内でないときにアラートを出力する、請求項８に記載の情報処理装置。
【請求項１０】
情報を表示する表示部と、
ユーザの指示が入力される入力部と、を備え、
前記表示部は、前記第１距離情報及び前記第２距離情報のフレーム数を表示し、
前記形状情報生成部は、前記表示部にフレーム数が表示された後に、前記入力部に入力される指示に基づいて形状情報を生成する、請求項１から請求項９のいずれか一項に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、カメラシステム、情報処理方法及びプログラムに関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
デプスカメラは、一般的なカメラとは異なり、被写体の距離情報を取得することができるカメラである（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
特開２００２－３１５１３号公報
【発明の概要】
【０００４】
本発明の一態様に係る情報処理装置は、距離検出装置により取得された情報を処理する装置である。情報処理装置は、第１距離検出装置により取得された第１距離情報及び第２距離検出装置により取得された第２距離情報に基づいて被写体を表現する形状情報を生成する形状情報生成部を備える。情報処理装置は、第１距離情報と第２距離情報とを同期させる同期部を備える。形状情報生成部は、第１距離情報の特定フレーム及び第２距離情報の第１フレームに基づく第１形状情報と、特定フレーム及び第２距離情報の第２フレームに基づく第２形状情報とを生成する。同期部は、第１形状情報と第２形状情報とを比較した結果に基づいて、第１フレームと第２フレームとのうちのいずれかのフレームを、特定フレームと同じ基準時刻に揃える。
【０００５】
本発明の一態様に係るカメラシステムは、距離検出装置により情報を取得するシステムである。カメラシステムは、第１距離検出装置を備える。カメラシステムは、第２距離検出装置を備える。カメラシステムは、距離検出装置により取得された被写体の距離情報を処理する情報処理装置を備える。情報処理装置は、第１距離検出装置により取得された第１距離情報及び第２距離検出装置により取得された第２距離情報に基づいて被写体を表現する形状情報を生成する形状情報生成部を備える。カメラシステムは、第１距離情報と第２距離情報とを同期させる同期部を備える。形状情報生成部は、第１距離情報の特定フレーム及び第２距離情報の第１フレームに基づく第１形状情報と、特定フレーム及び第２距離情報の第２フレームに基づく第２形状情報とを生成する。同期部は、第１形状情報と第２形状情報とを比較した結果に基づいて、第１フレームと第２フレームとのうちのいずれかのフレームを、特定フレームと同じ基準時刻に揃える。
【０００６】
本発明の一態様に係る情報処理方法は、距離検出装置により取得された情報を処理する方法である。情報処理方法は、第１距離検出装置により取得された第１距離情報及び第２距離検出装置により取得された第２距離情報に基づいて被写体を表現する形状情報を生成することを含む。情報処理方法は、第１距離情報と第２距離情報とを同期させることを含む。情報処理方法は、第１距離情報の特定フレーム及び第２距離情報の第１フレームに基づく第１形状情報と、特定フレーム及び第２距離情報の第２フレームに基づく第２形状情報とを生成する。情報処理方法は、第１形状情報と第２形状情報とを比較した結果に基づいて、第１フレームと第２フレームとのうちのいずれかのフレームを、特定フレームと同じ基準時刻に揃える。
【０００７】
本発明の一態様に係るプログラムは、距離検出装置により取得された情報を処理する情報処理装置としてコンピュータを機能させるプログラムである。プログラムは、コンピュータを、第１距離検出装置により取得された第１距離情報及び第２距離検出装置により取得された第２距離情報に基づいて被写体を表現する形状情報を生成する形状情報生成部として機能させる。プログラムは、コンピュータを、第１距離情報と第２距離情報とを同期させる同期部として機能させる。形状情報生成部は、第１距離情報の特定フレーム及び第２距離情報の第１フレームに基づく第１形状情報と、特定フレーム及び第２距離情報の第２フレームに基づく第２形状情報とを生成する。同期部は、第１形状情報と第２形状情報とを比較した結果に基づいて、第１フレームと第２フレームとのうちのいずれかのフレームを、特定フレームと同じ基準時刻に揃える。
【図面の簡単な説明】
【０００８】
カメラシステム１００の構成の一例を示す図である。
カメラユニット１１０と被写体ＳＵとの位置関係の一例を示す図である。
カメラユニット１１０同士の位置のキャリブレーションを行う手順の一例を示す図である。
カメラユニット１１０の一例を示す図である。
情報処理装置１２０の構成の一例を示す図である。
情報処理装置１２０による処理の手順の一例を示す図である。
デプスデータＤ１同士の同期処理の手順の一例を示す図である。
Ｓ３０４にて生成されたメッシュデータＤ４及びＳ３０５にて算出されたポリゴン数の一例を示す図である。
Ｓ３０４にて生成されたメッシュデータＤ４及びＳ３０５にて算出されたポリゴン数の一例を示す図である。
Ｓ３０４にて生成されたメッシュデータＤ４及びＳ３０５にて算出されたポリゴン数の一例を示す図である。
Ｓ３０４にて生成されたメッシュデータＤ４及びＳ３０５にて算出されたポリゴン数の一例を示す図である。
デプスデータＤ１と高画質動画データＤ３との同期処理の手順の一例を示す図である。
低画質動画データＤ２の特定フレームの一例を示す図である。
高画質動画データＤ３の第１フレームの一例を示す図である。
高画質動画データＤ３の第２フレームの一例を示す図である。
高画質動画データＤ３の第３フレームの一例を示す図である。
高画質動画データＤ３の第４フレームの一例を示す図である。
【発明を実施するための形態】
【０００９】
発明の実施形態を通じて本発明を説明するが、実施形態は、特許請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせは、全てが発明の解決手段に必須であるとは限らない。本実施形態のカメラシステムは、複数のカメラユニットで、被写体までのデプス及び被写体の画像を周期的に検出する。複数のカメラユニットで検出した一連のデプスデータ及び画像データを合成して、一連の３次元モデルデータ、つまり３次元動画データを生成する。
【００１０】
図１は、カメラシステム１００の構成の一例を示す図である。カメラシステム１００は、カメラにより情報を取得するシステムである。カメラシステム１００は、第１カメラユニット１１０Ａ、第２カメラユニット１１０Ｂ、第３カメラユニット１１０Ｃ、第４カメラユニット１１０Ｄ及び情報処理装置１２０を備える。第１カメラユニット１１０Ａ、第２カメラユニット１１０Ｂ、第３カメラユニット１１０Ｃ及び第４カメラユニット１１０Ｄは、区別されない場合、カメラユニット１１０と総称される。
（【００１１】以降は省略されています）

関連特許