特許ウォッチ

公開番号2025107665
公報種別公開特許公報(A)
公開日2025-07-22
出願番号2024001000
出願日2024-01-09
発明の名称情報処理装置、カメラシステム、情報処理方法及びプログラム
出願人株式会社ニコン
代理人個人
主分類G06T 7/55 20170101AFI20250714BHJP(計算;計数)
要約【課題】検出装置により取得された情報を処理すること。
【解決手段】本発明の一態様に係る情報処理装置は、第1検出装置により周期的に物体を検出し出力された一連の距離情報及び距離情報と同期して物体を検出し出力された一連の第1画像情報と、第2検出装置により周期的に物体を検出し出力された一連の第2画像情報とを受信する受信部を備える。情報処理装置は、第1画像情報と第2画像情報との一致度に基づいて、一連の距離情報と一連の第2画像情報との相対関係を決定する決定部を備える。
【選択図】図12
特許請求の範囲【請求項１】
第１検出装置により周期的に物体を検出し出力された一連の距離情報及び前記距離情報と同期して前記物体を検出し出力された一連の第１画像情報と、第２検出装置により周期的に前記物体を検出し出力された一連の第２画像情報とを受信する受信部と、
前記第１画像情報と前記第２画像情報との一致度に基づいて、一連の前記距離情報と一連の前記第２画像情報との相対関係を決定する決定部と、を備える、情報処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記決定部が決定した相対関係に基づいて、一連の前記距離情報と一連の前記第２画像情報とを合成し、色情報を含む一連の形状情報を生成する形状情報生成部を備える、請求項１に記載の情報処理装置。
【請求項３】
検出を開始させる第１信号を前記第１検出装置及び前記第２検出装置に送信する送信部を備える、請求項１又は請求項２に記載の情報処理装置。
【請求項４】
前記第２検出装置のイメージセンサにより取得された前記第２画像情報を解析する画像解析部、を備え、
前記画像解析部は、前記第２画像情報のフレームについて、前記第１画像情報の特定フレームとの一致度を判定し、
前記決定部は、前記第２画像情報のフレームのうちの前記特定フレームとの一致度が高いフレームと、前記特定フレームとを同じ基準時刻に揃える、請求項１から請求項３のいずれか一項に記載の情報処理装置。
【請求項５】
前記画像解析部は、前記第２画像情報のフレームの画像特徴と、前記特定フレームの画像特徴とを比較して一致度を判定する、請求項４に記載の情報処理装置。
【請求項６】
前記画像解析部は、特徴抽出アルゴリズムを用いて前記画像特徴となるフレームの特徴ベクトルを生成し、一致度を判定する、請求項５に記載の情報処理装置。
【請求項７】
前記画像解析部は、前記第２画像情報の連続するフレーム間の被写体の動きと、前記特定フレームを含む連続するフレーム間の被写体の動きとを比較して一致度を判定する、請求項４に記載の情報処理装置。
【請求項８】
前記画像解析部は、
フレーム間における各ピクセルの明るさの変化を解析し、被写体に対応するピクセルの移動ベクトルを推定し、
前記第２画像情報の連続するフレーム間の移動ベクトルと、前記特定フレームを含む連続するフレーム間の移動ベクトルとを比較して一致度を判定する、請求項７に記載の情報処理装置。
【請求項９】
前記画像解析部は、特徴点検出アルゴリズムを用いて、被写体に対応するピクセルを検出する、請求項８に記載の情報処理装置。
【請求項１０】
前記画像解析部は、オプティカルフロー推定アルゴリズムを用いて、移動ベクトルを推定する、請求項８に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、カメラシステム、情報処理方法及びプログラムに関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
デプスカメラは、一般的なカメラとは異なり、被写体の距離情報を取得することができるカメラである（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
特開２００２－３１５１３号公報
【発明の概要】
【０００４】
本発明の一態様に係る情報処理装置は、第１検出装置により周期的に物体を検出し出力された一連の距離情報及び距離情報と同期して物体を検出し出力された一連の第１画像情報と、第２検出装置により周期的に物体を検出し出力された一連の第２画像情報とを受信する受信部を備える。情報処理装置は、第１画像情報と第２画像情報との一致度に基づいて、一連の距離情報と一連の第２画像情報との相対関係を決定する決定部を備える。
【０００５】
本発明の一態様に係るカメラシステムは、第１検出装置を備える。カメラシステムは、第２検出装置を備える。カメラシステムは、第１検出装置及び第２検出装置により取得された情報を処理する情報処理装置を備える。情報処理装置は、第１検出装置により周期的に物体を検出し出力された一連の距離情報及び距離情報と同期して物体を検出し出力された一連の第１画像情報と、第２検出装置により周期的に物体を検出し出力された一連の第２画像情報とを受信する受信部を備える。情報処理装置は、第１画像情報と第２画像情報との一致度に基づいて、一連の距離情報と一連の第２画像情報との相対関係を決定する決定部を備える。
【０００６】
本発明の一態様に係る情報処理方法は、第１検出装置により周期的に物体を検出し出力された一連の距離情報及び距離情報と同期して物体を検出し出力された一連の第１画像情報と、第２検出装置により周期的に物体を検出し出力された一連の第２画像情報とを受信することを含む。情報処理方法は、第１画像情報と第２画像情報との一致度に基づいて、一連の距離情報と一連の第２画像情報との相対関係を決定することを含む。
【０００７】
本発明の一態様に係るプログラムは、コンピュータを、第１検出装置により周期的に物体を検出し出力された一連の距離情報及び距離情報と同期して物体を検出し出力された一連の第１画像情報と、第２検出装置により周期的に物体を検出し出力された一連の第２画像情報とを受信する受信部として機能させる。プログラムは、コンピュータを、第１画像情報と第２画像情報との一致度に基づいて、一連の距離情報と一連の第２画像情報との相対関係を決定する決定部として機能させる。
【０００８】
本発明の一態様に係る情報処理装置は、物体までの距離を複数の時刻で検出して出力される複数の距離情報と、距離情報の検出と同期して被写体の画像を撮像して出力される複数の第１画像情報と、被写体の画像を複数の時刻で撮像して出力される第２画像情報とを取得する取得部を備える。情報処理装置は、複数のうちの１つ距離情報と複数のうちの１つの第２画像情報とを、第１画像情報を介して関連づける処理を行う処理部を備える。
【０００９】
本発明の一態様に係る情報処理装置は、物体までの距離を複数の時刻で検出して出力される距離情報と、物体までの距離ごとに色を異ならせることで、距離情報を画像として示す第３画像情報と、被写体の画像を複数の時刻で撮像して出力される第２画像情報とを取得する取得部を備える。情報処理装置は、複数のうちの１つの距離情報と複数のうちの１つの第２画像情報とを、第３画像情報を介して関連づける処理を行う処理部を備える。
【図面の簡単な説明】
【００１０】
カメラシステム１００の構成の一例を示す図である。
カメラユニット１１０と被写体ＳＵとの位置関係の一例を示す図である。
カメラユニット１１０同士の位置のキャリブレーションを行う手順の一例を示す図である。
カメラユニット１１０の一例を示す図である。
情報処理装置１２０の構成の一例を示す図である。
情報処理装置１２０による処理の手順の一例を示す図である。
デプスデータＤ１同士の同期処理の手順の一例を示す図である。
Ｓ３０４にて生成されたメッシュデータＤ４及びＳ３０５にて算出されたポリゴン数の一例を示す図である。
Ｓ３０４にて生成されたメッシュデータＤ４及びＳ３０５にて算出されたポリゴン数の一例を示す図である。
Ｓ３０４にて生成されたメッシュデータＤ４及びＳ３０５にて算出されたポリゴン数の一例を示す図である。
Ｓ３０４にて生成されたメッシュデータＤ４及びＳ３０５にて算出されたポリゴン数の一例を示す図である。
デプスデータＤ１と高画質動画データＤ３との同期処理の手順の一例を示す図である。
低画質動画データＤ２の特定フレームの一例を示す図である。
高画質動画データＤ３の第１フレームの一例を示す図である。
高画質動画データＤ３の第２フレームの一例を示す図である。
高画質動画データＤ３の第３フレームの一例を示す図である。
高画質動画データＤ３の第４フレームの一例を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許