特許ウォッチ

公開番号2024164975
公報種別公開特許公報(A)
公開日2024-11-28
出願番号2023080741
出願日2023-05-16
発明の名称情報処理装置、情報処理方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類G06T 17/20 20060101AFI20241121BHJP(計算;計数)
要約【課題】オブジェクトの3次元形状の時間的な変化に対する違和感の少ない3次元形状データを生成する。
【解決手段】情報処理装置100は、時間的に連続する複数の3次元形状データを含む3次元形状シーケンスデータと、前記3次元形状シーケンスデータに含まれる前記複数の3次元形状データのそれぞれが示すオブジェクトの3次元形状の評価結果のデータとを取得し、前記複数の3次元形状データのうちの前記評価結果が基準を満たす第1の3次元形状データに基づいて、前記複数の3次元形状データのうちの前記評価結果が基準を満たさない第2の3次元形状データに代わる第3の3次元形状データを生成する。
【選択図】図2
特許請求の範囲【請求項１】
時間的に連続する複数の３次元形状データを含む３次元形状シーケンスデータを取得する形状データ取得手段と、
前記３次元形状シーケンスデータに含まれる前記複数の３次元形状データのそれぞれが示すオブジェクトの３次元形状の評価結果のデータを取得する評価取得手段と、
前記複数の３次元形状データのうちの前記評価結果が基準を満たす第１の３次元形状データに基づいて、前記複数の３次元形状データのうちの前記評価結果が基準を満たさない第２の３次元形状データに代わる第３の３次元形状データを生成する生成手段と、
を有することを特徴とする情報処理装置。
続きを表示（約 1,700 文字）【請求項２】
前記複数の３次元形状データのそれぞれ、及び、前記生成手段により生成される３次元形状データは、前記オブジェクトの位置を示す情報を含むこと
を特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記生成手段は、前記複数の３次元形状データのうちから少なくとも１つの前記第１の３次元形状データを選択し、選択した前記第１の３次元形状データが示す３次元形状を前記第２の３次元形状データが示す３次元形状に対して位置合わせを行うことにより、前記第３の３次元形状データを生成すること
を特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記生成手段は、剛体位置合わせを行うことにより、選択した前記第１の３次元形状データが示す３次元形状を前記第１の３次元形状データが示す３次元形状に対して位置合わせを行うこと
を特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記生成手段は、位置合わせ後の前記第１の３次元形状データが示す３次元形状と、前記第２の３次元形状データが示す３次元形状との差分領域の体積が所定の閾値未満である場合に、位置合わせ後の前記第１の３次元形状データが示す３次元形状を示す３次元形状データを前記第３の３次元形状データとすること
を特徴とする請求項３に記載の情報処理装置。
【請求項６】
前記生成手段は、位置合わせ後の前記第１の３次元形状データが示す３次元形状と、前記第２の３次元形状データが示す３次元形状との差が所定の閾値以上である、位置合わせ後の前記第１の３次元形状データが示す３次元形状の部位を第１の部位として特定し、特定した前記第１の部位を、前記第１の部位に対応する、前記第２の３次元形状データが示す３次元形状における第２の部位に対して位置合わせを行うことにより、前記第３の３次元形状データとすること
を特徴とする請求項３に記載の情報処理装置。
【請求項７】
前記生成手段は、剛体位置合わせを行うことにより、前記第１の部位を前記第２の部位に対して位置合わせを行うこと
を特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記生成手段は、前記複数の３次元形状データのうちから複数の前記第１の３次元形状データを選択し、選択した複数の前記第１の３次元形状データが示す複数の３次元形状を用いて補間処理又は外挿処理を行うことにより、前記第３の３次元形状データを生成すること
を特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記生成手段は、前記第２の３次元形状データに対応するタイムスタンプに基づいて、前記第１の３次元形状データを選択すること
を特徴とする請求項３に記載の情報処理装置。
【請求項１０】
互いに異なる方向からオブジェクトを撮像する複数の撮像装置による互いに同期した動画像の撮像により得られる多視点画像データを取得する画像取得手段と、
前記多視点画像データに基づいて生成された、時間的に連続する複数の３次元形状データを含む３次元形状シーケンスデータを取得する形状データ取得手段と、
前記３次元形状シーケンスデータに含まれる前記複数の３次元形状データのそれぞれが示すオブジェクトの３次元形状の評価結果のデータを取得する評価取得手段と、
前記複数の撮像装置のそれぞれのカメラパラメータと、前記複数の３次元形状データのうちの前記評価結果が基準を満たす第１の３次元形状データを生成する際に用いられた、前記多視点画像データに含まれるフレームのデータのセットとに基づいて、前記オブジェクトの３次元形状を推定することにより、前記複数の３次元形状データのうちの前記評価結果が基準を満たさない第２の３次元形状データに代わる第３の３次元形状データを生成する生成手段と、
を有することを特徴とする情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
３次元形状データの修正技術に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
オブジェクトを様々な位置から撮像することにより得られる複数の撮像画像データに基づいてオブジェクトの３次元形状を示す３次元形状データを生成する技術がある。また、３次元形状データが示すオブジェクトの３次元形状の精度を評価する技術がある。特許文献１には、３次元形状を２次元の画像上に投影することにより３次元形状の精度の評価を行い、更に、評価結果に基づいて３次元形状を修正することにより正確な３次元形状データを生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２００３－１１５０４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
オブジェクトを動画像として撮像することのより得られる撮像画像データにおける各フレームに基づく３次元形状データの生成により、時間的に連続する複数の３次元形状データを含む３次元形状シーケンスデータを生成することができる。３次元形状シーケンスデータによれば、オブジェクトの３次元形状の時間的な変化を表すことができる。このような３次元シーケンスデータに含まれる各３次元形状データが示すオブジェクトの３次元形状の評価及び生成を行う際には、時間的な変化するオブジェクトの３次元形状を鑑賞する場合等における違和感を低減することが求められる。具体的には、このような違和感を低減するためには、時間的に変化するオブジェクトの３次元形状を考慮する必要がある。しかしながら、特許文献１に開示された技術は、３次元形状の時間的な変化について考慮されたものではない。そのため、特許文献１に開示された技術を適用して３次元形状シーケンスデータに含まれる３次元形状データを修正する場合、修正後の３次元形状シーケンスデータが示すオブジェクトの３次元形状の時間的な変化に違和感が生じることがあった。
【０００５】
本開示は、オブジェクトの３次元形状の時間的な変化に対する違和感の少ない３次元形状データの生成を行うことを目的とする。
【課題を解決するための手段】
【０００６】
本開示に係る情報処理装置は、時間的に連続する複数の３次元形状データを含む３次元形状シーケンスデータを取得する形状データ取得手段と、前記３次元形状シーケンスデータに含まれる前記複数の３次元形状データのそれぞれが示すオブジェクトの３次元形状の評価結果のデータを取得する評価取得手段と、前記複数の３次元形状データのうちの前記評価結果が基準を満たす第１の３次元形状データに基づいて、前記複数の３次元形状データのうちの前記評価結果が基準を満たさない第２の３次元形状データに代わる第３の３次元形状データを生成する生成手段と、を有する。
【発明の効果】
【０００７】
本開示によれば、オブジェクトの３次元形状の時間的な変化に対する違和感の少ない３次元形状データを生成することができる。
【図面の簡単な説明】
【０００８】
実施形態１に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
実施形態１に係る情報処理装置の機能構成の一例を示すブロック図である。
実施形態１に係る３次元形状シーケンスデータの一例を示す図である。
実施形態１に係る評価結果データの一例を示す図である。
実施形態１に係る情報処理装置における処理フローの一例を示すフローチャートである。
実施形態１に係る生成部における処理フローの一例を示すフローチャートである。
実施形態１に係る生成部における参照形状と修正対象形状との位置合わせの一例を示す図である。
実施形態１に係る生成部における局所位置合わせの一例を説明するための図である。
実施形態２に係る生成部における処理フローの一例を示すフローチャートである。
実施形態２に係るポリゴンメッシュの一例を示す図である。
実施形態３に係る情報処理装置の機能構成の一例を示すブロック図である。
実施形態３に係る多視点画像シーケンスデータに含まれる撮像画像シーケンスデータの一例を示す図である。
実施形態３に係る情報処理装置における処理フローの一例を示すフローチャートである。
実施形態４に係る情報処理装置の機能構成の一例を示すブロック図である。
実施形態４に係る情報処理装置における処理フローの一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本開示の実施形態について、図面を参照して説明する。なお、以下の実施形態は、本開示を限定するものではなく、また、実施形態で説明されている特徴の組み合わせの全てが本開示の解決手段に必須のものとは限らない。なお、同一の構成については、同一の符号を付して説明する。
【００１０】
［実施形態１］
＜情報処理装置のハードウェア構成＞
図１は、実施形態１に係る情報処理装置１００のハードウェア構成の一例を示すブロック図である。情報処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、シリアルＩ／Ｆ１０４、ＶＣ１０５、及び汎用Ｉ／Ｆ１０６を有する。ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３又は外部記憶装置１１１等に格納されたＯＳ（オペレーティングシステム）及び各種のプログラムを実行する。なお、ＯＳ及び各種のプログラムの少なくともいずれかは、情報処理装置１００の内部に配置されたハードディスクドライブ等の不図示の補助記憶装置等に格納されていても良い。また、ＣＰＵ１０１は、システムバス１０７を介して図１に示す各ハードウェアを制御する。なお、後述するフローチャートに示す各処理は、ＲＯＭ１０３又は外部記憶装置１１１等に格納されたプログラムコードがＲＡＭ１０２に展開され、ＣＰＵ１０１によって実行される。
（【００１１】以降は省略されています）

関連特許