特許ウォッチ

公開番号2025175556
公報種別公開特許公報(A)
公開日2025-12-03
出願番号2024081727
出願日2024-05-20
発明の名称物体の姿勢推定装置および姿勢推定方法
出願人トヨタ自動車株式会社
代理人個人,個人
主分類G06T 7/70 20170101AFI20251126BHJP(計算;計数)
要約【課題】入力された画像に含まれる物体が小さい場合や物体の解像度が低い場合であっても、物体の姿勢を精度良く推定することが可能な物体の姿勢推定装置および姿勢推定方法を提供する。
【解決手段】画像データから物体の姿勢を推定する姿勢推定装置1であって、深度画像を取得し、深度画像から法線画像を取得し、深度画像から切り抜かれた物体の超解像度画像を生成し、画像データ、超解像度画像および法線画像に含まれる物体の特徴量を抽出し、超解像度画像と法線画像とから抽出された特徴量に基づいて物体の形状を復元した補正画像を生成し、補正画像に基づいて物体の状態に関するパラメータを推定し、画像データから物体の位置を推定し、物体の状態に関するパラメータと物体の位置と、に基づいて物体の姿勢を推定する。
【選択図】図2
特許請求の範囲【請求項１】
畳み込みニューラルネットワークを用いて物体が撮影された画像データを解析し、前記画像データに含まれる前記物体の姿勢を推定する物体の姿勢推定装置であって、
前記画像データに含まれる前記物体の奥行きに関するデータである深度データを含む深度画像を取得する深度データ取得部と、
前記深度画像から前記物体の表面の法線ベクトルを求めた法線画像を取得する法線データ取得部と、
前記深度画像から切り抜かれた前記物体の解像度を高くした超解像度画像を生成する超解像度画像生成部と、
前記画像データ、前記超解像度画像および前記法線画像に含まれる前記物体の特徴を定量的に表した特徴量を抽出する特徴量抽出部と、
前記超解像度画像と前記法線画像とから抽出された前記特徴量に基づいて前記物体の形状を復元した補正画像を生成する補正画像生成部と、
前記補正画像に基づいて前記物体の状態に関するパラメータを推定する状態推定部と、
前記画像データから前記物体の位置を推定する位置推定部と、
前記状態推定部によって推定された前記物体の状態に関する前記パラメータと、前記位置推定部によって推定された前記物体の位置と、に基づいて前記物体の姿勢を推定する姿勢推定部と、を備えている
ことを特徴とする物体の姿勢推定装置。
続きを表示（約 1,200 文字）【請求項２】
請求項１に記載の物体の姿勢推定装置であって、
前記位置推定部によって推定された前記物体の位置および前記姿勢推定部によって推定された前記物体の姿勢の出力データと、前記物体の位置および姿勢に関する実際のデータとを、ガウスニュートン法によってフィッティングする最適化部をさらに備えている
ことを特徴とする物体の姿勢推定装置。
【請求項３】
請求項１または２に記載の物体の姿勢推定装置であって、
前記補正画像生成部は、
前記深度画像から抽出された前記物体の前記特徴量と、前記法線画像から抽出された前記物体の前記特徴量とをチャンネル方向に結合した合成特徴量を生成し、
前記合成特徴量に基づき、周辺のコピー値を用いて欠損している部分を補間するアップサンプリング処理を施すことによって前記物体を復元し、前記補正画像を生成するように構成されている
ことを特徴とする物体の姿勢推定装置。
【請求項４】
畳み込みニューラルネットワークを用いて物体が撮影された画像データを解析し、前記画像データに含まれる前記物体の姿勢を推定する物体の姿勢推定方法であって、
前記画像データに含まれる前記物体の奥行きに関するデータである深度データを含む深度画像を取得し、
前記深度画像から前記物体の表面の法線ベクトルを求めた法線画像を取得し、
前記深度画像から切り抜かれた前記物体の解像度を高くした超解像度画像を生成し、
前記画像データ、前記超解像度画像および前記法線画像に含まれる前記物体の特徴を定量的に表した特徴量を抽出し、
前記超解像度画像と前記法線画像とから抽出された前記特徴量に基づいて前記物体の形状を復元した補正画像を生成し、
前記補正画像に基づいて前記物体の状態に関するパラメータを推定し、
前記画像データから前記物体の位置を推定し、
推定された前記物体の状態に関する前記パラメータと、推定された前記物体の位置と、に基づいて前記物体の姿勢を推定する
ことを特徴とする物体の姿勢推定方法。
【請求項５】
請求項４に記載の物体の姿勢推定方法であって、
推定された前記物体の位置および推定された前記物体の姿勢に関する出力データと、物体の位置および姿勢に関する実際のデータとを、ガウスニュートン法によってフィッティングする
ことを特徴とする物体の姿勢推定方法。
【請求項６】
請求項４または５に記載の物体の姿勢推定方法であって、
前記深度画像から抽出された前記物体の前記特徴量と、前記法線画像から抽出された前記物体の前記特徴量とをチャンネル方向に結合した合成特徴量を生成し、
前記合成特徴量に基づき、周辺のコピー値を用いて欠損している部分を補間するアップサンプリング処理を施すことによって前記物体を復元し、前記補正画像を生成する
ことを特徴とする物体の姿勢推定方法。

発明の詳細な説明【技術分野】
【０００１】
この発明は、映像データおよび画像データに含まれている物体を解析して姿勢を推定する装置および方法に関するものである。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
近年、人工知能（ＡＩ）や情報通信技術（ＩＣＴ）などの先端技術を活用して、効率的に、学習、推定、認識、判断等の処理を行う技術の実用化が進められている。そのうち、ＡＩが実行する学習の手法として機械学習がある。機械学習は、機械（コンピュータ）が与えられた多数のデータを用いて自ら学習し、その学習結果（学習済みモデル）を基に、入力データに対する出力データの最適化を実行し、その出力データに基づく推定や予測等を行う。そのような機械学習には、入力されたデータに基づいて畳み込み処理を行う畳み込みニューラルネットワーク（ＣＮＮ；Convolutional Neural Network）などの処理技術がある。機械学習は、例えば、画像認識、音声認識、自然言語処理、および、機械翻訳など、様々な分野で活用されている。
【０００３】
上記のような機械学習を用いて物体の姿勢を推定する技術が特許文献１に記載されている。特許文献１には、物体の姿勢や物体の明るさなどの条件にかかわらず、物体の画像に対して精度良く姿勢の推定や照合を行うことを目的とした物体の姿勢推定および照合システムが開示されている。特許文献１のシステムでは、入力画像に基づいて複数の姿勢候補を生成する。複数の姿勢候補に基づき、３次元物体モデルを２次元の画像に射影しつつ照明などの条件が入力画像に近い比較画像を複数生成する。生成された各比較画像の鮮明度を反映した特徴量（鮮明度特徴量）を抽出する。そして、入力画像と複数の比較画像との相違度に、その鮮明度特徴量を加重した相違度（加重相違度）を比較画像ごとに求める。その後、複数の加重相違度に基づいて複数の比較画像から入力画像に最も近い比較画像を選出し、その選出した比較画像から最適な（最も近い）姿勢を推定する。特許文献１のシステムでは、比較画像の鮮明度を反映した鮮明度特徴量を加味するため、３次元物体モデルと入力画像とで姿勢や物体が合っていない場合には大きな相違度が生じやすくなるので姿勢推定の精度が向上する、としている。
【先行技術文献】
【特許文献】
【０００４】
特許第４６９２７７３号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１のシステムでは、入力画像に基づいて姿勢を推定して複数の比較画像を生成し、その比較画像の特徴量や入力画像と比較画像との相違度などによって物体の姿勢を推定している。しかしながら、物体から離れた位置にカメラが設置されている場合や、対象となる物体が小さい物体である場合などには、入力画像に含まれている物体が小さかったり物体の解像度が低くなったりすることがある。そのような場合には、入力画像から得られる特徴量が少なくなったり、物体の凹凸などの形状を誤って推定したりする可能性がある。そのため、特許文献１のシステムでは、鮮明度を加味したとしても、入力画像に写っている物体の大きさや解像度などによっては、所望する精度で物体の姿勢を推定することができない可能性がある。
【０００６】
この発明は、上記の技術的課題に着目してなされたものであって、入力された画像に含まれる物体が小さい場合や物体の解像度が低い場合であっても、物体の姿勢を精度良く推定することが可能な物体の姿勢推定装置および姿勢推定方法を提供することを目的としている。
【課題を解決するための手段】
【０００７】
この発明は、上記の目的を達成するために、畳み込みニューラルネットワークを用いて物体が撮影された画像データを解析し、前記画像データに含まれる前記物体の姿勢を推定する物体の姿勢推定装置であって、前記画像データに含まれる前記物体の奥行きに関するデータである深度データを含む深度画像を取得する深度データ取得部と、前記深度画像から前記物体の表面の法線ベクトルを求めた法線画像を取得する法線データ取得部と、前記深度画像から切り抜かれた前記物体の解像度を高くした超解像度画像を生成する超解像度画像生成部と、前記画像データ、前記超解像度画像および前記法線画像に含まれる前記物体の特徴を定量的に表した特徴量を抽出する特徴量抽出部と、前記超解像度画像と前記法線画像とから抽出された前記特徴量に基づいて前記物体の形状を復元した補正画像を生成する補正画像生成部と、前記補正画像に基づいて前記物体の状態に関するパラメータを推定する状態推定部と、前記画像データから前記物体の位置を推定する位置推定部と、前記状態推定部によって推定された前記物体の状態に関する前記パラメータと、前記位置推定部によって推定された前記物体の位置と、に基づいて前記物体の姿勢を推定する姿勢推定部と、を備えていることを特徴とするものである。
【０００８】
また、この発明の姿勢推定装置においては、前記位置推定部によって推定された前記物体の位置および前記姿勢推定部によって推定された前記物体の姿勢の出力データと、前記物体の位置および姿勢に関する実際のデータとを、ガウスニュートン法によってフィッティングする最適化部をさらに備えていてよい。
【０００９】
さらに、この発明の姿勢推定装置における前記補正画像生成部は、前記深度画像から抽出された前記物体の前記特徴量と、前記法線画像から抽出された前記物体の前記特徴量とをチャンネル方向に結合した合成特徴量を生成し、前記合成特徴量に基づき、周辺のコピー値を用いて欠損している部分を補間するアップサンプリング処理を施すことによって前記物体を復元し、前記補正画像を生成するように構成されていてよい。
【００１０】
一方、この発明は、畳み込みニューラルネットワークを用いて物体が撮影された画像データを解析し、前記画像データに含まれる前記物体の姿勢を推定する物体の姿勢推定方法であって、前記画像データに含まれる前記物体の奥行きに関するデータである深度データを含む深度画像を取得し、前記深度画像から前記物体の表面の法線ベクトルを求めた法線画像を取得し、前記深度画像から切り抜かれた前記物体の解像度を高くした超解像度画像を生成し、前記画像データ、前記超解像度画像および前記法線画像に含まれる前記物体の特徴を定量的に表した特徴量を抽出し、前記超解像度画像と前記法線画像とから抽出された前記特徴量に基づいて前記物体の形状を復元した補正画像を生成し、前記補正画像に基づいて前記物体の状態に関するパラメータを推定し、前記画像データから前記物体の位置を推定し、推定された前記物体の状態に関する前記パラメータと、推定された前記物体の位置と、に基づいて前記物体の姿勢を推定することを特徴とする方法である。
（【００１１】以降は省略されています）

関連特許