特許ウォッチ

公開番号2023078755
公報種別公開特許公報(A)
公開日2023-06-07
出願番号2021192022
出願日2021-11-26
発明の名称判定装置、判定システム、判定方法及びプログラム
出願人LeapMind株式会社
代理人個人,個人,個人,個人
主分類G06T 7/73 20170101AFI20230531BHJP(計算;計数)
要約【課題】対象物の姿勢を精度よく検出する判定装置、判定システム、判定方法及びプログラムを提供する。
【解決手段】判定装置12は、対象物を撮像した画像I1と、前記画像に対応する位置の深度情報I2とを含む画像情報を取得する画像情報取得部121と、画像情報に含まれる画像に基づいて、対象物が有する特定の位置であるキーポイントを検出する検出部122と、画像情報に含まれる前記深度情報に基づいて、検出されたキーポイントに対応する位置の深度を算出する算出部123と、算出されたキーポイントに対応する位置の深度に基づいて、対象物の姿勢を推定する推定部124と、を備える。
【選択図】図5
特許請求の範囲【請求項１】
対象物を撮像した画像と、前記画像に対応する位置の深度情報とを含む画像情報を取得する画像情報取得部と、
前記画像情報に含まれる前記画像に基づいて、前記対象物が有する特定の位置であるキーポイントを検出する検出部と、
前記画像情報に含まれる前記深度情報に基づいて、検出された前記キーポイントに対応する位置の深度を算出する算出部と、
算出された前記キーポイントに対応する位置の深度に基づいて、前記対象物の姿勢を推定する推定部と
を備える判定装置。
続きを表示（約 1,200 文字）【請求項２】
前記推定部は、前記画像を撮像した撮像部に対する前記対象物の傾きを、前記対象物の姿勢として推定する
請求項１に記載の判定装置。
【請求項３】
前記対象物とは、車輪を有する籠車であり、
前記キーポイントとは、少なくとも１つの前記車輪を含む
請求項１又は請求項２に記載の判定装置。
【請求項４】
前記籠車は荷物を積載可能な底面と、４個の前記車輪とを備え、
前記検出部は、前記底面を特定する４点と、４個の前記車輪の位置をそれぞれ特定する４点とを前記キーポイントとして検出する
請求項３に記載の判定装置。
【請求項５】
前記推定部は、前記対象物が有する複数の辺のうち、前記画像を撮像した撮像部に近い辺の中心点の座標と角度を推定する
請求項４に記載の判定装置。
【請求項６】
前記算出部は、対象物の実際の大きさと、前記画像情報に含まれる前記深度情報とに基づいて、検出された前記キーポイントに対応する位置の深度を算出する
請求項１から請求項５のいずれか一項に記載の判定装置。
【請求項７】
前記検出部は学習済みモデルを備え、機械学習により前記キーポイントを検出する
請求項１から請求項６のいずれか一項に記載の判定装置。
【請求項８】
前記対象物が撮像された前記画像と、前記対象物の前記キーポイントの位置座標とを記憶する記憶装置と、
前記記憶装置に記憶された前記画像に含まれる前記対象物と前記キーポイントとを教師データとしてとして用い、前記学習済みモデルを生成するモデル生成手段と、
学習された前記学習済みモデルを用いて、前記キーポイントを検出する請求項７に記載の判定装置と
を備える判定システム。
【請求項９】
対象物を撮像した画像と、前記画像に対応する深度情報とを含む画像情報を取得する画像情報取得工程と、
前記画像情報に含まれる前記画像に基づいて、前記対象物が有する特定の位置であるキーポイントを検出する検出工程と、
前記画像情報に含まれる前記深度情報に基づいて、検出された前記キーポイントに対応する座標の深度を算出する算出工程と、
前記対象物の姿勢を推定する推定工程と
を有する判定方法。
【請求項１０】
コンピュータに、
対象物を撮像した画像と、前記画像に対応する深度情報とを含む画像情報を取得する画像情報取得ステップと、
前記画像情報に含まれる前記画像に基づいて、前記対象物が有する特定の位置であるキーポイントを検出する検出ステップと、
前記画像情報に含まれる前記深度情報に基づいて、検出された前記キーポイントに対応する座標の深度を算出する算出ステップと、
前記対象物の姿勢を推定する推定ステップと
を実行させるプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、判定装置、判定システム、判定方法及びプログラムに関する。
続きを表示（約 1,100 文字）【背景技術】
【０００２】
従来、移動体を自律走行させる技術分野において、機械学習を用いて物体の形状等を検出する技術が知られている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－０９９３８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような従来技術によれば、移動体を自律走行させるための物体の位置姿勢の推定や、センサの位置姿勢を算出するための地図情報の更新ができるかもしれない。しかしながら、機械学習を用いて物体の形状等を検出した場合、機械学習の推論演算結果に含まれる誤差は無視できない。したがって、適切に移動体の制御を行えない場合があるという問題があった。
【０００５】
そこで本発明は、このような状況に鑑みてなされたものであり、対象物の姿勢を精度よく検出することが可能な技術の提供を目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る判定装置は、対象物を撮像した画像と、前記画像に対応する位置の深度情報とを含む画像情報を取得する画像情報取得部と、前記画像情報に含まれる前記画像に基づいて、前記対象物が有する特定の位置であるキーポイントを検出する検出部と、前記画像情報に含まれる前記深度情報に基づいて、検出された前記キーポイントに対応する位置の深度を算出する算出部と、算出された前記キーポイントに対応する位置の深度に基づいて、前記対象物の姿勢を推定する推定部とを備える。
【０００７】
また、本発明の一態様に係る判定装置において、前記推定部は、前記画像を撮像した撮像部に対する前記対象物の傾きを、前記対象物の姿勢として推定する。
【０００８】
また、本発明の一態様に係る判定装置において、前記対象物とは、車輪を有する籠車であり、前記キーポイントとは、少なくとも１つの前記車輪を含む。
【０００９】
また、本発明の一態様に係る判定装置において、前記籠車は荷物を積載可能な底面と、４個の前記車輪とを備え、前記検出部は、前記底面を特定する４点と、４個の前記車輪の位置をそれぞれ特定する４点とを前記キーポイントとして検出する。
【００１０】
また、本発明の一態様に係る判定装置において、前記推定部は、前記対象物が有する複数の辺のうち、前記画像を撮像した撮像部に近い辺の中心点の座標と角度を推定する。
（【００１１】以降は省略されています）

関連特許