特許ウォッチ

公開番号2025094281
公報種別公開特許公報(A)
公開日2025-06-25
出願番号2022025085
出願日2022-02-21
発明の名称物体姿勢算出装置および物体姿勢算出方法
出願人株式会社日立製作所
代理人青稜弁理士法人
主分類G06T 7/70 20170101AFI20250618BHJP(計算;計数)
要約【課題】物流現場でのフォークリフト運搬システムにおいて、荷物を搭載するパレットの姿勢算出の精度を正確にして、フォークリフト等の荷役機器による搬送作業を円滑に行えるようにする。
【解決手段】物体姿勢算出装置は、2次元カメラによる2次元画像と、3次元カメラによる3次元画像が入力され、2次元画像より対象物体の複数の頂点を認識する画像頂点認識部と、画像頂点認識部により認識された頂点の座標に基づいて、3次元基準点の3次元座標を決定する3次元基準点決定部と、所定の座標系に対する所定の軸に対して、対象物体の一側面の角度を算出する物体姿勢算出部とを有し、物体姿勢算出部は、3次元座標における頂点の座標と、3次元座標における3次元基準点の制約条件と、2次元画像の性質に基づく頂点の2次元座標と対応する3次元座標の制約条件とに基づいて対象物体の角度を算出する。
【選択図】図1
特許請求の範囲【請求項１】
２次元カメラにより撮像された２次元画像と、３次元カメラにより撮像された３次元画像とを入力して、所定の座標系に対する対象物体の角度を算出する物体姿勢算出装置であって、
前記２次元画像より対象物体の複数の頂点を認識する画像頂点認識部と、
前記画像頂点認識部により認識された頂点の座標に基づいて、３次元基準点の３次元座標を決定する３次元基準点決定部と、
前記所定の座標系に対する所定の軸に対して、前記対象物体の一側面の角度を算出する物体姿勢算出部とを有し、
前記物体姿勢算出部は、３次元座標における頂点の座標と、３次元座標における３次元基準点の制約条件と、前記２次元画像の性質に基づく頂点の２次元座標と対応する３次元座標の制約条件とに基づいて前記角度を算出することを特徴とする物体姿勢算出装置。
続きを表示（約 1,300 文字）【請求項２】
前記対象物体は、直方体形状をなし、前記画像頂点認識部により認識された頂点は、直方体形状のある側面の四頂点を含むことを特徴とする請求項１記載の物体姿勢算出装置。
【請求項３】
前記３次元基準点は、前記側面の四頂点の対向する互いの２点を結んだ線分の交点に配置されることを特徴する請求項２記載の物体姿勢算出装置。
【請求項４】
前記側面の四頂点の対向する互いの二点を結んだ線分の交点に対して、対向する互いの二点を結んだ第一の線分の長さと、第二の線分の長さの比に基づいて補正された点を、前記３次元基準点とすることを特徴とする請求項２記載の物体姿勢算出装置。
【請求項５】
前記側面の四頂点の対向する互いの二点を結んだ線分の交点を中心とする一定領域に対して、画像データを取得し、前記画像データの３次元座標におけるそれぞれの座標の相加平均をとった値を座標とする点を、前記３次元基準点とすることを特徴とする請求項２記載の物体姿勢算出装置。
【請求項６】
前記対象物体は、パレットであることを特徴とする請求項１記載の物体姿勢算出装置。
【請求項７】
前記対象物体は、パレットであり、前記一定領域は、前記パレットのフォークポケット間のおける矩形領域を含むことを特徴とする請求項５記載の物体姿勢算出装置。
【請求項８】
２次元画像を撮像する２次元カメラと、
３次元画像を撮像する３次元カメラと、
フォークリフトと、
２次元カメラにより撮像された２次元画像と、３次元カメラにより撮像された３次元画像とを入力して、所定の座標系に対する対象物体の角度を算出する物体姿勢算出装置とを備えるフォークリフト運搬システムであって、
前記物体姿勢算出装置が、２次元カメラにより撮像された２次元画像を取得するステップと、
前記物体姿勢算出装置が、３次元カメラにより撮像された３次元画像を取得するステップと、
前記物体姿勢算出装置が、前記２次元画像よりパレットの複数の頂点を認識する画像頂点認識ステップと、
前記物体姿勢算出装置が、前記画像頂点認識部により認識された頂点の座標に基づいて、３次元基準点の３次元座標を決定する３次元基準点決定ステップと、
前記物体姿勢算出装置が、前記所定の座標系に対する所定の軸に対して、前記対象物体の一側面の角度を算出する物体姿勢算出ステップと、
前記所定の座標系に対する所定の軸に対して、前記対象物体の一側面の角度を算出する物体姿勢算出部とを有し、
前記物体姿勢算出装置が、前記フォークリフトに対して算出した角度を送信するステップと、
前記フォークリフトは、送信された角度に基づき前記パレットの運行を行うステップとを有し、
前記物体姿勢算出ステップでは、３次元座標における頂点の座標と、３次元座標における３次元基準点の制約条件と、前記２次元画像の性質に基づく頂点の２次元座標と対応する３次元座標の制約条件とに基づいて前記角度を算出することを特徴とする物体姿勢算出方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、物体姿勢算出装置および物体姿勢算出方法に係り、特に、倉庫等における物流作業において、荷物を搭載するパレットの姿勢算出の精度を正確にして、フォークリフト等の荷役機器による搬送作業を円滑に行うのに好適な物体姿勢算出装置および物体姿勢算出方法に関する。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
近年の物流スタイルでは、パレットといわれる荷物を載せるための荷役台とフォークリフトにより、荷物の運搬作業を行うのが一般的である。パレットには、貨物を載せる面の両サイドに差込口（フォークポケット）が設けられており、そこにフォークリフトのツメ（フォーク）を差し込むことによって、上下移動や搬送が容易にでき、効率的な作業が可能となる。
【０００３】
このような物流の作業スタイルに鑑み、パレットを画像認識して、位置を把捉して、無人の自動フォークリフトでの運搬や、有人のフォークリフトの運転手の補助を行う技術が提案されている。
【０００４】
パレットを画像認識するために、２Ｄ画像とデプスカメラなどによる３Ｄ点群によりパレットの位置姿勢認識をする技術がある。このような物体の位置姿勢認識において、一般的には、離れた物体上の２点以上のデプス(例えば、左の頂点、右の頂点)を使って認識するが、物流作業の実務においては、現場環境や検出対象物状態により、３Ｄ点群の測定品質が低いという問題があり、数少ない測定品質の高い点群を用いて対象物体の位置姿勢認識を認識する必要がある。
【０００５】
３Ｄ参照点を利用して、物体の位置姿勢を求めるアルゴリズムについては、例えば、非特許文献１に記載がある。この非特許文献１では、３Ｄ参照点とそれらの２Ｄ平面におけるイメージの位置関係を表す数式が記載されている（§2 THE CAMERA POSE FROM THREE POINTS REVISITED, Fig 1）。
【０００６】
また、これに関連して、特許文献１には、デプスカメラにより取得されたデプス画像と、デプス画像から抽出された平面領域に基づいて、物体の位置、姿勢を算出する三次元計測・表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
国際公開第２０１４／１４７８６３号公報
【非特許文献】
【０００８】
Long Quan, etc. “Linear N-point Camera Pose Determination”, IEEE Transactions on Pattern Analysis and Machine Intelligence, USA, IEEE, Aug 1999, Volume 21, Issue 8, p. 774 - 780
【発明の概要】
【発明が解決しようとする課題】
【０００９】
以下、図１３を用いて発明が解決しようとする課題について説明する。
【００１０】
図１３は、パレットの斜視図と諸元を説明する図である。
上記で述べたように、現状のデプスカメラの測定の問題により、３Ｄ点群の測定品質が低いため、数少ない測定品質の高い点群を用いて対象物体となるパレットの位置姿勢認識を認識することを考える。
（【００１１】以降は省略されています）

関連特許