特許ウォッチ

公開番号2025049783
公報種別公開特許公報(A)
公開日2025-04-04
出願番号2023158179
出願日2023-09-22
発明の名称姿勢検出システム及び姿勢検出方法
出願人トヨタ自動車株式会社
代理人個人
主分類G06T 7/00 20170101AFI20250327BHJP(計算;計数)
要約【課題】処理を高速化しつつ、精度の高いワークの姿勢検出システムを提供する。
【解決手段】撮像装置で撮影した対象物のRGB画像からマスク画像を取得するマスク画像取得部と、複数の撮像装置で撮影した対象物のRGB画像に基づいて、対象物の位置までの奥行を推定する奥行推定モデルと、マスク画像から対象物をくり抜き、くり抜いた対象物の画像と奥行のデータに基づいて対象物の姿勢を検出する姿勢検出部と、を備える姿勢検出システが提供される。
【選択図】図1
特許請求の範囲【請求項１】
撮像装置で撮影した対象物のＲＧＢ画像からマスク画像を取得するマスク画像取得部と、
複数の撮像装置で撮影した前記対象物のＲＧＢ画像に基づいて、前記対象物の位置までの奥行を推定する奥行推定モデルと、
前記マスク画像から前記対象物をくり抜き、くり抜いた前記対象物の画像と前記奥行のデータに基づいて前記対象物の姿勢を検出する姿勢検出部と、を備える姿勢検出システム。
続きを表示（約 1,000 文字）【請求項２】
前記マスク画像取得部は、
前記対象物のマスク画像に物体のシルエット画像を配置した粗い前記対象物のマスク画像を入力データとし、きれいな前記対象物のマスク画像を教示データとして学習し、前記対象物のマスク画像からきれいな前記対象物のマスク画像を出力する第１の機械学習器と、
前記対象物のＲＧＢ画像を入力とし、きれいな前記対象物のマスク画像を教示データとして学習し、前記対象物のＲＧＢ画像からきれいな前記対象物のマスク画像を出力する第２の機械学習器と、を用いて、前記対象物のＲＧＢ画像を入力とし、きれいな前記対象物のマスク画像を出力する、請求項１に記載の姿勢検出システム。
【請求項３】
前記奥行推定モデルは、
前記対象物のＲＧＢ画像からマスク画像を取得し、
前記マスク画像をＰａｄｄｉｎｇで正方形の画像に加工し、
前記正方形の画像から物体検出モデルで前記対象物を検出し、
検出した前記対象物を機械学習器に入力して奥行を推定する、請求項１に記載の姿勢検出システム。
【請求項４】
前記姿勢検出部は、
前記マスク画像から２次元のＢｏｕｎｄｉｎｇＢｏｘ位置を検出し、前記対象物の２次元の座標を推定し、
前記マスク画像から前記対象物のセグメントマスクの画像をくり抜き、Ｐａｄｄｉｎｇで正方形の画像に加工し、
前記正方形の画像から物体検出モデルで前記対象物を検出し、
検出した前記対象物を機械学習器に入力して３次元の大きさを推定し、
前記３次元の大きさから前記対象物の３ＤＢｏｕｎｄｉｎｇＢｏｘの頂点座標を算出し、
前記頂点座標から前記３ＤＢｏｕｎｄｉｎｇＢｏｘの回転座標を算出し、
前記奥行のデータ、前記２次元の座標、前記３次元の大きさ、及び前記回転座標から前記対象物の姿勢の検出を行う、請求項１に記載の姿勢検出システム。
【請求項５】
撮像装置で撮影した対象物のＲＧＢ画像からマスク画像を取得し、
複数の撮像装置で撮影した前記対象物のＲＧＢ画像に基づいて、前記対象物の位置までの奥行を推定し、
前記マスク画像から前記対象物をくり抜き、くり抜いた前記対象物の画像と前記奥行のデータに基づいて前記対象物の姿勢を検出する姿勢検出方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は姿勢検出システム及び姿勢検出方法に関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
ロボットのエンドエフェクタによって対象物を取得するために、画像処理により対象物を認識する方法が開発されている。特許文献１では、３次元カメラを用いて、箱の２次元三原色（ＲＧＢ）画像と、２次元深度マップ画像とを取得する方法が開示されている。当該方法は、画像区分プロセスを用いる。画像区分プロセスは、ＣＰＵによって実行可能な、簡単化されたマスクＲ－ＣＮＮ（畳み込みニューラルネットワーク）を用いて、ＲＧＢ画像中のいずれかの画素が各箱と関連付けられているかを予測する。各箱と関連付けられている画素には、該箱のためのマスクを定義するように結び付ける固有のラベルが付与されている。そして、当該方法は、区分画像を用いて、箱を取り上げるための位置を特定する。
【先行技術文献】
【特許文献】
【０００３】
特開２０２３－８１３１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、高度な推定モデルの場合、推定周期が遅かった。また、処理の速いモデルの場合、推定の精度・ロバスト性が低かった。そこで本開示の目的は、処理を高速化しつつ、精度の高いワークの姿勢検出システムを提供することである。
【課題を解決するための手段】
【０００５】
本開示の姿勢検出システムは、
撮像装置で撮影した対象物のＲＧＢ画像からマスク画像を取得するマスク画像取得部と、
複数の撮像装置で撮影した前記対象物のＲＧＢ画像に基づいて、前記対象物の位置までの奥行を推定する奥行推定モデルと、
前記マスク画像から前記対象物をくり抜き、くり抜いた前記対象物の画像と前記奥行のデータに基づいて前記対象物の姿勢を検出する姿勢検出部と、を備える姿勢検出システムである。
【０００６】
上記構成により、処理を高速化しつつ、精度の高いワークの姿勢検出システムが提供される。
【０００７】
本開示の姿勢検出システムは、
前記マスク画像取得部は、
前記対象物のマスク画像に物体のシルエット画像を配置した粗い前記対象物のマスク画像を入力データとし、きれいな前記対象物のマスク画像を教示データとして学習し、前記対象物のマスク画像からきれいな前記対象物のマスク画像を出力する第１の機械学習器と、
前記対象物のＲＧＢ画像を入力とし、きれいな前記対象物のマスク画像を教示データとして学習し、前記対象物のＲＧＢ画像からきれいな前記対象物のマスク画像を出力する第２の機械学習器と、を用いて、前記対象物のＲＧＢ画像を入力とし、きれいな前記対象物のマスク画像を出力する、ことを特徴とする。
【０００８】
上記構成により、対象物のＲＧＢ画像からきれいな対象物のマスク画像を取得できる。
【０００９】
本開示の姿勢検出システムは、
前記奥行推定モデルは、
前記対象物のＲＧＢ画像からマスク画像を取得し、
前記マスク画像をＰａｄｄｉｎｇで正方形の画像に加工し、
前記正方形の画像から物体検出モデルで前記対象物を検出し、
検出した前記対象物を機械学習器に入力して奥行を推定する、ことを特徴とする。
【００１０】
上記構成により、エンドエフェクタから対象物までの距離を推定できる。
（【００１１】以降は省略されています）

関連特許