特許ウォッチ

公開番号2025152688
公報種別公開特許公報(A)
公開日2025-10-10
出願番号2024054713
出願日2024-03-28
発明の名称3Dモデル生成用画像取得装置
出願人株式会社SOKEN,株式会社デンソー
代理人個人,個人
主分類G06T 19/00 20110101AFI20251002BHJP(計算;計数)
要約【課題】ロボットの作業環境を撮像した撮像画像から3Dモデルを生成する際に、より精密な3Dモデルを、より手間を抑えて生成することを可能にする。
【解決手段】撮像画像の入力を受け付ける撮像画像取得部11と、3Dモデルを生成する際に位置の基準として用いるマーカーの画像であるマーカー画像の入力を受け付けるマーカー画像取得部12と、撮像画像取得部11で取得した撮像画像から、マーカー画像の合成先の領域である合成先領域を抽出する合成先抽出部13と、マーカー画像取得部12で入力を受け付けたマーカー画像を、撮像画像のうちの、合成先抽出部13で抽出した合成先領域に合成する画像合成部14と、画像合成部14で撮像画像にマーカー画像を合成した画像である合成画像を出力する画像出力部15とを備える。
【選択図】図1
特許請求の範囲【請求項１】
ロボットの作動環境の３Ｄモデルを生成するのに用いるための、前記作動環境の撮像画像を取得する３Ｄモデル生成用画像取得装置であって、
前記撮像画像の入力を受け付ける撮像画像取得部（１１）と、
前記３Ｄモデルを生成する際に位置の基準として用いるマーカーの画像であるマーカー画像の入力を受け付けるマーカー画像取得部（１２，１２ａ）と、
前記撮像画像取得部で取得した前記撮像画像から、前記マーカー画像の合成先の領域である合成先領域を抽出する合成先抽出部（１３，１３ａ）と、
前記マーカー画像取得部で入力を受け付けた前記マーカー画像を、前記撮像画像のうちの、前記合成先抽出部で抽出した前記合成先領域に合成する画像合成部（１４）と、
前記画像合成部で前記撮像画像に前記マーカー画像を合成した画像である合成画像を出力する画像出力部（１５）と、を備える３Ｄモデル生成用画像取得装置。
続きを表示（約 1,200 文字）【請求項２】
請求項１に記載の３Ｄモデル生成用画像取得装置であって、
前記マーカー画像取得部は、前記マーカー画像として、互いに区別可能な複数種類のマーカー画像の入力を受け付け、
前記合成先抽出部は、前記合成先領域として、互いに区別可能な複数の領域を抽出し、
前記画像合成部は、前記マーカー画像取得部で入力を受け付けた複数種類の前記マーカー画像を、前記撮像画像のうちの、前記合成先抽出部で抽出した複数の前記合成先領域にそれぞれ合成する３Ｄモデル生成用画像取得装置。
【請求項３】
請求項１又は２に記載の３Ｄモデル生成用画像取得装置であって、
前記合成先抽出部（１３）は、前記作動環境の設計データを用いて、前記撮像画像から、前記合成先領域の条件に合う領域を、前記合成先領域として抽出する３Ｄモデル生成用画像取得装置。
【請求項４】
請求項３に記載の３Ｄモデル生成用画像取得装置であって、
前記合成先抽出部は、縦横比が所定の比率の所定形状の領域を、前記合成先領域の条件に合う領域として、前記合成先領域を抽出する３Ｄモデル生成用画像取得装置。
【請求項５】
請求項４に記載の３Ｄモデル生成用画像取得装置であって、
前記合成先抽出部は、所定の識別子を含む所定形状の領域を、前記合成先領域の条件に合う領域として、前記合成先領域を抽出する３Ｄモデル生成用画像取得装置。
【請求項６】
請求項４に記載の３Ｄモデル生成用画像取得装置であって、
前記合成先抽出部は、所定の色を所定の割合含む所定形状の領域を、前記合成先領域の条件に合う領域として、前記合成先領域を抽出する３Ｄモデル生成用画像取得装置。
【請求項７】
請求項１又は２に記載の３Ｄモデル生成用画像取得装置であって、
前記合成先抽出部（１３）は、予め機械学習しておいた、前記作動環境のうちの前記合成先領域の条件に合う領域に特有の情報を用いて、前記撮像画像から、前記合成先領域の条件に合う領域を、前記合成先領域として抽出する３Ｄモデル生成用画像取得装置。
【請求項８】
請求項１に記載の３Ｄモデル生成用画像取得装置であって、
前記マーカー画像が紐づけられた情報を読み取ることができる識別子が映りこんだ撮像画像から、その識別子を抽出する識別子抽出部（１６）を備え、
前記合成先抽出部（１３ａ）は、前記識別子抽出部で抽出する前記識別子が配置されている領域を、前記合成先領域として抽出し、
前記マーカー画像取得部（１２ａ）は、前記識別子抽出部で抽出した前記識別子から読み取ることができる情報に紐づけられた前記マーカー画像を、そのマーカー画像が記憶された記憶装置から取得することで、前記マーカー画像の入力を受け付ける３Ｄモデル生成用画像取得装置。

発明の詳細な説明【技術分野】
【０００１】
本開示は、３Ｄモデル生成用画像取得装置に関するものである。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
生産年齢人口の減少による生産現場での労働力不足が社会問題となっており、人の代わりに働くロボットを用いた自動化システムが求められている。しかしながら、現実空間において、ロボットを周辺構造物と干渉しないようにしつつ、求める動作を実現できるように配置するには多大な手間が生じる。よって、生産現場へのロボットの導入にあたって、システムの統合のためのインテグレーションコストを抑えることが望まれる。
これに対して、例えば特許文献１には、仮想空間上に、ロボット及び当該ロボットの周辺構造物の仮想３次元モデルを配置した仮想ロボットシステムを構築し、ロボットの移動経路を教示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１６―１４０９５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示の技術であっても、仮想３次元モデル（以下、３Ｄモデル）と現実のロボットの作動環境とにズレがある場合には、インテグレーションコストが高くなってしまう問題がある。これは、このようなズレがある場合には、実機を動作させて教示通りの動きが実際に行われるか確認しつつ、教示をやり直していく手戻り工数が発生するためである。よって、３Ｄモデルと現実の作動環境とのズレを解消し、インテグレーションコストを抑えるためには、ロボットの作業環境の精密な３Ｄモデルを生成する必要がある。
【０００５】
ここで、ロボットの作業環境を撮像した撮像画像から３Ｄモデルを生成する場合に、位置の基準となるマーカーを作業環境に予め設置しておくことで、このマーカーを基準に、現実の作動環境とのズレを抑えた精密な３Ｄモデルを生成することが考えられる。しかしながら、マーカーを作業環境に設置する場合、マーカーを設置する箇所の選定，設置，回収にかかる手間が大きくなってしまう。特に、設備の組み換え頻度が高い工場のような現場を継続的に３Ｄモデル化する場合、マーカーを運用する手間を削減することが求められる。また、３Ｄモデルを生成するソフトウェアの変更により、３Ｄモデルの生成に用いるマーカーが変更される場合、新たなソフトウェアに対応したマーカーを設置しなければならない手間が生じる。
【０００６】
この開示の１つの目的は、ロボットの作業環境を撮像した撮像画像から３Ｄモデルを生成する際に、より精密な３Ｄモデルを、より手間を抑えて生成することを可能にする３Ｄモデル生成用画像取得装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、開示の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、１つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
【０００８】
上記目的を達成するために、本開示の３Ｄモデル生成用画像取得装置は、ロボットの作動環境の３Ｄモデルを生成するのに用いるための、作動環境の撮像画像を取得する３Ｄモデル生成用画像取得装置であって、撮像画像の入力を受け付ける撮像画像取得部（１１）と、３Ｄモデルを生成する際に位置の基準として用いるマーカーの画像であるマーカー画像の入力を受け付けるマーカー画像取得部（１２，１２ａ）と、撮像画像取得部で取得した撮像画像から、マーカー画像の合成先の領域である合成先領域を抽出する合成先抽出部（１３，１３ａ）と、マーカー画像取得部で入力を受け付けたマーカー画像を、撮像画像のうちの、合成先抽出部で抽出した合成先領域に合成する画像合成部（１４）と、画像合成部で撮像画像にマーカー画像を合成した画像である合成画像を出力する画像出力部（１５）と、を備える。
【０００９】
以上の構成によれば、ロボットの作動環境の撮像画像中の領域に、３Ｄモデルを生成する際に位置の基準として用いるマーカーのマーカー画像を合成した合成画像を出力することが可能になる。よって、予めマーカーを実際の作動環境に設置しなくても、マーカー画像を合成した合成画像から、現実の作動環境とのズレを抑えた精密な３Ｄモデルを生成することが可能になる。また、３Ｄモデルを生成するソフトウェアの変更により、３Ｄモデルの生成に用いるマーカーが変更される場合であっても、マーカー画像を変更することで容易に対応することが可能になる。よって、新たなソフトウェアに対応したマーカーを現実の作動環境に新たに設置し直さなければならない手間を省くことが可能になる。従って、工場を継続的に３Ｄモデル化する場合であっても、マーカーを運用する手間を削減することが可能になる。その結果、ロボットの作業環境を撮像した撮像画像から３Ｄモデルを生成する際に、より精密な３Ｄモデルを、より手間を抑えて生成することが可能になる。
【図面の簡単な説明】
【００１０】
実施形態１における３Ｄモデル生成用画像取得装置の概略的な構成の一例を示す図である。
撮像画像内の合成先領域へのマーカー画像の合成の一例について説明するための図である。
３Ｄモデル生成用画像取得装置でのＣＡＤデータを用いた場合の画像合成関連処理の一例を示すフローチャートである。
３Ｄモデル生成用画像取得装置でのＣＡＤデータを用いない場合の画像合成関連処理の一例を示すフローチャートである。
実施形態２における３Ｄモデル生成用画像取得装置の概略的な構成の一例を示す図である。
アドレスとマーカー画像との対応関係の一例を説明するための図である。
二次元コードが付された作動環境の撮像画像の一例を示す図である。
モデル生成用画像の一例を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許