特許ウォッチ

公開番号2025180985
公報種別公開特許公報(A)
公開日2025-12-11
出願番号2024088707
出願日2024-05-31
発明の名称画像認識装置及び画像認識方法
出願人株式会社日立製作所
代理人弁理士法人サンネクスト国際特許事務所
主分類G06T 7/70 20170101AFI20251204BHJP(計算;計数)
要約【課題】的確な部品組付け作業を効率的に支援可能とする。
【解決手段】画像認識装置100において、カメラで撮影した画像から3次元点群を復元し、画像点群位置関係を算出する3次元点群復元部200、3次元点群と3次元設計情報との間での位置合わせを実行する位置合わせ部201、3次元設計情報に基づき部品組付け点群位置を特定し、画像点群位置関係と部品組付け点群位置に基づき、画像上での部品組付け位置を特定する部品組付け位置特定部202を備える構成とする。
【選択図】図3

特許請求の範囲【請求項１】
カメラで撮影した画像から３次元点群を復元し、前記画像と前記３次元点群との位置関係を示す画像点群位置関係を算出する３次元点群復元部と、
前記３次元点群と、各部品の組付け対象における組付け位置を示す３次元設計情報との間での位置合わせの処理を実行する位置合わせ部と、
前記３次元設計情報に基づき、前記組付け位置に対応する、前記３次元点群上での組付け位置である部品組付け点群位置を特定し、前記画像点群位置関係と、前記部品組付け点群位置とに基づき、前記画像上での部品組付け位置である部品組付け画像位置を特定する、部品組付け位置特定部と、
を備えた画像認識装置。
続きを表示（約 1,400 文字）【請求項２】
各作業工程にて用いる部品を示す工程部品対応表を記憶装置にて保持し、
前記部品組付け位置特定部は、指定された作業工程で用いる部品を、前記工程部品対応表に基づき特定し、前記特定した部品に関して、前記画像上での部品組付け位置を特定する、
ことを特徴とする、請求項１に記載の画像認識装置。
【請求項３】
部品判定部と警告出力部をさらに備え、
前記部品判定部は、前記特定した前記画像上での部品組付け位置を少なくとも含む画像上の一部に対して画像認識を実施し、当該位置における部品の有無及び正しさの少なくともいずれかについて判定し、
前記警告出力部は、前記判定の結果に応じて所定の警告を出力する、
ことを特徴とする、請求項１に記載の画像認識装置。
【請求項４】
前記部品判定部は、前記判定の結果である判定結果を記憶装置に蓄積し、
前記警告出力部は、所定の作業工程の終了事象の検知に応じて、前記記憶装置に蓄積した判定結果を参照し、前記部品組付け位置に前記部品が無い又は正しくない部品が存在することが判明した場合、その旨を前記警告として出力する、
ことを特徴とする、請求項３に記載の画像認識装置。
【請求項５】
前記警告出力部は、
組付け作業の実施位置が規定位置から離間した事象の検知に応じて、前記記憶装置に蓄積した判定結果を参照し、前記部品組付け位置に前記部品が無い又は正しくない部品が存在することが判明した場合、その旨を前記警告として出力する、
ことを特徴とする、請求項３に記載の画像認識装置。
【請求項６】
前記警告出力部は、
所定の作業工程において順次実行されるべき一連の部品組付けのうち、ある時点で既に実行されているべき部品組付けに関して、前記記憶装置に蓄積した判定結果を参照し、前記部品組付け位置に前記部品が無い又は正しくない部品が存在することが判明した場合、その旨を前記警告として出力する、
ことを特徴とする、請求項３に記載の画像認識装置。
【請求項７】
前記３次元点群からメッシュを生成し、当該メッシュから点群の再サンプリングによって再サンプル復元３次元点群を生成する点群再サンプル部をさらに備え、
前記点群再サンプル部は、前記３次元設計情報から前記点群のサンプリングによって３次元設計情報点群を生成し、
前記位置合わせ部は、前記再サンプル復元３次元点群と前記３次元設計情報点群とを用いて、前記３次元点群と前記３次元設計情報の位置合わせを実施する、
ことを特徴とする、請求項１に記載の画像認識装置。
【請求項８】
情報処理装置が、
カメラで撮影した画像から３次元点群を復元し、前記画像と前記３次元点群との位置関係を示す画像点群位置関係を算出する処理と、
前記３次元点群と、各部品の組付け対象における組付け位置を示す３次元設計情報との間での位置合わせの処理を実行する処理と、
前記３次元設計情報に基づき、前記組付け位置に対応する、前記３次元点群上での組付け位置である部品組付け点群位置を特定し、前記画像点群位置関係と、前記部品組付け点群位置とに基づき、前記画像上での部品組付け位置である部品組付け画像位置を特定する処理と、
を実行することを特徴とする画像認識方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、概して、画像認識装置及び画像認識方法の技術に関し、具体的には、的確な部品組付け作業を効率的に支援可能とする技術に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
近年、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）技術を製造業における業務効率化等に利活用する動きが活発である。特に取り扱い部品点数が膨大となる、大規模な部品組付け作業の現場では、ＡＲ技術の具体的な適用事例も数多く提案されている。そうした事例の一つとしては、各部品の画像認識や、当該部品らに付与したＡＲマーカに対する読み取り動作を行うことで、当該部品の種類やその仕様、組付け作業に関する情報などを現場で取得し、以後の作業等に活かすといったものがある。
【０００３】
上記のように、部品の組付け作業等に適用するための従来技術としては、特許文献１に示すものが提案されている。この特許文献１においては、対象物の撮影画像をＣＡＤモデルに適切にマッピングすることができる情報処理装置、情報処理方法及びプログラムに関する技術が開示されている。
【０００４】
上記技術は、制御部を備える情報処理装置であって、前記制御部は、対象物のＣＡＤモデルを取得することと、前記ＣＡＤモデルをＣＡＤモデル点群に変換することと、前記対象物の複数の画像を取得することと、前記複数の画像に３Ｄモデル作成アルゴリズムを適用して、点群と前記画像を撮影したカメラの位置及び姿勢を示す情報とを取得することと、前記ＣＡＤモデル点群と、取得された前記点群との位置合わせを実行して、取得された前記点群から前記ＣＡＤモデル点群への変換行列を取得することと、前記変換行列を用いて、前記カメラの位置及び姿勢を示す情報を、ＣＡＤ空間中のカメラの位置及び姿勢を示す情報に変換することと、前記複数の画像から前記対象物の劣化情報を抽出することと、前記ＣＡＤ空間中のカメラの位置及び姿勢を示す情報を用いて、前記ＣＡＤモデルに前記劣化情報を付与して、劣化ありＣＡＤモデルを取得することとを実行する情報処理装置に係る。
【０００５】
また、特許文献２においては、製品の設計時ＣＡＤデータ及び測定点群データを用いて、製品の検査に必要な寸法の測定の精度を向上させる技術が開示されている。
【０００６】
この技術は、被検査物を並進移動させ、又は、回転移動させる駆動ユニットと通信可能に接続するとともに、被検査物にレーザ光を照射して走査するレーザスキャナと通信可能に接続し、前記駆動ユニット及び前記レーザスキャナを制御して、被検査物の部位の寸法を測定する非接触式三次元寸法測定装置において、寸法を測定したい部位を特定する寸法測定用データを被検査物の設計時三次元ＣＡＤデータに追加する三次元ＣＡＤデータ処理部と、前記レーザスキャナが走査したことによる走査結果に基づいて、被検査物にレーザ光を照射した点の、三次元の座標値を含む点群データを生成するとともに、前記寸法測定用データを追加した三次元ＣＡＤデータを前記点群データに重ね合わせる点群データ処理部と、前記重ね合わせがなされた点群データにおいて、前記寸法測定用データにより特定した部位の寸法を測定する寸法測定処理部と、を有することを特徴とする非接触式三次元寸法測定装置に係る。
【先行技術文献】
【特許文献】
【０００７】
ＷＯ２０２２／２５９３８３
特開２０１０－３２３８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところが、部品組付けの環境によっては、上記従来技術が十分に機能しないケースや、そもそも適用が困難なケースもある。例えば、部品の組付け等を行うべき箇所が広範囲に分散する状況では、当該部品等に関して画像認識やＡＲマーカの読取りを行うための機材（例：カメラ）、人員、或いは作業回数が多くなりやすい。その場合、全体の作業コストや効率がかえって悪化し、業務効率改善を図ることが困難となる。また、そうした機材の設置や人員の配置が難しい箇所が存在する場合、技術の適用自体ができなくなる。
【０００９】
他方、いわゆるマーカレスＡＲの技術を採用するとしても、部品やその組付け位置等の画像群／点群を事前撮影する必要があり、部品点数が膨大な数にのぼる場合、その手間やコストが無視できない状況になりうる。
【００１０】
そこで、本発明は上記課題を鑑みてなされたものであって、的確な部品組付け作業を効率的に支援可能とする技術の提供を目的とする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許