特許ウォッチ

公開番号2025130584
公報種別公開特許公報(A)
公開日2025-09-08
出願番号2024027844
出願日2024-02-27
発明の名称コンピュータプログラム、および、情報処理装置
出願人ブラザー工業株式会社
代理人鳳国際弁理士法人
主分類G06T 7/70 20170101AFI20250901BHJP(計算;計数)
要約【課題】第2物体に対する第1物体の相対的な位置に関する新たな技術の提供。
【解決手段】第1物体を含む第2物体を示す参照画像と対象画像との間の特徴点マッチングを実行して複数の特徴点ペアが決定される。複数の特徴点ペアのうち、第1物体とは異なる部分に対応する特徴点ペアを用いて、参照画像と対象画像との間の位置関係を示す座標変換行列が算出され、参照画像と対象画像との第1物体の位置に関する特定情報と、座標変換行列と、を用いて、参照画像内の第1物体と対象画像内の第1物体との差異情報が算出される。もしくは、複数の特徴点ペアのうち、第1物体に対応する特徴点ペアを用いて、座標変換行列が算出され、参照画像と対象画像とのそれぞれの第1物体とは異なる部分の位置に関する特定情報と、座標変換行列と、を用いて、差異情報が算出される。
【選択図】図5
特許請求の範囲【請求項１】
コンピュータプログラムであって、
第１物体を含む第２物体を示す参照画像を取得する参照画像取得機能と、
前記第１物体を含む前記第２物体を示す対象画像を取得する対象画像取得機能と、
前記参照画像と前記対象画像との間の特徴点マッチングを実行して複数の特徴点ペアを決定するペア決定機能であって、複数の特徴点ペアのそれぞれは、前記参照画像内の特徴点と前記対象画像内の特徴点とのペアである、前記ペア決定機能と、
前記複数の特徴点ペアのうち、前記第１物体とは異なる部分に対応する前記特徴点ペアを用いて、前記参照画像と前記対象画像との間の位置関係を示す第１座標変換行列を算出する行列算出機能と、
前記参照画像と前記対象画像とのそれぞれの前記第１物体の位置に関する特定情報と、前記第１座標変換行列と、を用いて、前記参照画像内の前記第１物体と前記対象画像内の前記第１物体との差異情報を算出する差異情報算出機能であって、前記差異情報は、前記第２物体に対する前記第１物体の相対的な位置の差異に関する情報を含む、前記差異情報算出機能と、
をコンピュータに実現させるコンピュータプログラム。
続きを表示（約 1,800 文字）【請求項２】
請求項１に記載のコンピュータプログラムであって、さらに、
前記参照画像と前記対象画像との少なくとも一方の画像において、前記第２物体が位置する物体領域と、前記物体領域とは異なる背景領域と、を特定する領域特定機能をコンピュータに実現させ、
前記行列算出機能は、前記物体領域のうちの前記第１物体とは異なる部分に対応する前記特徴点ペアを用いて、前記背景領域に対応する前記特徴点ペアを用いずに、前記第１座標変換行列を算出する、コンピュータプログラム。
【請求項３】
請求項２に記載のコンピュータプログラムであって、さらに、
前記領域特定機能は、
単眼深度推定モデルに前記参照画像と前記対象画像との少なくとも一方の画像を入力して、深度画像を生成し、
前記深度画像に基づいて、前記参照画像と前記対象画像との少なくとも一方の画像において前記物体領域と前記背景領域とを特定する、コンピュータプログラム。
【請求項４】
請求項３に記載のコンピュータプログラムであって、
前記領域特定機能は、
前記深度画像のヒストグラムが、前記物体領域に対応する第１山部と、前記背景領域に対応する第２山部と、を含む複数の山部を有すると仮定して、前記第１山部の平均と分散とを算出し、
前記第１山部の平均と分散とを用いて、二値化閾値を決定し、
前記深度画像を前記二値化閾値を用いて二値化することによって、前記物体領域と前記背景領域とを特定する、コンピュータプログラム。
【請求項５】
請求項２に記載のコンピュータプログラムであって、
前記領域特定機能は、前記参照画像における前記物体領域と前記背景領域とを特定し、
前記行列算出機能は、前記参照画像の前記物体領域のうちの前記第１物体とは異なる部分に対応する前記特徴点ペアを用いて、前記参照画像の前記背景領域に対応する前記特徴点ペアを用いずに、前記第１座標変換行列を算出する、コンピュータプログラム。
【請求項６】
請求項１に記載のコンピュータプログラムであって、さらに、
物体検出モデルに前記参照画像と前記対象画像との少なくとも一方の画像を入力して、前記少なくとも一方の画像内の前記第１物体が位置する領域を特定するオブジェクト特定機能をコンピュータに実現させ、
前記行列算出機能は、前記複数の特徴点ペアのうち、特定済みの前記第１物体が位置する領域内の前記特徴点を含まない前記特徴点ペアを用いて、前記第１座標変換行列を算出する、コンピュータプログラム。
【請求項７】
請求項１に記載のコンピュータプログラムであって、
前記第１物体とは異なる部分に対応する複数の前記特徴点ペアの中から、前記特徴点ペアのマッチングの確度を用いて、複数の使用ペアを選択するペア選択機能をコンピュータに実現させ、
前記行列算出機能は、選択された前記複数の使用ペアを用いて前記第１座標変換行列を算出する、コンピュータプログラム。
【請求項８】
請求項１に記載のコンピュータプログラムであって、
前記特定情報は、前記複数の特徴点ペアのうち、前記第１物体に対応する前記特徴点ペアの情報である、コンピュータプログラム。
【請求項９】
請求項８に記載のコンピュータプログラムであって、
前記差異情報算出機能は、
前記第１座標変換行列を用いて、前記第１物体に対応する前記特徴点ペアを構成する前記対象画像の特徴点の座標を前記参照画像の座標系の座標に変換し、
前記参照画像の座標系において、前記第１物体に対応する前記特徴点ペアを構成する２個の特徴点の位置ずれを示す情報を前記差異情報として算出する、コンピュータプログラム。
【請求項１０】
請求項８に記載のコンピュータプログラムであって、
前記差異情報算出機能は、
前記第１座標変換行列を用いて、前記第１物体に対応する前記特徴点ペアを構成する前記参照画像の特徴点の座標を前記対象画像の座標系の座標に変換し、
前記対象画像の座標系において、前記第１物体に対応する前記特徴点ペアを構成する２個の特徴点の位置ずれを示す情報を前記差異情報として算出する、コンピュータプログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本明細書は、コンピュータプログラム、および、情報処理装置に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
物体（例えば、複合機などの製品に貼付されたラベルシート）を撮影した撮影画像を用いて、物体の検査を行う技術が知られている。例えば、特許文献１は、以下の技術を開示する。ラベルシートの画像データを機械学習モデルに入力することによって、不具合の無いラベルシートの画像データを生成する。入力された画像と生成された画像との間の差分を表す差分画像データを使用して、物体に異常があるか否かを検査する。
【先行技術文献】
【非特許文献】
【０００３】
特開２０２２－１７４５１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、第２物体（例えば、製品）に対する第１物体（例えば、ラベルシート）の相対的な位置に関する処理には、工夫の余地があった。
【０００５】
本明細書は、第２物体に対する第１物体の相対的な位置に関する処理のための新たな技術を開示する。
【課題を解決するための手段】
【０００６】
本明細書に開示された技術は、以下の適用例として実現することが可能である。
【０００７】
［適用例１］コンピュータプログラムであって、
第１物体を含む第２物体を示す参照画像を取得する参照画像取得機能と、
前記第１物体を含む前記第２物体を示す対象画像を取得する対象画像取得機能と、
前記参照画像と前記対象画像との間の特徴点マッチングを実行して複数の特徴点ペアを決定するペア決定機能であって、複数の特徴点ペアのそれぞれは、前記参照画像内の特徴点と前記対象画像内の特徴点とのペアである、前記ペア決定機能と、
前記複数の特徴点ペアのうち、前記第１物体とは異なる部分に対応する前記特徴点ペアを用いて、前記参照画像と前記対象画像との間の位置関係を示す第１座標変換行列を算出する行列算出機能と、
前記参照画像と前記対象画像とのそれぞれの前記第１物体の位置に関する特定情報と、前記第１座標変換行列と、を用いて、前記参照画像内の前記第１物体と前記対象画像内の前記第１物体との差異情報を算出する差異情報算出機能であって、前記差異情報は、前記第２物体に対する前記第１物体の相対的な位置の差異に関する情報を含む、前記差異情報算出機能と、
をコンピュータに実現させるコンピュータプログラム。
【０００８】
上記構成によれば、第１物体とは異なる部分に対応する特徴点ペアを用いて算出される第１座標変換行列と、参照画像と対象画像とのそれぞれの第１物体の位置に関する特定情報と、を用いて差異情報が算出される。この結果、第２物体に対する第１物体の相対的な位置の差異を適切に示す差異情報を算出し得る。したがって、例えば、対象画像における第２物体の位置と、参照画像における第２物体の位置と、が異なっていても、第２物体に含まれる第１物体の位置を検査し得る。
【０００９】
［適用例２］コンピュータプログラムであって、
第１物体を含む第２物体を示す参照画像を取得する参照画像取得機能と、
前記第１物体を含む前記第２物体を示す対象画像を取得する対象画像取得機能と、
前記参照画像と前記対象画像との間の特徴点マッチングを実行して複数の特徴点ペアを決定するペア決定機能であって、複数の特徴点ペアのそれぞれは、前記参照画像内の特徴点と前記対象画像内の特徴点とのペアである、前記ペア決定機能と、
前記複数の特徴点ペアのうち、前記第１物体に対応する前記特徴点ペアを用いて、前記参照画像と前記対象画像との間の位置関係を示す第１座標変換行列を算出する行列算出機能と、
前記参照画像と前記対象画像とのそれぞれの前記第１物体とは異なる部分の位置に関する特定情報と、前記第１座標変換行列と、を用いて、前記参照画像内の前記第１物体と前記対象画像内の前記第１物体との差異情報を算出する差異情報算出機能であって、前記差異情報は、前記第２物体に対する前記第１物体の相対的な位置の差異に関する情報を含む、前記差異情報算出機能と、
をコンピュータに実現させるコンピュータプログラム。
【００１０】
上記構成によれば、第１物体に対応する特徴点ペアを用いて算出される第１座標変換行列と、参照画像と対象画像とのそれぞれの第１物体とは異なる部分の位置に関する特定情報と、を用いて差異情報が算出される。この結果、第２物体に対する第１物体の相対的な位置の差異を適切に示す差異情報を算出し得る。したがって、例えば、対象画像における第２物体の位置と、参照画像における第２物体の位置と、が異なっていても、第２物体に含まれる第１物体の位置を検査し得る。
（【００１１】以降は省略されています）

関連特許