TOP特許意匠商標
特許ウォッチ DM通知 Twitter
10個以上の画像は省略されています。
公開番号2022114462
公報種別公開特許公報(A)
公開日2022-08-05
出願番号2022009890
出願日2022-01-26
発明の名称検査装置および検査方法
出願人株式会社日清製粉グループ本社
代理人個人,個人,個人,個人,個人
主分類G06T 7/00 20170101AFI20220729BHJP(計算;計数)
要約【課題】画像認識を利用した食品の盛り付け検査をより簡易に行うことを目的とする。
【解決手段】
検査装置1は、配置された食材が含まれる画像を取得する取得部10と、学習済み第1モデルNN1を用いて、画像における食材の領域および種類を推定し、推定された食材の領域および種類を画像に関連付けた出力画像を含む第1推定結果を出力する第1推定部11と、第1推定結果に基づいて、食材の種類ごとに、対応する領域が、食材の有無および過不足に関して予め設定された第1基準を満たすか否かを判断する第1判断部12と、記第1判断部12による判断結果に基づいて、配置された食材の配置に関する検査を行う検査部13とを備える。
【選択図】図1
特許請求の範囲【請求項1】
配置された食材が含まれる画像を取得する取得部と、
学習済み第1モデルを用いて、前記画像における前記食材の領域および種類を推定し、推定された前記食材の領域および種類を前記画像に関連付けた出力画像を含む第1推定結果を出力する第1推定部と、
前記第1推定結果に基づいて、前記食材の種類ごとに、対応する前記領域が、前記食材の有無および過不足に関して予め設定された第1基準を満たすか否かを判断する第1判断部と、
前記第1判断部による判断結果に基づいて、前記食材の配置に関する検査を行う検査部と
を備える検査装置。
続きを表示(約 1,900 文字)【請求項2】
請求項1に記載の検査装置において、
前記第1判断部は、前記食材の種類ごとに、前記領域の個数および大きさの少なくとも一方を特定して、前記領域の個数および大きさの少なくとも一方が前記第1基準を満たすか否かを判断する
ことを特徴とする検査装置。
【請求項3】
請求項1または請求項2に記載の検査装置において、
前記第1推定結果に含まれる前記出力画像を入力とする学習済み第2モデルを用いて、前記出力画像における複数の前記食材の間の相対的な配置関係を推定し、推定された配置関係を前記出力画像に関連付けた第2推定結果を出力する第2推定部と、
前記第2推定結果に基づいて、前記配置関係が、前記配置関係の妥当性に関して予め設定された第2基準を満たすか否かを判断する第2判断部と
をさらに備え、
前記検査部は、前記第2判断部による判断結果に基づいて、前記食材の配置に関する検査を行う
ことを特徴とする検査装置。
【請求項4】
請求項3に記載の検査装置において、
さらに、少なくとも前記検査部による検査結果を提示する提示部を備え、
前記提示部は、前記画像、前記第1推定結果、前記第1判断部による判断結果、前記第2推定結果、前記第2判断部による判断結果、および前記検査部による検査結果を含む情報のうちの少なくともいずれかを提示する
ことを特徴とする検査装置。
【請求項5】
請求項1から4のいずれか1項に記載の検査装置において、
さらに、予め設定されたモデルを構築するための学習処理を行う学習装置を備え、
前記学習装置は、
配置された前記食材を含む画像を第1学習用画像として用い、ニューラルネットワークの第1モデルを学習させて、前記食材の領域および種類を識別する第1特徴量を抽出し、抽出された前記第1特徴量により前記学習済み第1モデルを獲得する第1学習部と、
前記第1学習部で獲得された前記学習済み第1モデルを記憶する第1記憶部と
を備え、
前記第1推定部は、前記第1記憶部から前記学習済み第1モデルを読み込んで前記学習済み第1モデルによる前記画像における前記食材の領域および種類の推定を行う
ことを特徴とする検査装置。
【請求項6】
請求項5に記載の検査装置において、
前記第1モデルが、インスタンス・セグメンテーションによる画像認識モデルである
ことを特徴とする検査装置。
【請求項7】
請求項5または請求項6に記載の検査装置において、
前記学習装置は、
前記第1推定部が出力する前記第1推定結果に含まれる前記出力画像を第2学習用画像として用いて、ニューラルネットワークの第2モデルを学習させて、前記第2学習用画像における複数の前記食材の間の相対的な配置関係を識別する第2特徴量を抽出し、抽出された前記第2特徴量により前記学習済みの第2モデルを獲得する第2学習部と、
前記第2学習部で獲得された前記学習済みの第2モデルを記憶する第2記憶部と
をさらに備えることを特徴とする検査装置。
【請求項8】
請求項7に記載の検査装置において、
さらに、前記第1推定結果に含まれる前記出力画像を変換してより単純化した変換画像を生成する変換部を備え、
前記第2学習部は、前記変換画像を前記第2学習用画像として用いて前記第2モデルを学習させ、前記学習済みの第2モデルを獲得する
ことを特徴とする検査装置。
【請求項9】
請求項8に記載の検査装置において、
前記第1推定結果に含まれる前記出力画像は、前記食材の種類ごとに、対応する前記領域が任意の色で塗られたカラーパターン画像であり、
前記変換画像は、前記カラーパターン画像の領域各々を同一形状のオブジェクトに置き換えたカラーパターン画像である
ことを特徴とする検査装置。
【請求項10】
請求項8に記載の検査装置において、
前記第1推定結果に含まれる前記出力画像は、前記食材の種類ごとに、対応する前記領域が任意の色で塗られたカラーパターン画像であり、
前記変換画像は、前記カラーパターン画像の領域各々を、カラーパターンの色ごとに形状の異なるオブジェクトに置き換え、かつ、置き換えた前記オブジェクトの色を形状ごとに異なる色とした画像である
ことを特徴とする検査装置。
(【請求項11】以降は省略されています)

発明の詳細な説明【技術分野】
【0001】
本発明は、検査装置および検査方法に関し、特に画像認識を利用した食品の盛り付け検査技術に関する。
続きを表示(約 1,800 文字)【背景技術】
【0002】
製造ラインなどで製造された食品の品質管理として、食品の盛り付け検査や、具材抜けの検査等の外観検査が知られている。従来から、これらの検査は目視により行われている。近年、画像認識技術の発展に伴い食品製造の分野においても、製造された食品の品質管理に画像認識を利用する技術が開発されている。
【0003】
例えば、特許文献1は、検査対象の食品について、異なる2つの波長の画像を撮影し、各画素のスペクトル解析を行って検査画像を生成し、検査対象の食品の状態を検査する技術を開示している。
【0004】
しかしながら、実際の食品製造の現場では、依然として食品の盛り付け検査などの品質検査は目視により行われることが多い。その理由として、食品に盛り付けられる食材は不定形状を有することが多く、同じ食材であっても形状がそれぞれ異なり、また食材はその色味も一定ではない場合があることが挙げられる。そのため、製造された食品に、決められた食材が盛り付けられていることの確認、各食材の個数、量、および盛り付け位置などを含む食品の盛り付け検査は、常に同じ基準で行うことが困難な場合が多い。このことから、画像認識を利用した食品の盛り付け検査は、検出ロジックの作成自体が困難とされることがある。
【0005】
さらに、近年においては、消費者のニーズの多様化に応じて多品種少量生産や商品ライフサイクルの短縮化が進み、一旦検出ロジックが作成されたとしても、利用範囲が限られてしまうことがあり、画像認識技術を利用した食品の盛り付け検査を現実的な手法として用いることが困難な場合がある。
【先行技術文献】
【非特許文献】
【0006】
Shorten, C., Khoshgoftaar, T.M. “A survey on Image Data Augmentation for Deep Learning.” J Big Data 6, 60 (2019). https://doi.org/10.1186/s40537-019-0197-0
Khalifa, Nour Eldeen & Loey, Mohamed & Mirjalili, Seyedali. (2021). “A comprehensive survey of recent trends in deep learning for digital images augmentation.” Artificial Intelligence Review. 10.1007/s10462-021-10066-4.
Naveed, Humza. (2021). “Survey: Image Mixing and Deleting for Data Augmentation.”
【特許文献】
【0007】
特開2019-74324号公報
特許第6955734号公報
特許第6929322号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
従来の技術によれば、画像認識を利用した食品の盛り付け検査を簡易に行うことは困難であった。
【0009】
本発明は、上述した課題を解決するためになされたものであり、画像認識を利用した食品の盛り付け検査をより簡易に行うことを目的とする。
【課題を解決するための手段】
【0010】
上述した課題を解決するために、本発明に係る検査装置は、配置された食材が含まれる画像を取得する取得部と、学習済み第1モデルを用いて、前記画像における前記食材の領域および種類を推定し、推定された前記食材の領域および種類を前記画像に関連付けた出力画像を含む第1推定結果を出力する第1推定部と、前記第1推定結果に基づいて、前記食材の種類ごとに、対応する前記領域が、前記食材の有無および過不足に関して予め設定された第1基準を満たすか否かを判断する第1判断部と、前記第1判断部による判断結果に基づいて、前記食材の配置に関する検査を行う検査部とを備える。
(【0011】以降は省略されています)

この特許をJ-PlatPatで参照する

関連特許

個人
対話システム
25日前
個人
スキャナー装置
2日前
個人
接触型ICカード
1か月前
個人
エア入力システム
11日前
個人
ランド形成システム
11日前
個人
保険契約者保護システム
1日前
日本精機株式会社
操作認識装置
3日前
株式会社リコー
学習装置
24日前
個人
情報処理装置
1か月前
個人
発想支援プログラム及び方法
7日前
株式会社ツガワ
端末処理装置
9日前
辰巳電子工業株式会社
情報処理装置
7日前
個人
配送管理システム
今日
株式会社クボタ
刈取計画装置
1か月前
金井電器産業株式会社
キーボード
18日前
有限会社田中光学
PC操作補助具
29日前
個人
情報マップ生成プログラム及び方法
7日前
日本信号株式会社
読取装置
3日前
株式会社末広システム
駅伝蓄電システム
11日前
個人
故人を偲び仏行のお勤めできる仏壇
16日前
日本信号株式会社
入力装置
29日前
京セラ株式会社
RFIDタグ
9日前
株式会社 ミックウェア
情報処理システム
今日
個人
電子文書の閲覧用電子機器、表示方法
28日前
CKD株式会社
データ管理システム
29日前
株式会社PSI
情報処理装置
18日前
個人
情報処理システム、及び情報処理方法
18日前
個人
情報処理システム
1か月前
中国電力株式会社
書類管理システム
4日前
株式会社ノンピ
情報処理装置
15日前
キヤノン株式会社
情報処理装置
16日前
個人
商品生産システム及びプログラム
2日前
栗田工業株式会社
水処理システム
21日前
大阪瓦斯株式会社
料理情報提案システム
3日前
株式会社リコー
媒体、及び収容体
15日前
株式会社東進
受講生評価システム
24日前
続きを見る