特許ウォッチ

公開番号2024031552
公報種別公開特許公報(A)
公開日2024-03-07
出願番号2022135193
出願日2022-08-26
発明の名称メロンの等級判定システム、メロンの等級判定方法、メロンの等級判定システム用プログラムおよび記録媒体
出願人株式会社大和コンピューター,国立大学法人静岡大学
代理人個人,個人,個人,個人
主分類G06V 10/82 20220101AFI20240229BHJP(計算;計数)
要約【課題】メロンの等級判定を熟練生産者と同等の精度で一貫性をもって実行することができるメロンの等級判定システムを提供する。
【解決手段】メロンの等級判定システムは、撮影部と、サーバーと、を備える。撮影部は、メロンの外観を360°撮影して撮影データを取得する撮影データ取得部と、撮影データ取得部により取得された撮影データをサーバーに送信する送信部と、を含む。サーバーは、送信部により送信された撮影データを受信する受信部と、受信部により受信した撮影データをメロンの全周画像データに変換する画像変換部と、メロンの等級の判定の熟練者がアノテーションを行ったデータを用いてメロンの輪郭特徴ベクトルとメロンの網目特徴ベクトルへの変換を学習した深層学習モデルに基づいて、画像変換部により変換されたメロンの全周画像データからメロンの等級を判定する判定部と、判定部により判定されたメロンの等級を報知するよう制御する報知制御部と、を含む。
【選択図】図2
特許請求の範囲【請求項１】
メロンの等級を判定するメロンの等級判定システムであって、
メロンの外観を撮影する撮影部と、前記撮影部により撮影された前記メロンの外観に基づいて前記メロンの等級を判定するサーバーと、を備え、
前記撮影部は、
前記メロンの外観を３６０°撮影して撮影データを取得する撮影データ取得部と、
前記撮影データ取得部により取得された前記撮影データを前記サーバーに送信する送信部と、を含み、
前記サーバーは、
前記送信部により送信された前記撮影データを受信する受信部と、
前記受信部により受信した前記撮影データを前記メロンの全周画像データに変換する画像変換部と、
前記メロンの等級の判定の熟練者がアノテーションを行ったデータを用いて前記メロンの輪郭特徴ベクトルと前記メロンの網目特徴ベクトルへの変換を学習した深層学習モデルに基づいて、前記画像変換部により変換された前記メロンの全周画像データから前記メロンの等級を判定する判定部と、
前記判定部により判定された前記メロンの等級を報知するよう制御する報知制御部と、を含む、メロンの等級判定システム。
続きを表示（約 1,800 文字）【請求項２】
前記判定部は、前記メロンの全周画像データから類似度または距離しきい値を判断することにより前記メロンの等級を判定する、請求項１に記載のメロンの等級判定システム。
【請求項３】
前記報知制御部は、前記判定部により判定された前記メロンの等級を、ディスプレイを用いて表示することおよび音声を発することのうちの少なくともいずれか一方により報知するよう制御する、請求項１または請求項２に記載のメロンの等級判定システム。
【請求項４】
前記撮影部は、３６０°回転可能であり、前記メロンを載置する回転テーブルによる撮影および前記メロンに対して回転可能なカメラによる前記メロンの外観の撮影のうちの少なくともいずれか一方を含む、請求項１または請求項２に記載のメロンの等級判定システム。
【請求項５】
前記撮影部は、ＲＧＢカメラを含み、
前記映像取得部は、前記ＲＧＢカメラにより前記メロンの外観の３６０°撮影データを取得する、請求項１または請求項２に記載のメロンの等級判定システム。
【請求項６】
メロンの等級を判定するメロンの等級判定方法であって、
前記メロンの外観を３６０°撮影して撮影データを取得する工程と、
前記撮影データを前記メロンの全周画像データに変換する工程と、
前記メロンの等級の判定の熟練者がアノテーションを行ったデータを用いて前記メロンの輪郭特徴ベクトルと前記メロンの網目特徴ベクトルへの変換を学習した深層学習モデルに基づいて、変換された前記メロンの全周画像データから前記メロンの等級を判定する工程と、
判定された前記メロンの等級を報知するよう制御する工程と、を含む、メロンの等級判定方法。
【請求項７】
前記メロンの外観を３６０°撮影して撮影データを取得する撮影データ取得部と、前記撮影データ取得部により取得された前記撮影データを前記サーバーに送信する送信部と、を含み、メロンの外観を撮影する撮影部と、前記撮影部により撮影された前記メロンの外観に基づいて前記メロンの等級を判定するサーバーと、を備えメロンの等級を判定するメロンの等級判定システムに用いられるメロンの等級判定システム用プログラムであって、
前記サーバーを、
前記送信部により送信された前記撮影データを受信する受信部、
前記受信部により受信した前記撮影データを前記メロンの全周画像データに変換する画像変換部、
前記メロンの等級の判定の熟練者がアノテーションを行ったデータを用いて前記メロンの輪郭特徴ベクトルと前記メロンの網目特徴ベクトルへの変換を学習した深層学習モデルに基づいて、前記画像変換部により変換された前記メロンの全周画像データから前記メロンの等級を判定する判定部、および
前記判定部により判定された前記メロンの等級を報知するよう制御する報知制御部として機能させる、メロンの等級判定システム用プログラム。
【請求項８】
前記メロンの外観を３６０°撮影して撮影データを取得する撮影データ取得部と、前記撮影データ取得部により取得された前記撮影データを前記サーバーに送信する送信部と、を含み、メロンの外観を撮影する撮影部と、前記撮影部により撮影された前記メロンの外観に基づいて前記メロンの等級を判定するサーバーと、を備えメロンの等級を判定するメロンの等級判定システムに用いられ、コンピューター読み取り可能な記録媒体であって、
前記サーバーを、
前記送信部により送信された前記撮影データを受信する受信部、
前記受信部により受信した前記撮影データを前記メロンの全周画像データに変換する画像変換部、
前記メロンの等級の判定の熟練者がアノテーションを行ったデータを用いて前記メロンの輪郭特徴ベクトルと前記メロンの網目特徴ベクトルへの変換を学習した深層学習モデルに基づいて、前記画像変換部により変換された前記メロンの全周画像データから前記メロンの等級を判定する判定部、および
前記判定部により判定された前記メロンの等級を報知するよう制御する報知制御部として機能させる、メロンの等級判定システム用プログラムを記録したコンピューター読み取り可能な記録媒体。

発明の詳細な説明【技術分野】
【０００１】
本開示は、メロンの等級判定システム、メロンの等級判定方法、メロンの等級判定システム用プログラムおよび記録媒体に関するものである。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
プリンスメロンの等級を判定するプリンスメロンの選別装置が知られている（例えば特許文献１参照）。特許文献１に開示のプリンスメロンの選別装置は、プリンスメロンの最大断面積およびその表面に存在する緑色スジ状の模様部分の面積を算出し、算出結果をそれぞれ所定の設定値と比較することによってプリンスメロンの外観、大きさによる等階級判定を行う判定手段を備えることとしている。
【先行技術文献】
【特許文献】
【０００３】
特開昭５７－１９７０７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
高級果物として知られるメロンは、果実の見栄え等、外見の品質が重要視されており、出荷時には形状や色合い、ネットの模様、傷の有無等を加味した等級の選別が行われている。一般的に、このような外観検査は、経験豊富な生産者（熟練生産者）の目視によって行われている。そのため、等級の判断を行う熟練生産者の経験や主観によるところが大きく、複数の熟練生産者の間での等級付けの一貫性が保ちにくいこと、並びに手作業であるため、作業に多くの労力を有し、非効率であることが課題となる。
【０００５】
そこで、メロンの等級判定を熟練生産者と同等の精度で一貫性をもって実行することができるメロンの等級判定システムを提供することを目的の１つとする。
【課題を解決するための手段】
【０００６】
本開示に従ったメロンの等級判定システムは、メロンの等級を判定するメロンの等級判定システムであって、メロンの外観を撮影する撮影部と、撮影部により撮影されたメロンの外観に基づいてメロンの等級を判定するサーバーと、を備える。撮影部は、メロンの外観を３６０°撮影して撮影データを取得する撮影データ取得部と、撮影データ取得部により取得された撮影データをサーバーに送信する送信部と、を含む。サーバーは、送信部により送信された撮影データを受信する受信部と、受信部により受信した撮影データをメロンの全周画像データに変換する画像変換部と、メロンの等級の判定の熟練者がアノテーションを行ったデータを用いてメロンの輪郭特徴ベクトルとメロンの網目特徴ベクトルへの変換を学習した深層学習モデルに基づいて、画像変換部により変換されたメロンの全周画像データからメロンの等級を判定する判定部と、判定部により判定されたメロンの等級を報知するよう制御する報知制御部と、を含む。
【発明の効果】
【０００７】
上記メロンの等級判定システムによれば、メロンの等級判定を熟練生産者と同等の精度で一貫性をもって実行することができる。
【図面の簡単な説明】
【０００８】
図１は、実施の形態１におけるメロンの等級判定システムの外観を示す概念図である。
図２は、図１に示すメロンの等級判定システムの構成を示すブロック図である。
図３は、Ａ等級、Ｂ等級、Ｃ等級およびＤ等級の４つの等級に分けられたメロンＭの外観を示す図である。
図４は、Ａ等級、Ｂ等級、Ｃ等級およびＤ等級の４つの等級に分けられたメロンＭの表面を拡大して示す図である。
図５は、メロンの等級判定システムを用いてメロンの等級を判定する際の代表的な構成を示すフローチャートである。
図６は、受信した撮影データを輪郭画像と網目画像に変換した状態を示す図である。
図７は、メロンの等級判定モデルの学習アーキテクチャを示す図である。
図８は、輪郭情報の算出状態を示す図である。
図９（ａ）および図９（ｂ）は、クラス別マージンを用いた埋め込みを示す図である。
図１０は、２５０エポック学習を行った時点のデータ拡張で生成された画像例を示す図である。
【発明を実施するための形態】
【０００９】
［実施形態の概要］
本開示に係るメロンの等級判定システムは、メロンの等級を判定するメロンの等級判定システムであって、メロンの外観を撮影する撮影部と、撮影部により撮影されたメロンの外観に基づいてメロンの等級を判定するサーバーと、を備える。撮影部は、メロンの外観を３６０°撮影して撮影データを取得する撮影データ取得部と、撮影データ取得部により取得された撮影データをサーバーに送信する送信部と、を含む。サーバーは、送信部により送信された撮影データを受信する受信部と、受信部により受信した撮影データをメロンの全周画像データに変換する画像変換部と、メロンの等級の判定の熟練者がアノテーションを行ったデータを用いてメロンの輪郭特徴ベクトルとメロンの網目特徴ベクトルへの変換を学習した深層学習モデルに基づいて、画像変換部により変換されたメロンの全周画像データからメロンの等級を判定する判定部と、判定部により判定されたメロンの等級を報知するよう制御する報知制御部と、を含む。
【００１０】
本開示に係るメロンの等級判定システムによると、上記構成の判定部を含む。判定部は、メロンの等級の判定の熟練者がアノテーションを行ったデータを用いてメロンの輪郭特徴ベクトルとメロンの網目特徴ベクトルへの変換を学習した深層学習モデルに基づいて判定を行っているため、その判定結果は、一貫性を有するものとなり、熟練生産者の判定と同程度の精度となる。したがって、上記メロンの等級判定システムによれば、メロンの等級判定を熟練生産者と同等の精度で一貫性をもって実行することができる。
（【００１１】以降は省略されています）

関連特許