特許ウォッチ

公開番号2024132796
公報種別公開特許公報(A)
公開日2024-10-01
出願番号2023131080
出願日2023-08-10
発明の名称診断装置、診断方法、学習モデルの生成方法、及びプログラム
出願人楽天グループ株式会社
代理人個人,個人
主分類A01G 7/00 20060101AFI20240920BHJP(農業;林業;畜産;狩猟;捕獲;漁業)
要約【課題】診断装置、診断方法、学習モデルの生成方法、及びプログラムを提供する。
【解決手段】植物の健康状態を診断するための診断装置は、入力用画像を入力すると、複数のタスクにそれぞれ関連付けられた複数の予測結果を出力するように構成されるマルチタスク学習器を備える。マルチタスク学習器は、複数の地表画像を含む地表画像群と、地表画像より広い領域を対象に植物を写した複数の広範囲画像を含む広範囲画像群と、を含む訓練データにより訓練されている。地表画像群及び広範囲画像群の各々は、複数の無症画像と複数の有症画像とを含む。複数のタスクは、植物が複数の病害又は無症のうち何れに対応するかを予測する多値分類タスクと、入力用画像が地表画像又は広範囲画像の何れに対応するかを予測する2値分類タスクと、を含む。
【選択図】図1
特許請求の範囲【請求項１】
植物の健康状態を診断するための診断装置であって、当該診断装置は、
入力用画像を入力すると、複数のタスクにそれぞれ関連付けられた複数の予測結果を出力するように構成されるマルチタスク学習器を備え、
前記マルチタスク学習器は、
地表面を覆う前記植物を写した複数の地表画像を含む地表画像群と、
前記地表画像より広い領域を対象に前記植物を写した複数の広範囲画像を含む広範囲画像群と、を含む訓練データにより訓練されており、
前記地表画像群及び前記広範囲画像群の各々は、
健康な状態の前記植物を写した複数の無症画像と、
不健康な状態の前記植物を写した複数の有症画像と、を含み、
前記不健康な状態は、複数の病害の症状を含み、
前記複数のタスクは、
前記入力用画像に写された前記植物が前記複数の病害又は無症のうち何れに対応するかを予測する多値分類タスクと、
前記入力用画像が前記地表画像又は前記広範囲画像の何れに対応するかを予測する２値分類タスクと、を含む、
診断装置。
続きを表示（約 1,200 文字）【請求項２】
前記マルチタスク学習器の予測結果に基づいて、前記植物の手入れの要否に関する診断結果を出力するように構成される、診断出力部を備える、
請求項１に記載の診断装置。
【請求項３】
前記多値分類タスクは、予測結果として、前記複数の病害又は無症に対応する確率を出力するように構成され、
前記診断出力部は、前記多値分類タスクが出力した前記病害の何れかである確率が有症閾値を超える場合に、前記植物の手入れが必要であるとの診断結果を出力するように構成される、
請求項２に記載の診断装置。
【請求項４】
前記診断出力部は、前記２値分類タスクの予測結果が前記広範囲画像に対応し、かつ、前記多値分類タスクの予測結果が前記複数の病害の何れかである場合に、前記広範囲画像に基づいて、前記植物の手入れが必要であるとの診断結果を出力するように構成される、
請求項２に記載の診断装置。
【請求項５】
前記入力用画像上に前記多値分類タスクの予測根拠を重ねたヒートマップを生成するように構成される、ヒートマップ生成部を備える、
請求項１～４のうち何れか一項に記載の診断装置。
【請求項６】
前記入力用画像の撮影位置に係る位置情報を取得するように構成される、撮影位置取得部と、
位置情報作成部と、
１以上のメモリと、を備え、
前記メモリには、前記入力用画像の前記撮影位置を含む地図データが格納されており、
前記位置情報作成部が、前記地図データ上に前記撮影位置をプロットした位置情報を作成するように構成される、
請求項１～４のうち何れか一項に記載の診断装置。
【請求項７】
互いに異なる視点で撮影された複数の風景画像を含む風景画像群から３次元データを生成するように構成される、３次元データ生成部と、
前記３次元データから平面画像を生成するように構成される、平面画像生成部と、
を備える、請求項１～４のうち何れか一項に記載の診断装置。
【請求項８】
前記入力用画像の撮影範囲を推定するように構成される、撮影範囲推定部を備える、
請求項１～４のうち何れか一項に記載の診断装置。
【請求項９】
前記マルチタスク学習器は、畳み込みニューラルネットワークを利用した学習モデルを含み、
前記多値分類タスクの予測性能が前記２値分類タスクの予測性能よりも高くなるように、前記学習モデルの損失関数が設定されている、
請求項１～４のうち何れか一項に記載の診断装置。
【請求項１０】
前記植物は、前記地表面を覆うように群生するグラウンドカバープランツである、
請求項１～４のうち何れか一項に記載の診断装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、診断装置、診断方法、学習モデルの生成方法、及びプログラムに関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
植物の健康状態を診断するためには、高度な専門知識が必要となる。また、そうした知識を有する専門家が直接植物を観察するのは難しいことがある。こうした問題を解決するために、特許文献１は、対象植物を撮影した画像を入力して、対象植物の病虫害を推定する学習モデルを開示している。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－９４７８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この学習モデルは、病害虫の推定結果に加えて、過去の病害虫の発生履歴データから算出される病害虫の発生確率を参照して、対象植物の病害虫を診断する方法を開示している。しかし、病害虫の発生履歴データの取得には手間も時間もかかるため、履歴データなしで植物の健康状態を適切に判断することができることが望ましい。
【０００５】
本開示は、画像に基づいて植物の健康状態を適切に診断することができる診断装置、診断方法、学習モデルの生成方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る診断装置は、植物の健康状態を診断するための診断装置であって、当該診断装置は、入力用画像を入力すると、複数のタスクにそれぞれ関連付けられた複数の予測結果を出力するように構成されるマルチタスク学習器を備え、前記マルチタスク学習器は、地表面を覆う前記植物を写した複数の地表画像を含む地表画像群と、前記地表画像より広い領域を対象に前記植物を写した複数の広範囲画像を含む広範囲画像群と、を含む訓練データにより訓練されており、前記地表画像群及び前記広範囲画像群の各々は、健康な状態の前記植物を写した複数の無症画像と、不健康な状態の前記植物を写した複数の有症画像と、を含み、前記不健康な状態は、複数の病害の症状を含み、前記複数のタスクは、前記入力用画像に写された前記植物が前記複数の病害又は無症のうち何れに対応するかを予測する多値分類タスクと、前記入力用画像が前記地表画像又は前記広範囲画像の何れに対応するかを予測する２値分類タスクと、を含む。
【０００７】
本開示の一態様に係る診断方法は、植物の健康状態の診断方法であって、当該方法は、地表面を覆う前記植物を写した入力用画像を取得することと、前記入力用画像をマルチタスク学習器に入力することと、前記マルチタスク学習器が、複数のタスクにそれぞれ関連付けられた複数の予測結果を出力することと、を含み、前記マルチタスク学習器は、前記地表面を覆う前記植物を写した複数の地表画像を含む地表画像群と、前記地表画像より広い領域を対象に前記植物を写した複数の広範囲画像を含む広範囲画像群と、を含む訓練データにより訓練されており、前記地表画像群及び前記広範囲画像群の各々は、健康な状態の前記植物を写した複数の無症画像と、不健康な状態の前記植物を写した複数の有症画像と、を含み、前記不健康な状態は、複数の病害の症状を含み、前記複数のタスクは、前記入力用画像に写された前記植物が前記複数の病害又は無症のうち何れに対応するかを予測する多値分類タスクと、前記入力用画像が前記地表画像又は前記広範囲画像の何れに対応するかを予測する２値分類タスクと、を含む。
【０００８】
本開示の一態様に係る学習モデルの生成方法において、植物の健康状態を診断するための学習モデルは、入力用画像を入力すると、複数のタスクにそれぞれ関連付けられた複数の予測結果を出力するように構成され、前記生成方法は、訓練データとなる画像群を取得することと、前記訓練データを用いて前記学習モデルを訓練することと、を含み、前記訓練データが、地表面を覆う前記植物を写した複数の地表画像を含む地表画像群と、前記地表画像より広い領域を対象に前記植物を写した複数の広範囲画像を含む広範囲画像群と、を含み、前記地表画像群及び前記広範囲画像群の各々は、健康な状態の前記植物を写した複数の無症画像と、不健康な状態の前記植物を写した複数の有症画像と、を含み、前記不健康な状態は、複数の病害の症状を含み、前記複数のタスクは、前記入力用画像に写された前記植物が前記複数の病害又は無症のうち何れに対応するかを予測する多値分類タスクと、前記入力用画像が前記地表画像又は前記広範囲画像の何れに対応するかを予測する２値分類タスクと、を含む。
【０００９】
本開示の一態様に係るプログラムは、１以上のコンピュータに、地表面を覆う植物を写した入力用画像を取得することと、取得した前記入力用画像をマルチタスク学習器に入力することと、前記マルチタスク学習器が、複数のタスクにそれぞれ関連付けられた複数の予測結果を出力することと、を実行させる植物診断用のプログラムであって、前記マルチタスク学習器は、前記地表面を覆う前記植物を写した複数の地表画像を含む地表画像群と、前記地表画像より広い領域を対象に前記植物を写した複数の広範囲画像を含む広範囲画像群と、を含む訓練データにより訓練されており、前記地表画像群及び前記広範囲画像群の各々は、健康な状態の前記植物を写した複数の無症画像と、不健康な状態の前記植物を写した複数の有症画像と、を含み、前記不健康な状態は、複数の病害の症状を含み、前記複数のタスクは、前記入力用画像に写された前記植物が前記複数の病害又は無症のうち何れに対応するかを予測する多値分類タスクと、前記入力用画像が前記地表画像又は前記広範囲画像の何れに対応するかを予測する２値分類タスクと、を含む。
【図面の簡単な説明】
【００１０】
図１は実施形態に係る診断装置を説明するための模式図である。
図２は図１の診断装置に入力される広範囲画像の例である。
図３は図１の診断装置に入力される地表画像の例である。
図４は実施形態に係る学習モデルの訓練データを例示する表である。
図５は実施形態に係る学習モデルを説明する模式図である。
図６は図５の学習モデルの損失関数と予測精度との関係を示すグラフである。
図７は実施形態に係るサブタスクを含む学習モデルとサブタスクを含まない比較例の学習モデルとの正解率を示す表である。
図８は図１の診断装置の追加機能を説明するための模式図である。
図９は入力用画像とヒートマップの例である。
図１０は実施形態に係る診断方法を例示するフロー図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許