特許ウォッチ

公開番号2025158611
公報種別公開特許公報(A)
公開日2025-10-17
出願番号2024061320
出願日2024-04-05
発明の名称モデル生成方法、推論プログラム及び推論装置
出願人オムロン株式会社
代理人弁理士法人秀和特許事務所
主分類G06N 3/0895 20230101AFI20251009BHJP(計算;計数)
要約【課題】機械学習モデルの推論精度の向上を図る技術を提供する。
【解決手段】本発明の一側面に係るモデル生成装置は、第1データの第1訓練サンプルから第1モデルにより導出される推論タスクの結果が真値に適合するものとなるように第1モデルに対する第1訓練を行う。モデル生成装置は、第2データの第2訓練サンプルから第2モデルにより導出される推論タスクの結果が真値に適合するものとなるように第2モデルに対する第2訓練を行う。モデル生成装置は、第1訓練及び第2訓練と共に、推論タスクの結果を導出する際における第1モデルの演算出力及び第2モデルの演算出力から融合モデルにより導出される推論タスクの結果が真値に適合するものとなるように第1モデル、第2モデル及び融合モデルに対する第3訓練を行う。
【選択図】図1
特許請求の範囲【請求項１】
コンピュータが、
第１モデル、第２モデル及び融合モデルの機械学習を制御するステップと、
前記機械学習の結果を出力するステップと、
を実行し、
前記第１モデルは、第１データから推論タスクの結果を導出するように構成され、
前記第２モデルは、前記第１データとは異なる種類の第２データから前記推論タスクの結果を導出するように構成され、
前記融合モデルは、前記第１モデルの演算出力及び前記第２モデルの演算出力から前記推論タスクの結果を導出するように構成され、並びに
前記機械学習は、
前記第１データの第１訓練サンプルから前記第１モデルにより導出される前記推論タスクの結果が真値に適合するものとなるように前記第１モデルに対する第１訓練を行うこと、
前記第２データの第２訓練サンプルから前記第２モデルにより導出される前記推論タスクの結果が真値に適合するものとなるように前記第２モデルに対する第２訓練を行うこと、並びに
前記第１訓練及び前記第２訓練と共に、前記推論タスクの結果を導出する際における前記第１モデルの演算出力及び前記第２モデルの演算出力から前記融合モデルにより導出される前記推論タスクの結果が真値に適合するものとなるように前記第１モデル、前記第２モデル及び前記融合モデルに対する第３訓練を行うこと、
を含む、
モデル生成方法。
続きを表示（約 2,200 文字）【請求項２】
前記推論タスクは、所定事象の発生の有無を判別することであり、
前記第１データの第１サンプル群及び前記第２データの第２サンプルの組み合わせによりそれぞれ構成される複数のデータセットが与えられ、
前記複数のデータセットは、前記所定事象の発生有りを示す真値に関連付けられた１以上のポジティブデータセットを含み、
前記１以上のポジティブデータセットそれぞれについて、前記所定事象の発生の尤度を前記第１データから算出するように構成された演算モデルを用いて、前記第１サンプル群に含まれる複数の第１サンプルそれぞれの尤度が算出されており、
前記機械学習では、前記１以上のポジティブデータセットそれぞれの前記第１サンプル群に含まれる前記複数の第１サンプルのうち、算出された前記尤度の最も高い第１サンプルが前記第１訓練サンプルとして用いられる、
請求項１に記載のモデル生成方法。
【請求項３】
前記複数のデータセットは、前記所定事象の発生無しを示す真値に関連付けられた１以上のネガティブデータセットを更に含み、
前記１以上のネガティブデータセットそれぞれについて、前記演算モデルを用いて、前記第１サンプル群に含まれる複数の第１サンプルそれぞれの尤度が算出されており、
前記機械学習では、前記１以上のネガティブデータセットそれぞれの前記第１サンプル群に含まれる前記複数の第１サンプルのうち、算出された前記尤度の最も高い第１サンプルが前記第１訓練サンプルとして用いられる、
請求項２に記載のモデル生成方法。
【請求項４】
前記推論タスクは、所定事象の発生の有無を判別することであり、
前記第１データの第１サンプル群及び前記第２データの第２サンプルの組み合わせによりそれぞれ構成される複数のデータセットが与えられ、
前記機械学習において、前記各データセットの前記第１サンプル群に含まれる複数の第１サンプルそれぞれが前記第１訓練サンプルとして用いられ、前記第２サンプルが前記第２訓練サンプルとして用いられ、
前記第１サンプルに関連付けられた前記推論タスクの真値が前記第２サンプルに関連付けられた前記推論タスクの真値と一致しない場合、前記第３訓練を行うことは省略される、
請求項１に記載のモデル生成方法。
【請求項５】
コンピュータに、
第１データの第１サンプル及び前記第１データとは異なる種類の第２データの第２サンプルを取得するステップと、
第１モデル、第２モデル及び融合モデルを用いて、取得された前記第１サンプル及び前記第２サンプルから推論タスクの結果を導出するステップと、
導出された前記推論タスクの結果に関する情報を出力するステップと、
を実行させるための推論プログラムであって、
前記推論タスクの結果を導出するステップは、
前記第１モデルを用いて、前記推論タスクの第１暫定結果を前記第１サンプルから導出すること、
前記第２モデルを用いて、前記推論タスクの第２暫定結果を前記第２サンプルから導出すること、
前記融合モデルを用いて、前記第１暫定結果を導出する過程で得られる前記第１モデルの演算出力及び前記第２暫定結果を導出する過程で得られる前記第２モデルの演算出力から前記推論タスクの第３暫定結果を導出すること、並びに
導出された前記第１暫定結果、前記第２暫定結果及び前記第３暫定結果に応じて、前記推論タスクの結果を導出すること、
を含む、
推論プログラム。
【請求項６】
前記第１データは、センサによるセンシングデータであり、
前記第２データは、前記センシングデータ以外である、
請求項５に記載の推論プログラム。
【請求項７】
前記第１データは、対象者の医用画像データであり、
前記第２データは、前記対象者に対する問診の回答データであり、
前記推論タスクは、前記対象者における疾患の発生の有無を判別すること含む、
請求項５に記載の推論プログラム。
【請求項８】
前記第１データは、対象物の写る画像データ又は対象物に関する音データであり、
前記第２データは、前記対象物に関する作業履歴データであり、
前記推論タスクは、前記対象物における異常の発生の有無を判別することを含む、
請求項５に記載の推論プログラム。
【請求項９】
前記第１データは、対象者の写る画像データ又は対象者に関する音データであり、
前記第２データは、前記対象者に関するテキストデータであり、
前記推論タスクは、前記対象者の感情を推論することを含む、
請求項５に記載の推論プログラム。
【請求項１０】
前記第１データは、第１センサによる第１センシングデータであり、
前記第２データは、前記第１センサとは異なる種類の第２センサによる第２センシングデータである、
請求項５に記載の推論プログラム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、モデル生成方法、推論プログラム及び推論装置に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
近年、複数種類のデータの入力を受け付け、推論結果を導出するように構成されるマルチモーダルなモデルの研究が進んでいる。例えば、非特許文献１には、２種類のデータを融合して、融合されたデータから推論結果を導出するように構成される融合モデルを畳み込みニューラルネットワークにより構築する手法が提案されている。
【先行技術文献】
【非特許文献】
【０００３】
Hamid Reza Vaezi Joze, et al. " MMTM: Multimodal Transfer Module for CNN Fusion", [online], [令和６年３月２２日検索], インターネット＜ＵＲＬ：https://arxiv.org/abs/1911.08670＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本件発明者らは、上記従来の方法には、次のような問題点があることを見出した。すなわち、従来の手法では、融合モデルの機械学習において、各種データの融合に適した特徴が優先されることで、各種データ個別の推論に適した特徴が損なわれてしまう恐れがある。その結果、融合モデルの推論精度の向上が困難になる可能性がある。
【０００５】
本発明は、一側面では、このような事情を鑑みてなされたものであり、その目的は、機械学習モデルの推論精度の向上を図る技術を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、上述した課題を解決するために、以下の構成を採用する。なお、以下の発明の構成は適宜組み合わせ可能である。
【０００７】
本発明の一側面に係るモデル生成方法は、コンピュータが、第１モデル、第２モデル及び融合モデルの機械学習を制御するステップと、前記機械学習の結果を出力するステップとを実行する情報処理方法である。前記第１モデルは、第１データから推論タスクの結果を導出するように構成される。前記第２モデルは、前記第１データとは異なる種類の第２データから前記推論タスクの結果を導出するように構成される。前記融合モデルは、前記第１モデルの演算出力及び前記第２モデルの演算出力から前記推論タスクの結果を導出するように構成される。そして、前記機械学習は、前記第１データの第１訓練サンプルから前記第１モデルにより導出される前記推論タスクの結果が真値に適合するものとなるように前記第１モデルに対する第１訓練を行うこと、前記第２データの第２訓練サンプルから前記第２モデルにより導出される前記推論タスクの結果が真値に適合するものとなるように前記第２モデルに対する第２訓練を行うこと、並びに前記第１訓練及び前記第２訓練と共に、前記推論タスクの結果を導出する際における前記第１モデルの演算出力及び前記第２モデルの演算出力から前記融合モデルにより導出される前記推論タスクの結果が真値に適合するものとなるように前記第１モデル、前記第２モデル及び前記融合モデルに対する第３訓練を行うことを含む。
【０００８】
当該構成では、各データ個別に推論結果を導出する各モデルの訓練と並行して、融合モデルの訓練が実行される。これにより、各データの特徴から推論結果を導出する能力を融
合モデルに獲得させながら、各データの推論に適した特徴を抽出する（それにより、推論結果を導出する）能力を各個別モデル（第１モデル、第２モデル）に獲得させることができる。したがって、当該構成によれば、融合モデルの訓練だけではなく、各個別モデルの訓練を並行に実行することにより、各データの推論に適した特徴が損なわれる可能性を低減することができる。そのため、生成される訓練済みモデルにおいて、推論精度の向上を期待することができる。
【０００９】
上記一側面に係るモデル生成方法において、前記推論タスクは、所定事象の発生の有無を判別することであってよい。前記第１データの第１サンプル群及び前記第２データの第２サンプルの組み合わせによりそれぞれ構成される複数のデータセットが与えられてよい。前記複数のデータセットは、前記所定事象の発生有りを示す真値に関連付けられた１以上のポジティブデータセットを含んでよい。前記１以上のポジティブデータセットそれぞれについて、前記所定事象の発生の尤度を前記第１データから算出するように構成された演算モデルを用いて、前記第１サンプル群に含まれる複数の第１サンプルそれぞれの尤度が算出されていてよい。前記機械学習では、前記１以上のポジティブデータセットそれぞれの前記第１サンプル群に含まれる前記複数の第１サンプルのうち、算出された前記尤度の最も高い第１サンプルが前記第１訓練サンプルとして用いられてよい。
【００１０】
推論タスクが所定事象の発生の有無を判別することであり、データがサンプル群の形式（例えば、画像群、音サンプル群等）で得られる場合、その所定事象の発生に関する特徴がサンプル群の一部にのみ表れる可能性がある。例えば、病気の疾患を診断する場合に、その疾患に関する病変が医用画像群の一部の画像にのみ表れることが典型例である。これに応じて、サンプル群に含まれる残りのサンプルには、その特徴が表れない（すなわち、所定事象が発生していない場合と同じ状態である）可能性がある。このときに、残りのサンプルをポジティブサンプルとして機械学習に使用すると、ネガティブサンプルと同等のサンプルをポジティブサンプルとして訓練することになり、個別モデル及び融合モデルの推論精度の悪化を招く恐れがある。これに対して、当該構成によれば、演算モデルを用いて算出された尤度により第１サンプルを選別することで、所定事象の発生の特徴が表れている可能性の高い第１サンプルを第１訓練サンプルとして機械学習に使用するようにすることができる。その結果、訓練済みモデルにおける推論精度の悪化を抑制することができる。
（【００１１】以降は省略されています）

関連特許