特許ウォッチ

公開番号2025169425
公報種別公開特許公報(A)
公開日2025-11-12
出願番号2025140436,2021195454
出願日2025-08-26,2021-12-01
発明の名称機械学習装置、機械学習方法、および機械学習プログラム
出願人株式会社JVCケンウッド
代理人
主分類G06N 3/0895 20230101AFI20251105BHJP(計算;計数)
要約【課題】セマンティック情報を持たない新規クラスに対して学習する機械学習装置、方法及びプログラムを提供する。
【解決手段】機械学習装置200において、特徴抽出部220は入力データから特徴ベクトルを抽出する。セマンティック予測部250は、入力データの特徴ベクトルからセマンティックベクトルを生成する事前にメタ学習されたモジュールである。マッピング部230は、入力データの特徴ベクトルからセマンティックベクトルを生成するベースクラスを学習済みのモジュールである。最適化部240は、新規クラスの学習時に新規クラスの入力データにセマンティック情報が付与されていない場合、セマンティック予測部により生成されたセマンティックベクトルを正解セマンティックベクトルとして、マッピング部により生成されたセマンティックベクトルと正解セマンティックベクトルの距離が最小となるようにマッピング部のパラメータを最適化する。
【選択図】図2C
特許請求の範囲【請求項１】
入力データから特徴ベクトルを抽出する特徴抽出部と、
前記入力データの前記特徴ベクトルからセマンティックベクトルを生成する、事前にメ
タ学習されたセマンティック予測部と、
前記入力データの前記特徴ベクトルからセマンティックベクトルを生成する、ベースク
ラスを学習済みのマッピング部と、
前記セマンティック予測部により生成された前記セマンティックベクトルを正解セマン
ティックベクトルとして、前記マッピング部により生成された前記セマンティックベクト
ルと前記正解セマンティックベクトルの距離が最小となるように前記マッピング部のパラ
メータを最適化する最適化部とを含むことを特徴とする機械学習装置。
続きを表示（約 810 文字）【請求項２】
入力データから特徴ベクトルを抽出する特徴抽出ステップと、
事前にメタ学習されたセマンティック予測モジュールを用いて、前記入力データの前記
特徴ベクトルからセマンティックベクトルを生成するセマンティック予測ステップと、
ベースクラスを学習済みのマッピングモジュールを用いて、前記入力データの前記特徴
ベクトルからセマンティックベクトルを生成するマッピングステップと、
前記セマンティック予測ステップにより生成された前記セマンティックベクトルを正解
セマンティックベクトルとして、前記マッピングステップにより生成された前記セマンテ
ィックベクトルと前記正解セマンティックベクトルの距離が最小となるように前記マッピ
ングモジュールのパラメータを最適化する最適化ステップとを含むことを特徴とする機械
学習方法。
【請求項３】
入力データから特徴ベクトルを抽出する特徴抽出ステップと、
事前にメタ学習されたセマンティック予測モジュールを用いて、前記入力データの前記
特徴ベクトルからセマンティックベクトルを生成するセマンティック予測ステップと、
ベースクラスを学習済みのマッピングモジュールを用いて、前記入力データの前記特徴
ベクトルからセマンティックベクトルを生成するマッピングステップと、
前記セマンティック予測ステップにより生成された前記セマンティックベクトルを正解
セマンティックベクトルとして、前記マッピングステップにより生成された前記セマンテ
ィックベクトルと前記正解セマンティックベクトルの距離が最小となるように前記マッピ
ングモジュールのパラメータを最適化する最適化ステップとをコンピュータに実行させる
ことを特徴とする機械学習プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、機械学習技術に関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
人間は長期にわたる経験を通して新しい知識を学習することができ、昔の知識を忘れな
いように維持することができる。一方、畳み込みニューラルネットワーク（Convolutiona
l Neural Network(CNN)）の知識は学習に使用したデータセットに依存しており、データ
分布の変化に適応するためにはデータセット全体に対してＣＮＮのパラメータの再学習が
必要となる。ＣＮＮでは、新しいタスクについて学習していくにつれて、昔のタスクに対
する推定精度は低下していく。このようにＣＮＮでは連続学習を行うと新しいタスクの学
習中に昔のタスクの学習結果を忘れてしまう致命的忘却(catastrophic forgetting)が避
けられない。
【０００３】
致命的忘却を回避する手法として、継続学習（incremental learningまたはcontinual
learning）が提案されている。継続学習とは、新しいタスクや新しいデータが発生した時
に、最初からモデルを学習するのではなく、現在の学習済みのモデルを改善して学習する
学習方法である。
【０００４】
他方、新しいタスクは数少ないサンプルデータしか利用できないことが多いため、少な
い教師データで効率的に学習する手法として、少数ショット学習（few-shot learning）
が提案されている。少数ショット学習では、一度学習したパラメータを再学習せずに、別
の少量のパラメータを用いて新しいタスクを学習する。
【０００５】
基本（ベース）クラスの学習結果に対して致命的忘却を伴わずに新規クラスを学習する
継続学習と、基本クラスに比べて少数しかない新規クラスを学習する少数ショット学習と
を組み合わせた継続少数ショット学習（Incremental Few Shot Learning(IFSL)）と呼ば
れる手法が提案されている（非特許文献１）。継続少数ショット学習では、基本クラスに
ついては大規模なデータセットから学習し、新規クラスについては少数のサンプルデータ
から学習することができる。
【先行技術文献】
【非特許文献】
【０００６】
Cheraghian, A., Rahman, S., Fang, P., Roy, S. K., Petersson, L., & Harandi, M. (2021). Semantic-aware Knowledge Distillation for Few-Shot Class-Incremental Learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 2534-2543).
【発明の概要】
【発明が解決しようとする課題】
【０００７】
継続少数ショット学習手法として非特許文献１に記載のＳａＫＤ（Semantic-aware Kno
wledge Distillation）がある。ＳａＫＤは、継続少数ショット学習において、各クラス
のセマンティック（意味）情報をグラウンドトゥルース（正解データ）として画像分類タ
スクに利用する。一般に、基本クラスの事前学習時は、セマンティック情報が付与された
画像データセットを利用することができるが、新規クラスの学習時の画像にはセマンティ
ック情報が付与されていないことがある。ＳａＫＤでは、新規クラスを学習するためには
、新規クラスの画像に対応したセマンティック情報が正解データとして必要であり、セマ
ンティック情報を持たない画像に対しては学習ができないという課題があった。
【０００８】
本発明はこうした状況に鑑みてなされたものであり、その目的は、セマンティック情報
を持たない新規クラスに対して学習することができる機械学習技術を提供することにある
。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある態様の機械学習装置は、入力データから特徴
ベクトルを抽出する特徴抽出部と、前記入力データに付与されたセマンティック情報から
セマンティックベクトルを生成するセマンティックベクトル生成部と、前記入力データの
前記特徴ベクトルからセマンティックベクトルを生成する、事前にメタ学習されたセマン
ティック予測部と、前記入力データの前記特徴ベクトルからセマンティックベクトルを生
成する、ベースクラスを学習済みのマッピング部と、新規クラスの学習時に前記新規クラ
スの入力データにセマンティック情報が付与されていない場合、前記セマンティック予測
部により生成された前記セマンティックベクトルを正解セマンティックベクトルとして、
前記マッピング部により生成された前記セマンティックベクトルと前記正解セマンティッ
クベクトルの距離が最小となるように前記マッピング部のパラメータを最適化する最適化
部とを含む。
【００１０】
本発明の別の態様は、機械学習方法である。この方法は、入力データから特徴ベクトル
を抽出する特徴抽出ステップと、前記入力データに付与されたセマンティック情報からセ
マンティックベクトルを生成するセマンティックベクトル生成ステップと、事前にメタ学
習されたセマンティック予測モジュールを用いて、前記入力データの前記特徴ベクトルか
らセマンティックベクトルを生成するセマンティック予測ステップと、ベースクラスを学
習済みのマッピングモジュールを用いて、前記入力データの前記特徴ベクトルからセマン
ティックベクトルを生成するマッピングステップと、新規クラスの学習時に前記新規クラ
スの入力データにセマンティック情報が付与されていない場合、前記セマンティック予測
ステップにより生成された前記セマンティックベクトルを正解セマンティックベクトルと
して、前記マッピングステップにより生成された前記セマンティックベクトルと前記正解
セマンティックベクトルの距離が最小となるように前記マッピングモジュールのパラメー
タを最適化する最適化ステップとを含む。
（【００１１】以降は省略されています）

関連特許