特許ウォッチ

公開番号2024038750
公報種別公開特許公報(A)
公開日2024-03-21
出願番号2022143003
出願日2022-09-08
発明の名称学習装置
出願人日本電気株式会社
代理人個人,個人,個人,個人
主分類G06N 20/20 20190101AFI20240313BHJP(計算;計数)
要約【課題】GBFにおいて的確な学習を行うことが難しい場合がある。
【解決手段】学習装置500は、他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得する取得部521と、取得部521が取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う変換部522と、を有する。
【選択図】図11

特許請求の範囲【請求項１】
他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得する取得部と、
前記取得部が取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う変換部と、
を有する
学習装置。
続きを表示（約 1,300 文字）【請求項２】
請求項１に記載の学習装置であって、
前記取得部は、他の学習装置から受信した学習器の出力と自装置が訓練した学習器の出力とを所定の結合係数を用いて足し合わせる処理をクラスごとに行うことで、所定の出力を得る
学習装置。
【請求項３】
請求項２に記載の学習装置であって、
前記結合係数は、各学習装置が学習器を訓練する際に用いる学習データの数に基づいて学習装置ごとに予め定められた値である
学習装置。
【請求項４】
請求項２に記載の学習装置であって、
他の学習装置から受信した学習器と、自装置が訓練した学習器と、自装置が有するデータと、に基づいて前記結合係数を算出する算出部を有し、
前記取得部は、他の学習装置から受信した学習器の出力と自装置が訓練した学習器の出力とを前記算出部が算出した前記結合係数を用いて足し合わせる処理をクラスごとに行うことで、所定の出力を得る
学習装置。
【請求項５】
請求項４に記載の学習装置であって、
前記算出部は、学習器である決定木において各葉ノードに落ちるデータを特定して、葉ノードごとのデータを用いて前記結合係数を算出する
学習装置。
【請求項６】
請求項４に記載の学習装置であって、
前記算出部は、他の学習装置から受信した学習器と、自装置が訓練した学習器と、自装置が有する、検証用のデータであるバリデーションデータと、に基づいて前記結合係数を算出する
学習装置。
【請求項７】
請求項１に記載の学習装置であって、
他の学習装置から受信した学習器と、自装置が有するデータと、を用いて追加の特徴量を算出する特徴量算出部と、
前記特徴量算出部が算出した特徴量を自装置が有するデータに加えて学習することで学習器を訓練する学習部と、
を有し、
前記取得部は、他の学習装置から受信した学習器の出力と前記学習部が訓練した学習器の出力とを所定の結合係数を用いて足し合わせる処理をクラスごとに行うことで、所定の出力を得る
学習装置。
【請求項８】
請求項１に記載の学習装置であって、
前記変換部は、前記変換処理としてソフトマックス変換を行う
学習装置。
【請求項９】
情報処理装置が、
他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得し、
取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う
学習方法。
【請求項１０】
情報処理装置に、
他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得し、
取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う
処理を実現するためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、学習装置、学習方法、プログラムに関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
よりよい性能を得ることなどを目的として、各参加者において学習した学習器を組み合わせることがある。
【０００３】
例えば、非特許文献１には、各ラウンドにおいて参加者それぞれが決定木を作成して、作成した決定木を結合することでよりよい性能のモデルを作成する勾配ブースティングフォーレスト（GBF:Gradient Boosting Forest）という技術が記載されている。
【０００４】
また、関連する文献として、例えば、特許文献１がある。特許文献１には、既存のモデルとの間のギャップを埋めるように追加の決定木を訓練して訓練した決定木モデルを結合することで精度を上げるＧＢＤＴ（Gradient Boosting Decision Tree）などについて記載されている。
【先行技術文献】
【特許文献】
【０００５】
特開２０２１－１４０２９６号公報
【非特許文献】
【０００６】
ＦｅｎｇＷａｎｇｅｔａｌ., ＧｒａｄｉｅｎｔＢｏｏｓｔｉｎｇＦｏｒｅｓｔ：ａＴｗｏ－ＳｔａｇｅＥｎｓｅｍｂｌｅＭｅｔｈｏｄＥｎａｂｌｉｎｇＦｅｄｅｒａｔｅｄＬｅａｒｎｉｎｇｏｆＧＢＤＴｓＩＣＯＮＩＰ２０２１：ＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇｐｐ７５－８６［令和４年３月８日検索］，インターネット＜https://link.springer.com/chapter/10.1007/978-3-030-92270-2_7＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１によると、多クラス分類用のGBFを行う場合、各決定木の出力に対してソフトマックス変換を行った後に、変換後の値を前ラウンドまでの結果に対して所定の割合で足し合わせている。ここで、ソフトマックス変換では、入力に対する出力が０から１の間に収まるように変換を行う。その結果、各ラウンドで正の値しか足されないこととなり、どこかのラウンドで非正解クラスの確率の増加分を過大に見積もったとしてもそれを修正することが難しかった。このように、GBFにおいて的確な学習を行うことが難しい場合があった。
【０００８】
そこで、本発明は、上述した課題を解決することが可能な学習装置、学習方法、記録媒体などを提供することを目的の一つとする。
【課題を解決するための手段】
【０００９】
かかる目的を達成するため本開示の一形態である学習装置は、
他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得する取得部と、
前記取得部が取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う変換部と、
を有する
という構成をとる。
【００１０】
また、本開示の他の形態である学習方法は、
情報処理装置が、
他の学習装置から受信したクラスごとの学習器の出力と自装置が訓練したクラスごとの学習器の出力とをクラスごとに入力して、クラスごとに所定の出力を取得し、
取得したクラスごとの出力に対して確率を表現するための変換処理をクラスごとに行う
という構成をとる。
（【００１１】以降は省略されています）

関連特許