特許ウォッチ

公開番号2024122865
公報種別公開特許公報(A)
公開日2024-09-09
出願番号2023219759
出願日2023-12-26
発明の名称深層信念ネットワークのトレーニング
出願人富士通株式会社
代理人個人,個人
主分類G06N 3/082 20230101AFI20240902BHJP(計算;計数)
要約【課題】深層信念ネットワークのトレーニングを提供する。
【解決手段】トレーニング・データを使用して第1の深層信念ネットワーク(DBN)をトレーニングする段階と;前記第1のDBNに少なくとも1つのニューロンを追加して、第2のDBNを生成する段階と;トレーニングされた第1のDBNにおけるニューロンの重みに従って前記第2のDBNにおけるニューロンに重みを割り当てる段階と;前記トレーニング・データを使用して前記第2のDBNをトレーニングする段階とを含む、コンピュータ実装される方法。
【選択図】図2
特許請求の範囲【請求項１】
トレーニング・データを使用して第1の深層信念ネットワーク（DBN）をトレーニングする段階と；
前記第1のDBNに少なくとも1つのニューロンを追加して、第2のDBNを生成する段階と；
トレーニングされた第1のDBNにおけるニューロンの重みに従って前記第2のDBNにおけるニューロンに重みを割り当てる段階と；
前記トレーニング・データを使用して前記第2のDBNをトレーニングする段階とを含む、
コンピュータ実装される方法。
続きを表示（約 1,400 文字）【請求項２】
前記第1のDBNのトレーニングは、事前定義された数のエポックについてまたは事前定義された長さの時間にわたって前記第1のDBNをトレーニングすることを含む、請求項１に記載のコンピュータ実装される方法。
【請求項３】
トレーニングされた第1のDBNにおけるニューロンの重みに従って前記第2のDBNにおけるニューロンに重みを割り当てることは、前記第2のDBNにおける新たに追加されたニューロンについて、各ニューロンに対して、前記トレーニングされた第1のDBNからサンプリングされたニューロンの重みを割り当てることを含む、請求項１または２に記載のコンピュータ実装される方法。
【請求項４】
前記第2のDBNのトレーニングは、事前定義された数のエポックについてまたは事前定義された長さの時間にわたって前記第2のDBNをトレーニングすることを含む、請求項１または２に記載のコンピュータ実装される方法。
【請求項５】
前記第2のDBNをトレーニングするときにある回数のトレーニング・エポックの後に、または前記第2のDBNをトレーニングするときにある時間間隔で、再構成誤差を計算することをさらに含む、請求項１または２に記載のコンピュータ実装される方法。
【請求項６】
あるエポック後に、相続く再構成誤差の間の差の絶対値が閾値未満である場合、前記第2のDBNのトレーニングを終了することをさらに含む、請求項５に記載のコンピュータ実装される方法。
【請求項７】
前記第2のDBNに少なくとも1つのニューロンを追加して、第3のDBNを生成する段階と；
トレーニングされた第2のDBNにおけるニューロンの重みに従って前記第3のDBNにおけるニューロンに重みを割り当てる段階と；
前記トレーニング・データを使用して前記第3のDBNをトレーニングする段階とをさらに含む、
請求項１または２に記載のコンピュータ実装される方法。
【請求項８】
少なくとも1つのニューロンを前記第1のDBNに追加する前記段階と、前記第2のDBNにおけるニューロンに重みを割り当てる前記段階と、前記第2のDBNをトレーニングする前記段階とを逐次反復することをさらに含み、各反復工程の前記第1のDBNは、前の反復工程の前記第2のDBNである、請求項１または２に記載のコンピュータ実装される方法。
【請求項９】
トレーニングされた第2のDBNは：
空気汚染；
粒子状物質濃度；
酸化ガス濃度；
還元ガス濃度；
NH3濃度；
騒音レベル；
近傍における人の数；
皮膚電気活動；
心拍数；
心拍数変動；
体温；
血液量パルス；および
身体の動き
のいずれかを含むセンサー・データに基づいて、個人の安寧状態を定量化するためのものである、
請求項１または２に記載のコンピュータ実装される方法。
【請求項１０】
トレーニングされた第2のDBNは、ビデオ・データにおけるオブジェクト検出または追跡のためのものである、請求項１または２に記載のコンピュータ実装される方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、深層信念ネットワーク（deep belief network、DBN）をトレーニングすることに関し、特に、コンピュータ実装方法、コンピュータ・プログラム、および情報プログラミング装置に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
深層信念ネットワーク（DBN）は、伝統的なニューラルネットワークを使用するとき、特に深層ネットワークをトレーニングするときに遭遇する問題についての解決策として発明された。問題とは、特に、遅い学習、下手なパラメータ選択に起因して局所的最小値にはまってしまうこと、および多くのトレーニング・データセットを必要とすることなどである。DBNは、たとえばその上で分類を実行するためには、ハードウェア面で高価であり、時間がかかることがある。また、大きなデータ要件があることがあり、これは、人間の参加者がデータ提供者になるときに、より制約的になる可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上記に鑑みて、DBNをトレーニングする方法が望まれる。
【課題を解決するための手段】
【０００４】
第1の側面のある実施形態によれば、トレーニング・データを使用して第1の深層信念ネットワーク（DBN）をトレーニングする（それによりトレーニングされた第1のDBNを生成する）段階と；（トレーニングされていない）第1のDBN（またはニューロン重みなしの第1のDBN）（のコピー）に少なくとも1つのニューロンを追加して、（第1のDBNと比べて拡張された）第2のDBNを生成する段階と；トレーニングされた第1のDBNにおける（対応する）ニューロンの重みに従って第2のDBNにおけるニューロンに重みを割り当てる（それにより、部分的にトレーニングされた第2のDBNを生成する）段階と；前記トレーニング・データを使用して前記（部分的にトレーニングされた）第2のDBNをトレーニングする段階とを含む、コンピュータ実装される方法が本明細書で開示される。
【０００５】
第2の側面のある実施形態によれば、トレーニング・データを使用して第1の深層信念ネットワーク（DBN）をトレーニングする（それにより、トレーニングされた第1のDBNを生成する）段階と；拡張‐トレーニング・プロセスを逐次反復する段階とを含み、該拡張‐トレーニング・プロセスは（トレーニングされていない）第1のDBN（またはニューロン重みなしの第1のDBN）（のコピー）に少なくとも1つのニューロンを追加して、（第1のDBNと比べて拡張された）第2のDBNを生成する段階と；トレーニングされた第1のDBNにおける（対応する）ニューロンの重みに従って第2のDBNにおけるニューロンに重みを割り当てる（それにより、部分的にトレーニングされた第2のDBNを生成する）段階と；前記トレーニング・データを使用して前記（部分的にトレーニングされた）第2のDBNをトレーニングする段階とを含み、各（後続の）反復工程の前記（トレーニングされていない）第1のDBNは、前の反復工程（または前記後続の反復工程に（直）前の反復工程）の前記（トレーニングされた）第2のDBNである、コンピュータ実装される方法が本明細書で開示される。
【０００６】
第1のDBNのトレーニングは、対照的発散勾配近似を使用することを含んでいてもよい。
【０００７】
第1のDBNのトレーニングは、事前決定された／特定の／設定された数のエポックについて第1のDBNをトレーニングすることを含んでいてもよい。
【０００８】
第1のDBNのトレーニングは、nエポックについて第1のDBNをトレーニングすることを含んでいてもよく、ここで、nは1より大きい（または1に等しい）整数である。
【０００９】
第1のDBNのトレーニングは、事前決定された／特定の／設定された時間の長さにわたって、第1のDBNをトレーニングすることを含んでいてもよい。
【００１０】
コンピュータ実装される方法は、第1のDBNをトレーニングするときに、各（または（事前決定された／設定された）数の）トレーニング・エポックの後に再構成誤差を計算することをさらに含んでいてもよい。
（【００１１】以降は省略されています）

関連特許