特許ウォッチ

公開番号2024179121
公報種別公開特許公報(A)
公開日2024-12-26
出願番号2023097693
出願日2023-06-14
発明の名称学習装置、及び学習方法
出願人株式会社日立製作所
代理人藤央弁理士法人
主分類G06N 3/045 20230101AFI20241219BHJP(計算;計数)
要約【課題】数値データやカテゴリカルデータ等の異種の形式のデータが混在した表形式データに対して、種々のインスタンスの生成戦略を許容可能な自己教師あり学習を実行する。
【解決手段】学習装置は、表形式データに対して機械学習モデルを構築するための学習装置であって、所定の処理を実行する演算装置と、前記演算装置がアクセス可能な記憶装置と、を備え、前記演算装置が、前記表形式データのインスタンスのペアの近傍関係を定義する近傍定義情報に基づいた自己教師あり学習による上流タスクに関する上流モデルを生成する上流タスク学習部と、前記演算装置が、教師あり学習、強化学習、又は教師なし学習により下流タスクに関する下流モデルを生成する下流タスク学習部と、を有する。
【選択図】図1
特許請求の範囲【請求項１】
表形式データに対して機械学習モデルを構築するための学習装置であって、
所定の処理を実行する演算装置と、前記演算装置がアクセス可能な記憶装置と、を備え、
前記演算装置が、前記表形式データのインスタンスのペアの近傍関係を定義する近傍定義情報に基づいた自己教師あり学習による上流タスクに関する上流モデルを生成する上流タスク学習部と、
前記演算装置が、教師あり学習、強化学習、又は教師なし学習により下流タスクに関する下流モデルを生成する下流タスク学習部と、
を有することを特徴とする学習装置。
続きを表示（約 1,700 文字）【請求項２】
請求項１に記載の学習装置であって、
前記表形式データは、前記インスタンスの日時を表す少なくとも１つのデータ項目を有し、
前記近傍定義情報には、時間軸方向に関する前記近傍関係が定義され、
前記上流タスク学習部は、前記近傍定義情報に基づき、前記自己教師あり学習に用いる前記インスタンスを選択、又は生成する
ことを特徴とする学習装置。
【請求項３】
請求項１に記載の学習装置であって、
前記表形式データは、前記インスタンスの位置を表す少なくとも１つのカラムを有し、
前記近傍定義情報には、物理的距離に関する前記近傍関係が定義され、
前記上流タスク学習部は、前記近傍定義情報に基づき、前記自己教師あり学習に用いる前記インスタンスを選択、又は生成する
ことを特徴とする学習装置。
【請求項４】
請求項１に記載の学習装置であって、
前記演算装置が、前記表形式データをシミュレーションによって生成するシミュレーション実行部、を有し、
前記上流タスク学習部は、観測された前記表形式データに加えて、前記シミュレーション実行部によって生成された前記表形式データを前記自己教師あり学習に用いる
ことを特徴とする学習装置。
【請求項５】
請求項４に記載の学習装置であって、
前記表形式データは、前記インスタンスの日時を表す少なくとも１つのカラムを有し、
前記シミュレーション実行部は、あるインスタンスを初期状態としてシミュレーションを行うことにより前記表形式データを生成する
ことを特徴とする学習装置。
【請求項６】
請求項１に記載の学習装置であって、
前記上流タスクに用いる機械学習モデルは、前記インスタンスを表現に変換するエンコーダと、前記エンコーダの出力を別の表現に変換する１又は複数のプレディクタと、を有し、
前記機械学習モデルの前記自己教師あり学習は、前記自己教師あり学習に用いる前記インスタンスのペアに関して、一方の前記インスタンスを前記エンコーダに入力して得られた表現を前記プレディクタに入力して得られた別の表現が、他方の前記インスタンスを前記エンコーダに入力して得られた表現に近づくように前記エンコーダ、及び前記プレディクタのパラメータを学習するものであり、
前記近傍定義情報には、前記プレディクタ、及び前記インスタンスのペアの選択の方法が定義されている
ことを特徴とする学習装置。
【請求項７】
請求項１に記載の学習装置であって、
前記近傍定義情報には、前記自己教師あり学習に用いるインスタンスの生成に関わるハイパーパラメータの範囲が指定されており、
前記演算装置が、前記近傍定義情報に指定されている前記ハイパーパラメータの範囲に従って前記ハイパーパラメータを探索する全体タスク管理部、を有する
ことを特徴とする学習装置。
【請求項８】
請求項２に記載の学習装置であって、
前記表形式データは、複数台の機械が同種の作業指示に従って作業を行う際の観測データであり、
前記上流タスク学習部は、前記自己教師あり学習に用いる前記インスタンスのペアを前記同種の作業指示を受けてからの相対時刻の距離に基づいて選択又は生成する
ことを特徴とする学習装置。
【請求項９】
請求項３に記載の学習装置であって、
前記表形式データは、予め定められた路線を移動する移動体が前記路線におけるストップに停車しながら目標まで移動する際の観測データであり、
前記上流タスク学習部は、前記自己教師あり学習に用いる前記インスタンスのペアを前記路線における前記ストップ間の距離に基づいて選択又は生成する
ことを特徴とする学習装置。
【請求項１０】
請求項９に記載の学習装置であって、
前記ストップの間の距離は、前記移動体の運転種別に基づいて算出される
ことを特徴とする学習装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、学習装置、及び学習方法に関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
昨今ＩｏＴの発展に伴い、種々の分野で人工知能、特に機械学習を活用した応用が拡がりつつある。例えば、製造業の分野では、ロボットの活用がこれまで以上に期待されており、強化学習を用いて動作計画を自動的に獲得させるような試みがなされている。また、例えば、交通分野では、例えばバスの遅延時間を教師あり学習を用いて予測するようなサービスも提供されつつある。
【０００３】
一方、高精度な機械学習モデルを構築するためには、膨大な学習用データが必要となることが多い。しかしながら、実際には、実機環境でのデータ収集の困難さ、ラベル付けの困難さ等の理由から十分な量の学習用データを集められないことがある。
【０００４】
このような状況の対策として、事前学習の一種である自己教師あり学習が用いられる。自己教師あり学習は、入力データから教師データを自動生成することで実機での試行錯誤やラベル付けなしに有用な表現を事前学習する手法である。そのシンプルな方法の１つは、深層学習を対象として、類似性の高い２つのインスタンスを同じニューラルネットワークに入力し得られる表現（特徴量）を近づけるように学習する方法である。しばしば類似性の高い２つのインスタンスは、データセットからサンプリングされたインスタンスに異なるデータ拡張を適用して作成される。このアプローチは、自己教師あり表現学習とも呼ばれ、良い表現が得られるか否かについては、入力する類似性の高い２つのインスタンスの生成戦略に依存する。
【０００５】
例えば、特許文献１には、処理対象のデータを所定の形式のデータに変換する主変換処理の内容を自己教師あり学習の実行により更新する自己学習部と、前記主変換処理の処理対象のデータを音響時系列に基づき生成するデータ拡張処理、を実行するデータ拡張部と、を備え、前記データ拡張部は、前記音響時系列の一部の時系列である部分時系列を切り出す音響時系列切り出し処理と、部分時系列を複製する複製処理と、部分時系列の一方と他方とを所定の規則にしたがって変換する変換処理と、を行い、前記自己学習部は、前記変換処理によって得られた結果に基づく自己教師あり学習により、前記主変換処理の内容を更新する、学習装置が記載されている。
【先行技術文献】
【特許文献】
【０００６】
国際公開第２０２２／２４４０４７号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の技術によれば、時間間隔の離れた類似性を考慮した自己教師あり学習が可能となる。しかしながら、特許文献１に記載の技術では、発明者等の知見に基づく音響時系列向けの変換処理が組み込まれたものであって、数値データやカテゴリカルデータ等の異種の形式のデータが混在した表形式データを対象としていない。
【０００８】
このため、例えば、路線バスの停留所（以下、ストップと称する）ごとに得られるデータに関して、同じバスの異なるストップ（ＩＤや名称等による離散値で表される）でのインスタンスに対して共通の表現を得ることや、異なるバスの同じストップに対して共通の表現を得ることは困難である。
【０００９】
また、前述したように、良い表現が得られるか否かについては、入力する類似性の高い２つのインスタンスの生成戦略に依存することになるが、特許文献１に記載の技術では、表現を近づけるインスタンスを生成する戦略自体をユーザが試行錯誤的に探索したり、計算機によって機械的に探索したりすることが考慮されていない。
【００１０】
本発明は前述した課題を鑑みてなされたものであって、数値データやカテゴリカルデータ等の異種の形式のデータが混在した表形式データに対して、種々のインスタンスの生成戦略を許容可能な自己教師あり学習を実行できるようにすることを目的とする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許