特許ウォッチ

公開番号2024089281
公報種別公開特許公報(A)
公開日2024-07-03
出願番号2022204549
出願日2022-12-21
発明の名称パイプライン評価装置、パイプライン評価方法、及び、プログラム
出願人日本電気株式会社
代理人個人,個人,個人
主分類G06F 11/34 20060101AFI20240626BHJP(計算;計数)
要約【課題】パイプライン全体の性能を適切に評価する。
【解決手段】パイプライン評価装置において、データ取得手段は、時系列のデータを取得する。パイプライン実行手段は、取得したデータを用いてパイプラインを実行し、実行結果を生成する。指標計算手段は、実行結果を用いて、パイプラインの実行により得られる損益に基づいてパイプラインを評価する評価指標を計算し、評価結果を出力する。
【選択図】図4
特許請求の範囲【請求項１】
時系列のデータを取得するデータ取得手段と、
取得したデータを用いてパイプラインを実行し、実行結果を生成するパイプライン実行手段と、
前記実行結果を用いて、前記パイプラインの実行により得られる損益に基づいて前記パイプラインを評価する評価指標を計算し、評価結果を出力する指標計算手段と、
を含むパイプライン評価手段を備えるパイプライン評価装置。
続きを表示（約 1,200 文字）【請求項２】
前記評価指標は、前記パイプラインの実行により得られる利益と損失の差により示される請求項１に記載のパイプライン評価装置。
【請求項３】
前記利益は、前記パイプラインに含まれる機械学習モデルによる予測精度が高い場合に得られる利益を含み、
前記損失は、前記機械学習モデルによる予測精度が低い場合に生じるコストを含む請求項２に記載のパイプライン評価装置。
【請求項４】
ランダムシードを変更しつつ前記パイプライン評価手段による評価を所定回数実行して評価結果を生成し、前記評価結果に対する統計量を計算することで、前記パイプラインの乱数依存性を評価する乱数依存性評価手段を備える請求項１に記載のパイプライン評価装置。
【請求項５】
運用データを変更しつつ前記パイプライン評価手段又は前記乱数依存性評価手段による評価を所定回数実行して評価結果を生成し、前記評価結果に対する統計量を計算することで、前記パイプラインのデータ依存性を評価するデータ依存性評価手段を備える請求項４に記載のパイプライン評価装置。
【請求項６】
前記データ依存性評価手段は、参照用データに基づいて複数の運用データを生成するデータ生成手段を備える請求項５に記載のパイプライン評価装置。
【請求項７】
前記パイプラインのパラメータを変更しつつ、前記パイプライン評価手段、前記乱数依存性評価手段及び前記データ依存性評価手段の少なくとも一つによる評価を所定回数実行し、得られた評価結果に基づいて最適なパラメータを決定するパイプライン最適化手段を備える請求項５に記載のパイプライン評価装置。
【請求項８】
異なるタスクに対応する複数のデータを用いて、前記パイプライン評価手段、前記乱数依存性評価手段、及び、前記データ依存性評価手段の少なくとも一つによる評価を実行し、得られた評価結果に対する統計量を計算することで、前記パイプラインのタスク依存性を評価するタスク依存性評価手段を備える請求項７に記載のパイプライン評価装置。
【請求項９】
時系列のデータを取得し、
取得したデータを用いてパイプラインを実行し、実行結果を生成し、
前記実行結果を用いて、前記パイプラインの実行により得られる損益に基づいて前記パイプラインを評価する評価指標を計算し、評価結果を出力するパイプライン評価処理をコンピュータを用いて実行するパイプライン評価方法。
【請求項１０】
時系列のデータを取得し、
取得したデータを用いてパイプラインを実行し、実行結果を生成し、
前記実行結果を用いて、前記パイプラインの実行により得られる損益に基づいて前記パイプラインを評価する評価指標を計算し、評価結果を出力するパイプライン評価処理をコンピュータに実行させるプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、機械学習モデルを運用するパイプラインの評価に関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
機械学習モデルの運用自動化にはパイプラインが活用されている。パイプラインとは、人手による機械学習運用プロセスを自動化したプログラムやシステムを言う。パイプラインを構成する複数のコンポーネントが連動して動作することにより、機械学習モデルの自動的な運用が実現される。パイプラインの性能が低いと、機械学習モデルの運用中に不利益が発生する。よって、運用前にパイプラインの性能やリスクを評価し、パイプラインの構成を最適化しておくことが必要となる。特許文献１は、分析パイプラインモデルのパラメータ調整について記載している。
【先行技術文献】
【特許文献】
【０００３】
国際公開ＷＯ２０１８／００２９６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１は、パイプラインのパラメータの調整について記載しているが、パイプライン全体の性能やリスクを評価するためには、パラメータの評価のみならず、パイプライン全体としての性能を評価することが必要となる。
【０００５】
本開示の１つの目的は、パイプライン全体の性能を適切に評価することが可能なパイプライン評価装置を提供することにある。
【課題を解決するための手段】
【０００６】
本開示の一つの観点では、パイプライン評価装置は、
時系列のデータを取得するデータ取得手段と、
取得したデータを用いてパイプラインを実行し、実行結果を生成するパイプライン実行手段と、
前記実行結果を用いて、前記パイプラインの実行により得られる損益に基づいて前記パイプラインを評価する評価指標を計算し、評価結果を出力する指標計算手段と、
を含むパイプライン評価手段を備える。
【０００７】
本開示の他の観点では、パイプライン評価方法は、
時系列のデータを取得し、
取得したデータを用いてパイプラインを実行し、実行結果を生成し、
前記実行結果を用いて、前記パイプラインの実行により得られる損益に基づいて前記パイプラインを評価する評価指標を計算し、評価結果を出力するパイプライン評価処理をコンピュータを用いて実行する。
【０００８】
本開示のさらに他の観点では、プログラムは、
時系列のデータを取得し、
取得したデータを用いてパイプラインを実行し、実行結果を生成し、
前記実行結果を用いて、前記パイプラインの実行により得られる損益に基づいて前記パイプラインを評価する評価指標を計算し、評価結果を出力するパイプライン評価処理をコンピュータに実行させる。
【発明の効果】
【０００９】
本開示によれば、パイプライン全体の性能を適切に評価することが可能となる。
【図面の簡単な説明】
【００１０】
実施形態の手法を概念的に示す。
実施形態に係るパイプライン評価装置の概念的な構成を示す。
パイプライン評価装置のハードウェア構成を示すブロック図である。
第１実施形態のパイプライン評価装置の機能構成を示すブロック図である。
データ依存性評価部の機能構成を示すブロック図である。
乱数依存性評価部の機能構成を示すブロック図である。
パイプライン評価部の機能構成を示すブロック図である。
シミュレーション部の機能構成を示すブロック図である。
指標計算部の機能構成を示すブロック図である。
データ生成部の機能構成を示すブロック図である。
最適化部の機能構成を示すブロック図である。
パイプライン評価部の動作を模式的に示す。
シミュレーション部の動作を模式的に示す。
シミュレーション処理のフローチャートである。
指標計算部の動作を模式的に示す。
乱数依存性評価部の動作を模式的に示す。
再学習時に乱数を変えてパイプライン評価を行う方法の一例を示す。
データ生成部の動作を模式的に示す。
データ依存性評価部の動作を模式的に示す。
最適化部の動作を模式的に示す。
パイプライン最適化処理のフローチャートである。
最適化の具体例におけるデータの例を示す。
変形例２によるパイプライン評価装置の構成を示すブロック図である。
第２実施形態のパイプライン評価装置の機能構成を示すブロック図である。
第２実施形態のパイプライン評価装置による処理のフローチャートである。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許