特許ウォッチ

公開番号2024075045
公報種別公開特許公報(A)
公開日2024-06-03
出願番号2022186181
出願日2022-11-22
発明の名称計算機システム及びモデルの評価方法
出願人株式会社日立製作所
代理人藤央弁理士法人
主分類G06Q 10/0635 20230101AFI20240527BHJP(計算;計数)
要約【課題】モデルの評価を支援する。
【解決手段】計算機システムは、モデルデータを管理するモデル管理情報、リスクアセスメントデータを管理するリスクアセスメント管理情報、及び評価手法データを管理する評価手法管理情報にアクセス可能に接続され、テンプレートを構成する、モデルデータ、リスクアセスメントデータ、及び評価手法データの関連づけをリレーションデータとして生成する。計算機システムは、評価要求を受信した場合、モデル管理情報を参照して評価対象のモデルのモデルデータを検索し、モデルデータが関連づけられるリレーションデータを検索し、リレーションデータに基づいてテンプレートを生成し、リレーションデータに関連づけられる評価手法データに対応する評価方法に基づく評価結果を、リレーションデータと関連づけて保存し、テンプレート及び評価結果に基づいてレポートを生成する。
【選択図】図1
特許請求の範囲【請求項１】
計算機システムであって、
プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続されるネットワークインタフェースを有する計算機を備え、
モデルに関する項目を含むモデルデータを管理するモデル管理情報、モデルの評価観点に関する項目を含むリスクアセスメントデータを管理するリスクアセスメント管理情報、及び評価手法に関する項目を含む評価手法データを管理する評価手法管理情報にアクセス可能に接続され、
モデルの評価内容を定義するテンプレートを構成する、前記モデルデータ、前記リスクアセスメントデータ、及び前記評価手法データの関連づけをリレーションデータとして生成し、テンプレート管理情報に登録し、
評価対象のモデルに関する情報を含む評価要求を受信した場合、前記モデル管理情報を参照して評価対象の前記モデルの前記モデルデータを検索し、
検索された前記モデルデータが関連づけられる前記リレーションデータを検索し、
検索された前記リレーションデータに基づいて前記テンプレートを生成し、
検索された前記リレーションデータに関連づけられる前記評価手法データに対応する前記評価方法に基づく評価結果を、前記リレーションデータと関連づけて保存し、
生成された前記テンプレート及び前記評価結果に基づいてレポートを生成することを特徴とする計算機システム。
続きを表示（約 3,300 文字）【請求項２】
請求項１に記載の計算機システムであって、
比較する第１モデル及び第２モデルを特定するための情報を含む比較評価要求を受信した場合、前記テンプレート管理情報を参照して、前記第１モデルの前記モデルデータに関連づけられる第１リレーションデータを検索し、
前記第１リレーションデータに基づいて、前記第２モデルの第２リレーションデータを生成して、前記テンプレート管理情報に登録し、
前記第１モデルの、前記第１リレーションデータに含まれる前記評価手法データに対応する前記評価手法の評価結果を、前記第１リレーションデータと関連づけて保存し、
前記第２モデルの、前記第２リレーションデータに含まれる前記評価手法データに対応する前記評価手法の評価結果を、前記第２リレーションデータと関連づけて保存し、
前記第１モデルの前記評価結果及び前記第２モデルの前記評価結果に基づいて、前記第１モデル及び前記第２モデルに関する比較を行い、当該比較の結果に関するレポートを生成することを特徴とする計算機システム。
【請求項３】
請求項１に記載の計算機システムであって、
モデルの特性に関する情報を含む評価観点レコメンド要求を受信した場合、前記モデル管理情報を参照して、指定された特性を有する前記モデルの前記モデルデータを検索し、
前記テンプレート管理情報を参照して、検索された前記モデルデータが関連づけられる前記リレーションデータを検索し、
検索された前記リレーションデータに関連づけられる前記評価手法データを表示するためのレコメンド情報を生成することを特徴とする計算機システム。
【請求項４】
請求項１に記載の計算機システムであって、
評価観点に関する情報を含む評価手法レコメンド要求を受信した場合、前記リスクアセスメント管理情報を参照して、指定された評価観点に対応する前記リスクアセスメントデータを検索し、
前記テンプレート管理情報を参照して、検索された前記リスクアセスメントデータが関連づけられる前記リレーションデータを検索し、
検索された前記リレーションデータに関連づけられる前記評価手法データを表示するためのレコメンド情報を生成することを特徴とする計算機システム。
【請求項５】
請求項１に記載の計算機システムであって、
前記モデルデータは、前記モデルの改善手法に関する情報を項目として含み、
前記計算機システムは、
評価方法に関する情報を含む改善手法レコメンド要求を受信した場合、前記評価手法管理情報を参照して、指定された評価方法に対応する前記評価手法データを検索し、
前記テンプレート管理情報を参照して、検索された前記評価手法データが関連づけられる前記リレーションデータを検索し、
前記モデル管理情報から、検索された前記リレーションデータに関連づけられる前記モデルデータを取得し、
取得された前記モデルデータに含まれる前記モデルの改善手法に関する情報を表示するためのレコメンド情報を生成することを特徴とする計算機システム。
【請求項６】
請求項１に記載の計算機システムであって、
生成された前記テンプレートをユーザに対して提示し、
前記リレーションデータを修正するためのインタフェースを提供することを特徴とする計算機システム。
【請求項７】
計算機システムが実行するモデルの評価方法であって、
前記計算機システムは、
プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続されるネットワークインタフェースを有する計算機を含み、
モデルに関する項目を含むモデルデータを管理するモデル管理情報、モデルの評価観点に関する項目を含むリスクアセスメントデータを管理するリスクアセスメント管理情報、及び評価手法に関する項目を含む評価手法データを管理する評価手法管理情報とアクセス可能に接続され、
前記モデルの評価方法は、
前記計算機が、モデルの評価内容を定義するテンプレートを構成する、前記モデルデータ、前記リスクアセスメントデータ、及び前記評価手法データの関連づけをリレーションデータとして生成し、テンプレート管理情報に登録するステップと、
前記計算機が、評価対象のモデルに関する情報を含む評価要求を受信した場合、前記モデル管理情報を参照して評価対象の前記モデルの前記モデルデータを検索するステップと、
前記計算機が、検索された前記モデルデータが関連づけられる前記リレーションデータを検索するステップと、
前記計算機が、検索された前記リレーションデータに基づいて前記テンプレートを生成するステップと、
前記計算機が、検索された前記リレーションデータに関連づけられる前記評価手法データに対応する前記評価方法に基づく評価結果を、前記リレーションデータと関連づけて保存するステップと、
前記計算機が、生成された前記テンプレート及び前記評価結果に基づいてレポートを生成するステップと、を含むことを特徴とするモデルの評価方法。
【請求項８】
請求項７に記載のモデルの評価方法であって、
比較する第１モデル及び第２モデルを特定するための情報を含む比較評価要求を受信した場合、前記計算機が、前記テンプレート管理情報を参照して、前記第１モデルの前記モデルデータが関連づけられる第１リレーションデータを検索するステップと、
前記計算機が、前記第１リレーションデータに基づいて、前記第２モデルの第２リレーションデータを生成して、前記テンプレート管理情報に登録するステップと、
前記計算機が、前記第１モデルの、前記第１リレーションデータに含まれる前記評価手法データに対応する前記評価手法の評価結果を、前記第１リレーションデータと関連づけて保存するステップと、
前記計算機が、前記第２モデルの、前記第２リレーションデータに含まれる前記評価手法データに対応する前記評価手法の評価結果を、前記第２リレーションデータと関連づけて保存するステップと、
前記計算機が、前記第１モデルの前記評価結果及び前記第２モデルの前記評価結果に基づいて、前記第１モデル及び前記第２モデルに関する比較を行い、当該比較の結果に関するレポートを生成するステップと、を含むことを特徴とするモデルの評価方法。
【請求項９】
請求項７に記載のモデルの評価方法であって、
モデルの特性に関する情報を含む評価観点レコメンド要求を受信した場合、前記計算機が、前記モデル管理情報を参照して、指定された特性を有する前記モデルの前記モデルデータを検索するステップと、
前記計算機が、前記テンプレート管理情報を参照して、検索された前記モデルデータが関連づけられる前記リレーションデータを検索するステップと、
前記計算機が、検索された前記リレーションデータに関連づけられる前記評価手法データを表示するためのレコメンド情報を生成するステップと、を含むことを特徴とするモデルの評価方法。
【請求項１０】
請求項７に記載のモデルの評価方法であって、
評価観点に関する情報を含む評価手法レコメンド要求を受信した場合、前記計算機が、前記リスクアセスメント管理情報を参照して、指定された評価観点に対応する前記リスクアセスメントデータを検索するステップと、
前記計算機が、前記テンプレート管理情報を参照して、検索された前記リスクアセスメントデータが関連づけられる前記リレーションデータを検索するステップと、
前記計算機が、検索された前記リレーションデータに関連づけられる前記評価手法データを表示するためのレコメンド情報を生成するステップと、を含むことを特徴とするモデルの評価方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、モデルの評価を支援する技術に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
ＡＩシステムで用いるモデルの管理では様々な観点で評価を行うことが重要である。これに対して、特許文献１に記載の技術が知られている。
【０００３】
特許文献１には、評価項目を定めたテンプレートに基づいて、ＡＩの評価に関する情報を生成することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
米国特許第１１２６３１８８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来技術では、評価観点及び評価方法が予め設定されている。しかし、評価観点及び評価方法は変化する。例えば、モデルの開発段階では、評価観点及び評価方法は頻繁に変更される。したがって、前述の変化に伴ってテンプレートを生成する必要がある。手動でテンプレートを生成する場合、生成コストが問題となる。また、テンプレートと評価結果とを関連づけて管理する必要があり、管理コストも問題となる。
【０００６】
本発明は、テンプレートの生成コスト及び評価結果の管理コストを低減したモデルの評価技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、計算機システムであって、プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続されるネットワークインタフェースを有する計算機を備え、モデルに関する項目を含むモデルデータを管理するモデル管理情報、モデルの評価観点に関する項目を含むリスクアセスメントデータを管理するリスクアセスメント管理情報、及び評価手法に関する項目を含む評価手法データを管理する評価手法管理情報にアクセス可能に接続され、モデルの評価内容を定義するテンプレートを構成する、前記モデルデータ、前記リスクアセスメントデータ、及び前記評価手法データの関連づけをリレーションデータとして生成し、テンプレート管理情報に登録し、評価対象のモデルに関する情報を含む評価要求を受信した場合、前記モデル管理情報を参照して評価対象の前記モデルの前記モデルデータを検索し、検索された前記モデルデータが関連づけられる前記リレーションデータを検索し、検索された前記リレーションデータに基づいて前記テンプレートを生成し、検索された前記リレーションデータに関連づけられる前記評価手法データに対応する前記評価方法に基づく評価結果を、前記リレーションデータと関連づけて保存し、生成された前記テンプレート及び前記評価結果に基づいてレポートを生成する。
【発明の効果】
【０００８】
本発明によれば、テンプレートの生成コスト及び評価結果の管理コストを低減したモデルの評価技術を実現できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
【図面の簡単な説明】
【０００９】
実施例１のシステムの構成例を示す図である。
実施例１のモデル評価支援システムを構成する計算機のハードウェア構成を示す図である。
実施例１のモデル管理情報に格納されるモデルデータの一例を示す図である。
実施例１のリスクアセスメント管理情報に格納されるリスクアセスメントデータの一例を示す図である。
実施例１のリスクアセスメント管理情報に格納されるリスクアセスメントデータの一例を示す図である。
実施例１のリスクアセスメント管理情報に格納されるリスクアセスメントデータの一例を示す図である。
実施例１の評価手法管理情報に格納される評価手法データの一例を示す図である。
実施例１の評価手法管理情報に格納される評価手法データの一例を示す図である。
実施例１の評価手法管理情報に格納される評価手法データの一例を示す図である。
実施例１のテンプレート管理情報の一例を示す図である。
実施例１のテンプレートの管理方法のイメージを示す図である。
実施例１の評価結果管理情報に格納される評価結果の一例を示す図である。
実施例１のモデル評価支援システムが実行するテンプレート登録処理の一例を説明するフローチャートである。
実施例１のモデル評価支援システムが提示する画面の一例を示す図である。
実施例１のモデル評価支援システムが実行する評価レポート生成処理の一例を説明するフローチャートである。
実施例１のモデル評価支援システムが実行する評価レポート生成処理の別例を説明するフローチャートである。
実施例１のモデル評価支援システムが実行する比較評価レポート生成処理の一例を説明するフローチャートである。
実施例１のモデル評価支援システムが実行する評価観点レコメンド処理の一例を説明するフローチャートである。
実施例１のモデル評価支援システムが実行する評価手法レコメンド処理の一例を説明するフローチャートである。
実施例１のモデル評価支援システムが実行する改善手法レコメンド処理の一例を説明するフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。
（【００１１】以降は省略されています）

関連特許