特許ウォッチ

公開番号2025165682
公報種別公開特許公報(A)
公開日2025-11-05
出願番号2024069906
出願日2024-04-23
発明の名称システム検証方法
出願人株式会社日立製作所
代理人弁理士法人信友国際特許事務所
主分類G06F 11/36 20060101AFI20251028BHJP(計算;計数)
要約【課題】不確定で予測困難な振る舞いの外部提供部品との連携を実現するワークフローシステム全体に対して、より安定性の高い検証を実現する。
【解決手段】計算機70は、ワークフローシステムを構成して入力に対する出力に揺れがある外部ソフトウェアを呼び出す処理タスクブロックの入力と該入力に対する出力を観測し、処理タスクブロックの入力及び出力に基づいて、処理タスクブロックを実行中におけるワークフローシステムの入力に対して想定される出力を対応づけたテストパターンを作成し、処理タスクブロックを実行中におけるワークフローシステムの入力に対する実際の出力と、テストパターンに登録されたワークフローシステムの入力に対して想定される出力との類似度に基づいて、処理タスクブロックの挙動が正常か否かを判定し、処理タスクブロックの挙動を判定した結果からワークフローシステムを検証する。
【選択図】図4
特許請求の範囲【請求項１】
プログラムを実行する演算装置と、前記プログラムを記憶する記憶デバイスとを有する計算機が、サービスを提供する１以上の外部ソフトウェアを呼び出して順次実行するワークフローシステムを検証するシステム検証方法であって、
前記計算機は、
前記ワークフローシステムを構成して入力に対する出力に揺れがある外部ソフトウェアを呼び出す処理タスクブロックの入力と該入力に対する出力を観測し、
観測した前記処理タスクブロックの入力及び出力に基づいて、前記処理タスクブロックを実行中における前記ワークフローシステムの入力に対して想定される出力を対応づけたテストパターンを作成し、
前記テストパターンを用いたテストを実行時に、前記処理タスクブロックを実行中における前記ワークフローシステムの入力に対する実際の出力と、前記テストパターンに登録されている前記ワークフローシステムの入力に対して想定される出力との類似度を算出し、
前記出力の類似度に基づいて、前記処理タスクブロックの挙動が正常か否かを判定し、
前記処理タスクブロックの挙動を判定した結果に基づいて、前記ワークフローシステムを検証する
システム検証方法。
続きを表示（約 1,500 文字）【請求項２】
前記計算機は、
前記処理タスクブロックの同一の入力に対する出力の傾向を分析し、前記外部ソフトウェアの正常な挙動を学習したモデルに基づいて、前記外部ソフトウェアを呼出し時の前記処理タスクブロックの入力と出力を対応づけたサービスプロファイルを作成し、
前記サービスプロファイルの入力と出力に基づいて、前記外部ソフトウェアを呼び出して前記処理タスクブロックを実行中における前記ワークフローシステムの入力に対して想定される出力を対応づけた前記テストパターンを作成する
請求項１に記載のシステム検証方法。
【請求項３】
前記計算機は、
前記ワークフローシステムによる外部ソフトウェアの一の呼出しパターンにおいて、前記外部ソフトウェアの呼出しにかかわった全ての処理タスクブロックの挙動を判定し、該判定の結果に基づいて、前記一の呼出しパターン時の前記ワークフローシステムを検証する
請求項２に記載のシステム検証方法。
【請求項４】
前記計算機は、
前記ワークフローシステムによる外部ソフトウェアの複数の呼出しパターンにおいて、前記呼出しパターンごとに前記外部ソフトウェアの呼出しにかかわった全ての処理タスクブロックの挙動を判定し、前記複数の呼出しパターンに対する判定の結果に基づいて、前記ワークフローシステムを検証する
請求項３に記載のシステム検証方法。
【請求項５】
前記計算機は、
観測した前記処理タスクブロックの入力及び出力と、前記ワークフローシステムのロジックを静的に解析した結果とに基づいて前記モデルの学習を行い、前記モデルに基づいて前記サービスプロファイルを作成する
請求項２に記載のシステム検証方法。
【請求項６】
前記計算機は、
前記処理タスクブロックが呼び出した前記外部ソフトウェアの入力と該入力に対する出力を観測し、前記外部ソフトウェアの入力と出力を反映させた前記サービスプロファイルを作成する
請求項２に記載のシステム検証方法。
【請求項７】
前記計算機は、
前記処理タスクブロックが呼び出した前記外部ソフトウェアのロジックを静的に解析し、解析の結果を反映させた前記サービスプロファイルを作成する
請求項２に記載のシステム検証方法。
【請求項８】
前記処理タスクブロックが生成ＡＩを用いて構成され、
前記計算機は、
前記外部ソフトウェアの挙動が前記生成ＡＩとの複数の受け答えを伴う一連の対話を含む場合、前記一連の対話のログ情報に基づいて前記サービスプロファイルを作成する
請求項７に記載のシステム検証方法。
【請求項９】
前記処理タスクブロックが生成ＡＩを用いて構成され、
前記計算機は、
前記外部ソフトウェアの挙動が前記生成ＡＩとの複数の受け答えを伴う一連の対話を含む場合、前記外部ソフトウェアが前記生成ＡＩと受け答えするためのプロンプトロジックを定義するプロンプトフローに基づいて前記サービスプロファイルを作成する
請求項７に記載のシステム検証方法。
【請求項１０】
前記計算機は、
前記外部ソフトウェアの挙動が検索拡張生成による外部知識データベースの参照を含む場合、参照した外部知識データベースのメタ情報又は参照データを特定して前記サービスプロファイルを作成する
請求項７に記載のシステム検証方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、ワークフローシステムを検証するシステム検証方法に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
近年、外部のサービスとしてのソフトウェア（Software as a Service：ＳａａＳ）を呼出し、ワークフローシステム上で連携させて目的のワークフローシステムを実現する開発手法が注目されている。
ワークフローシステム全体の品質は、学習モデル内の実行可能性のあるパス（入力から出力に至る関係性）を網羅的にテストすることで担保している。外部提供部品（外部サービスのソフトウェア）の品質保証では、公開されたＡＰＩ（Application Programming Interface）仕様から外部提供部品の振る舞いを推定し、ブラックボックステストする手法が一般採用されている。
【０００３】
上述したワークフローシステムに対するテスト手法は、ワークフローシステムのロジックがオープンである場合に有効である。また、外部提供品に対するテスト手法は、画一的な挙動の外部提供部品のテストには有効である。しかし、ワークフローシステムのロジックがブラックボックスであったり、ワークフローシステムや外部提供部品に大規模言語モデル（Large Language Model：ＬＬＭ）のような統計的挙動のソフトウェアが用いられたりすると、テストには限界がある。
【０００４】
機械学習（Machine Learning：ＭＬ）で得たモデル（機械学習モデル）のテスト手法の一つに「メタモルフィックテスト」がある。メタモルフィックテストでは、入力データやモデルを変更して対象システムの挙動を推測し、テストを実行する。
また、深層学習で得たモデル（深層学習モデル）のテスト手法の一つに「ニューロンカバレッジテスト」がある。ニューロンカバレッジテストでは、モデルの全パスを特定して、モデルの振る舞いをより広く網羅するようなテスト入力を与えてテストを実行する。ニューロンカバレッジは、テスト入力によって活性化された（活性化関数の出力値が閾値以上になった）ニューロンの割合と定義される。
【０００５】
特許文献１には、ソフトウェアを構成するプログラムのコードの一部である部分コードを抽出し、部分コードに基づく特徴量ベクトルを生成し、学習用の部分コードの特徴量ベクトルと当該部分コードに基づき実現されるソフトウェアの性能を示す情報である性能情報とを含む学習データにより学習した機械学習モデルである性能検証モデルに、検証対象となる部分コードを性能検証モデルに入力することにより得られる出力に基づく情報を当該部分コードの検証結果として生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
特開２０２２－１３８７０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の技術は、ソフトウェアを構成するプログラムの部分コードに基づく特徴量ベクトルを生成するため、上述したようなソフトウェアのロジックがオープンになっている場合に有効である。
【０００８】
ＭＬ等の従来モデルでは、振る舞いに揺れはあるものの、用途が特化しておりモデル構造が単純なため、モデルの振る舞いを推測することが容易である。しかしながら、ＬＬＭのモデルでは、用途が汎用になり、モデル構造が複雑な上、ブラックボックスになっており、モデルの振る舞いの推測が困難である。
【０００９】
本発明は、上記の状況に鑑みてなされたものであり、不確定で予測困難な振る舞いの外部提供部品（外部ソフトウェアによるサービス）との連携を実現するワークフローシステム全体に対して、より安定性の高い検証を実現することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の一態様のシステム検証方法は、プログラムを実行する演算装置と、プログラムを記憶する記憶デバイスとを有する計算機が、サービスを提供する１以上の外部ソフトウェアを呼び出して順次実行するワークフローシステムを検証する方法である。
計算機は、ワークフローシステムを構成して入力に対する出力に揺れがある外部ソフトウェアを呼び出す処理タスクブロックの入力と該入力に対する出力を観測する。
次いで、計算機は、観測した処理タスクブロックの入力と出力に基づいて、該処理タスクブロックを実行中におけるワークフローシステムの入力に対して想定される出力を対応づけたテストパターンを作成する。
次いで、計算機は、テストパターンを用いたテストを実行時に、処理タスクブロックを実行中におけるワークフローシステムの入力に対する実際の出力と、テストパターンに登録されているワークフローシステムの入力に対して想定される出力との類似度を算出する。
そして、計算機は、２つの出力の類似度に基づいて、処理タスクブロックの挙動が正常か否かを判定し、該処理タスクブロックの挙動を判定した結果に基づいて、ワークフローシステムの動作を検証する。
【発明の効果】
（【００１１】以降は省略されています）

関連特許