特許ウォッチ

公開番号2024170942
公報種別公開特許公報(A)
公開日2024-12-11
出願番号2023087720
出願日2023-05-29
発明の名称ログ正規化システム及びログ正規化方法
出願人株式会社日立製作所
代理人青稜弁理士法人
主分類G06F 11/34 20060101AFI20241204BHJP(計算;計数)
要約【課題】ログに適合するパターンを探索するときの探索に関する精度と処理速度を向上させる。
【解決手段】情報処理システムから出力されるログを構造化されたログに正規化するログ正規化装置において、情報処理システムから出力されるログを受け取るログ入力部と、複数のログのパターンであるパターン情報と、ログ送信元に対応するパターンマッチの第一の優先度を示す第一の優先度情報を格納する記憶部と、受け取ったログが第一の優先度情報対応するログ送信元のとき、前記ログと前記パターン情報のパターンとのパターンマッチを第一の優先度に対応するパターンを用いて行い、マッチした前記パターンを用いて正規化ログに変換するパターンマッチ部と、パターンマッチ部で変換された正規化ログを出力するログ出力部を備える。
【選択図】図1
特許請求の範囲【請求項１】
情報処理システムから出力されるログを構造化されたログに正規化するログ正規化装置において、
情報処理システムから出力されるログを受け取るログ入力部と、
複数のログのパターンであるパターン情報と、ログ送信元に対応するパターンマッチの第一の優先度を示す第一の優先度情報を格納する記憶部と、
受け取ったログが第一の優先度情報に対応するログ送信元のとき、前記ログと前記パターン情報のパターンとのパターンマッチを第一の優先度に対応するパターンを用いて行い、マッチした前記パターンを用いて正規化ログに変換するパターンマッチ部と、
パターンマッチ部で変換された正規化ログを出力するログ出力部と、
を備えることを特徴とするログ正規化装置。
続きを表示（約 1,300 文字）【請求項２】
前記パターン情報のパターンにパターンマッチの優先度を示す第二の優先度を含み、
前記パターンマッチ部は、第一の優先度に基づいたパターンマッチでマッチしなかったとき、第二の優先度を用いてパターンマッチを行う、
ことを特徴とする請求項１に記載のログ正規化装置。
【請求項３】
前記第一の優先度は、ログ送信元で稼働するソフトウェアに基づいて定められた優先順位である、
ことを特徴とする請求項２に記載のログ正規化装置。
【請求項４】
前記第一の優先度は、前記パターン情報に含まれる前記パターン情報に対応付けられた前記第二の優先度を変更する指示を含む、
ことを特徴とする請求項２に記載のログ正規化装置。
【請求項５】
前記第一の優先度は、ソフトウェア取得元で稼働するソフトウェアの評価に基づいて定められた優先順位である、
ことを特徴とする請求項３に記載のログ正規化装置。
【請求項６】
前記第二の優先度の更新情報を受付け、受け付けた更新情報を用いて前記パターン情報に含まれる前記第二の優先度を変更する入出力部を備える、
ことを特徴とする請求項２に記載のログ正規化装置。
【請求項７】
ログ送信元で稼働するソフトウェアのソースコードを受け付け、ソースコードに含まれるパラメータを基にパターンを作成し、作成したパターンを前記パターン情報へ登録する、
ことを特徴とする請求項２に記載のログ正規化装置。
【請求項８】
前記受付けたソースコードの意味解析を行い、ソースコードに含まれる変数、関数の位置および名前からログメッセージを出力し、出力したログメッセージからパラメータを抽出し、出力したログメッセージと抽出したパラメータとに基づいて、パターン情報のパターンを生成する、
ことを特徴とする請求項７に記載のログ正規化装置。
【請求項９】
情報処理システムから出力されるログを構造化されたログに正規化するログ正規化方法において、
ログ入力部が、情報処理システムから出力されるログを受け取り、
記憶部が、複数のログのパターンであるパターン情報と、ログ送信元に対応するパターンマッチの第一の優先度を示す第一の優先度情報を格納し、
パターンマッチ部が、ログ入力部が受け取ったログが第一の優先度情報に対応するログ送信元のとき、前記ログと前記パターン情報のパターンとのパターンマッチを第一の優先度に対応するパターンを用いて行い、マッチした前記パターンを用いて正規化ログに変換し、
ログ出力部が、パターンマッチ部で変換された正規化ログを出力するログ正規化方法。
【請求項１０】
前記パターン情報のパターンにパターンマッチの優先度を示す第二の優先度を含み、前記パターンマッチ部は第一の優先度に基づいたパターンマッチでマッチしなかったとき、第二の優先度を用いてパターンマッチを行う、
ことを特徴とする請求項９に記載のログ正規化方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理システムから出力されるログを加工する技術に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
システムの監視やデバッグのために、システムから出力されるログが使われている。例えば、非特許文献１には、入力されたログに対し、適合するテンプレートをＴＦ－ＩＤＦ（Term Frequency - Inverse Document Frequency）を用いて探索し、ログの解析と構造化ログへの変換を行う手法が開示されている。また、特許文献1にはデータ取入およびクエリシステムによって、ネットワークを介して複数のシステムから取得されたログを含むデータを取込み、データ取入およびクエリシステムによって、データを取得する範囲および構造化された言語で表現された基準を示すユーザ入力を受信し、ユーザ入力によって示された範囲に基づいてデータを取得し、データ取入およびクエリシステムによって、ユーザ入力によって示された基準および範囲に基づいて、検索されたデータから、コンピューティングデバイスの測定された特性を示す第一数値を含む第一フィールド値および第一ディメンションを含む第二フィールド値を抽出し、データ取入およびクエリシステムによって、時系列メトリックストアに第一の構造化されたメトリックおよび第一ディメンションを記憶することを含み、第一の構造化されたメトリックは第一数値を含み、第一ディメンションは第一数値に関連付けられる方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
米国特許出願公開第US20190163678A1(Generating structured metrics from log data)
【非特許文献】
【０００４】
D. Schipper, M. Aniche and A. van Deursen, "Tracing Back Log Data to its Log Statement: From Research to Practice," 2019 IEEE/ACM 16th International Conference on Mining Software Repositories, 2019, pp. 545-549
【発明の概要】
【発明が解決しようとする課題】
【０００５】
多くの種類のソフトウェアを使用している情報処理システムや多数の情報処理システムモニタしている場合には多種類のログが出力され、出力されたログを正規化（構造化）するためには多種類のパターン（テンプレート）が必要となる。この点、非特許文献１には、入力されたログに対し、適合するテンプレートをＴＦ－ＩＤＦを用いて探索し、ログの解析と構造化ログへの変換を行う手法が開示されている。同じく、特許文献１には入力されたログに対し、適合するSource Typeを非開示の方法にて探索し、構造化ログ相当のメタデータを生成する手法が開示されている。
【０００６】
しかしながら、非特許文献１、特許文献１ともに、パターン（テンプレート、Source Type）の数に比例して入力されたログと適合するパターンの探索時間が増加し、また誤ったパターンを探索する可能性が増加する。このため、例えば、著名なツールやミドルウェア、ライブラリの出力しうるログのパターンを全て備えたような巨大なパターンがプリセットされたデータを用いてログを正規化した場合、探索に関する処理速度や精度が問題になりうる。
【０００７】
本発明の課題は、膨大なパターンから入力されたログに適合するパターンを探索するときの探索に関する精度と処理速度の向上である。
【課題を解決するための手段】
【０００８】
本発明にかかるログ正規化システムは、情報処理システムから出力されるログを構造化されたログに正規化するログ正規化装置において、情報処理システムから出力されるログを受け取るログ入力部と、複数のログのパターンであるパターン情報と、ログ送信元に対応するパターンマッチの第一の優先度を示す第一の優先度情報を格納する記憶部と、受け取ったログが第一の優先度情報に対応するログ送信元のとき、前記ログと前記パターン情報のパターンとのパターンマッチを第一の優先度に対応するパターンを用いて行い、マッチした前記パターンを用いて正規化ログに変換するパターンマッチ部と、パターンマッチ部で変換された正規化ログを出力するログ出力部と、を備えることを特徴とするログ正規化装置として構成される。
【発明の効果】
【０００９】
本発明によれば、ログに適合するパターンを探索するときの探索に関する精度と処理速度の向上が可能となる。
【図面の簡単な説明】
【００１０】
本発明の実施例におけるシステム構成の一例を示した図である。
本発明の実施例におけるハードウェア構成の一例を示した図である。
本発明の実施例における操作画面の一例を示した図である。
本発明の実施例における構成情報の構成の一例を示した図である。
本発明の実施例における構成情報の構成の一例を示した図である。
本発明の実施例におけるパターン情報の一例を示した図である。
本発明の実施例におけるソフトウェア情報の一例を示した図である。
本発明の実施例における履歴情報の一例を示した図である。
本発明の実施例におけるソフトウェア識別部の処理例を示したフローチャートである。
本発明の実施例におけるパターンマッチ部におけるパターンマッチの処理例を示したフローチャートである。
本発明の実施例におけるパターンマッチの処理例を示したフローチャートである。
本発明の実施例におけるパターン生成部の処理例を示したフローチャートである。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許