特許ウォッチ

公開番号2025167312
公報種別公開特許公報(A)
公開日2025-11-07
出願番号2024071805
出願日2024-04-25
発明の名称UI検証装置及び変更言語用テスト方法
出願人三菱電機株式会社
代理人個人,個人
主分類G06F 11/36 20060101AFI20251030BHJP(計算;計数)
要約【課題】ユーザの手間を軽減することができるUI検証装置を得る。
【解決手段】操作記録部11は、基本言語に設定されたテスト対象システム200に対し、ユーザにより行われた一連のテスト処理に基づき、基本テストスクリプトと基本UI部品画像とを生成する。変更言語用スクリプト生成・画像取得部13は、テスト対象システム200の使用言語が基本言語から変更言語に変更された際、基本テストスクリプト及び基本UI部品画像に基づき、基本テストスクリプトに対応する変更言語用テストスクリプトを生成する。操作再生部12は、変更再生処理として、変更言語用テストスクリプトに含まれる複数の変更部分スクリプトで規定される処理を順次実行する。
【選択図】図1
特許請求の範囲【請求項１】
テスト対象システムに接続されるＵＩ検証装置であって、
前記テスト対象システム上で表示される表示画面の画像情報を投影する表示機能と、前記テスト対象システムを操作する遠隔操作機能とを有する遠隔ＧＵＩインターフェースと、
使用言語が基本言語に設定された前記テスト対象システムに対し、前記遠隔ＧＵＩインターフェースを用いて行われた一連のテスト処理に基づき、基本テストスクリプトと基本ＵＩ部品画像とを生成する操作記録部とを備え、
前記基本テストスクリプトは複数の基本部分スクリプトを含み、前記複数の基本部分スクリプトは少なくとも一つの基本処理部分スクリプトを含み、前記少なくとも一つの基本処理部分スクリプトはそれぞれ前記テスト対象システムに対する処理を規定しており、前記基本ＵＩ部品画像は少なくとも一つの基本部分画像を含み、前記少なくとも一つの基本部分画像は前記少なくとも一つの基本処理部分スクリプトに１対１に対応し、前記基本テストスクリプトは基本テストスクリプト格納部に格納され、前記基本ＵＩ部品画像は前記基本言語に対応づけて画像格納部に格納され、
前記ＵＩ検証装置は、
再生対象テストスクリプトで規定された処理を再生処理として実行する操作再生部と、
前記テスト対象システムの使用言語が前記基本言語から変更言語に変更された際、前記基本テストスクリプト格納部に格納された前記基本テストスクリプト及び前記画像格納部に格納された前記基本ＵＩ部品画像に基づき、前記基本テストスクリプトに対応する変更言語用テストスクリプトを生成する変更言語用テストスクリプト生成処理を実行する変更言語用スクリプト生成部とをさらに備え、
前記変更言語用テストスクリプト生成処理の実行時に、前記少なくとも一つの基本処理部分スクリプトが規定する処理のうち前記テスト対象システムの表示画面を遷移させる画面遷移処理が実行され、
前記変更言語用テストスクリプトは複数の変更部分スクリプトを含み、前記複数の変更部分スクリプトは前記複数の基本部分スクリプトに１対１に対応し、前記複数の変更部分スクリプトは少なくとも一つの変更処理部分スクリプトを含み、前記少なくとも一つの変更処理部分スクリプトは前記少なくとも一つの基本処理部分スクリプトに１対１に対応し、前記変更言語用テストスクリプトは前記変更言語に対応づけて変更言語用テストスクリプト格納部に格納され、
前記ＵＩ検証装置は、
前記変更言語用テストスクリプト生成処理の実行時に、前記基本ＵＩ部品画像に対応する変更ＵＩ部品画像を取得する画像取得処理を実行する画像取得部をさらに備え、前記変更ＵＩ部品画像は少なくとも一つの変更部分画像を含み、前記少なくとも一つの変更部分画像は前記少なくとも一つの基本部分画像に１対１に対応し、前記変更ＵＩ部品画像が前記変更言語に対応づけて前記画像格納部に格納され、
前記画像取得処理は、前記少なくとも一つの基本処理部分スクリプトそれぞれが規定する処理の実行直前の前記テスト対象システムの表示画面である実行直前表示画面の画像情報から、前記少なくとも一つの変更部分画像を順次抽出する処理であり、
前記操作再生部が実行する前記再生処理は、前記基本テストスクリプトを前記再生対象テストスクリプトとした基本再生処理と、前記変更言語用テストスクリプトを前記再生対象テストスクリプトとした変更再生処理とを含む、
ＵＩ検証装置。
続きを表示（約 2,000 文字）【請求項２】
請求項１記載のＵＩ検証装置であって、
前記変更言語用スクリプト生成部及び前記画像取得部は、変更言語用スクリプト生成・画像取得部として一体的に構成され、
前記変更言語用スクリプト生成・画像取得部は、前記変更言語用テストスクリプト生成処理、前記画像取得処理、及び前記画面遷移処理を実行する、
ＵＩ検証装置。
【請求項３】
請求項１記載のＵＩ検証装置であって、
画像取得スクリプト指定処理を規定する画像取得スクリプトを格納する画像取得スクリプト格納部をさらに備え、
前記画像取得部は、前記変更言語用テストスクリプト生成処理の実行時に、前記画像取得スクリプト格納部に格納された前記画像取得スクリプトに基づき、前記画像取得スクリプト指定処理を実行する画像取得スクリプト再生部を含み、
前記画像取得スクリプト指定処理は前記画像取得処理及び前記画面遷移処理を含む、
ＵＩ検証装置。
【請求項４】
請求項１から請求項３のいずれかに記載のＵＩ検証装置であって、
前記画像取得処理は、前記少なくとも一つの基本処理部分スクリプトに対応する前記少なくとも一つの基本部分画像それぞれを選択基本部分画像として実行され、
前記画像取得処理は、
文字認識機能によって、前記選択基本部分画像内における前記基本言語の文字列を基本抽出文字列として抽出する文字列抽出処理と、
前記基本抽出文字列を前記変更言語の翻訳文字列に変換する翻訳処理と、
前記実行直前表示画面の画像情報に対し、前記翻訳文字列を検索キーとした検索を行い、前記選択基本部分画像に対応する選択変更部分画像を検出する画像検出処理とを含む、
ＵＩ検証装置。
【請求項５】
請求項４記載のＵＩ検証装置であって、
前記基本言語と前記変更言語との間における文字列対応関係を示す文字列変換テーブルをさらに備え、
前記翻訳処理は、前記文字列変換テーブルを用いて実行される、
ＵＩ検証装置。
【請求項６】
請求項４記載のＵＩ検証装置であって、
前記翻訳処理は、機械翻訳手法を用いて実行される、
ＵＩ検証装置。
【請求項７】
請求項４記載のＵＩ検証装置であって、
前記少なくとも一つの基本部分画像はそれぞれ、前記テスト対象システムの表示画面上における表示位置を示す画像位置情報を含み、
前記画像検出処理は、
前記実行直前表示画面の画像情報に対し、前記変更言語で記述された少なくとも一つの検索文字列を得る文字列検索処理と、
前記少なくとも一つの検索文字列のうち前記翻訳文字列と一致する文字列を決定認識文字列とし、前記実行直前表示画面の画像情報から、前記決定認識文字列を含むＵＩ画像部分を前記選択変更部分画像とする画像決定処理とを含み、
前記文字列検索処理は、前記少なくとも一つの検索文字列それぞれに、前記テスト対象システムの表示画面上における表示位置を示す文字位置情報として対応づける処理を含み、
前記画像決定処理は、前記少なくとも一つの検索文字列のうち前記翻訳文字列と一致する文字列が複数の認識文字列候補として存在する場合、前記複数の認識文字列候補それぞれに対応づけられた前記文字位置情報と前記選択基本部分画像の前記画像位置情報とに基づき、前記複数の認識文字列候補のうち、前記テスト対象システムの表示画面上における位置が前記選択基本部分画像に最も近い認識文字列候補を前記決定認識文字列として決定する、
ＵＩ検証装置。
【請求項８】
請求項１から請求項３のいずれかのＵＩ検証装置を用いて、前記テスト対象システムに対し、変更言語用のテスト処理を行う変更言語用テスト方法であって、
(a) 前記遠隔ＧＵＩインターフェースを利用して、使用言語が前記基本言語に設定された前記テスト対象システムに対するテスト処理を行い、前記操作記録部に前記基本テストスクリプト及び前記基本ＵＩ部品画像を生成させるステップと、
(b) 前記基本テストスクリプト及び前記基本ＵＩ部品画像の生成後、前記テスト対象システムの使用言語を前記基本言語から前記変更言語に変更し、前記変更言語用スクリプト生成部の前記変更言語用テストスクリプト生成処理によって前記変更言語用テストスクリプトを生成させるステップと、
(c) 前記変更言語用テストスクリプト生成処理の実行時に、前記画像取得部の前記画像取得処理により、前記変更ＵＩ部品画像を取得するステップと、
(d) 前記変更言語用テストスクリプト及び前記変更ＵＩ部品画像を得た後、前記操作再生部に前記変更再生処理を実行させるステップとを備える、
変更言語用テスト方法。

発明の詳細な説明【技術分野】
【０００１】
本開示は、ＧＵＩ(Graphical User Interface)を利用して、複数の使用言語に設定されるテスト対象システムに対しテスト処理を行うＵＩ検証装置に関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
テスト対象システムである組込機器のＧＵＩのテスト処理を自動化する従来のＵＩ検証装置は、ＰＣ(Personal Computer)の画面上でＧＵＩを遠隔操作し、その操作内容を記録して再生することにより、テスト対象システムに対する自動操作や自動試験を行っていた。従来のＵＩ検証装置は例えば特許文献１または特許文献２に開示されている。
【先行技術文献】
【特許文献】
【０００３】
米国特許第７８７０５０４号明細書
米国特許第２０１８／０３９５５９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来、テスト対象システムにおいて、複数の使用言語に対応したアプリケーションの自動試験を作成する場合、使用言語によってテスト対象システムの表示画面上の外観が大きく変わる。
【０００５】
このため、従来のＵＩ検証装置は、対応する使用言語の数分、テスト対象システムの表示画面の正常性を検証する一連のテスト処理を記録する必要があり、ＵＩ検証装置を使用するユーザの手間が大きいという問題点があった。
【０００６】
本開示は上記問題点を解決するためになされたもので、ユーザの手間を軽減することができるＵＩ検証装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
本開示に係るＵＩ検証装置は、テスト対象システムに接続されるＵＩ検証装置であって、前記テスト対象システム上で表示される表示画面の画像情報を投影する表示機能と、前記テスト対象システムを操作する遠隔操作機能とを有する遠隔ＧＵＩインターフェースと、使用言語が基本言語に設定された前記テスト対象システムに対し、前記遠隔ＧＵＩインターフェースを用いて行われた一連のテスト処理に基づき、基本テストスクリプトと基本ＵＩ部品画像とを生成する操作記録部とを備え、前記基本テストスクリプトは複数の基本部分スクリプトを含み、前記複数の基本部分スクリプトは少なくとも一つの基本処理部分スクリプトを含み、前記少なくとも一つの基本処理部分スクリプトはそれぞれ前記テスト対象システムに対する処理を規定しており、前記基本ＵＩ部品画像は少なくとも一つの基本部分画像を含み、前記少なくとも一つの基本部分画像は前記少なくとも一つの基本処理部分スクリプトに１対１に対応し、前記基本テストスクリプトは基本テストスクリプト格納部に格納され、前記基本ＵＩ部品画像は前記基本言語に対応づけて画像格納部に格納され、前記ＵＩ検証装置は、再生対象テストスクリプトで規定された処理を再生処理として実行する操作再生部と、前記テスト対象システムの使用言語が前記基本言語から変更言語に変更された際、前記基本テストスクリプト格納部に格納された前記基本テストスクリプト及び前記画像格納部に格納された前記基本ＵＩ部品画像に基づき、前記基本テストスクリプトに対応する変更言語用テストスクリプトを生成する変更言語用テストスクリプト生成処理を実行する変更言語用スクリプト生成部とをさらに備え、前記変更言語用テストスクリプト生成処理の実行時に、前記少なくとも一つの基本処理部分スクリプトが規定する処理のうち前記テスト対象システムの表示画面を遷移させる画面遷移処理が実行され、前記変更言語用テストスクリプトは複数の変更部分スクリプトを含み、前記複数の変更部分スクリプトは前記複数の基本部分スクリプトに１対１に対応し、前記複数の変更部分スクリプトは少なくとも一つの変更処理部分スクリプトを含み、前記少なくとも一つの変更処理部分スクリプトは前記少なくとも一つの基本処理部分スクリプトに１対１に対応し、前記変更言語用テストスクリプトは前記変更言語に対応づけて変更言語用テストスクリプト格納部に格納され、前記ＵＩ検証装置は、前記変更言語用テストスクリプト生成処理の実行時に、前記基本ＵＩ部品画像に対応する変更ＵＩ部品画像を取得する画像取得処理を実行する画像取得部をさらに備え、前記変更ＵＩ部品画像は少なくとも一つの変更部分画像を含み、前記少なくとも一つの変更部分画像は前記少なくとも一つの基本部分画像に１対１に対応し、前記変更ＵＩ部品画像が前記変更言語に対応づけて前記画像格納部に格納され、前記画像取得処理は、前記少なくとも一つの基本処理部分スクリプトそれぞれが規定する処理の実行直前の前記テスト対象システムの表示画面である実行直前表示画面の画像情報から、前記少なくとも一つの変更部分画像を順次抽出する処理であり、前記操作再生部が実行する前記再生処理は、前記基本テストスクリプトを前記再生対象テストスクリプトとした基本再生処理と、前記変更言語用テストスクリプトを前記再生対象テストスクリプトとした変更再生処理とを含む。
【発明の効果】
【０００８】
本開示のＵＩ検証装置を用いるユーザは、任意の言語を基本言語とし、使用言語が基本言語に設定されたテスト対象システムに対し、遠隔ＧＵＩインターフェースを用いて一連のテスト処理を行うことにより、操作記録部によって基本テストスクリプト及び基本ＵＩ部品画像を生成させることができる。
【０００９】
基本テストスクリプト及び基本ＵＩ部品画像の生成後、変更言語用テストスクリプトは、変更言語用テストスクリプト生成部による変更言語用テストスクリプト生成処理によって自動的に生成される。変更言語用テストスクリプトは、基本言語以外の任意の変更言語を使用言語に設定したテスト対象システムにおける基本テストスクリプトと同等なテストスクリプトである。加えて、変更言語用テストスクリプト生成処理の実行時に行われる画像取得部による画像取得処理によって基本ＵＩ部品画像と同等な変更ＵＩ部品画像を自動的に取得することができる。
【００１０】
したがって、本開示のＵＩ検証装置のユーザは、変更言語用テストスクリプト及び変更ＵＩ部品画像を自動的に得た後、操作再生部に変更再生処理を実行させることができる。この変更再生処理が、変更言語に設定されたテスト対象システムに対する一連のテスト処理をとなる。
（【００１１】以降は省略されています）

関連特許