特許ウォッチ

公開番号2025159482
公報種別公開特許公報(A)
公開日2025-10-21
出願番号2024062070
出願日2024-04-08
発明の名称アプリ遠隔操作システム、アプリ実行制御装置およびアプリ実行制御方法
出願人エヌ・ティ・ティレゾナント・テクノロジー株式会社
代理人個人
主分類G06F 11/36 20060101AFI20251014BHJP(計算;計数)
要約【課題】ウェブサイト用のテストツールを用いてネイティブアプリのテストを行うことができるようにする。
【解決手段】操作対象端末2のUIを含む外観を表した背景画像の上に、当該UIに関するHTML要素であるUI操作要素を透明化して重ね合わせることによって生成した端末画像をユーザ端末3に提供する端末画像提供部12と、UI操作要素に対して行われるユーザ操作のイベント情報をユーザ端末3から取得したときに、操作対象端末2のネイティブアプリ2aを動作させるアプリ動作制御部11とを備えることにより、背景画像の上に重畳されたUI操作要素に対してウェブサイト用のテストツール経由でユーザ操作を行うことによって、操作対象端末2にインストールされているネイティブアプリ2aの動作テストを実行することができるようにする。
【選択図】図2
特許請求の範囲【請求項１】
操作対象端末のＵＩを含む外観を表した背景画像の上に、上記ＵＩに関するＨＴＭＬ要素であるＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像をユーザ端末に提供する端末画像提供部と、
上記ＵＩ操作要素に対して行われるユーザ操作のイベント情報を上記ユーザ端末から取得し、当該取得したイベント情報に基づいて、上記操作対象端末にインストールされているネイティブアプリを動作させるアプリ動作制御部とを備え、
上記端末画像提供部は、上記アプリ動作制御部により上記ネイティブアプリの動作が実行された場合、その実行結果を上記外観に反映させた背景画像の上に上記ＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像を上記ユーザ端末に提供する
ことを特徴とするアプリ遠隔操作システム。
続きを表示（約 1,600 文字）【請求項２】
上記アプリ動作制御部は、上記ユーザ端末のウェブブラウザにより検出された上記ユーザ操作のイベント情報を上記ユーザ端末から取得し、当該取得したイベント情報に基づいて、上記操作対象端末に対する仮想的な操作指示情報を生成し、当該生成した操作指示情報を上記操作対象端末に供給して上記ネイティブアプリを動作させることを特徴とする請求項１に記載のアプリ遠隔操作システム。
【請求項３】
上記端末画像提供部は、
上記背景画像を生成する背景画像生成部と、
上記ＵＩ操作要素を生成するＵＩ操作要素生成部と、
上記背景画像の上に上記ＵＩ操作要素を透明化して重畳させるＵＩ操作要素重畳部とを備え、
上記ＵＩ操作要素生成部は、上記ネイティブアプリのＵＩツリー情報を上記ＨＴＭＬ要素のＤＯＭツリー情報に変換し、上記ＤＯＭツリー情報に基づいて上記ＵＩ操作要素を生成する
ことを特徴とする請求項１または２に記載のアプリ遠隔操作システム。
【請求項４】
上記端末画像提供部は、
上記背景画像を生成する背景画像生成部と、
上記ＵＩ操作要素を生成するＵＩ操作要素生成部と、
上記背景画像の上に上記ＵＩ操作要素を透明化して重畳させるＵＩ操作要素重畳部とを備え、
上記ＵＩ操作要素生成部は、上記ネイティブアプリのＵＩツリー情報を、上記操作対象端末のＯＳに依存しない中間ツリー情報に変換した後、上記中間ツリー情報を上記ＨＴＭＬ要素のＤＯＭツリー情報に変換し、上記ＤＯＭツリー情報に基づいて上記ＵＩ操作要素を生成する
ことを特徴とする請求項１または２に記載のアプリ遠隔操作システム。
【請求項５】
上記ＵＩ操作要素生成部は、上記背景画像生成部により生成される上記背景画像を文字認識することによって生成したテキスト情報を上記中間ツリー情報に合成することによって上記中間ツリー情報を最適化し、当該最適化した中間ツリー情報を上記ＨＴＭＬ要素のＤＯＭツリー情報に変換することを特徴とする請求項４に記載のアプリ遠隔操作システム。
【請求項６】
操作対象端末のＵＩを含む外観を表した背景画像の上に、上記ＵＩに関するＨＴＭＬ要素であるＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像をユーザ端末に提供する端末画像提供部と、
上記ＵＩ操作要素に対して行われるユーザ操作のイベント情報を上記ユーザ端末から取得し、当該取得したイベント情報に基づいて、上記操作対象端末にインストールされているネイティブアプリを動作させるアプリ動作制御部とを備え、
上記端末画像提供部は、上記アプリ動作制御部により上記ネイティブアプリの動作が実行された場合、その実行結果を上記外観に反映させた背景画像の上に上記ＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像を上記ユーザ端末に提供する
ことを特徴とするアプリ実行制御装置。
【請求項７】
アプリ実行制御装置の端末画像提供部が、操作対象端末のＵＩを含む外観を表した背景画像の上に、上記ＵＩに関するＨＴＭＬ要素であるＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像をユーザ端末に提供する第１のステップと、
上記アプリ実行制御装置のアプリ動作制御部が、上記ＵＩ操作要素に対して行われるユーザ操作のイベント情報を上記ユーザ端末から取得し、当該取得したイベント情報に基づいて、上記操作対象端末にインストールされているネイティブアプリを動作させる第２のステップと、
上記端末画像提供部が、上記ネイティブアプリの実行結果を上記外観に反映させた背景画像の上に上記ＵＩ操作要素を透明化して重ね合わせることによって生成した端末画像を上記ユーザ端末に提供する第３のステップとを有する
ことを特徴とするアプリ実行制御方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、アプリ遠隔操作システム、アプリ実行制御装置およびアプリ実行制御方法に関し、特に、操作対象端末にインストールされているネイティブアプリの実機検証をリモートで実行可能にしたクラウドシステムに用いて好適なものである。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
従来、スマートフォンやタブレット等の端末の実機検証をリモートで実行可能にしたクラウドサービスが提供されている（例えば、非特許文献１参照）。当該クラウドサービスは、ユーザが使用するパーソナルコンピュータ等からクラウド上の端末にインストールされたアプリケーションをリモート操作して、実機と同様に画面確認や動作テストを実行可能としたサービスである。
【０００３】
現在、アプリケーションプログラムをテストするためのツールが種々提供されている。大きく分けて、パーソナルコンピュータ（ＰＣ）やスマートフォンにインストールされたネイティブアプリ（以下、アプリという）のテストツールと、ウェブサイトのテストツールとがある。アプリ用のテストツールでは、入力要素として表示されたボタン等に対するユーザの操作をもとに、アプリケーションＵＩの階層構造情報を利用して、テストコードを作成し、テストを実行する。これに対し、ウェブサイト用のテストツールでは、ウェブページのＨＴＭＬ要素のＤＯＭ（Document Object Model）の階層構造情報を利用して、テストコードを作成し、テストを実行する。
【０００４】
ここで、上述のクラウドサービスにおいて、ディスプレイやハードキーなどを含むスマートフォン全体の外観がＨＴＭＬのcanvas要素の画像で表示されおり、いずれの階層構造情報を持ち合わせていない。そのため、市中のテストツールはダイレクトにクラウドサービスが提供する画像に対してテストを実行することができないのが現状である。
【０００５】
ウェブサイト用のテストツールとアプリ用のテストツールでは、用いる階層構造情報が異なるため、サポートされる対象は限定されるのが一般的である。すなわち、テストツールは、ウェブサイトのみをサポート、アプリのみをサポート、両方をサポートする３つに分類される。またサポートするＯＳも限定されるのが一般的であり、ユーザはテストの内容に応じて適切なツールを選択して使用する必要があるだけでなく、複数のツールの操作方法を習得しなければならないのが実情である。加えて、スマートフォンの新機種や新ＯＳバージョンが日々リリースされるため、対応するテストツールを保持していない場合等で、テストを実行することができない、もしくは実行可能な環境を構築するために多くの時間を要してしまうという問題があった。
【０００６】
なお、ネイティブ画像の上にウェブ画像を透明化して表示し、ウェブ画像の部分に対して操作を可能にする技術が知られている（例えば、特許文献１，２参照）。特許文献１に記載の情報処理装置では、ネイティブ画像とウェブ画像の少なくとも一部の領域を透明化または半透明化して重ね合わせることにより、各画像の構成要素であるアイコン、ＵＩ部品、文字情報、図形、サムネイル画像など、背景以外の要素画像が隠蔽されることなく同時に表示されるようにし、ウェブ画像に対し当該ウェブ画像の少なくとも一部を更新するユーザ操作がなされたとき、その旨をネイティブ画像に通知する。
【０００７】
特許文献２に記載の表示装置では、ネイティブアプリを表示するための領域がウェブアプリの表示領域において透明になるように、ウェブアプリを表示し、当該透明にした領域にネイティブアプリの表示を重ねる。そして、ネイティブアプリの表示領域内においてユーザ入力を受けた場合はウェブアプリの表示領域を変化させず、ネイティブアプリの実行後、ウェブアプリの表示領域においてはウェブアプリに従って表示する。
※ 特許文献２では「ウェブアプリ」と記載されていますので、元の記載に戻しました。
【先行技術文献】
【特許文献】
【０００８】
特開２０１５－９５２５６号公報
特開２０１８－４１２４０号公報
【非特許文献】
【０００９】
「リモートで実機検証可能なクラウドサービス」（2024.3.27 インターネット検索＜ＵＲＬ：https://appkitbox.com/）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、以上のような問題を解決するために成されたものであり、ウェブサイト用のテストツールを用いてネイティブアプリのテストを行うことができるようにすることを目的とする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許