目次:
1. はじめに
2. ロボットのマシン構成
3. iOSデバイスの構成
4. オートメーション
1.はじめに
HeartCore Robo Desktopバージョン3.3では、「iOS Mirror」と呼ばれる新しい接続タイプが導入されました。これにより、Appleの「AirPlay Mirroring」技術を使用してデバイスの画面がローカルデスクトップに表示されるか、Lightning USBケーブルを介して転送されるiOS 7&8 PluginまたはiOS 6 Server WiFi接続を使用して、Apple iOSデバイスをテストできます(下記参照) 。この接続により、ロボットは、VNCサーバー接続のみがサポートされていた、非脱獄(非ルート)デバイス上のiOSアプリケーションをテストすることができます。
脱獄デバイスがサポートされている環境では、iOS Mirror接続を使用してVNCサーバ(Veency)オペレーションを補完し、パフォーマンスと適合性を向上させることができます。例:OpenGL技術に依存するゲームテスト。
ロボットバージョン4.1では、大きく2つの改善点がありました。
- デバイスの画面はLightning USBケーブルでミラー化できます。Lightningコネクタが搭載され、Mac OS Xに接続されているデバイスでのみサポートされています。このソリューションにより、サードパーティのミラーリングアプリケーションを回避できます。画面がロボットのデスクトップビューアに直接反映されるため、必要な画面サイズや同時に接続されているデバイスの数などのローカルデスクトップの制限からも独立しています。
- T-Plan iOS PluginまたはServerへのWi-Fi接続は、Mac OS X上で行うことができ、オプションでUSBケーブルを介してトンネリングすることもできます。これにより、不安定または低速のWiFiネットワークを回避できます。デバイスは、ネットワークインターフェイスの正しい起動を確実にするために、少なくとも接続の初期段階でWiFiに接続されている必要があります。
多くの利点があるため、VNCの代わりにT-Plan iOS 7&8 PluginまたはiOS 6 Serverを使用することをお勧めします。
|
iOS
T-Plan Plugin / Server とのミラー接続
|
iOS
VNCサーバーとのミラー接続(Veency)
|
VNCサーバーとのVNCサーバー接続
(Veency)
|
サポートされて以来
|
ロボットv3.5
|
ロボットv3.3
|
ロボットv2.0
|
脱獄デバイスが必要
|
いいえ
|
はい
|
はい
|
OpenGLコンテンツを使用したアプリケーションのサポート
|
はい
|
いいえ
|
いいえ
|
ピンチ/ズームのサポート
|
はい
|
いいえ
|
いいえ
|
UTF-8文字のサポート
|
はい
|
いいえ *
|
いいえ *
|
ディスプレイの向きのサポート
|
はい
|
LIMITED **
|
いいえ
|
マシンごとの接続
|
1 ***(ミラーアプリ)
NO LIMIT ****(Lightning USB)
|
1 ***(ミラーアプリ)
NO LIMIT ****(Lightning USB) |
制限なし***
|
* RFB(VNC)プロトコルはISO 8859-1文字に制限されています。
**肖像画と反時計回りの風景モードのみがサポートされています。
***ロボットを実行している1台のマシンは、ローカルデスクトップへの排他的アクセスに依存しているため、一度にiOSミラー接続を介してiOSデバイスを1つだけ自動化できます。標準のVNCサーバ接続では接続数に制限はなく、1台のロボットマシンは、十分なシステムリソース(CPU、 RAM)
****十分なシステムリソース(CPU、RAM)があれば、Lightning USB上で単一のMac OS Xマシンから複数のデバイスを自動化することが可能です。
以下の詳細を参照してください。
デバイス要件:
- スクリーンミラーリングが可能なApple iOSデバイス。最新の情報については、オンラインのiOS互換性ステータスページを参照してください。Lightning USBケーブルのミラーリングは、Lightningコネクタが装備されているデバイスでのみ可能です。
- デバイスはネットワークに接続する必要があります(通常WiFi経由)。
- 以下のためにiOS 7 および8プラグインまたは iOS 6 サーバードリブンテストの場合、デバイスには iOS 5.0 以上が必要です。このオプションは、非脱獄 (非ルート) デバイス上でテストすることができます。
- VNC 駆動テストでは、デバイスが脱獄され、Veency をインストールし、その上で実行する必要があります。最新の脱獄の状態については、オンラインのiOS 互換性状態のページを参照してください。
ロボットのマシン要件:
- オペレーティング·システム:
- ウィンドウの透過性をサポートするすべてのMS Windows(一般に、Windows Vista以降)。
- Mac OS X 10.7(Mountain Lion)以上(Robot v3.4.1以降でサポート)
- 使用可能な画面ミラーリング技術の1つ(緑色は推奨オプションを示します):
オペレーティング·システム
|
スクリーンミラーリング技術
|
Lightning USBケーブル
|
AirServer
|
X-Mirage
|
Reflector
|
Mac OS X 10.7+
|
はい
|
いいえ
|
はい
|
はい
|
MS Windows Vista +
|
いいえ
|
はい
|
はい
|
リミテッド
|
- デバイスは、Lightning USBケーブルを介して Mac OS X に接続されている場合 (4.1 以降) それ以上の要件はありません。可能であれば、この設定を使用してください。
- 他のシステムでは、AirServer、
Reflector、
またはX-Mirage(ロボット 4.0.1以降でサポート)がインストールされ、アクティブ化されている必要があります (「ミラーアプリケーション」)。
- MS Windows:
- AirServerは、単一デバイス展開に推奨されます。「フルスクリーンモード」をオフにして、その環境設定で「常に上に」フラグを設定してください。Airserverは、すべてのデバイスを1つのウィンドウに表示するため、1台のPCデスクトップで2台以上のデバイスの自動化には適していません。
- X-Mirage は、
デバイスごとに1つのウィンドウを表示するため、複数のデバイスの展開に使用できます。
- リフレクターv1は正常ですが、iOS 9のサポートがありません。リフレクターv2Windowsの導入には現在推奨されていません(最後に検証されたReflector 2.2.1、2015年10月)。それは接続を信頼できないようにするいくつかの厄介なバグを持っています。ミラー切断後にクラッシュし、再起動する必要があります。それは、ロボットのデスクトップの不正確なビューにつながる正しいミラーウィンドウサイズを報告することができません。画面の向きを少し変更した後で、ミラーのサイズが予期せず変更されることがあります。ロボット 4.1.1では、自動ミラー再起動や動的な挿入検出(iOS Mirror レファレンスを参照)などのいくつかの回避策が提供されていますが、アプリは安定したiOSデバイスの画面方向(縦または横)を使用するテストシナリオでのみ使用できます。
- Mac OS X:
- Reflector はMac OS Xのための最善の選択肢です。X-Mirageもまた良い選択です。
- ロボットはAirServerも認識しますが、実用的な理由から自動化には適していません。これは、ロボットがサポートしていない全画面モードではデフォルトで開始されます。また、画面に干渉するポップアップツールとタイトルバーも使用します。
- Java 1.7以上。ロボットがJava 1.6で動作する場合、接続は無効になります。Mac OS Xの唯一のオプションでもあるOracleのJavaを使用することを強くお勧めします。
- ミラーアプリケーションが使用されている場合、それはポートレートや風景モード (iPhone 4s の画面サイズ: 640x960、iPad と 2: 1024x768) の両方でデバイスの画面に収まるように十分な解像度でディスプレイを使用することをお勧めします。この要件に従わない環境では、ミラーアプリのスケーリング (右クリック->Reflector-> Scale-> "Half Size" または "Actual Size") を利用することができます。また、この領域には制限がない Mac OS X では、Lightning USB ミラーリングを使用してください。
ロボットの構成
MS Windowsのセットアップ
- OracleからJava JDK 1.7をインストールし、「リリースノート」の説明に従ってシステムパスに配置します。
- ロボットv3.5以降をインストールしてください。
- ミラーアプリケーション の1つをインストールし、アクティブにします。試用版は評価目的でもOK な場合があります。自動ミラースタートを有効にするために、ターゲットインストールフォルダをカスタマイズしないでください(ロボット4.0.1以降)。
Mac OS Xの設定
- Java JDK 1.7をOracleからインストールします。
- アクセシビリティを有効にする - 10.9.x(Mavericks)より大きいMac OS Xバージョン:
- アップルメニューをクリックし、システム環境設定を選択します。または、ドックのシステム環境設定アイコンをクリックします。
- セキュリティとプライバシーアイコンをクリックし、アクセシビリティアイコンを選択します。
- ユニバーサルチェックボックスを使用していた以前のバージョンのOS Xとは異なり、Mavericksの新機能により、ユーザはシステムを制御してさまざまなスクリプト機能を実行できるアプリケーションを個別"HeartCore Robo"app (下のスクリーンショットのように) または "java " app (スタンドアロンのロボットリリース) が表示されない場合は、このウィンドウに少なくとも1回はロボットを実行してください。
メモ:"HeartCore Robo"app項目の横にあるチェックボックスをオンにする前に、ウィンドウの左下隅にある南京錠をクリックして、管理ユーザーとして認証する必要があります。

- アクセシビリティを有効にする - 10.9.x未満のMac OS Xバージョン(Mavericks):
- アップルメニューをクリックし、システム環境設定を選択します。または、ドックのシステム環境設定アイコンをクリックします。
- システムグループの青色のアクセシビリティアイコンをダブルクリックします。
-
ウィンドウの下部にある[ 補助デバイスへのアクセスを有効にする]チェックボックスをオンにします。

- ロボットv3.5以降をインストールしてください。Oracle Java 1.7用のMac OS Xアプリケーションとしてパッケージ化された配布を選択してください。または、スタンドアロンのクロスプラットフォームリリースを使用してください。
- Lightning USBケーブルで画面をミラーする場合を除き、ミラーアプリケーション の1つをインストールして起動します。
AirServer / Reflectorのセットアップ
ミラーアプリケーションが切断されている間、システムトレイのアイコン(Windows)を右クリックするか、[ デバイス ]メニュー(Mac OS)に移動します。環境設定/設定を選択します。次のようにオプションを設定します。
- フルスクリーン - オフ(Reflectorのみ)
- 常にトップに - オン
以下のためにReflector2も設定します。
- 全般 - >クライアント名を表示 - オフ
- 接続 - >フレームを表示 - NONE
ロボットバージョン4.0.1は
、iOSミラー接続が開始されると自動的にミラーアプリを起動します。下位バージョンの場合は、Appleデバイスをミラーアプリに接続します。
接続後の構成:
- Reflectorのみ:アプリケーション(Windows)を右クリックするか、デバイス
メニュー(Mac OS)を選択します。
白/黒のiPhoneのハードカバー画像を表示せずにプレーンスクリーンだけを表示するには、[ Show Frame ]オプションをオフにします。
- ミラーサイズ(スケール/アスペクト)を慎重に選択し、一定に保ちます。実際のデバイスの画面サイズに合わせてミラーサイズを設定することをお勧めします。これにより、損失の多いH.264圧縮による画像のぼけが最小限に抑えられます。
ロボットのセットアップ
- ロボットを起動し、次のことを確認します。
- ミラーアプリケーションを使用する場合、ロボットは、デフォルトのGraphiteルックアンドフィール(LAF)方式で動作している必要があります
。Metal、Nimbus、
CDE、
GTK +
、Windows / Windows Classicなどの標準的なOracle提供LAF は機能しません。ロボットがサポートしている他のものは動作しても動作しなくてもよい。LAFを確認または変更するには、ログインダイアログの [ その他 ] リンクをクリックするか、[ 編集] - > [プリファレンス]に移動し、[ 外観とアクセシビリティ]ノードを選択します。
- ヘルプ-> 基本情報ダイアログを開き、ロボットがJava 1.7で動作することを確認します。
3. iOSデバイスの設定
はじめにで説明したように、2つの基本的な高レベルオプションがあります。
-
私たちのT-Plan PluginやT-Plan ServerツールをiOS Mirror接続で使用すると、非脱獄(非ルート)デバイスを自動化できます。
注:iOSミラー接続は、AirPlayミラーリング技術をサポートしているすべてのデバイス(この表のとおり)に適用できます。Lightning USBケーブルのミラーリング
は、Lightningコネクタが装備されているデバイスでのみ可能です。
- 脱獄(ルート化)デバイスは、Veency(Cydia)VNCサーバー接続を使用して自動化できます。
A.非脱獄デバイス
1.デバイス構成
指定されたアイドル時間後にデバイスがスリープ状態にならないように、自動ロック機能をオフにすることをお勧めします。
- iOSのホーム画面で[設定]アイコンをタップします。
- [ General] - > [Auto Lock]に移動し、[ Never]を選択します。
T-PlaniOS 6 Serverでは、iOS ミラー接続を使用して iOS バージョン5および6の iOSアプリケーションをテストできます。
- これにより、デバイスOS全体の制御が可能になります。
T-PlaniOS 7&8 Pluginは、iOS ミラー接続を使用してiOSバージョン7以上のiOSアプリケーションのテストを可能にします。
- これにより、テスト対象のアプリケーションを制御できます。
- AppleがiOSバージョン7のセキュリティを強化するにつれて
、OSレベルでタッチスクリーンとキーボードを制御することはできなくなりました。唯一知られている自動化の方法は、テスト中のアプリケーション(AUT)に自動化機能(T-Planライブラリ)を追加することです。これにより、起動後にアプリケーションを自動化することができます。
- 現在、ロボットは、iOS 6 Serverメソッドを使用した場合のように、iOS全体、またはアプリケーション外の機能を制御することはできません。
3.ミラーリングを開始する
- ロボット4.0.1以上を実行し、自動化するiOSアプリケーションにT-Plan iOS 7 Plugin v0.7以降が含まれている場合は、何もする必要はありません。ロボットは、iOSデバイスのミラーリングをPC画面に自動的に開始します。
- ロボット4.0および/またはPlugin v0.6以下では、iOSデバイスで手動でミラーリングを開始する必要があります。
B. 脱獄デバイスのみ
1. VNC設定(脱獄デバイスのみ)
- 脱獄のデバイス。
- CydiaからVeencyをインストールします。
- Veencyセットアップの手順については、リリースノートを参照してください。
2.ミラーリングを開始する
- Robot 4.0.1以上を実行し、自動化するiOSアプリケーションにT-Plan iOS 7 Plugin v0.7以降が含まれている場合は、何もする必要はありません。ロボットは、iOSデバイスのミラーリングをPC画面に自動的に開始します。
- ロボット4.0および/またはPlugin v0.6以下では、iOSデバイスで手動でミラーリングを開始する必要があります。
4.オートメーション
ロボットとの接続
- ミラーアプリケーションのみ:ロボット4.0またはそれ以下を実行する場合、または自動化するiOSアプリケーションにT-Plan iOS 7および8プラグインv0.6以下が含まれている場合は、デバイスでAirplay Mirroringを呼び出したことを確認してください。Airplay Mirroringの詳細をご覧ください。
- デバイスはWiFi経由でネットワークに接続する必要があります。
- iOS 5&6では、T-Planサーバーがデバイスで実行されているかどうかを確認し、最終的に起動します。現在の場所へのアクセスを要求すると、それを承認します。誤って[許可しない]を選択した場合は、[iOS 設定]-> [プライバシー]-> [位置情報サービス]で有効にしてください。
- iOS 7以降の場合は、iOS 7&8プラグインを搭載したアプリケーションが動作しており、デバイス画面に表示されていることを確認してください。アプリケーションが実行されていない場合、またはバックグラウンドにプッシュされている場合、接続は機能しません。
- デバイスのIPアドレスを調べるには、「設定」 - >「WiFi」
を開き、小さな「i」サークルをタップします。

- ロボットを起動し、「iOS Mirror」接続タイプを選択します。次に、次のようにパラメータを選択します。
- デバイスコントロールは、デバイスのタッチスクリーンとキーボードをどのように制御するかを定義します。
- T-Plan Server / Plugin over TCP / IPは、WiFiネットワーク経由でT-Planサーバーコンポーネントに接続します。このオプションを使用するには、デバイスのIPアドレス、コロン、およびポート番号5909を入力する必要があります。例については、下のイメージを参照してください。
- USB経由のT-Plan Server / Pluginは、USBケーブルを介してT-PlanサーバーとのTCP / IP接続をトンネリングします。少なくとも、テスト中のアプリケーション(AUT)が開始されたときに、デバイスがWi-Fiに接続されていて、ネットワークインターフェイスが正しく起動されていることを確認する必要があります。このオプションは、Mac OS Xでのみサポートされています。
- VNCサーバ(Veency)は、WiFiネットワーク経由でデバイス上で実行されているVNCサーバに接続します。このオプションを使用するには、デバイスのIPアドレス、コロン、およびVNCポート番号(通常は5901)を入力する必要があります。
- 画面ミラーは、デバイス画面をPC /ロボットに転送する方法を指定します。
- Lightning USBケーブルは、Mac OS Xに接続されたLightning USBケーブルを介して画面を映し出します。デバイスの名前を指定する必要があります。あなたのMacに接続されているデバイスを一覧表示できるセレクタがあります。
- ミラーアプリはあなたの選択したミラーアプリケーションを使用します。
- テストスクリプトからデバイスに接続するには、Connectコマンド(TPRスクリプト)またはconnect()
メソッド(Javaテストスクリプト)を使用します。引数のURLは、"apple:// <address>:<port>"の形式である必要があります
。たとえば、192.168.100.1のIPを持つAppleデバイスを用意しましょう。
例1:ミラーアプリを使用
してTCP / IP経由でT-Plan Plugin / Serverに接続する:
TPRテストスクリプト:
Javaテストスクリプト: Connect apple://192.168.100.1:5909
connect("apple://192.168.100.1:5909");
例2:USBオーバーTプランのプラグイン/サーバー使用
ミラーアプリに接続する。
TPRテストスクリプト:
Javaテストスクリプト: Connect apple://localhost:5909
connect("apple://localhost:5909");
例3:ミラーアプリケーションを使用
してVNCサーバーに接続する:
TPRテストスクリプト:
Javaテストスクリプト: Connect apple://
192.168.100.1
:5901
connect("apple://
192.168.100.1
:5901");
例4:Lightning USBを使用してTCP/IP上のT-Plan Plugin/Serverに接続する:
TPRテストスクリプト:
Javaテストスクリプト: Connect apple://192.168.100.1:5909
device="My iPhone 5"
connect("apple://192.168.100.1:5909",
null
,
false,
"My iPhone 5"
);
例5:Lightning USBを使用してUSB経由でT-Plan Plugin/Serverに接続する:
TPRテストスクリプト:
Javaテストスクリプト: Connect apple://localhost:5909 device="My iPhone 5"
connect("apple://localhost:5909",
null
,
false,
"My iPhone 5"
);
1台のPCから複数のデバイスを自動化する
1台のPCから複数のデバイスを自動化する好ましい方法は、Mac OS XでのLightning USB接続です。他の環境では、X-Mirageおよびロボット v4.0.1以降がサポートされます。デバイスがIPアドレスで識別できるように、USBトンネリングを使用しないでください。ステップ:
- X-Mirageのみ:すべてのミラーは、ロボットの起動前に起動していなければなりません。
- 2席以上のライセンスが必要です(各接続につき1席)。シートの数が足りないと、余分なスクリプトが空き接続(シーケンシャル実行)を待つことになります。
- パラレルテストを実行するには、CLIモードで2つ以上のパラレルスクリプトを使用してスケジュールを実行します。あるいは、GUIモードで複数のロボットインスタンスを起動し、いつものようにテストを開始します(1つのテストスクリプトにつき1つのインスタンス)。
*ミラーが実行されていない場合は、ロボットが起動します(ロボットv4.0.1 + T-Planライブラリv1.0 +)。しかし、これはイメージの比較を信頼できないものにします。なぜなら、それぞれの新しいミラーの開始により、X-Mirageは他のすべてのミラーをPC画面に合わせてサイズ変更するからです。
ミラーアプリケーションのトラブルシューティング
- ロボットは、ミラーアプリケーションをデスクトップビューアの背後に配置した状態で、一番上のウィンドウとして機能します。ミラーアプリケーションが常に上にとどまるように構成されていない場合、ロボットは接続後にデスクトップビューに表示されないことがあります。これを克服するには、Windowsのタスクバーにあるミラーアプリのアイコンをクリックして前面に押してから、ロボットのタイトルバーをクリックして、アプリケーションをビューアにロックします。
- ロボットは、ローカルOSのミラーアプリケーションをウィンドウタイトルで識別します。ミラーアプリケーションが表示されているが、ロボットが「Waiting for AirServer / Reflector to start」という接続を確立できなかった場合は、メインUIの「編集」 - > 「環境設定」に進み、「iOS Mirror」パネルを選択します。ミラーアプリケーションのタイトルを識別するために使用されるセミコロンで区切られたjava.util.regex.Pattern正規表現のリストがあり
ます。それを更新して、ミラーアプリのウィンドウタイトルと一致させます。Windowsでは、Windowsタスクバーのアプリケーション上にマウスを置くと、実際のタイトルが表示されます。両方のOSの別のアプローチは、デバッグモードを
iOS Mirrorパネルで、表示されたウィンドウとそのタイトルのリストのログ(ヘルプ - >ログビューア)に接続して確認します。
- ロボットがデバイスの画面だけを表示できず、アプリケーションのタイトルバーや周囲のフレームやその他のコンポーネントをデスクトップビューアで見ることができる場合は、「iOS Mirror」
パネルに行き、インセットの設定を探します。手動でビューを調整することができます。
- ロボットはAirServerまたはReflectorの障害に責任を負いません。これらのアプリケーションに問題がある場合は、サポートデスクにお問い合わせください。
画像比較のヒント
iOSデバイスの画面は、損失の多い画像圧縮形式の H.264ビデオを使用してミラー化されるため、画面上のアーチファクト(コンポーネント)はピクセルレベルで変化します。ロボットテンプレート画像を使用してそれらを検索するには、50%以下の合格率でsearch2比較メソッドを使用します。
4.0.2から、テストスクリプトは、ミラーアプリケーションによって表示される画面を固定サイズに強制することがあります。これにより、たとえ更新の結果として、ミラーリングアプリケーションがウィンドウサイズを変更しても、イメージが一致することが保証されます。画面サイズを設定する
には、接続の前または後に変数を次のようにターゲットの幅と高さに設定します。
_DESKTOP_SIZE

この機能は現在、MS WindowsのAirServer
とReflectorでのみサポートされています。今後のリリースでは、Mac OSのサポートを提供する予定です。X-Mirage
がウィンドウのサイズ変更にミラーリング画面をスケーリングしないため、ミラーアプリは適していません。
現在のiOS Mirror画面にターゲットサイズを適用するには、可変コード行をハイライト(選択)し、選択
ツールバーボタンをクリックします。これにより、変数コマンドが実行され、画面サイズが設定されます。コードブロックの実行の詳細については、「選択の実行」を参照してください。将来のリリースでは、GUIツールなどの画面サイズ強制のサポートが提供されます。ログイン ]ダイアログボックスと[ 接続コマンド] プロパティウィンドウを開きます。
オートメーションのヒント
- T-Plan iOS 6 Serverは、バックグラウンドでの実行を許可するために、ナビゲーションおよびVoIPアプリケーションとしてマークされています。デバイスのバッテリが放電するのを避けるために、自動化中はデバイスを電源に接続したままにしておくことを推奨します。デバイスが自動化されていない場合、サーバーは次のように強制終了されます。
- iOSデバイスのホームボタンを2回押して、実行中のアプリケーションのリストを開きます。
- 必要に応じて右にスクロールして(左にスワイプ)、T-PlanServerアプリケーションを探します。
- アプリケーションアイコンを長押しして、揺れが始まるまで押し続けます。その後、 "赤いマイナス"アイコンを押してそれを殺します。最後にホーム
を押して戻る。

- 自動化中に常に上にウィンドウモードを使用する他のアプリケーションを実行しないでください。それらは突然ポップアップして、ロボットのデスクトップビューを妨害することがあります。
- Windows上のロボットビューでロックされている間にミラーアプリケーションを直接制御する必要がある場合は、ロボットアプリケーションをタスクバーに最小化してください。ロボットはウィンドウが復元された後に再びロックします。
- ランドスケープモードは、デバイスが反時計回りに回転しているときにのみサポートさ
れます
(iPhoneのホームボタンが右側にあります)。デバイスを時計回りに回転させると、エラーは報告されませんが、マウスのクリックとドラッグは正しく行われません。
- 一部のVNC接続とは異なり、マウスポインタはロボットが動作するローカル画面イメージに描画されません。特定の領域で画像を比較するためにマウスポインタを離れた位置にスクリプトを移動させる必要はありません。
- ローカルデスクトップ上で自動化が実行されるので、Robotを実行する1台のマシンを使用して、一度に1台のAppleデバイスのみを自動化することができます。