本文へスキップ

ドキュメント リモートコントロール リモートコントロール

スマートフォンとタブレット

VMPalは、iPhone、iPad、Androidデバイスの画面をMacのウインドウに表示し、マウスとキーボードで操作できるようにします。ケーブルでもWi-Fiでも使え、iOSシミュレータにも対応しています。AIエージェントもデバイスを使えます。画面を読み取り、アプリをタップして操作し、ビルドをインストールして、そのログやクラッシュレポートを読みます。

スマートフォンとタブレットを使うには、VMPal 0.119以降が必要です。App StoreやGoogle Playからインストールするものはありません。

iPhoneとiPad

AppleがiPhoneの操作を許可しているのは自社のテストツールだけなので、VMPalはXcodeのテストツールを使います。Macには次のものが必要です。

  • Xcode:App Storeから入手します。
  • Appleアカウント:Xcode › Settings › Accountsでサインインしておきます。無料のアカウントでも使えますが、署名の有効期間は7日間です。

iPhoneまたはiPadでは、次の操作を行います。

  1. ケーブルで一度Macに接続し、ロックを解除して、信頼を選択します。それ以降は、Macと同じネットワーク上であればWi-Fiでも使えます。
  2. 設定 › プライバシーとセキュリティ › デベロッパモードでデベロッパモードをオンにします。デバイスが再起動します。
  3. VMPalが接続している間は、ロックを解除したままにしておきます。

初めて接続するときは、Xcodeが小さなテストアプリをビルドし、自分のアカウントで署名してデバイス上で起動します。これには1〜2分かかります。その後、デバイスにAutomation Runningと表示されます。iOSに「信頼されていないデベロッパ」と表示された場合は、設定 › 一般 › VPNとデバイス管理で自分のアカウントを選び、信頼を選択します。

iOSシミュレータ

Xcodeにあるシミュレータも同じ一覧に表示されます。Appleアカウントは必要ありません。VMPalは「シミュレータ」アプリのウインドウを開かずにシミュレータを起動し、その画面をVMPalのウインドウに表示します。

Androidのスマートフォンとタブレット

  1. デバイスで開発者向けオプションをオンにします。設定 › デバイス情報でビルド番号を7回タップします。
  2. 設定 › システム › 開発者向けオプションで、USBデバッグをオンにします。
  3. ケーブルでMacに接続し、ロックを解除して、USBデバッグについて確認されたら許可を選択します。Wi-Fiで使う場合は、ワイヤレスデバッグをオンにし、ターミナルでadb pairとadb connectを使って接続します。

MacにはAndroidのadbが必要です。Android Studioに含まれているほか、Homebrewでもインストールできます(brew install android-platform-tools)。初めて接続するとき、VMPalはオープンソースの画面ミラーリングツールであるscrcpyのサーバをダウンロードして検証し、デバイス上で起動します。

VMPalに追加する

  1. ファイル › 電話またはタブレットを追加… を選択するか、「リモート」セクションのツールバーで + をクリックしてから電話またはタブレットを追加… を選択します。
  2. デバイスを選択します。VMPalは、デバイスの準備ができているかどうかと、できていない場合にデバイスで行う操作を表示します。何かを変更したら、更新をクリックします。
  3. iPhoneまたはiPadの場合は、VMPalのテストアプリの署名に使うAppleアカウントを署名に使用で選びます。
  4. 追加をクリックします。

デバイスが「リモート」セクションに表示され、ウインドウが開きます。

ウインドウ

Macでの操作 iPhoneとiPad Android
クリック タップ タップ
ドラッグ スワイプ(ボタンを離したときに再生) スワイプ(動きに合わせて)
右クリック 長押し 戻る
中クリック ホーム
スクロール 短いスワイプ スクロール
入力 フォーカスのあるフィールドに入力 フォーカスのあるフィールドに入力

Androidデバイスの画面はビデオとして届きます。iPhoneの画面は静止画として届き、画面が変わったときだけ、1秒あたり最大20枚送られます。ツールバーの画質は、Macの場合と同じように動作します。

AIエージェントでアプリをテストする

AIエージェントは、MacやVMと同じツールでスマートフォンを使います。画面をボタンとテキストの一覧として読み取り、それらをタップし、入力し、スクリーンショットを撮ります。アプリをテストするために、ビルドをインストールして起動し、アプリが出力した内容やクラッシュの状況を読むこともできます。たとえば、「./buildにあるビルドをiPhoneにインストールして開き、テスト用のアカウントでサインインして、何がおかしいか教えて。」のように頼みます。

ターミナルからvmpalを使っても、同じことができます。

vmpal device "My iPhone" install ./build/MyApp.app
vmpal device "My iPhone" launch com.example.MyApp
vmpal ui "My iPhone" tree
vmpal device "My iPhone" logs com.example.MyApp
vmpal device "My iPhone" crashes com.example.MyApp

すべての操作はvmpal help deviceで確認できます。install、launch、terminate、uninstall、apps、logs、crashes、crash、rotate、pinch、button、open-url、releaseがあります。

  • インストールするもの:iPhoneやiPadにはそのデバイス用に署名した.appまたは.ipa、シミュレータにはシミュレータ向けにビルドした.app、Androidには.apkを使います。先にXcodeまたはGradleでビルドしておきます。
  • ログ:launchは、それ以降にアプリが出力した内容を記録し、logsでそれを読みます。Androidでは、logsはアプリのlogcatを読みます。
  • 自分のUIテスト:iPhoneで同時に実行できるテストセッションは1つです。vmpal device "My iPhone" releaseでVMPalのセッションを終了すると、Xcodeで自分のテストを実行できます。デバイスのウインドウを開くと、VMPalのセッションが再び始まります。

知っておきたいこと

  • iPhoneのドラッグはジェスチャ全体で再生される:Xcodeのテストツールはスワイプを始点から終点まで通して再生するため、iPhoneやiPadでは、ボタンを離したときにドラッグが行われます。Androidはマウスの動きにそのまま追従します。
  • iPhoneでホームに戻る:vmpal device "My iPhone" button homeを使うか、AIエージェントに頼みます。
  • ロックされたデバイス:VMPalが接続するときは、iPhoneやiPadのロックを解除しておく必要があります。接続後は、そのまま使い続けられます。