跳到正文

文档 远程控制 远程控制

手机和平板电脑

VMPal 会在你 Mac 上的一个窗口中显示 iPhone、iPad 或 Android 设备的屏幕,你可以用鼠标和键盘操作它。它支持数据线和 Wi-Fi 连接,也支持 iOS 模拟器。你的 AI 智能体同样可以使用这些设备:它能读取屏幕、在你的应用中点按操作、安装构建版本,并读取日志和崩溃报告。

手机和平板电脑需要 VMPal 0.119 或更高版本。不需要从 App Store 或 Google Play 安装任何东西。

iPhone 和 iPad

Apple 只允许它自己的测试工具控制 iPhone,因此 VMPal 使用 Xcode 的测试工具。你的 Mac 上需要:

  • Xcode,可从 App Store 获取。
  • Apple 账户,在 Xcode › Settings › Accounts 中登录。免费账户也可以,但用它签名的内容只能使用 7 天。

在 iPhone 或 iPad 上:

  1. 用数据线把它连接到你的 Mac 一次,解锁设备,然后选择 信任。之后,只要它与你的 Mac 在同一个网络中,也可以通过 Wi-Fi 使用。
  2. 在 设置 › 隐私与安全性 › 开发者模式 中打开 开发者模式。设备会重新启动。
  3. 在 VMPal 连接期间保持设备解锁。

第一次连接时,Xcode 会构建一个小型测试应用,用你的账户为它签名,然后在设备上启动它,这需要一两分钟。之后设备会显示 Automation Running。如果 iOS 提示它不信任该开发者,请前往 设置 › 通用 › VPN与设备管理,选择你的账户,然后选择 信任。

iOS 模拟器

Xcode 中的模拟器会显示在同一个列表中,它们不需要 Apple 账户。VMPal 启动模拟器时不会打开“模拟器”应用的窗口,而是在 VMPal 的窗口中显示模拟器的屏幕。

Android 手机和平板电脑

  1. 在设备上打开 开发者选项:在 设置 › 关于手机 中,点按 版本号 7 次。
  2. 在 设置 › 系统 › 开发者选项 中,打开 USB 调试。
  3. 用数据线把设备连接到你的 Mac,解锁设备,并在它询问是否允许 USB 调试时选择 允许。如需使用 Wi-Fi,请打开 无线调试,然后在终端中用 adb pair 和 adb connect 连接设备。

你的 Mac 需要安装 Android 的 adb,它随 Android Studio 提供,也可以用 Homebrew 安装:brew install android-platform-tools。第一次连接时,VMPal 会下载开源屏幕镜像工具 scrcpy 的服务端,对其进行校验,然后在设备上启动它。

添加到 VMPal

  1. 选取 文件 › 添加手机或平板电脑…,或者点按“远程”部分工具栏中的 +,然后选择 添加手机或平板电脑…。
  2. 选择设备。VMPal 会说明设备是否已准备就绪;如果没有,还会说明需要在设备上做什么。在设备上更改设置后,请点按 刷新。
  3. 对于 iPhone 或 iPad,在 签名使用 下选择用来为 VMPal 测试应用签名的 Apple 账户。
  4. 点按 添加。

之后,设备会出现在“远程”部分中,并打开它的窗口。

窗口

在你的 Mac 上 iPhone 和 iPad Android
点按 轻点 轻点
拖移 轻扫,在你松开时执行 轻扫,随你的移动实时执行
右键点按 长按 返回
中键点按 主屏幕
滚动 短距离轻扫 滚动
输入 在当前焦点所在的输入框中输入 在当前焦点所在的输入框中输入

Android 设备的屏幕以视频形式传送。iPhone 的屏幕以图片形式传送,每秒最多 20 张,并且只在屏幕变化时才发送。工具栏中 画质 的用法与控制 Mac 时相同。

借助 AI 智能体测试你的应用

你的 AI 智能体使用手机时,用的是与操作 Mac 或虚拟机相同的工具:它把屏幕读取为按钮和文字的列表,点按它们、输入文字并截图。为了测试你的应用,它还可以安装构建版本、启动应用,并读取应用打印的内容和崩溃信息。例如,你可以这样请求它:“把 ./build 中的构建版本安装到我的 iPhone 上,打开它,用测试账户登录,然后告诉我哪里有问题。”

在终端中用 vmpal 也可以做到:

vmpal device "My iPhone" install ./build/MyApp.app
vmpal device "My iPhone" launch com.example.MyApp
vmpal ui "My iPhone" tree
vmpal device "My iPhone" logs com.example.MyApp
vmpal device "My iPhone" crashes com.example.MyApp

vmpal help device 列出了所有操作:install、launch、terminate、uninstall、apps、logs、crashes、crash、rotate、pinch、button、open-url 和 release。

  • 要安装的内容: iPhone 或 iPad 需要为其签名的 .app 或 .ipa,模拟器需要为模拟器构建的 .app,Android 需要 .apk。请先用 Xcode 或 Gradle 构建。
  • 日志: launch 会保留应用从那时起打印的内容,供 logs 读取。在 Android 上,logs 读取应用的 logcat。
  • 你自己的 UI 测试: iPhone 一次只能运行一个测试会话。vmpal device "My iPhone" release 会结束 VMPal 的测试会话,让 Xcode 可以运行你的测试。打开设备的窗口会再次启动 VMPal 的测试会话。

注意事项

  • iPhone 上的拖移是完整手势。 Xcode 的测试工具会从头到尾回放一次轻扫,因此在 iPhone 或 iPad 上,拖移会在你松开鼠标按钮时才执行。Android 则会随你的鼠标移动实时跟随。
  • iPhone 上的主屏幕按钮: vmpal device "My iPhone" button home,或者让你的 AI 智能体来操作。
  • 锁定的设备: VMPal 连接时,iPhone 或 iPad 必须处于解锁状态。连接之后,设备就可以一直使用。