手机和平板电脑
VMPal 会在你 Mac 上的一个窗口中显示 iPhone、iPad 或 Android 设备的屏幕,你可以用鼠标和键盘操作它。它支持数据线和 Wi-Fi 连接,也支持 iOS 模拟器。你的 AI 智能体同样可以使用这些设备:它能读取屏幕、在你的应用中点按操作、安装构建版本,并读取日志和崩溃报告。
手机和平板电脑需要 VMPal 0.119 或更高版本。不需要从 App Store 或 Google Play 安装任何东西。
iPhone 和 iPad
Apple 只允许它自己的测试工具控制 iPhone,因此 VMPal 使用 Xcode 的测试工具。你的 Mac 上需要:
- Xcode,可从 App Store 获取。
- Apple 账户,在 Xcode › Settings › Accounts 中登录。免费账户也可以,但用它签名的内容只能使用 7 天。
在 iPhone 或 iPad 上:
- 用数据线把它连接到你的 Mac 一次,解锁设备,然后选择 信任。之后,只要它与你的 Mac 在同一个网络中,也可以通过 Wi-Fi 使用。
- 在 设置 › 隐私与安全性 › 开发者模式 中打开 开发者模式。设备会重新启动。
- 在 VMPal 连接期间保持设备解锁。
第一次连接时,Xcode 会构建一个小型测试应用,用你的账户为它签名,然后在设备上启动它,这需要一两分钟。之后设备会显示 Automation Running。如果 iOS 提示它不信任该开发者,请前往 设置 › 通用 › VPN与设备管理,选择你的账户,然后选择 信任。
iOS 模拟器
Xcode 中的模拟器会显示在同一个列表中,它们不需要 Apple 账户。VMPal 启动模拟器时不会打开“模拟器”应用的窗口,而是在 VMPal 的窗口中显示模拟器的屏幕。
Android 手机和平板电脑
- 在设备上打开 开发者选项:在 设置 › 关于手机 中,点按 版本号 7 次。
- 在 设置 › 系统 › 开发者选项 中,打开 USB 调试。
- 用数据线把设备连接到你的 Mac,解锁设备,并在它询问是否允许 USB 调试时选择 允许。如需使用 Wi-Fi,请打开 无线调试,然后在终端中用
adb pair和adb connect连接设备。
你的 Mac 需要安装 Android 的 adb,它随 Android Studio 提供,也可以用 Homebrew 安装:brew install android-platform-tools。第一次连接时,VMPal 会下载开源屏幕镜像工具 scrcpy 的服务端,对其进行校验,然后在设备上启动它。
添加到 VMPal
- 选取 文件 › 添加手机或平板电脑…,或者点按“远程”部分工具栏中的 +,然后选择 添加手机或平板电脑…。
- 选择设备。VMPal 会说明设备是否已准备就绪;如果没有,还会说明需要在设备上做什么。在设备上更改设置后,请点按 刷新。
- 对于 iPhone 或 iPad,在 签名使用 下选择用来为 VMPal 测试应用签名的 Apple 账户。
- 点按 添加。
之后,设备会出现在“远程”部分中,并打开它的窗口。
窗口
| 在你的 Mac 上 | iPhone 和 iPad | Android |
|---|---|---|
| 点按 | 轻点 | 轻点 |
| 拖移 | 轻扫,在你松开时执行 | 轻扫,随你的移动实时执行 |
| 右键点按 | 长按 | 返回 |
| 中键点按 | 主屏幕 | |
| 滚动 | 短距离轻扫 | 滚动 |
| 输入 | 在当前焦点所在的输入框中输入 | 在当前焦点所在的输入框中输入 |
Android 设备的屏幕以视频形式传送。iPhone 的屏幕以图片形式传送,每秒最多 20 张,并且只在屏幕变化时才发送。工具栏中 画质 的用法与控制 Mac 时相同。
借助 AI 智能体测试你的应用
你的 AI 智能体使用手机时,用的是与操作 Mac 或虚拟机相同的工具:它把屏幕读取为按钮和文字的列表,点按它们、输入文字并截图。为了测试你的应用,它还可以安装构建版本、启动应用,并读取应用打印的内容和崩溃信息。例如,你可以这样请求它:“把 ./build 中的构建版本安装到我的 iPhone 上,打开它,用测试账户登录,然后告诉我哪里有问题。”
在终端中用 vmpal 也可以做到:
vmpal device "My iPhone" install ./build/MyApp.app
vmpal device "My iPhone" launch com.example.MyApp
vmpal ui "My iPhone" tree
vmpal device "My iPhone" logs com.example.MyApp
vmpal device "My iPhone" crashes com.example.MyApp
vmpal help device 列出了所有操作:install、launch、terminate、uninstall、apps、logs、crashes、crash、rotate、pinch、button、open-url 和 release。
- 要安装的内容: iPhone 或 iPad 需要为其签名的
.app或.ipa,模拟器需要为模拟器构建的.app,Android 需要.apk。请先用 Xcode 或 Gradle 构建。 - 日志:
launch会保留应用从那时起打印的内容,供logs读取。在 Android 上,logs读取应用的 logcat。 - 你自己的 UI 测试: iPhone 一次只能运行一个测试会话。
vmpal device "My iPhone" release会结束 VMPal 的测试会话,让 Xcode 可以运行你的测试。打开设备的窗口会再次启动 VMPal 的测试会话。
注意事项
- iPhone 上的拖移是完整手势。 Xcode 的测试工具会从头到尾回放一次轻扫,因此在 iPhone 或 iPad 上,拖移会在你松开鼠标按钮时才执行。Android 则会随你的鼠标移动实时跟随。
- iPhone 上的主屏幕按钮:
vmpal device "My iPhone" button home,或者让你的 AI 智能体来操作。 - 锁定的设备: VMPal 连接时,iPhone 或 iPad 必须处于解锁状态。连接之后,设备就可以一直使用。