云手机做UI自动化测试,元素定位和截图比对的配置方法
为什么用云手机跑UI自动化测试?
做App自动化测试,最头疼的往往不是写脚本,而是设备:本地模拟器环境失真、真机数量不够、换台电脑结果就不一样。云手机把这些问题一次性解决——测试设备跑在云端,系统环境统一、7×24小时在线、随时能批量开新设备,脚本连上就能跑。
本文以畅畅云手机为例,讲清楚两件核心的事:元素定位怎么配置,截图比对怎么落地。整套流程同样适用于其他支持ADB调试的云手机。
第一步:把云手机接入自动化环境
UI自动化的基础是ADB通道。云手机本质上是一台运行在云端的安卓设备,只要拿到它的远程ADB地址,本地电脑就能像操作USB真机一样操作它。
登录畅畅云手机后台,在目标设备的详情页找到远程ADB连接信息(IP和端口),不同版本入口位置略有差异,以控制台实际显示为准,然后在本地执行:
adb connect 120.xx.xx.xx:26666
adb devices
设备列表里出现 120.xx.xx.xx:26666 device 就说明通道建好了,再用一条命令确认设备响应正常:
adb -s 120.xx.xx.xx:26666 shell getprop ro.build.version.release
常见坑:连接超时先检查本地网络;设备显示offline时,执行 adb disconnect 后重连一次即可。
元素定位:三种主流方案怎么选、怎么配
方式一:uiautomator dump,快速查看控件树
最轻量的做法,不装任何框架,直接导出当前界面的控件结构:
adb -s 120.xx.xx.xx:26666 shell uiautomator dump /sdcard/ui.xml
adb -s 120.xx.xx.xx:26666 pull /sdcard/ui.xml .
打开ui.xml,搜索目标按钮的 resource-id、text 或 bounds 坐标,就能拿到定位信息。适合临时排查,不适合写成长期脚本。
方式二:Appium + UiAutomator2,生产级首选
正式的自动化项目推荐Appium。它通过UiAutomator2驱动接管设备,支持id、xpath、accessibility id等多种定位方式,关键配置是把云手机的ADB地址写进 udid:
from appium import webdriver
from appium.options.android import UiAutomator2Options
opts = UiAutomator2Options()
opts.platform_name = 'Android'
opts.automation_name = 'UiAutomator2'
opts.udid = '120.xx.xx.xx:26666' # 云手机的ADB地址
opts.new_command_timeout = 300
driver = webdriver.Remote('http://127.0.0.1:4723', options=opts)
# 用resource-id定位登录按钮
btn = driver.find_element('id', 'com.demo.app:id/btn_login')
btn.click()
如果同时连了多台云手机,给每台设备起一个独立的Appium服务端口,就能实现多设备并行。
方式三:图像定位,对付Canvas和自绘控件
游戏和部分自绘界面没有控件树可查,这时只能靠截图比对来定位元素,也就是下一节的内容。
| 定位方式 | 适用场景 | 稳定性 | 维护成本 |
|---|---|---|---|
| resource-id | 有唯一ID的标准控件 | 高 | 低 |
| xpath | 无ID的层级结构 | 中 | 中 |
| accessibility-id | 带无障碍标签的控件 | 高 | 低 |
| 图像匹配 | 游戏、Canvas、自绘界面 | 中 | 中 |
| 坐标点击 | 兜底方案 | 低 | 高 |
截图比对:从取图到差异报告
1. 从云手机稳定取图
adb -s 120.xx.xx.xx:26666 exec-out screencap -p > screen.png
注意用 exec-out 直接输出,而不是先screencap再pull,可以避免Windows下换行符污染PNG文件。批量任务里给每次截图加上时间戳命名,方便事后回溯。
2. 模板匹配:判断某个元素是否出现
把按钮、图标提前截成小图当模板,用OpenCV在整屏截图里找它的位置:
import cv2
import subprocess
host = '120.xx.xx.xx:26666'
subprocess.run(f'adb -s {host} exec-out screencap -p > screen.png', shell=True)
img = cv2.imread('screen.png')
tpl = cv2.imread('btn_pay.png')
res = cv2.matchTemplate(img, tpl, cv2.TM_CCOEFF_NORMED)
_, max_val, _, max_loc = cv2.minMaxLoc(res)
if max_val > 0.9:
print('元素出现,位置:', max_loc)
else:
print('未找到目标元素,相似度:', max_val)
阈值建议设在0.85~0.95:太低容易误报,太高会因渲染差异漏报。
3. 像素级比对:整屏回归校验
UI改版回归、皮肤验证这类场景,需要算出基准图和当前图的差异占比:
from PIL import Image, ImageChops
import numpy as np
base = Image.open('baseline.png').convert('RGB')
curr = Image.open('screen.png').convert('RGB')
diff = ImageChops.difference(base, curr)
arr = np.array(diff)
ratio = (np.any(arr > 20, axis=2)).mean()
print('差异像素占比: {:.2f}%'.format(ratio * 100))
assert ratio < 0.02, '截图差异超过2%,需人工确认'
三条实战经验:① 分辨率不一致时,先把两张图缩放到相同尺寸再比;② 状态栏时间、电量、小红点属于必然差异,比对前把动态区域打码或裁掉;③ 渐变、阴影多的界面用SSIM结构相似度代替逐像素比对,抗干扰更好。
进阶:多台云手机并行与定时回归
单台设备只能算冒烟测试,真正的效率提升来自批量并行。思路很简单:把上面的脚本参数化,设备ADB地址作为入参,再用进程池同时跑:
from multiprocessing import Pool
devices = [
'120.xx.xx.xx:26666',
'120.xx.xx.xx:26667',
'120.xx.xx.xx:26668',
]
with Pool(len(devices)) as pool:
pool.map(run_test, devices)
再配合定时任务(crontab或Jenkins流水线),每晚固定时间自动拉起回归用例,第二天上班直接看截图比对报告。云手机24小时在线的特性,让定时任务不再依赖任何人的电脑开着机。
为什么推荐畅畅云手机
跑自动化测试,对云手机的核心要求就三条:ADB通道稳定、设备环境干净一致、支持批量管理。畅畅云手机(ccloudphone)在这几点上表现扎实:
① 环境纯净:每台云手机都是独立的安卓环境,装再多测试App也不互相污染,用完可重置,随时回到干净状态。
② 批量管理顺手:客户端里可以同时查看和管理多台设备,配合多进程脚本做并行回归非常高效。
③ 24小时在线:设备跑在云端,夜间回归、定时任务不受本地电脑开关机影响。
④ 成本可控:相比自建真机实验室,按需开通设备即可。建议先开通少量设备把流程跑通,再按用例量逐步扩容。
具体套餐与设备规格,以畅畅云手机官网(ccloudphone)最新信息为准。
常见问题
Q:云手机跑自动化会不会卡顿、延迟高?
日常App操作和截图比对完全够用。建议脚本里用显式等待代替固定sleep,网络波动时用例更稳;对帧率要求极高的游戏画面测试,可先小规模实测再决定规模。
Q:畅畅云手机支持ADB吗?连接地址在哪里看?
支持。登录后台进入设备详情即可查看远程ADB的IP和端口,具体入口以控制台实际显示为准,拿到地址后 adb connect 即可使用。
Q:截图比对阈值应该设多少?
模板匹配建议从0.85~0.95起步,整屏像素差异建议从2%起步,跑一段时间后根据误报情况微调。关键是把状态栏等动态区域排除掉。
Q:元素定位不到怎么办?
按顺序排查:先确认页面加载完成(加显式等待);再用uiautomator dump看控件树里有没有目标节点;WebView页面需切换到WebView上下文才能定位;都没有就退回图像匹配或坐标方案。
Q:本地电脑最多能同时连几台云手机并行?
取决于本地网络和脚本框架的并发能力,普通办公电脑同时跑5~10台Appium实例问题不大;设备更多时建议分批执行,或把调度端部署到服务器上。



