云手机做UI自动化测试,元素定位和截图比对的配置方法

为什么用云手机跑UI自动化测试?

做App自动化测试,最头疼的往往不是写脚本,而是设备:本地模拟器环境失真、真机数量不够、换台电脑结果就不一样。云手机把这些问题一次性解决——测试设备跑在云端,系统环境统一、7×24小时在线、随时能批量开新设备,脚本连上就能跑。

本文以畅畅云手机为例,讲清楚两件核心的事:元素定位怎么配置,截图比对怎么落地。整套流程同样适用于其他支持ADB调试的云手机。

第一步:把云手机接入自动化环境

UI自动化的基础是ADB通道。云手机本质上是一台运行在云端的安卓设备,只要拿到它的远程ADB地址,本地电脑就能像操作USB真机一样操作它。

登录畅畅云手机后台,在目标设备的详情页找到远程ADB连接信息(IP和端口),不同版本入口位置略有差异,以控制台实际显示为准,然后在本地执行:

adb connect 120.xx.xx.xx:26666
adb devices

设备列表里出现 120.xx.xx.xx:26666 device 就说明通道建好了,再用一条命令确认设备响应正常:

adb -s 120.xx.xx.xx:26666 shell getprop ro.build.version.release

常见坑:连接超时先检查本地网络;设备显示offline时,执行 adb disconnect 后重连一次即可。

云手机ADB连接与元素定位流程示意图

元素定位:三种主流方案怎么选、怎么配

方式一:uiautomator dump,快速查看控件树

最轻量的做法,不装任何框架,直接导出当前界面的控件结构:

adb -s 120.xx.xx.xx:26666 shell uiautomator dump /sdcard/ui.xml
adb -s 120.xx.xx.xx:26666 pull /sdcard/ui.xml .

打开ui.xml,搜索目标按钮的 resource-id、text 或 bounds 坐标,就能拿到定位信息。适合临时排查,不适合写成长期脚本。

方式二:Appium + UiAutomator2,生产级首选

正式的自动化项目推荐Appium。它通过UiAutomator2驱动接管设备,支持id、xpath、accessibility id等多种定位方式,关键配置是把云手机的ADB地址写进 udid:

from appium import webdriver
from appium.options.android import UiAutomator2Options

opts = UiAutomator2Options()
opts.platform_name = 'Android'
opts.automation_name = 'UiAutomator2'
opts.udid = '120.xx.xx.xx:26666'   # 云手机的ADB地址
opts.new_command_timeout = 300

driver = webdriver.Remote('http://127.0.0.1:4723', options=opts)

# 用resource-id定位登录按钮
btn = driver.find_element('id', 'com.demo.app:id/btn_login')
btn.click()

如果同时连了多台云手机,给每台设备起一个独立的Appium服务端口,就能实现多设备并行。

方式三:图像定位,对付Canvas和自绘控件

游戏和部分自绘界面没有控件树可查,这时只能靠截图比对来定位元素,也就是下一节的内容。

定位方式适用场景稳定性维护成本
resource-id有唯一ID的标准控件高低
xpath无ID的层级结构中中
accessibility-id带无障碍标签的控件高低
图像匹配游戏、Canvas、自绘界面中中
坐标点击兜底方案低高

截图比对:从取图到差异报告

1. 从云手机稳定取图

adb -s 120.xx.xx.xx:26666 exec-out screencap -p > screen.png

注意用 exec-out 直接输出,而不是先screencap再pull,可以避免Windows下换行符污染PNG文件。批量任务里给每次截图加上时间戳命名,方便事后回溯。

2. 模板匹配:判断某个元素是否出现

把按钮、图标提前截成小图当模板,用OpenCV在整屏截图里找它的位置:

import cv2
import subprocess

host = '120.xx.xx.xx:26666'
subprocess.run(f'adb -s {host} exec-out screencap -p > screen.png', shell=True)

img = cv2.imread('screen.png')
tpl = cv2.imread('btn_pay.png')
res = cv2.matchTemplate(img, tpl, cv2.TM_CCOEFF_NORMED)
_, max_val, _, max_loc = cv2.minMaxLoc(res)

if max_val > 0.9:
    print('元素出现,位置:', max_loc)
else:
    print('未找到目标元素,相似度:', max_val)

阈值建议设在0.85~0.95:太低容易误报,太高会因渲染差异漏报。

3. 像素级比对:整屏回归校验

UI改版回归、皮肤验证这类场景,需要算出基准图和当前图的差异占比:

from PIL import Image, ImageChops
import numpy as np

base = Image.open('baseline.png').convert('RGB')
curr = Image.open('screen.png').convert('RGB')

diff = ImageChops.difference(base, curr)
arr = np.array(diff)
ratio = (np.any(arr > 20, axis=2)).mean()
print('差异像素占比: {:.2f}%'.format(ratio * 100))
assert ratio < 0.02, '截图差异超过2%,需人工确认'

三条实战经验:① 分辨率不一致时,先把两张图缩放到相同尺寸再比;② 状态栏时间、电量、小红点属于必然差异,比对前把动态区域打码或裁掉;③ 渐变、阴影多的界面用SSIM结构相似度代替逐像素比对,抗干扰更好。

进阶:多台云手机并行与定时回归

单台设备只能算冒烟测试,真正的效率提升来自批量并行。思路很简单:把上面的脚本参数化,设备ADB地址作为入参,再用进程池同时跑:

from multiprocessing import Pool

devices = [
    '120.xx.xx.xx:26666',
    '120.xx.xx.xx:26667',
    '120.xx.xx.xx:26668',
]

with Pool(len(devices)) as pool:
    pool.map(run_test, devices)

再配合定时任务(crontab或Jenkins流水线),每晚固定时间自动拉起回归用例,第二天上班直接看截图比对报告。云手机24小时在线的特性,让定时任务不再依赖任何人的电脑开着机。

多台云手机并行执行自动化测试的流水线示意图

为什么推荐畅畅云手机

跑自动化测试,对云手机的核心要求就三条:ADB通道稳定、设备环境干净一致、支持批量管理。畅畅云手机(ccloudphone)在这几点上表现扎实:

① 环境纯净:每台云手机都是独立的安卓环境,装再多测试App也不互相污染,用完可重置,随时回到干净状态。

② 批量管理顺手:客户端里可以同时查看和管理多台设备,配合多进程脚本做并行回归非常高效。

③ 24小时在线:设备跑在云端,夜间回归、定时任务不受本地电脑开关机影响。

④ 成本可控:相比自建真机实验室,按需开通设备即可。建议先开通少量设备把流程跑通,再按用例量逐步扩容。

具体套餐与设备规格,以畅畅云手机官网(ccloudphone)最新信息为准。

畅畅云手机多设备批量管理界面示意

常见问题

Q:云手机跑自动化会不会卡顿、延迟高?
日常App操作和截图比对完全够用。建议脚本里用显式等待代替固定sleep,网络波动时用例更稳;对帧率要求极高的游戏画面测试,可先小规模实测再决定规模。

Q:畅畅云手机支持ADB吗?连接地址在哪里看?
支持。登录后台进入设备详情即可查看远程ADB的IP和端口,具体入口以控制台实际显示为准,拿到地址后 adb connect 即可使用。

Q:截图比对阈值应该设多少?
模板匹配建议从0.85~0.95起步,整屏像素差异建议从2%起步,跑一段时间后根据误报情况微调。关键是把状态栏等动态区域排除掉。

Q:元素定位不到怎么办?
按顺序排查:先确认页面加载完成(加显式等待);再用uiautomator dump看控件树里有没有目标节点;WebView页面需切换到WebView上下文才能定位;都没有就退回图像匹配或坐标方案。

Q:本地电脑最多能同时连几台云手机并行?
取决于本地网络和脚本框架的并发能力,普通办公电脑同时跑5~10台Appium实例问题不大;设备更多时建议分批执行,或把调度端部署到服务器上。