移动端分布式智能测试系统实践-杨立凯-小米(2021 QECon全球软件质量&效能大会上海站).pdf

主办方 ： 9月25-26日 ｜上海

移动端分布式智能测试系统实践 杨立凯 小米集团 - 技术委员会

杨立凯

• 小米集团-技术委员会-高级软件开发工程师

• 2018年加入小米人工智能部负责小爱同学App 自动化测试体 系建设及AI技术在终端测试中落地。

• 曾就职于诺基亚 ，华为 ，金立 负责 自动化测试开发相关工作。 1 背景与问题 2 测试系统介绍

目录 3 实践原理介绍 Contents 4 效果与收益 5 总结与展望

01 背景与问题

手机 X AIoT 小爱同学 产品 功能 交互 非传统应用 语音交互模式 交互逻辑复杂

人工智能产品 功能场景多样 界面样式丰富 测试稳定性差 测试准确性低 设 备 离 线 ，死 测 试 结 果 准 机 ，异 常 状 态 确 性 低 ，分 频 发 析 成 本 高 测试管理难 3 4 测试能力瓶颈 用 例 多 任 务 杂 设 传 统 自动 化 手 备 难 以 高 效 利 用 2 5 段 力 不 从 心 问题

测试效率提升难 1 6 工具易用性差 如 何 最 大 限 不 会 代 码 能 度 的提 高 测 否 轻 松 实 现 试 效 率 ？ 自动 化 ？

02 测试系统介绍 系统架构 任 务 执 行 管 理 中心

测 试 任 务 监 控 任 务 用 例 管 理 任 务 管 理 测 试

Monkey+ 界 面 遍 历 设 备 管 理 数 据 管 理 平 台 设 备 控 制 展 示 平 台

远 程 服 务 模 拟 操 作 设 备 展 示 结 果 展 示 测 试 工 具 数 据 上 报 A I服 务

设 备 状 态 测 试 结 果 图 像 识 别 OCR

任 务 轮 询 log上 传 语 音 识 别 NLP

分布式测试执行 任务执行模式1--打工人模式 （功能监控） 触发

• 任务 巡查

• 7 x 24 小时 执行 重试 ，交叉验证