当今智能终端应用越来越普遍，同时产品日新月异，竞争激烈，我们如何让自己的产品比竞争对手的产品胜出一筹？除了在设计和实现过程中精益求精、不断优化之外，还需要客观、全面地评价智能终端应用的质量，从而针对稳定性、性能、用户体验、智能交互等方面给出精准的量化结果，从而能够更有针对性的优化自己的产品。
*今天用户对智能终端应用有更高的要求
*以往存在的问题：缺乏评测手段、缺乏科学的评测指标
*真实的稳定性评测方法
*性能流程的关键指标及其评测方法
*真实获取游戏体验的数据
*智能语音交互评测指标及其评审手段
*小结与展望：整体质量评估方法

“这么多的CASE，花了大量时间和资源去运行，真能发现BUG吗？”
“CI做到90%的行覆盖率了，能发现问题吗？”
“测试用例越来越多，删一些，会不会就发现不了问题了？”
“怎么找出那些为了覆盖而覆盖，发现不了真正问题的测试用例？”
……
阿里巴巴用一种工程化的方式，系统性的评估测试有效性，让测试用例的质量可度量、可持续改进。

区块链是一种去中心化的分布式账本数据库，而自研区块链服务为了追求更高可扩展性但同时保证安全性及稳定性，会引入高并发处理机制、分布式存储服务等复杂设计。在测试过程中，除了做好自研区块链服务本身功能的功能测试验证外，应如何更好地验证自研区块链服务能在去中心化、可扩展性、安全性等三个方面在各种异常情况下服务的安全、稳定及高效呢？

PerfDog是腾讯内部移动全平台(iOS/Android)性能测试，低成本服务于王者荣耀、刺激战场、微信小游戏、微视等300多个项目。本次分享主要介绍PerfDog在性能问题定位，优化等方面的理论及实战经验。

在互联网公司的快速迭代、持续交付以及微服务化的时代，传统质量保障方式不再适合。完善自动化测试和CI/CD体系建设为产品的快速上线保驾护航。
一开始，唯品会的自动化测试方案是基于传统测试方案，在jenkins调度和VM环境中执行，遇到了不少问题，例如：方案不统一、反馈效率低、出错难以定位、无度量标准等问题。随着业务发展和业务模式、系统复杂度的增加、微服务和云的推进，低效的自动化实现成为了快速迭代的绊脚石。这时，一个更高效、统一和完善的自动化测试方案呼之欲出。
本次分享，以唯品会的自动化测试落地实践为背景，介绍了唯品会整体CI/CD及自动化测试体系架构，以及如何围绕一整套自研的工具平台打造适合唯品会质量体系发展并且以快速反馈为目标的技术方案

介绍在腾讯云上，如何利用云服务与开源协同从零开始构建完整的移动APM系统。让听众能学习基于原生云下类似APM的系统设计过程，如何进行顶层设计，监控，学习QAPM如何整合SDK整理，提供完整的监控上报

随着云音乐业务高速发展，系统稳定性要求越来越高，相应地，对稳定性测试工作提出了挑战；本次分享，讲解从基础设施建设、线下依赖治理到线上故障演练的分层多级保障手段及实践成果，全面解读云音乐稳定性保障体系

近几年云真机技术的快速进展，带动了一波移动端自动化测试的进步热潮。如何建立一套高可用、高适用性、低成本的自动化测试基础设施，是一个非常有价值的研究课题。

本次分享将介绍网易Airtest Project构建自动化测试基础设施的发展过程和开发脉络，包括：自动化测试基础设施（分层设计）、设备控制/管理架构设计、自动化测试运行机制进化（自主进程管理->jenkins->k8s）、国际设备/云设备/本地机房的自动化测试落地。

除了技术硬核外，一线团队负责人对团队管理的软实力、个人发展同样存在困惑。比如：招聘、激励、目标的管理、团队技术规划等等。议题结合笔者经验与Qtest的测试技术管理及规划实践，做了简要总结。主要围绕三个方面分享，包括：区别于通用管理的测试管理核心关注点、基础能力建设、技术规划、常见问题的解决方案等。另外，此次分享与今年北京站内容形成互补，做了必要调整，分享更多的实际案例。期望能够对测试管理者有所帮助、启发。

1. 介绍金融科技公司遇到的研发流程困境，效率低下场景及原因分析
2. 针对常见的案例：工具分散、环境问题，提供小赢走过的路和遇到的坑
3. 讲解到现阶段，小赢使用的环境治理方案，及其演变历程，和取得的成绩
4. 总结devops项目中，从调研、设计到落地的思路和方法

在种类繁多的业务线测试工作中，最核心的两个共性要素是线上质量和工程效率。基于这两点，实际工作中面临的常见挑战包括：

(1)日常质量不高，团队幸福感差，如何层层拆解，找到破局之道？

(2)硬件资源受限时，如何消除环境壁垒，提升测试效率？

(3)如何把测试过程与源码相结合，获取可量化的质量数据？

(4)质效体系建设，如何降低推进阻力，提升合作方的参与度与信任感？

本次分享将介绍我们团队在这几个方面的探索和当前取得的初步效果。

产品的舆情一般会有很多渠道来源，包括业界的舆论倾向、产品使用的体验问题和建议。如何解决人工处理舆情信息效率低、高成本问题呢？本次分享介绍云音乐舆情监控从自动聚类+告警、问题自动定位、舆情完整闭环链路，以及舆情标签管理来提升效率，节约成本。通过舆情监控聆听用户心声，提升研发效率和产品体验。

在移动互联网时代下，产品迭代越来越快，app稳定性一直都是我们比较关注的问题。在过去，APP一旦发布后，我们就只能依赖用户反馈了解线上运行情况，问题发现时影响范围很大；在定位问题时，由于很多用户都是非专业开发者，想要获取辅助问题定位的详细信息成本非常高。此时，一个能够高效观察线上运行情况并及时止损、快速定位并解决问题的方案/手段成为了开发者们的刚需；
本次分享，以上述描述为背景，介绍阿里UC是如何实现具备完善捕获能力SDK、为产品发布保驾护航的线上质量监控平台(即岳鹰APP全景监控平台)，达到让业务能够做到第一时间发现崩溃，实时还原问题现场，高效找出问题根因，最终将崩溃率控制在1‰的效果。

在产品发布到用户使用前，兼容性测试是一个非常重要的环节。

在机型繁多，任务紧急，而且可能人手还不足情况下，如何完成一项充分的兼容性测试是

每一个产品发布面临的重大问题。针对这一问题，我们提供了包括了工具和平台在内的自动化兼容性测试方案，

实现了单人在8小时完成top100机型测试，12小时内完成top300机型测试，而且能丰富地遍历产品各个场景，尽可能地发现兼容性问题。

我们分以下几个章节介绍：

1)兼容性测试的需求和问题；

2)自动化兼容性测试的设计和实现；

3)自动化兼容性测试的提效之路；

介绍APP质量保障体系和APP端侧智能化测试解决方案。详细说明如何在APP端进行分层测试，如何通过请求对比、请求回放、场景回放、APP Mock等测试方式来提升客户端到服务端的质量研发效能。

做游戏UI自动化的公司越来越多，但分享细节经验的并不多，这里介绍一些游戏UI自动化落地过程中碰到的问题和解决方法供大家参考

在我们的AI业务测试中，最核心的一项工作是评估AI算法实际效果，但面临的挑战有：

(1)算法层层嵌套，问题如何快速定位？

(2)AI算法类似于黑盒子，如何打破这个黑盒子？

(3)证件敏感，样本少，如何快速扩充测试样本？

(4)真实样本采集效率低，如何提升采集和标注效率？样本覆盖生活场景有限，如何覆盖更多场景？本次分享将介绍我们团队在这几个方面的探索和当前取得的初步效果。

由于目前市面上终端段设备的多样性，游戏项目需要在大量不同的终端设备上进行适配测试。这类测试若仅依靠人工进则会耗费大量人力和时间，因此我们希望把这个任务转化为图像识别的问题，通过计算机视觉算法对游戏录屏画面进行分析并自动识别其中出现的异常。本次分享将介绍我们团队在这个方面的探索和当前取得的初步成果。

从启动速度出发，介绍常见的启动速度测试方案及他们对应的痛点问题。并针对这些问题，介绍业界目前的几种改进策略，以及他们的不足；

讲解stagesepx的设计思路与运作原理，及它是如何处理这些问题的；
解读软硬件视频录制方式的差异、软件录制目前存在的问题、误差产生的原因以及如何消除；
介绍该项技术实际的的落地方案与成效，并从多个方面论述几个方案的差异；

在微服务背景下，API和集成测试在保证高质量、高效率交付上，发挥了越来越重要的作用。但在传统的API自动化实践中我们也发现，在高质量要求下，其投入产出比往往难以达到预期的效果，特别是在自动化达到一定量级时，维护成本、稳定性和CI执行效率变得越来越不可接受，甚至阻碍了产品的交付效率。基于上述背景，本议题结合百度的测试实践，介绍了API测试平台的设计思路和能力特性，及应用智能化手段解决上述问题的探索过程、具体实现方式与收益。

人工智能时代，推荐系统能够更准确地捕捉到人群兴趣，把优质的内容推送给合适的用户。作为推荐系统中的算法核心，模型的作用极其关键。然而当前多数业务的质量保障把模型相关系统当做检索系统或者是数据生成系统的一个子环节来建设，较少关注机器学习在工业应用场景中面对的效果问题。本次分享，我们在推荐系统的模型业务背景下，探讨模型的质量的深层含义，以及从模型质量的定义出发，剖析模型质量问题范畴以及召回、拦截和优化的方法。

随着汽车“智能化”的发展，智能车载系统越来越普及，如何搭建一套适用于智能车载系统的自动化测试体系，成为测试领域新的课题。
本次分享将介绍小鹏汽车智能车载系统架构，搭建智能车载系统自动化测试体系的过程和实践经验，包括，测试执行框架设计、性能稳定性测试专项建设和自动化测试平台化。

无人机是近几年的热点，究竟如何测试无人机，如何保证无人机的质量体系，我们将从以下几部分内容来介绍：
（a）APP自动化实现端到端功能验证；
（b）无人机自主飞行测试；
（c）画质自动化专业实验室；
大疆创新的质量保障体系是非常庞大的一项工程，本次分享摘取了其中三个探索与实践，希望大家能够有一个比较直观的感受。

“5G+AI技术红利”将驱动视频产业迎来巨大的技术变革，而视频算法是整个视频产业最核心的动力输出。而视频算法如何为质量赋能？如何通过视频算法的能力去释放人力，降低成本，这一直是我们这边研究的方向，本议题主要介绍视频算法和质量的具体实践，通过视频算法切入质量场景去解决业务中碰到的痛点，做到真正的释放人力，降低成本。

主要介绍蚂蚁金服精细化测试底层平台能力和关键技术，以及在这个能力之上的系列产品和解决方案。  分享这几个产品建设历程和取得成果，碰到问题，同时在最后也和大家探讨一下，为什么精准测试在业界比较火，但是一直没有大规模应用，叫好不卖座的一些原因的思考。

在用户量级指数性增长，产品功能升级加快，版本迭代周期缩短的情况下，测试团队如何保证产品的质量。如何设计高效的测试用例，如何快速发现隐藏问题，如何在测试环境模拟实际用户的操作，成为需要探讨的课题。