随着敏捷交付加速，如何在跑得快的基础上又能跑得稳，成为了云原生时代可靠性工程和系统测试的新难题。特别是今年以来，业界对混沌工程的关注越发热情，混沌工程已经成为云原生时代系统可靠性的必备品。我们将从亚马逊云科技十年实践演进案例出发，分享对混沌工程的深入思考、核心技术难点、组织推广模式和最新探索方向。

流量回放作为业界通过的质量保障方式已经有过很多的实践，知乎在该实践中基于自身技术场景的特点，如何建立通用多语言栈的解决方案，并逐渐成长为多场景支撑的流量录制中台。

面临的挑战有：

(1) 多语言技术栈，高度容器化环境如何完成流量录制回放的建设 

(2) 如何在单一流量录制回放场景演化为流量能力的多场景支撑？

(3) 如何保证平台的顺利推广和业务覆盖？

本次分享将介绍我们团队在流量平台的逐步演进过程中的技术实践和业务赋能效果。

随着DevSecOps的普及，研发安全“左移”的趋势尤为明显，无论是金融的研发机构还是互联网大厂都在广泛使用代码分析工具，进行安全扫描。近两年RSA沙盒比赛，代码分析多次获得第一名，这也证明了未来安全检测趋势在白盒领域，但是大多数使用者并不清楚代码分析技术本身的优劣，例如：
1）使用者无法判断工具的好坏，能力，是否适用于本企业，没有一个评判的标准和测试集
2）代码分析技术能做到什么程度，哪些问题属于代码分析可解决的范围不清楚
3）AI在代码分析领域帮助有多少不明确

春晚是全国老百姓聚焦的年度盛宴，春晚上的广告也往往可以起到“一炮而红”的宣传效果。

近年来，互联网大厂们也纷纷对春晚加大投入，利用春晚口播渠道推广旗下的APP，诸如2019年的百度、2020年的快手，以及2021年的抖音和猿辅导。而每一轮的春晚口播引流带来的用户使用手机大量下载app，都会对我们应用市场服务器带来远高于日常峰值流量的百万级QPS冲击。

为了确保春晚期间应用市场可以为用户正常提供服务，研发需要提前按照预估流量进行一系列的扩容、降级等保障工作，并通过全链路压测对上述措施进行模拟验收，这就是研发需要提前模拟春晚场景进行应用市场全链路压测工作的背景。

在电商行业，核心交易链路后端的微服务接口每日都在接受高并发流量的冲击和挑战，因为这些核心接口的性能测试工作变得和功能测试一样的常态化，我们迫切的需求知道每一个修改后的版本对接口的性能影响有多大。功能测试我们有高效的、可持续集成的自动化用例的平台或者框架，那接口的性能测试也需要一个高效、可视化及可持续集成的性能基准测试平台。在整个平台的探索和实践中，我们面临了以下的挑战：
（1）接口性能测试需要经过环境搭建，造数，准备mock，脚本编写及调试等漫长的前期准备，如何全自动化的完成这些繁琐动作，才能让开发和测试同学快速开始压测，实现想压就压？
（2）性能基准测试，重在强调在同样的软硬件配置，和相同的压力负载下，对比不同版本代码下应用及机器的各项指标数据。传统的同步压力输出工具，如jmeter，同样硬件及压力线程配置下的输出最大qps依赖于服务端的响应时间，这样会导致自动化对比压测过程中对两个不同版本带输出的压力不一致，导致最终的指标数据对比结果没有参考意义，什么样的压测引擎才更合适这种压测场景？
（3）如何去维护性能基线用例？
（4）如何让每一次的自动化对比压测结果更真实的反应代码的差异带来的性能损坏？（不同环境，不同的压力配置，不同的压测策略都会带来不同的对比结果）
（5）如何实现持续集成？

在对分布式消息队列进行测试中，在新增或修改功能测试的同时，最核心的是保障消息队列架构高可用、对系统长时间运行的稳定性、消息不丢不重结果的正确性，系统可以承载的性能，在测试过程中面临的挑战如下：
1）功能回归效率低
2）测试结果正确性难以验证
3）无法枚举异常场景
本次分享，将介绍我们团队在这几个方面的探索和当前取得的初步效果

2019 年字节跳动 Quality Lab 在自动测试生成方面进行了比较深入的探索，研发了智能化测试工具 Fastbot 并落地实践 Android 并取得较大收益。同时，根据行业跨平台调研，iOS 市场占有率一直较高，特别是高端消费用户普遍用 iPhone 设备追求更好的性能体验，对应用稳定性有较高要求，于是 Fastbot-iOS 诞生了， 本次分享则将介绍我们团队在 iOS 跨平台上的实践之路。

由于工程师对于用户共情能力的不足，以及单纯的逻辑实现思维，低级产品用户体验问题经常会出现，仅靠产品经理和设计师保障体验是远远不够的。技术团队可以通过研究用户体验的相关理论知识，掌握评测技术方案和探索式测试方法，用很低的实践成本沉淀挖掘用户体验问题的高效技巧，真正做到从用户体验角度来交付高品质的产品。

传统Mobile CI/CD流程中：
1.APP相关自动化测试并没有与实际的研发流程结合起来。研发在进行日常特性功能开发、变更的提测和发布上线等操作的时候，并没有实现实时触发自动化测试的执行；
2.APP相关自动化测试按照各自平台标准开发，由于技术框架的不同等原因，并不能实现资源共享和重用工具；
3.APP相关自动化测试的机器资源有限，常常由于执行资源受限而影响自动化测试的运行效率，云化能力比较薄弱；

4.APP编译产出缺乏统一的包管理和分发，常常会出现不同职能部门在设备上需要安装包进行验收时取包的链路过长；

5.APP测试相关数据都是存在各自的平台中，当需要在更大范围内对不同应用或系统的自动化测试程序进行度量和评估时，由于标准不统一和数据不互通而导致难以实现。



针对传统流程中的问题，给出的解决方向：

1.自主设计研发工程效率平台，整合全链路工具，根据不同场景下设计pipeline，建立质量门禁机制，贯穿整个研发过程，并提速从研发、质量保证到交付的流程；

2.将各类测试研发工具与服务平台，最大化支撑公司研发效能的提升与质量保证的目的下，实现平台能力插件化，在流水线上快速编排，工程质量能力快速搭建，使其在流水线上形成“应用商店”模式，让用户根据自己业务场景需要，方便快速使用；
3.APP相关专项测试与云真机结合，有效解决了执行资源受限、多设备运行等问题；APP编译实施统一的包管理和分发机制，取包方式在测试设备上能自动投递，测试或者研发取包安装快速；
4.效能度量数据的建设，收集研发过程、APP质量、测试质量等多个环节的数据，通过多维度归集数据指标，构建有效的DevOps实践，（度量体系构成：全局指标 – 细分指标 – 过程指标 – 分类维度 – 判断标准）；
5.与业界通用的CICD模型成熟度、工具选型进行对比分析优势、创新点以及后续优化。

小程序场景，移动端的安全问题与业务风险，在小程序场景会有怎样具体的表现，如何针对性对抗。小程序基础安全能力对于小程序市场规模和用户数量持续增长，随之也不断涌现出移动端风险向小程序迁移的问题，越来越多黑客人员、不法工作室涉足小程序蓝海市场，导致小程序数据泄露、薅羊毛、山寨仿冒等安全问题逐渐增多。常见风险往往从业务规则、基础安全、业务风控多个维度进行管控，其中基础安全的安全防护能力至关重要。如何针对微信小程序场景特性，提供有针对性的基础安全方案？

本次分享将介绍我们团队在这几个方面的探索和当前取得的初成果。

小程序生态，并不是传统的内部开发+质量的研发模式，而是一个涉及三方开发的生态模式，而小程序的体验又会影响到支付宝本身的体验，所以体验治理存在其必要性，也面临很多挑战：
1. 如何定义体验，如何为支付宝生态几百万小程序定义一个统一的质量体验模型？
2. 几百万小程序的体验问题如何度量与实时监控？
3. 如何推动开发者重视小程序的体验问题，去解决体验问题？
4. 如何提供更多的技术能力，让三方开发者能更轻松地解决体验问题？

在音视频的媒体质量测试中，如何合理、准确、有效的评估音视频的QoE一直是一个难点，具体面临的问题有：
1、测试结果受真实环境（光照、色温、噪声）及网络环境（延时、丢包、带宽限制）影响较大，测试结果如何复现？
2、音视频偏向于人的主观感受，但是人的主观感受如何客观量化？
3、做一次音视频评估往往需要投入大量的人力物力，如何才能便捷的完成音视频QoE效果评估？
4、产品上线后的实时音视频质量如何评估及保障？
本次分享将介绍阿里巴巴-企业智能事业部-音视频测试小组在这几个方面进行的探索和取得的初步成果

在智能硬件测试中，因为加入了非标的硬件部分，所以面临新的挑战：
1.端到端测试链路长
2.使用协议比较多
3.分层测试实现有难度
4.需要对多设备进行协调控制、状态检测，自动化编码复杂
5.特有功能难以实现自动化和自动结果判定
如何设计新的自动化框架解决这些问题，我们提出了一种解决方案

B类IOT产品的特点是定制化程度高、迭代快以及单品出货量小，基于这些特点与代工厂合作生产IOT产品，以下一些挑战几乎无法避免：
(1) 如何高效完成IOT产品的全链路保障；
(2) 如何降低门槛，让不熟悉IOT技术的同学也能快速上手；
(3) 如何快堆对接多家代工厂，且实时监控产线的产测数据；
(4) IOT安全测试如何保障；
(5) 产品上线后监控告警该如何进行；
本次分享将介绍阿里-企业智能-技术质量-IOT测试团队在这几个方面的探索以及取得的初步结果。

三维VR扫描和重建渲染流程中使用百多个不同类型的算法模块，保障其中任一算法模块能快速、低成本试错是我们工作的重点，因此如何使试错流程自助、单模块解耦验证、VR效果自动化评价是质量保障中核心挑战

在以往的测试工作中我们存在诸多痛点：
1. VR算法的复杂性和多样性，较难使用白盒测试，输出结果不易量化和统一，常规自动化测试方法不适用，不利于快速试错
2. 现有测试流程步骤分离，存在过多手动环节，耗时长且存在影响质量的不稳定因素

经过我们的不断探索和研究，提出一站式VR算法产研自助平台的解决方案，本次分享将介绍我们其中的思考方向和实际应用
1. 分析VR算法产品的特点，针对不同算法设计测试方案，结合智能数据推荐、深度学习评分、多维度数据对比、盲测等手段，统一完成结果采集和判定
2. 使用平台自动化覆盖测试生命周期中的各环节，去除易遗漏、不客观、不全面等因素，通用化处理各类型测试需求，实现全流程无人值守的回归和批量验证

敏捷测试通常采用脑图代替传统列表式用例，注重团队的协作测试和用例的沉淀复用。我们的用例平台EvoluteStudio(QABoard+QAWiki)在这种需求背景下应运而生：
（1）实现用例评审平台QABoard，对脑图用例的变更进行diff计算，并将用例diff进行可视化展示，让用例的review达到类代码review工具的极致高效；
（2）实现在线目录树的脑图用例管理QAwiki，并在目录树内提供基于节点内容级别的用例检索，让用例知识沉淀和搜索复用足够高效；
（3）QAWiki支持多人协同编辑测试用例和协同执行测试任务，对于测试任务中的用例修改，可以与原始用例进行merge，让协同测试简单高效。
本次分享将介绍网易游戏测试在用例全生命周期面临的各种挑战，以及QAStudio是如何解决这些挑战的。QAStudio平台用户可在线访问，欢迎用户使用

B端企业千人DevOps落地实践
主题介绍：随着数字化转型进程的加速，各大企业都希望通过DevOps来提升企业的研发效能，但是企业级DevOps转型落地由于涉及的团队多、技术栈多、人员能力参差不齐，导致落地时间周期长、效果不理想，那么如何能让企业DevOps转型落地更顺畅是每个企业面临的问题。我将讲解明源云如何从脚本化、平台化、系统化三阶段加快DevOps落地的实践，希望可以给大家一些启发。

了解我们的测试团队如何从研发效能体系上实现重构与转型，从我们的解决方案和最佳实 践 中获得一些启示。

传统服务端测试多年来这些问题一直困扰大家：
1. 如何解决传统测试造数、集成测试所面临的业务复杂关联性问题？
2. 现代化的测试工具要如何低成本适配更多样的通信协议，接口类型，中间件？
3. 测试领域codeless，low code 与pure code之争，灵活与规范的抉择？

在一款大型游戏项目开发流程中，build系统对于整个项目具有非常重要的意义，build流程的效率以及build结果的准确性都将极大影响项目的开发和验收效率，在项目组内部，如何兼顾支持本地开发与QA验收对不同版本的要求，怎样协调各类美术资源以及程序功能模块。是build系统面临的重要挑战。

本次分享将介绍逆水寒项目组在build系统搭建过程中的探索和面对各类需求的处理。

在游戏业务稳定运营过程中，异常奖励监控是十分重要的一环。异常的游戏奖励会导致游戏经济生态的崩坏和游戏口碑的下降，从而导致玩家的大规模流失。而通过人工观测难以保障24小时的稳定监控。本次分享将首先介绍使用机器学习算法检测游戏总体的代币和道具超投情况。其次，我们将介绍通过使用机器学习算法，预估未来活动玩家的参与度，事先决定代币和道具投放分布，从而避免异常奖励的发生。最后，我们也将分享在算法训练过程中如何解决真实负样本数据较少的问题。

本次分享将介绍我们团队在网易热门手游中应用的初步效果。

在快手游戏业务质量保障中，实际业务面临对接方数量庞大，当上线周期时间节点集中时，面临的人力调配压力巨大。采用自动化测试的方式可以解决因为覆盖大量主流设备产生的重复劳动，但现有技术方案基于图像的技术路线存在一定的稳定性隐患，并且因为服务对象大多是公司外产品推广接入更稳定的测试SDK有一定困难。为了提高效率，降低复测率。我们采用了基于图像内容分割，重建界面布局的思路。在基于一部分前期标注模版库的人力投入的前提下，通过基于内容的图像分割，在UI界面维度上很大程度了达到了接入SDK的实践效果。很大程度上提高了我们的执行效率和稳定性。

接口自动化一直是一个耳熟能详的话题，但是在企业中自动化的效果往往不如人意，面临挑战有：
(1)、如何高效的进行自动化测？
(2)、自动化如何快速反馈研发质量？
(3)、自动化测试左移如何保证研发流程规范化和统一化？
(4)、自动化测试如何测试智能化？
本次分享将介绍我们团队在这几个方面的探索和目前取得的成就。

跟传统的自动化，以及流程优化等效率不同，本议题会从信息流的角度去阐述如何优化研发到测试的效能，以及如何引入直播，云端化管理，以及共享共建的方式来促进解决传统测试中的效能瓶颈问题

由转转功能用例平台zzCase和找靓机Xcase敏捷用例平台两套系统进行融合而成。

在我们的业务安全SDK测试中，最核心的一项工作是评估异常检测和加解密算法的效果，但面临的挑战有：
1）加解密算法类似于黑盒子，如何来保证这个黑盒子的质量？
2）数据敏感，样本少，如何快速生产测试数据样本？
3）功能迭代，频繁发版，如何保证回归测试的质量与效率、如何覆盖更多场景？
本次分享将介绍我们团队，在业务安全三端【移动端、H5、服务端】SDK方面的探索经验和当前取得的成果。

在数字化转型进一步深化落地的时代，如何高效管理数字化项目交付的过程，提升软件管理和交付的效能的同时保障软件交付质量，成为了越来越多企业脚本增效的手段。本主题围绕众安保险在敏捷项目管理、高效持续交付以及质量保障体系建设等方面的方法论、工具集及落地实践经验的介绍，分享众安技术卓越效能和质量效能的建设实践

随着敏捷带来的交付效能上升，文档带来的工作压力和阻碍越发明显，如何引入活文档体系让测试工作进入everything as code的状态，如何实现过程自动化让需求与用例与执行同步，本次云层分享一下在客户落地活文档的一些思路和经验。

智能家居产品在过去的几年中已经完成了单品控制阶段，正在沿着互联互通、全屋智能的方向快速地向前发展。发展途中面临如下挑战：
1.全屋智能依赖的无线网络存在着稳定性差，覆盖面不足，不能很好的满足全屋智能低延迟、高可靠、强兼容性的要求；
2.全屋智能场景架构、各空间和各系统场景体验各异，单品和模组等标准规范不一致，缺少行业统一标准；
3.全屋智能接入设备品类多样，接入方式复杂，不同厂家的设备标准无法统一，难以形成有序的、完整的智能家居生态；
针对以上挑战，本次议题主要介绍小米IoT平台测试部全屋智能家居测试能力建设实践。