DevOps体系下随着流水线及研发流程的成熟，测试的工作内容被进一步压缩，如何理解业务与技术的关系，如何跳出测试执行的小圈子：

（1）业务是越做越简单还是越做越复杂

（2）用技术解决问题还是用思路去解决问题

（3）从被动转到主动，让被测对象兼容测试

（4）找到自身的价值而不是重复别人的道路。

本次分享将介绍最近几年我在客户团队中在的实践及效果。

产品研发过程中，作为Tester的你是否遇到如下问题：
1）需求经常变、临时需求多
2）开发提测晚、提测质量差
3）上线时间已定死，但质量不达标
4）线上Bug多，但团队不知不觉或后知后觉
本次分享主要介绍我们团队通过设置提测/上线卡口、量化研发/测试/上线各阶段的质量指标、搭建质量可视化平台、公示质量数据、关联人员绩效等措施，在解决上述问题过程中的一些探索、当前取得的成效以及未来的展望。

微众银行的研发团队，在支持业务产品开发过程中，遇到生产问题层出不穷，开发质量低缺陷多，业务团队对需求交付不满意，管理层对研发人员的效能掌握不全面等问题，通过剖析研发过程，对研发过程的数据归类、整理，建立研发工程数据度量模型，度量指标，用数据的方式反馈研发过程的问题。根据度量指标的分析，推动团队内研发规范的建立，促进度量指标相关工作的改善。

服务端测试占据了测试领域中很大的一部分，在贝壳作业端业务质量保障与效率的建设上，由点及面的去解决问题。整体统筹规划：通过规范化解决指标不全及口径不一的问题、原因归类分析及逐个击破提升并维持其稳定性；通过流量回放的引入增加回归测试覆盖；通过覆盖率、增量覆盖率、流量及覆盖的关联关系解决精准化的问题；通过自动生成自动化测试用例，降低自动化用例的编写及维护成本，智能化的解决自动化实现过程中的各种问题，提高服务端测试的效率。

有赞支付业务在2018-2020年经历了业务量的成倍快速增长。在这个时期，质量保障面临新的挑战，由于代码bug导致的故障已经很少，但是由于系统稳定性不足引起的故障数量爆发。我们开始思考：如何跳出原有质量保障的思路，提升核心系统稳定性，减少故障，达到99.99%的可用性目标？于是质量团队开始了探索SRE体系建设的道路。
本次演讲概括性地介绍我们了团队在SRE体系建设方面的工作，并挑选几个方面做重点介绍。

在市场竞争激烈、业务快速迭代的背景下，质量团队需要从传统的业务测试升级为产品交付的全流程质量保障，这其中无疑会面临很多挑战，包括如何建立一套合适的质量保障体系并且能够落地、如何建设一套完善的工具链为团队赋能、如何提升质量团队的自我认知和能力等等，针对这些问题，本次分享将阐述如何从0到1搭建质量保障体系以及如何打造一支有战斗力的质量团队，最后会针对一些落地中的挑战分享学而思网校的破局经验。

在业务的快速迭代下，如何持续保障产品稳定和高质量是大家关注的重点。除了运维监控、业务日志监控等，我们还需要关注业务数据。数据监控是及时、有效的反馈出数据异常的一种手段，通过对数据的监控去发现异常，进而去分析数据。数据监控薄弱，即无法及时有效发现线上Bad Case，会导致这些Case问题隐藏较深较久，最终产生资损事故问题。本次议题将分享业务数据监控的建设思路，并分享业务数据监控从0到1的实践过程。

为贯彻落实习近平总书记关于建设网络强国的系列重要指示精神和批示要求，全面提升我国关键信息基础设施整体安全防护水平，强化重要行业部门与公安机关的协同联动机制，构建多部门协同合作、共同提高、攻防相长的网络安全综合防御体系，经报中央批准，公安部将于每年定期开展“护网行动”（简称HW）网络攻防演习。
一是及时发现并整改网络安全深层次问题隐患，检验并提升国家关键信息基础设施安全防护能力和应急处置能力；
二是进一步加强重点单位、社会力量与公安机关的协同配合和联合作战能力；
三是通过攻防实战，提高攻防双方技术对抗、决策指挥及应急处置能力；
四是对攻防演习发现的突出问题，组织在更大范围内进行整改，排查化解网络安全领域重大风险，确保我国关键信息基础设施的网络安全保卫工作万无一失。
总结来说就是人和人协同，人和机器协同，请问在蓝队严控布局情况下，前有WAF，IPS，后有蜜罐诱惑你，我们红队怎么突围，采用奇袭战术拿下系统。这是一个比较难的渗透攻击测试。

要想提升软件质量和研发效能，就需要对软件质量进行有效的度量，并将度量结果辅以改善整体流程。目前大部分软件度量活动都是不成体系的、甚至是无效的，容易引起团队的分裂和冲突。所以我们需要明确有效质量度量的方法。
怎样才能有效度量呢，我们提倡全生命周期的质量度量。何谓全生命周期？分为两层含义，一层是在软件的全生命周期中去持续度量，因为在软件的全生命周期的各个阶段，所能应用的度量方式和条件是不同的，需要因时而裁剪；另一层是在迭代的生命周期中，即研发的不同环节中，也需要采取不同的度量方式和指标。
有效的质量度量，除了在时间上要做到全生命周期，在方式上也要引入多种度量方式，如定性分析和定量分析。定量分析帮助我们获取充分的数据指标，而定性分析帮助我们观察到指标背后的关联和问题的根本原因，从而得出真正有效的改进项。
在度量过程中，要根据度量需求选取合适的指标和统计维度，确保度量真正合理有效。
在全生命周期中，当度量需求发生改变时，度量方式也应该适时调整。并且度量的结果需要公开透明，并且可视化出来，确保团队对度量结果达成共识，才能对改进质量有所贡献。

百度测试中间件是百度QA自主研发的底层基础技术，历经10年的不断发展，采用数据平面+控制平面的总体架构，与google istio设计理念异曲同工，支持8大功能，9大测试场景，覆盖百度集团20+产品线，目前接管拓扑1w+，接管链路1w+，累计节约机器1k+，利用中间件技术，可以大幅提升联调环境搭建效率、模块免测率，大幅提升环境仿真度，线上环境安全性，是百度测试中必不可少的核心工具。

线上系统异常问题一直以来都是使人”闻风丧胆”的，业界传统的手段在解决这类问题的同时也面临着相应的技术瓶颈。基于此，探索基于单元测试召回异常问题的方法，实现了一套通用的、无人参与的单测生成系统并在百余模块上落地，取得了一定的效果。本议题从近代码手段的单元测试着手，围绕基于单测生成技术召回异常问题的应用实践展开。主要介绍了该方案0到1的整体建设思路、以及如何理解代码、如何构造高覆盖测试用例数据和如何生成测试用例代码。

基于大数据 AI 算法的应用愈来愈热，大数据应用在各个行业也不断涌现。在当下 DT 时代大数据的测试技术也作为工程技术一部分，在整个算法应用质量保障中是一个重要的难题，基于流计算的实时数据计算更是各类算法应用业务的重要核心链路，实时数据质量保障对于搜索推荐引擎等实时更新反馈的业务更是重中之重。本次以文娱搜索引擎的实时数据链路切入，介绍基于实时数据链路的质量保障体系建立的探索实践之路，重点讲述基于流计算的实时数据链路质量保障的方法体系和相关效能工具的建设应用。

以高并发、低延时的全量/增量代码覆盖率实时检测为基础，依托 AI 算法进行多技术栈多产品线的精准测试用例推荐，提升研发效率，减少测试开发人力投入；

云集是如何逐步构建起自己的持续交付平台并卓有成效？需求平均交付周期下降30%，开发平均交付周期下降20%，测试平均交付周期下降50%。 本议题依次向大家介绍我们在不同时期遇到问题时的解决思路是什么。

从梳理研发过程的痛点问题出发，结合管理者的困惑和产研一线同学的对低效的厌恶，介绍酷家乐如何从0到1的做产研效能的提升，并通过全流程体系的搭建和落地经验，希望给大家提供一些效能提升的思路和经验。

本次分享将围绕中国太保集团UI自动化测试平台建设和自动化项目推广方案进行，对自动化测试中常见的痛点、难点问题给出解决方案和思路。通过本次学习你不仅可以学习UI自动化测试平台从无到有，从有到精的探索方法，而且可以收获整套可落地执行的平台推广方案，让自动化测试有效的运用到软件测试中。

华为2019年正式推出了基于微内核的面向全场景的分布式操作系统——鸿蒙OS。随着全场景智慧生活战略的不断完善，鸿蒙OS将作为华为迎接全场景体验时代到来的产物，发挥其轻量化、小巧、功能强大的优势，率先应用在智能手表、智慧屏、车载设备、智能音箱等智能终端上，着力构建一个跨终端的融合共享生态，为消费者打造全场景智慧生活新体验对分布式体验的业务；同时为快速推动鸿蒙OS的生态发展，2020年9月，华为已经将鸿蒙OS向全球开发者开源，与开发者一起共同推动鸿蒙生态的发展。开源后全球开发者在面对全新的鸿蒙OS进行业务开发时，整个测试框架如何支撑？面对用户的分布式跨设备业务体验诉求？测试框架又是如何解决分布式的业务逻辑验证？
听众可以从讲座中鸿蒙分布式OS基本的测试框架，理解华为终端在分布式测试中所进行的探索，分布式测试对传统的功能测试、性能测试等都提出了新的挑战，演讲中分享华为终端为应对全新的鸿蒙分布式操作系统和分布式体验等挑战，在测试框架、测试技术方面构筑的能力。

随着移动终端行业发展，分布式“超级终端”打破了原有的手机终端边界，使得手机可以跨设备使用其他资源，比如手机通话可以使用音箱进行接听，通过大屏电视显示视频，也可以通过无人机摄像头远程摄像等，这给消费者带来了全新的体验，逐渐成为行业趋势。与此同时，这些分布式业务也给用户体验测试带来新的挑战，本次分享将结合典型分布式场景介绍相关的体验测试标准和方法工具，包括分布式场景下的性能时延测试、跨设备的音视频体验测试、分布式协同操作体验测试等，形成一套完整的分布式终端体验测试能力。

随着近年来AI领域的高速发展，AI技术究竟能为游戏测试带来什么价值、又该如何落地等问题受到了越来越多的关注。在这个议题中我将以腾讯《战歌竞技场》为例，和大家分享我们团队如何通过AI技术中常用的自对局以及机器学习方案，针对策略类游戏实现上线前的海量模拟对阵、基于神经网络实现复杂游戏元素搭配效果的量化分析、通过最优化算法搜索不平衡元素搭配等工作。

终端游戏体验一直以来是用户的关注点，但游戏体验如何指标量化？如果构建高效工具来看护海量游戏和海量机型？如何进行游戏的细粒度分析？如何进行方案的验证？如何减少实验室和商用的用户体验GAP？如何抽象游戏行为，进行负载模型的构建？本次分享将介绍华为终端在游戏测试方面的探索之路。

游戏测试是游戏开发过程中重要一环，同时游戏测试通常也是十分消耗人力的一个过程。 对于大型MMORPG游戏，角色，副本和剧情任务数目众多， 游戏测试投入的人力资源巨大。另一方面， 人工智能技术突飞猛进， 为解决这些问题提供了新的方法和工具。我们的talk首先会介绍 

(1) MMORPG游戏测试里面的三种典型测试需求：剧情任务回归测试， 多人副本测试， 角色平衡性测试；

(2) 然后会介绍我们如何利用人工智能技术更高效，更智能的解决这些测试问题 ;

(3) 最后我们会介绍目前这些方案在在逆水寒，倩女幽魂等大型线上游戏项目中的使用效果。

将对平衡性测试相关的AI算法和实现方案进行综合的介绍，以及其在游戏项目中的具体落地实践，并提供通用化平衡性测试平台的具体实现和思考。

结合移动游戏发展情况，介绍如何制定适配不同类型手游的前端性能测试解决方案和侧重点；如何搭建完善的性能测试分析工具链，并结合项目性能问题怎么深入分析性能瓶颈及优化应对方案等方面提供实战经验参考和指导

Hydra是百度EP团队打造的创新移动设备群控工具，定位移动端手工测试场景，目标改变一人一机单控（一个人，一台手机，单独控制）的现状，打造一人多机群控的手工测试新形态。采用多种图像算法，实现“多机”分辨率下的高精度识别，结合实时的控制、图像流，使“群控”达到所见即所得的效果。目前Hydra已经应用在百度app、好看、网盘等多条业务线使用。本议题将对Hydra相关技术点进行详细解析

介绍在移动端的自动化兼容性测试的一种新的脚本执行方式，它为用户提供了一种场景化标记和识别的脚本组织方式，降低了用户编写脚本的门槛，并有效解决了传统UI自动化测试脚本的顺序性逻辑执行方式导致的脚本健壮性差的问题，并能较为智能地处理一些未知的场景，使得在更短地时间内更快更智能地完成兼容性测试。

本次分享主体是网易过去几年，在UI自动化测试方面的一些相关思考与实践。实践聚焦在如何降低自动化编码的上手门槛，如何通过机器学习的相关方式方法让机器托管控件元素的变动维护等方面。

UI自动化测试是通过模拟用户的操作从UI层实现软件的自动化测试，UI对象的查找一般是最耗时的，特别是基于图像识别的UI自动化测试需要识别的场景越来越复杂以及UI对象数量越来越多导致识别速度越来越慢。
测试脚本的开发与维护成本也是居高不下。为了提高脚本执行的稳定性，执行效速度通常被刻意放慢。另外测试结果的判定虽然有很多自动化监测手段，但是识别的准确率现阶段还普遍不高，人工判定还是需要耗费大量人力。

本议题将会给大家介绍我们在UI对象识别、测试脚本设计、测试执行以及测试结果判定等方面是如何一步一步提升效率，并为大家揭秘WeTest适配自动化是如何做到一个没有代码能力的外包8~10小时完成一款游戏Top300的适配自动化测试。

在产品突发需求多、发布频率高、且多端同时发布的背景下，如何保证产品的高质量发布？本文介绍企业微信在这个背景下针对E2E测试进行的测试效能提升实践和取得的成效。

AgileTC是一套敏捷的测试用例管理平台，支持测试用例管理、执行计划管理、进度计算、多人实时协同等能力，方便测试人员对用例进行管理和沉淀。产品以脑图方式编辑可快速上手，用例关联需求形成流程闭环，并支持组件化引用，可在各个平台嵌入使用。

自动化测试正在朝着平台化、智能化和服务化的方向发展，越来越多的公司和团队都在开发自己的测试平台。完全自研的测试平台肯定最能满足自身的业务需求，但却不是最经济高效的方式，对测试团队本身的技术实力也是一个比较大的挑战。我们期望打造这样的一款开源持续测试平台，对普通用户而言足够好用，可以直接满足他们的需求，提高团队的整体效率；对有进一步需求的用户而言，可以作为一个不错的轮子，在此基础上很方便地进行二次开发。同时在平台设计的过程中我们也期望能够尽可能地整合业界的最佳实践，充分利用云计算、容器等技术优势，让这些实际、技术能够惠及到更多的测试相关从业者。

介绍SoloPi在移动测试用户体验以及能力扩展两方面所做工作，结合具体功能特性、业内合作案例阐述SoloPi的具体实践和收益

结合业内现状介绍工具领域的模组化理念，结合XPocket探讨开放的工具模组化、可组装工作流的可行性与预期收益

微信红包已经从最初的一个产品变成一种习惯，在节假日尤其是春节，朋友圈里通过红包维系感情，互相拜年传递祝福，互联网时代的人们感受到别样的社交体验，同时也给支付系统带来了十倍以上的流量冲击。议题将会分享财付通支付系统，如何通过全网压测，保障亿万用户和海量交易的支付体验。

sql的性能问题在线上具有巨大的杀伤力，但它却很容易在测试阶段被忽视。被忽视的原因主要有二：
测试人员往往只关注sql语句的功能本身，没有意识去关注sql语句的性能；
测试人员没有能力去做sql的性能分析。
       在测试阶段做sql语句分析的挑战有：
     （1）在一个大版本测试中如果要关注sql性能，测试人员首先需要花不少的时间去查看代码提交记录去找出新增或者修改过的sql语句；
     （2）测试环境的数据库的硬件配置，数据量及数据分布跟线上真实情况相差太多，直接拿线下测试环境得到的sql在测试数据库中做分析，结果没有参考意义；如果实在要去线上做一下分析，只能手工去线上先捞几个数据，然后手工做替换参数，然后去线上做explain简单看一下结果，费时费力。
     （3）很多测试人员没有足够专业的能力去分析sql的性能，更别提给出更好的优化建议。
    我们都知道质量问题的最优解在于防，然后才是治。本次分享将介绍我们测试团队和DBA团队是如何将线下测试环境及线上数据库联合起来，实现在测试阶段全自动化的对新增和修改的sql做性能分析，并给出优化建议的。

范式先知平台是大规模分布式机器学习的全流程平台，底层是基于kubernetes, mysql, elasticsearch, prometheus等开源系统构建的微服务环境，通过CICD流水线构建并在其基础上实现接口测试和UI自动化测试。那么在这一整个过程中如何对服务平台进行全方位监控，确保其持续稳定的服务就是急需解决的问题。 围绕这一问题范式质量部在日志查看，监控报警和Tracing实现的全链路追踪上进行了多方位的探讨调研、设计实现和测试等工作，使其服务于微服务模块的功能、性能、高可用和稳定性测试。
本次分享，主要聚焦在以下方面：
 1. 微服务给监控带来的挑战；
 2. 微服务平台产品如何进行全方位监控；
 3. 业务服务的全栈监控实现；

在微服务大行其道的今天，要为动辄几十上百的模块服务分别注入不同等级的故障并分析其影响变成了越来越难以完成的工作。 所以我们结合以往混沌工程的经验以及k8s为产品带来的独特优势，实现了自动化混沌工程服务。 可以实现自动的故障注入与恢复，测试分析，实时监控等相关功能。

腾讯WeTest压测大师性能测试Saas建设：  
 腾讯游戏以及其它腾讯业务都面临着海量的用户，多数情况下都远大于同行。在这种用户规模的情况下，我们在性能测试Saas建设过程中如何技术选型，如何进行架构层面的设计，在业务应用上如何适配不同类型的技术，如何提高效率等都是一个很有挑战的话题。我们在腾讯内部已经稳定提供百万级的并发压力，积累了内部及商业化过程中的经验，包括如何用该技术应对疫情等。本次分享将会针对以上话题展开。

区块链系统底层是一个完全去中心化的分布式网络，这个网络有可能跨越多个子网、多个数据中心、多个运营商、甚至多个国家，其边界是模糊的。区块链底层的测试，不仅仅是前端API与某个区块链节点之间的测试，还涉及大量区块链节点与节点之间的测试。本次分享将介绍我们团队在区块链系统功能测试、性能测试、稳定性测试、兼容性测试及安全测试方面的探索和当前取得的初步效果。

本次分享主要围绕腾讯区块链在涉及智能合约业务测试实践中所沉淀的测试体系的建设进行阐述。区块链智能合约具备区块链不可篡改、可追溯等特性，同时智能合约作为一种运行在区块链上的应用服务，它拓宽了区块链的功能与业务能力。本次分享将从智能合约的技术背景、智能合约测试体系、腾讯区块链智能合约业务测试实践等方面，介绍我们在区块链智能合约方面的测试探索。

介绍如何利用树莓派进行智能硬件的测试，在软硬件结合的场景中如何利用传感器解决传统“不可测”和“不方便测”的问题

智能硬件产品的测试，既需要软件测试的经验，又面临着大量的挑战。
1.有没有一些指标，可以量化智能硬件产品的产品质量？
2.硬件产品拿到手中，都有哪些方面必须进行测试？
3.如何自动化用户的扫描、点击、按压、书写等行为，测试中我们做了哪些测试机具的尝试？
4.为了实现2天完成一个版本的测试，我们制定了怎样的测试方案？
本次分享，将介绍有道测试团队在这些方面的探索和初级结果，并展示调研和自研的一些硬件测试工具。

本次将结合抖音影像的实践，给大家分享一下质量推荐系统的构建以及应用。
会结合已具体落地场景来讲解，如何利用AI技术构建在线质量评价系统，包括客⼾端埋点上报，Kafka&Flink消费并制作样本和特征，深度学习训练模型，预测服务化、ABTest、CMS干预等

APP的稳定性是APP产品测试的重要一环，尽早发现稳定性问题，对于产品品质意义重大。目前，字节的稳定性测试面临的挑战有：
1）产品形态众多，APP结构复杂，千人千面个性化差异性数据较多，对算法的泛化能力有较高要求，如何在复杂条件下提供更全面的稳定性测试服务？
2）如何避免传统DFS等遍历算法带来的循环问题？如何将遍历问题转成搜索问题？
3）如何利用启发式搜索、树搜索、强化学习结合大数据实现更好的遍历策略，如何利用多智能体在有限的时间内，覆盖更多场景？
本次分享将介绍我们团队在这几个方面的探索。

ByteQI（字节小奇）是基于AI实现的全流程无人值守服务端接口自动化测试服务。传统接口测试中我们面临的难题有：

（1）测试用例数据编写、维护依赖人工，迭代过程变更维护成本太高，如何有效降低用例编写/维护成本？

（2）测试用例覆盖度（多协议：Http/Thrift/WebSocket、多数据格式：Json/Protobuf等）如何保证？

（3）CI过程中断言结果误报、漏报数据较多，如何提升测试用例可信度？

（4）问题定位、解决流程和时间过长，如何提高问题定位和解决效率？

（5）研发/测试过程产生大量数据如何有效利用？

围绕这些问题，我们通过对AI如何赋能传统测试进行了一系列探索和实践，并实现了在保证覆盖度和准确率的情况下，一定程度实现了真正意义上全流程无人值守自动化，同时，基于日志数据挖掘显著提升了问题定位和解决效率。

本次分享将介绍我们字节API智能测试服务--ByteQI，跟大家分享下ByteQI建设背景、整体方案、阶段性成果以及未来规划等。

如视"真实，如你所示"，超700W的房源三维VR，在采集、展示、重建过程中面临着如何评测"多真实"、"更真实"的质量挑战；我们基于三维VR数值特征计算、神经网络三维VR的AI主观视觉评测模型、专家盲测模式等建立房源三维VR的评测体系；评测体系在质量评测、运营策略、审核策略等方面取得不错的落地效果。

在微服务化盛行的今天，面对每天数10亿的请求量，大量对接方以及每周高频发布的情况下，如何保障整个链路的质量。本次分享将介绍我们团队在渲染引擎以及基于精准测试的渲染中台测试体系建设