在支付宝小程序质量测试中，面对不同行业场景的小程序有着不同的异常报错以及测试路径，如何用AI技术、大模型技术识别不同行业的业务异常，模拟用户使用意图做到智能UI自动化测试，本次分享将从以下几个方面介绍我们的思路及成果：

小程序质量检测场景及测试方案介绍

如何使用AI技术、大模型技术业务提升质量问题识别的准确率，解决业务异常的识别困难的问题。

如何解决传统自动化测试的成功率低和泛化性差的问题，在具有行业属性的小程序中模拟用户操作链路测试。

在大模型应用平台中，最核心的一项工作是如何从底层到上层建设不同的测试手段以及应对测试：

（1）算法层的测试如何测？

（2）策略层的测试如何测？

（3）应用构建层的各种能力如何测？

（4）如何实现从底层到上层端到端能力的串联、测试体系的搭建？

（5）针对不同的TOB定制化、TOC通用客户我们如何形成统一的质量交付标准？

听众收益：

了解大模型应用平台的技术架构和不同架构层的质量体系建设

(1) 数字化软件有哪些在制造业中落地？

(2)不同平台的数据如何串联打通？

(3) 传统手工测试与自动化脚本的割裂，如何打破这个在手工测试时就完成一部分的自动化？

(4) 制造业无法创建同生产环境的验证环境，用什么方式可以进行生产保障快速响应？

听众收益：

1、了解新势力汽车行业在与传统汽车行业中的比较、有哪些数字化方向的成长突破。

2、超长链路多平台多系统之间的复杂链路数据的模拟与一键造数能力。

3、功能测试时在手工进行中如何快速完成数据构造、前置步骤、生成自动化用例。

解决微服务架构下渲染全链路的问题定位困境（微服务架构下服务多链路长，酷家乐工具业务逻辑复杂，边界难以清晰区分等），让研发（包括业务方）可以高效定位问题，非研发（客服/技术支持/运营/产品）可以介入自助定位问题，快速解决响应用户的问题

听众收益：

可以借鉴整个定位体系的建设适用于有相同困境的团队，如何去拆解分析复杂链路以模型思维去识别我们的系统并抽象出标准化的流程和工具

通过使用大模型能力，降低测试自动化的门槛，提升测试效率。主要介绍了大模型在接口测试自动化以及UI自动化测试方面的实践及成果

听众收益：

为大模型测试域提效提供案例启发

在我们学习机业务测试中，作为面向C端消费者的整机产品，需要高效保障系统版本发布效率以持续提升用户体验，为此我们会面临如下几个挑战：

1、ROM构建测试流程复杂，如何做到持续集成自动化构建测试？

2、作为深度定制系统，如何结合软硬件特性进行自动化能力建设？

3、系统发布多、应用量级大，系统级的发布上线如何做到快速部署验证？

4、AI效果测试结合整机特性，如何构建测试集以及平台化测试能力？

本次分享将重点介绍我们团队在上述几个方面的研究实践与初步成果。

听众收益:

1. 对平板类产品常见的整机测试特性有进一步了解

2. 围绕整机测试存在的效能痛点问题给出相关实践思路

在大模型落地场景中，最核心的一项工作是评估大模型在产品端的实际效果，但面临的挑战有：

(1) 如何设计科学的评测方案来评测大模型在教育场景的效果？

(2) 教育类产品通常需要多个AI能力编排形成整套的解决方案，如果保障产品端到端的成效？

(3) 如何持续的监控发布后的产品，及时发现AI算法的效果问题?

听众收益：

了解教育大模型产品在端到端的测评中遇到的问题以及从我们团队的解决方案中获取一些启示

针对游戏服务器通信协议进行的专项测试，常规游戏功能测试，无法突破客户端限制，对协议字段进行篡改，导致一些问题无法覆盖，游戏漏洞的出现会使其上线后会产生严重的后果，整体将围绕如何制定测试策略和结合工具进行深度安全测试。

听众收益：

由浅入深式了解手游安全的测试方案和工具搭建过程，享受质保提效双重收获

游戏的客户端性能测试，主要包括资源、场景、交互及商业化等的性能测试与验收，本次分享聚焦在以下几方面：

（1）游戏性能用例自动化测试，在节约人力、加快游戏开发进度的同时数据的一致性得到了很好的保障；

（2）游戏场景性能自动化分析工具，自动定位游戏资源、场景、交互等的性能瓶颈点，快速给出有效的优化建议，并结合项目中具体的实践来阐述。

听众收益：

1. 结合游戏的实际实践效果，可以开拓游戏开发者的思路；

2. 部分客户端性能自动化分析工具是业内首创，加快游戏开发的进度。

在游戏工业化研发时代，团队规模越发扩大，生产能力持续提升，资产数量迅速膨胀，这势必要求测试具备更强的精准测试能力，本次分享将介绍我们在此领域的实践和效果。

听众收益：

了解UE引擎大规模游戏项目的精准测试实践和经验。

支付宝作为承载千万级游戏平台层,  在面对三方游戏, 游戏引擎, 支付宝客户端快速迭代的背景下, 面临如下挑战:

1) 如何高效的完成持续集成, 包含单元测试,  集成测试, 性能测试, 兼容性测试, 稳定性压力测试, 安全测试, 保障底盘稳定, 性能等问题精准感知

2) 如何通过类游戏场景开发, 覆盖渲染, js引擎, 建设全面的性能检测能力

3) 如何通过基于游戏引擎, 实现AI自动化能力, 提升游戏回归, 压测执行效率

4) 如何搭建从体感到技术指标的精细化监控体系, 实现线上游戏问题敏感洞察

听众收益：

1.针对游戏特性, 从平台层视角出发, 分享构建高效游戏平台质量体系 的左/右防线保障思路, 能力建设及实践结论

2.对游戏性能检测专项能力, 会细化讲解, 对通常易引发性能劣化的逻辑设计经验进行分享

3.对致力于游戏自动化建设的质量同学会有一定启发和帮助

本次分享将主要介绍如何从0到1建设垂直大模型的评测体系，指标如何构建才能满足业务场景的需求，如何降低人为认知和研发评测的偏差，以及如何高效执行评测并产生科学评测报告。

听众收益：

没有接触到大模型的测试人员对大模型质量内容有初步了解，已经在做大模型质量的人员可以从我们的方案中获取方案建议和想法。

案例背景:

1、 基于机器学习的技术方案在在线广告发挥了非常关键的作用，因此与机器学习相关的数据和算法的测试非常重要。

2、相对于传统软件的工程架构和产品功能的测试，机器学习的不确定性、难解释性增加了算法测试的难度，目前在业界机器学习测试是一个较新的方向，测试体系建设尚在逐步完善的阶段

3、之前部门QA在算法方面介入测试较少，大数据和算法的整体质量保障体系缺失，算法相关的故障暴漏了较多质量问题，同时，由于算法效率工具的不完善，进一步影响了算法迭代效率。

解决思路:

1、对算法测试进行探索，深入了解在线广告的算法体系，并对业界的算法测试进行调研对标，和算法同学合作，搭建算法整体质量保障及效率提升体系。

2、建立了包含离线数据质量保障、特征质量、模型质量保障及算法效果评测的从离线、上线前、在线全流程的整体算法质量保障体系，把控算法项目的质量风险。

3、提供特征模型离线在线一致性校验、效果自动化评测平台、模型拦截工具、效果diff等测试工具平台，并实现算法自动化的持续交付能力，提高算法迭代的效率。

听众收益：

1、行业对标：对机器学习算法有大致的了解，了解行业广告算法测试都在做什么，已经产生了哪些收益

2、测试方法：清楚美团广告算法测试的全景、测试方法、经验和教训

3、分享交流：分享方法和实践经验、提供算法测试思路、帮助同学在实际的算法测试中提供思路

在画质评测中，内容多样化的大规模视频（直播和短视频）带来了巨大挑战：

（1）如何自动化快速、精准评估视频客观画质？

（2）如何泛化游戏、电影、三明治等类型的画质评测？

（3）如何对视频画质问题智能归因？

（4）如何对特殊转码后（如ROI编码、HDR等）的视频画质进行评估？

（5）BVQA-GPT 画质评测大模型如何制定数据集并训练高性能模型？

听众收益：

了解最新的基于AI视频质量评估的落地方案以及我们团队对业界BVQA模型的精细化专业对比思路。

1，我们对比了市面上GPT、通义千问、云雀大模型、文心一言、百川等模型在测试用例生成上效果，得出了最佳的效果，并希望不断的训练模型

2，AI结合传统用例，并接入向量库的方式。实现基于现状功能的AI丰富的用例生成能力。具体如下：我们接入（通用文本向量模型）作为业务历史用例向量化工具将指定的用例集合列表全部用例通过模型算法嵌入向量。再将向量化的用例入库。AI生成用例时会遍历每行功能点向量化后从向量库搜索满足相似度的top5用例作为ai生成的本地参考资料参数化到prompt中进行用例生成

听众收益：

1，可以了解到我们在AI增强用例方面的有效落地实践经验，让你知道我们怎么推广和优化

2，可以了解到我们基于传统业务用例的再到目前的AI增强用例得到哪些效果哪些提效，还有我们对传统用例的思考

3，可以了解到我们怎么去构建这个框架开发这个工具的整体思路和实现。遇到的一些有趣的难题

随着业界AIGC的快速发展以及易用性提升，LLM如GPT等对于一些工作的效率和质量的提升明显，但面临的挑战有：

(1) 在测试领域，我们哪些工作是真正可以借AIGC之力提效改善的？遇到哪些问题？

(2) AIGC能力如何实际落地？如何高效的与现有工作流/测试流结合？

(3) 面对通用领域，借助ChatGPT时，我们如何做promote engineering提效测试的？有哪些注意点？

(4) 面对专业领域，如3D云设计范畴，面临哪些困难？如何通过平台化来提升AI赋能效果？如何推广落地？

本次分享将介绍我们团队在这几个方面的探索和当前取得的初步效果。

听众收益：

了解AIGC实际落地测试提效过程中遇到的难题以及从我们团队的解决方案中获取一些启示

大规模团队B端产品的用户体验极其重要，它影响使用者的精神愉悦度、工作效率等，这些影响又最终会体现在企业的服务效率、服务质量、服务成本上。B端系统体验度量通常通过用户调研或者用户反馈获取，再通过数据下钻、用户原声分析进行体验优化。

但用户体验是一种主观感知，概念比较抽象、决定因素复杂，具有一定的模糊和不确定性。用研手段调研周期长、成本高、受问卷召回量因素影响大，用户问题反馈又有天然的反馈率制约。

所以本议题主要介绍如何免打扰式、快周期检测和衡量的B端体验，帮助系统产研数据化、多维度的持续感知和监测用户体验水位并通过下钻分析进行持续优化以提高B端系统用户的精神愉悦度、提高工作效率和服务质量。

在我们整车研发数字化转型质量管理和实践过程中，最核心的内容就是系统满意度提升，主要面临挑战如下：

1）业务场景复杂度高、多部门、多角色情况下，QA如何保持与业务或者产品人员理解同频，进行测试用例设计时，能不偏不倚的切中实际情况？

2）数字化系统的测试重心是不一样的，有些产品是追求场景完善度、有些产品重在使用体验的极致、有些产品对数据一致性要高，如何有的放矢地制定整车研发数字化系统质量标准？

3）自研系统和非自研外包系统都属于团队质量满意度达标范畴，如何有效的提升和评估非自研系统高质量交付结果？

4）核心系统升级同时引起的企业数据如Bom数据刷写、迁移等相关验证难度、又将如何解决？

5）快速交付带来的质量挑战，如何通过精细化度量来指导过程质量的提升？

听众收益：

了解头部新能源汽车数字化建设历程以及通过质量管理与实践助力企业发展的一些启示

随着微服务日益推广开，测试在接口自动化投入和案例的维护不堪重负。流量录制回放为其提供一种可行的方案，将读接口100%由流量回放平台代替，降低测试投入成本同时提高问题发现能力。

听众收益：

1.了解流量回放可以给测试带来新的思路和解决方案，提供一种新的手段。

2.如何更好在公司落地和实践

本篇以用户端到端体验视角，前端性能领域体系化建设思路，全方位覆盖以云设计工具为主，包含酷家乐、美间、Coohom国际站、模袋云为产品代表的端到端用户体验的标准化性能保障体系。其实包含工具前端性能、性能监控度量分析体系、大场景（复杂模型方案）性能专题、性能竞品专题、其他端到到性能优化技术及性能质量保障体系。结合酷家乐工具特性对于加载慢，卡顿，由于内存泄漏导致的黑白屏、以及对酷家乐超大户型及复杂方案如何识别其性能瓶颈，形成一套大场景模型复杂度和大场景专项性能保证策略。

听众收益：

本篇会以性能体系化、标准化思路展示，对于一些没有性能优化基础的听众也非常优化，不会有断层知识不对等的gap，同时会以一些案例，把酷家乐各个业务站点在遇到性能问题的过程直观展示出来，会让听众有直观的感受，同时性能可以借鉴标准化的思路，运用在各自互联网企业实际问题中。

收众广，注重用户体验提升，对前端性能优化，端到端性能优化感兴趣的。

区块链是一个相对新兴的行业，是多种技术的融合，其涵盖了分布式账本、共识算法、密码学和智能合约。但区块链质量保障方案却没有太多成熟的方案可供参考。在测试过程中我们所面临的一些挑战主要有：

1.没有针对性的区块链质量模型作为理论指导

2.复杂的分布式系统，测试环境复杂，需要考虑各种网络延迟、节点故障恢复等

3.共识机制验证，不同共识算法的验证逻辑复杂，测试场景构造难度大

4.质量风险高，数据一旦上链，测试中发现的错误修复难度大

听众收益：

本篇会较为完备的介绍区块链平台是如何进行测试的。一方面听众可以了解到区块链平台测什么，分别从研发和用户视角定义了区块链质量模型；另一方面听众可以了解到区块链平台怎么去测试，从各种场景的测试方案设计、到落地实施以及最后验证过程。

为了实现高质高效的软件发布，我们在有道词典笔和听力宝等硬件产品的测试中，自研了行业首个嵌入式设备的云真机在线测试平台，实现了不同形态智能硬件的批量自动化测试、兼容性测试、OTA升级测试等功能。

在这个平台的建设过程中，我们解决了一系列的技术难题，例如如何完成批量的测试设备部署、配置测试脚本、发布测试任务、实现周期测试、可视化设备的性能、并兼容所有SKU等。

本次分享将介绍我们团队在这几个方面的探索。

听众收益：

了解测试团队在硬件产品迭代过程中，如何从0到1实现一套云真机方案的设计并实现，在这个过程中的技术难题，以及当前取得的初步效果。

UI自动化在酷家乐内部已经实践与落地了近3年，逐步成为最核心的回归手段之一。在持续探索与实践过程中，我们也遇到了许多难题与痛点，包括：

1、自动化用例经常要维护，如何提高用例可维护性？

2、设计工具业务复杂、Canvas 操作占据核心，如何提高自动化的覆盖能力与深度？

3、如何帮助一线同学提高自动化编写效率？

本次分享主要介绍我们测试团队在这几个方面的实践案例。

听众收益：

了解酷家乐在前端自动化领域进行的一些创新探索实践，获得一些启示

2011年MIT 研究团队发布了新型图形化编程技术Sikuli(https://github.com/sikuli/sikuli)，为计算机编程领域注入了人工智能辅助的新风。Sikuli亦可被广泛用于自动化测试领域特别是GUI类和手机相关的测试。可惜这一优秀的项目已不再继续开发，幸运地是开源社区的热心人士如RaiMan等重新设计和实现了Sikuli的继任者SikuliX(https://sikulix.github.io/)项目并一直维护至今。

如今随着人工智能和相关IT基础设施技术的进一步发展，当再次审视Sikuli/SikuliX时我们有了不少新的思路，因此重新设计了SikuliII以期更好地利用近几年的新技术成果并进一步扩展Sikuli系列项目的应用领域。

听众收益：

对于使用可视化编程形式进行自动化测试(特别是GUI和手机相关测试)开发方向感兴趣的听众将收获对著名Sikuli开源系列项目的工作原理和改进空间更深入的理解以及这一新颖的自动化测试技术可以进一步拓展的应用空间。

联机系统、运营管理平台类系统以及客户端类系统在质量保障中具备完善的、相对统一的测试经验和工具体系，批量系统在测试标准、工具体系上缺少对应的经验或指引。我们将在功能测试标准、自动化测试框架、五高测试标准以及测试观测与展示四个方面进行介绍，分享我们在批量系统质量保障体系建设上的设计思想与实践经验。

听众收益：

1、了解批量系统测试体系的设计思想与实践；

2、了解批量系统测试体系在不同测试场景中的应用；

3、了解批量系统在测试数据管理上的实践经验；

4、了解批量系统在海量大文件内容检查上的实践经验。

不是精准测试玩不起，而是基于变更测试更有性价比

精准测试的成效及投资报酬率一直是论坛上经常讨论的问题，讨论的焦点大多围绕在智能用力推荐及调用链路分析，本次分享将介绍，我们团队是如何以测试案例的角度出发，透过 基于变更挑选测试案例的策略，让我们有效运用现有测试案例，达到非标准的轻量级精准测试方案的效果

听众收益：

了解我们团队在精准化测试选题上遇到的困难及如何透过非标准的精准化测试 (基于变更测试) 来达到测试提速的效果