人工智能生成内容（AIGC）技术不断成熟，相关领域的发展甚至可以用“一日千里”来形容。AIGC在带来巨大机遇的同时，也带来了技术应用及安全等系列挑战，包括1）AIGC与过去AI的区别在哪里，如何认识这一新技术？2）针对兴起的技术、产品、服务，如何正确评价其能力？3）新技术应用的风险如何管控，如何保障其安全合规？

本次分享将分享我们在这些方面开展的探索，重点介绍凝结了业内经验形成的AIGC领域评估标准体系。

云计算&大数据&智能质量时代 大背景，云计算和DT时代，大数据、AI、深度学习、图形渲染等技术栈已经日渐成熟了。随之而来会形成新的生产力并落地新的应用。

数字化转型是当下最确定的赛道，阿里云要做整个数字时代和数字产业的基础设施。基于阿里云“做深基础、做厚中台、做强生态、做好服务”的战略目标。在阿里云全GTS，交付质量团队如何做好上千个商业项目交付质量？搭建的数字化转型质量体系，质量平台，生态圈质量，效能度量&提升等面临什么样挑战呢？

随着手游的快速发展，手游的市场竞争越来越大，无论是厂商还是玩家，对游戏品质的要求也越来越高。而开放大世界类型手游，由于其超大地图结合复杂的场景和玩法机制，对手机的性能带来了极大的挑战。

如何保障移动端的性能体验成为一件棘手但极为重要的事情，结合PUBG Mobile前台性能测试领域的沉淀和经验，跟大家一起探讨我们在UE4大世界手游前台性能测试的一些探索和实践，如何制定手游项目的前台性能测试全流程管线及重点事项说明，包括性能标准、流程规范、需求验收、深度分析和性能监控。以及如何搭建自动化和测试分析工具链，并沉淀分享一些手游通用的优化技术和项目实践。

ArkUI-X跨平台在202308已开源发布，基于该框架开发应用支持一套代码在Android、IOS、OpenHarmony系统运行，故自动化测试能力也需要支持一套测试代码在不同系统运行，本议题重点介绍跨平台测试框架整体设计及具体实践

本议题主要解决在分布式业务场景下如何通过定量定性的方法在实验室场景下进行多方位的用户体验测试评估。

OpenHarmony作为一个全新的操作系统，游戏生态面临很大的挑战，怎么实现从0到1游戏生态的突破，以及怎么确保适配过程中功能和性能的全备性。通过本次分享可以帮助开发者对OpenHarmony上进行游戏适配和质量保证有全方位的了解.

本议题主要介绍OpenHarmony系统性能调优及游戏性能测试工具套件，使开发者和测试人员能够通过性能调优工具Smartperf方便，快捷，准确的获取系统&应用运行时CPU，内存和IO等和性能相关的数据并分析系统&应用性能问题

分布式是OpenHarmony操作系统的核心能力之一，分布式场景测试由于系统和网络环境的复杂性面临诸多挑战。本议题主要介绍深开鸿在OpenHarmony分布式场景下测试能力建设和实践。

在大规模的分布式系统中，通常内部拆分为若干个微服务模块，且调用链路复杂，这对我们测试带来了新的挑战：

（1）集成测试成本高，搭建整套环境成本高，耗时长

（2）单模块可测试性差，模块依赖多，现有工具能力不足，

（3）特殊场景覆盖难，内部逻辑复杂且涉及算法模型，case构造难

本次分享介绍我们团队在这些方面的探索及当前取得的成果

在我们平时自动化、回归测试以及重构项目很难保障全面性测试，经常性发布到上线后出现重大故障，导致公司损失很多利润，那么我们保障业务应用的质量会存在哪些挑战呢？

(1) 业务应用需求迭代由于回归测试不全面导致线上故障

(2)手工与自动化测试无法覆盖所有场景且维护成本较高

(3)较低的测开比无法跟上需求迭代的速度

(4)线下构造测试场景难度大

(5)标准化难度高，强依赖QA、开发经验和能力，推动开发自测效果差

游戏自动化一直是开展难度比较大的工程，具体包括机房机架、设备调度、软件框架、算法调校这些中台建设，复杂场景下还需要游戏项目本身的配合。本次分享介绍了朝夕光年游戏自动化测试的开展思路，以及针对实际工作中遇到的棘手问题给出的解决方案，分别包括自动化在兼容性测试、稳定性测试、性能测试、功能回归的部分需求应用场景，实践下来取得相当不错的收益。

1. 覆盖Android和iOS双端，同时支持Native、H5、Flutter多种业务场景。

2. 业务场景化case，按业务场景进行针对性配置与优化，最终提升业务核心场景的测试覆盖率，同时提升灰度崩溃拦截率 80%，结合业务场景的核心页面进行打标，计算核心功能的覆盖率数据。

3. 结合线上SDK采集数据能力，突破传统稳定性只能发现crash、anr问题，同时可以采集flutter异常、业务自定义异常以及APM等性能数据。

4. 提供发现的问题对应场景回溯能力，可视化操作路径便于业务定位问题，并且根据回溯能力，提取高崩场景的业务用例，用于发布前的重点监控。

Shopee App服务于11个国家和地区，每次发布会同步发布22个App，包含Android和iOS，如何保障在高频发布情况下App的稳定性和性能，面临诸多挑战：

实时通话和直播场景中，音视频通信作为最基础的业务，其质量的好坏直接影响到由此衍生的多种业务的开展，因此，如何高效准确的评估音视频质量尤其重要，但面临的挑战同样较多;

如何进行通话、直播端到端的音频质量评测？

如何做无参考的音视频质量评估？

如何模拟真实用户网络，评价音视频实际用户场景体验

在降本增效大环境下，TOB车载软件交付，面临挑战有：

1.质量要求高：企业客户对软件质量和稳定性有更高的要求，需要投入更多资源来保障质量，满足企业客户的高标准。

2.交付频率：应对客户对版本交付周期不断缩短的需求。

3.快速响应：提高服务水平，及时处理客户反馈的问题，保持客户满意度。

4.合作协同：实现产品、研发、测试、客户支持等多部门高效协作，确保各环节顺利进行。

5.成本控制：降低研发、维护和交付成本。

本次分享将介绍，我们团队在研发效能提升的探索实践中，通过识别最大浪费点，优化敏捷开发流程、提高代码质量、投入资源分配等方法持续改进，应对这些挑战并取得显著效果。

开发者技术架构团队服务于字节80%业务线，在大流量场景下面对自身服务与多样性与业务方多样性的挑战，质量团队如何构建综合的质效体系来保障服务的可用性与稳定性并持续演进迭代，结合场景案例与质量基建实现量化出质效体系。

（1）架构团队线上事故多，舆情反馈多，如何找到治理的切入点快速拿到结果。

（2）差异较大的多类型基础组件如何抽象共性方案，提升治理效率。

（3）质量基建的实现(质量风险观测召回+真实流量的全链路压测+强弱依赖识别治理等能力)，关键风险与对应的解决方案。

（4）大流量场景下，质量架构如何与服务架构自身演进相结合(ServiceMesh|分布式)，从而具备更强的容灾自愈能力。

（5）质效体系如何做到 可复制，可度量，可演进

在客户端质量建设领域，持续提升质量是一个持久的话题。为了更有效地衡量和提升质量，我们将分享如何解决以下三个关键问题：

1.探讨如何构建一个全面的质量监控平台

2.如何定义质量优化的标准

3.如何打造质量闭环, 覆盖产研的全流程

交易计费的正确性是华为云产品和用户的TOP诉求，随着业务规模的增长，交易系统的并发处理量越来越大，交易规则多种多样，用户消费场景也难以穷举，仅靠传统的测试手段无法100％保障交易准确性。

本次分享将介绍我们从可观测性下手，探索并实践出的实时稽核解决方案，及当前取得的效果和进一步规划。

鲸探在 2023 年 5 月上线了 AIGC 在线生图的功能，在我们的 AIGC 业务测试中，最核心的一项工作是评估 AIGC 图像生成算法的实际效果，但面临的挑战有：

AIGC 图像生成质量问题如何定义？

如何构建 AIGC 图像生成质量算法模型？

如何能够检测 AIGC 生成图像中的一些问题?

如何构建 AIGC 图像生成质量体系？

本次分享将介绍我们团队在这几个方面的探索和当前取得的初步效果。

面对飞书的日益复杂的功能和业务流程，我们面临以下挑战：

1、如何降低自动化门槛，提高用例的自动化比例

2、编写自动化测试用例费时费力，如何提高用例编写的效率

3、在不断的版本更新中，如何实现测试用例的低成本维护

4、如何将文本用例直接生成自动化用例

随着ChatGPT的横空出世及其展现出的强大能力，如何利用LLM和现有技术结合来提升测试效率成为了一个新的研究方向。本次分享，我们将深入探讨如何利用LLM在飞书实现自动化用例的智能生成，并分享我们在实践中取得的初步成果。

在传统图像、AIGC图像的视觉效果评测中，最核心的一项工作是对传统场景和AIGC场景图像/视频的视觉效果的评测，但面临的挑战有：

（1）传统视觉评测任务依赖主观方法，如何降低传统场景下的人力标注成本？

（2）AIGC的涌现（也是创造能力的涌现），怎么从符合人类认知的角度为AIGC保驾护航？

（3）支付宝有大量AIGC应用场景，怎么能高效利用无标注数据，降低标注成本？

（4）传统场景和AIGC场景存在一些共同的评测问题，怎么让大模型解决一些共性问题？

本次分享将介绍我们团队在这几个方面的探索和当前取得的初步效果。

大模型能力在质量域应用建设中，最核心的一项工作是如何让自动化产能提升，降低质量方差，真的能提效 面临很大的挑战：

1、基于langchain构建测试域环境、自动化、数据等agent能力，在多agent下如何保障从问题到解决方案的思维链准确性（基于fine turning提升决策准确性）

2、如何评估在测试域相关大模型应用落地场景的效果，对于效果不好的怎么自我优化和迭代

3、基于llama2开源大模型如何进行预训练和微调，保障基于需求到测试影响范围评估的准确性性，知识体系能力如何建设

5、总结和展望

在我们的项目流程中，存在以下痛点：

1、需求沟通效率低，PM、DEV、QA三方沟通平均耗时30min-1h

2、人工写测试用例耗时，平均耗时1-5h

3、自测自发需求测试用例覆盖不充分

4、需文档质量参差不齐

基于以上痛点，我们研究基于AI自动生成测试用例，包含需求文档解析和预处理、prompt构建、测试用例自动生成、自动生成脑图可以真实执行。