在实时语音通信中，通常3A技术为基本的音频处理基础。随着人工智能的发展，AI在音频处理方面扮演越来越重要的角色。AI和传统信号处理技术都有其优势和局限性，在实际系统中如何有效的进行结合，发挥各自的优势，改善整体系统的性能。本次分享会重点介绍各技术的特性和如何有效的进行融合。

随着虚拟现实(VR)/混合现实(MR)技术的快速发展以及众多元宇宙场景的落地，基于耳机的空间音频在沉浸式体验中显得是格为重要。空间音频实际上是仿真一个真实声源产生声音，传播以及被人耳接收的过程。如何用有效地模拟这一个过程，让 3D 音频沉浸式地再现，是空间音频的主要研究和发展的方向。除此之外，如何有效地渲染大规模的声源是一个值得讨论的问题。

噪声抑制和去混响算法可消除视频会议、语聊房、游戏语音等众多场景中的背景噪声和混响干扰，提升复杂场景下的实时互动体验。本次分享主要介绍降噪和去混响的应用场景和技术演进、声网AI降噪和去混响系统的设计方案、性能特点、增强效果和竞品对比等。

在深度学习的推动下，基于数据驱动的语音增强技术已经逐步在各种应用中落地。本报告在回顾基于深度学习语音增强技术的发展脉络的基础上，重点探讨当前新技术发展，包括基于复数谱、多阶段增强方案，基于声纹先验的目标说话人提取，基于深度学习回声抑制等。同时对未来发展趋势进行展望。

近年来，文本到语音合成（Text to Speech, TTS）取得了较大进展，受到了业界的广泛关注。如何构建高质量的语音合成系统，达到和人类录音相当的水平，一直是领域从业者追逐的目标。在本次报告中，我将介绍微软在构建人类水平的语音合成系统方面的努力。首先，我将回顾当前语音合成领域的研究现状，然后对人类水平提出了详细的定义和评测方法，并且评测了当前的语音合成系统，发现它们均不能达到人类水平。接着，我将介绍微软构建的NaturalSpeech语音合成系统，在LJSpeech数据集上的评测结果显示，NaturalSpeech达到了人类录音水平。最后，我将介绍语音合成的研究挑战和未来研究方向。

在以声音为主要媒介的应用中，音质是核心的考核指标，例如语音直播、音乐流媒体平台、音频点播类的应用。本次分享通过解构直播类和流式点播类两大应用场景中端到端的链路环节，分析影响音质的各个要素并介绍保障高音质的相关实施技术细节。

鸡尾酒会问题是指说人可以在复杂的声学环境中将注意力集中在某一个感兴趣的声音而忽略掉其它声音。如何使得计算机能像人一样从混合音频信号中提取出各个说话人的声音信号是一个非常有趣的问题并且具有潜在的重要应用价值。目前，该问题的研究取得了一些不错的进展，但距离彻底解决可能还有漫长的道路要走。本报告将简要综述模型驱动和数据驱动的音频盲源分离研究进展。对于前者，我们将介绍ICA/IVA/ILRMA/MNMF/CTF-MNMF的基本原理和思路；对于后者，我们将介绍现状的基于深度学习的单通道语音分离方法并讨论其存在问题。

人工智能产业领域的技术着眼点会更关注算法和数据，但是随着技术的落地，不可避免的要涉及到硬件产品的基础体验问题。而人工智能硬件和传统具有音频功能的硬件有着较大的差异，本次分享从声学硬件系统的角度来剖析各硬件指标及技术对于语音交互体验的影响，探讨智能硬件及嵌入式系统上的声学性能实现和优化的相关话题。

在RTE场景下，进行高清能力的升级面临不少技术问题。在落地诸如H.265或者AV1等下一代codec的过程中，需要在端上以及整个传输框架上进行整体的适配。另外，针对codec的特点，对其适用范围也应有所限制。同时，基于RTE场景下应用终端在网络/算力等方面分布不均衡的前提，如何动态自适应地调整应用方案，以最合适的方案组合输出最优的视频体验，是高清能力迭代中无法避免的关键问题之一。本次分享将以H.265在RTE场景落地为例，基于声网的经验，对这些关键问题进行分析解构。

为实现高精度面捕，苹果ARKIT使用了结构光3D摄像头，笨笨网络通过先进的AI算法也能实现一模一样的对标效果。同样，在姿态动捕领域，笨笨智能通过持续不断的迭代，一样能提供不输于穿戴动捕进度的姿态捕获效果。本次重点分享笨笨智能如何基于单目视觉AI技术，为业界提供高精度，低门槛的面捕及动捕解决方案。

在实时音视频通信中，为了达到低延时高质量的传输效果，拥塞控制算法至关重要。而传统的拥塞控制算法在应对一些网络变化时往往表现不尽人意。近年来人工智能算法的兴起给拥塞控制算法的演进提供了一个新的方向，基于人工智能的拥塞控制算法也被越来越多的讨论和研究。本次分享主要介绍了现有的一些基于人工智能的拥塞控制算法，以及在实际场景中应用的一些方案。

使用单张RGB图片进行人体表示，从而进行人体姿态和形状估计，已成为计算机视觉领域的一个新兴研究课题，其广泛应用于主流增强现实、虚拟现实、人机交互等技术中。然而，由于人体的非刚性结构以及在高度自由的姿态和不同视角下的灵活性，使用单张图片预测人体的姿态面临着诸多挑战。本次介绍着重分享主流的人体表示方式和其具体的应用流程。

声网在2020年推出了一个新型的录制业务-页面录制，有别于主流的RTC频道内的音视频录制服务，页面录制与RTC解耦且可以录制任何的网页内容，而网页由于方便易上手的开发特性使得该产品拥有强大的定制化及快速上线特性，深受国内外用户喜爱，而该服务稳定运行至今2年我们开始从中提炼通用的系统层技术能力，如云端WebView，虚拟桌面、虚拟音频驱动、WebGL离屏渲染等构件一个高度定制化的WebApp微服务架构，拓展了WebRTC的音视频体验提供了更丰富的用户场景能力支持。

在前不久结束的SIGGRAPH 2021中，NVIDIA向公众展示了最新的AI技术在计算机图形学中的应用。而在这些技术中，又以如neural radiance cache、GauGan等DeepLearning技术尤为引人注目。本报告将为大家简介NVIDIA近期的DeepLearning应用成果。同时，为提升神经网络的实时推理能力，NVIDIA还在最新的Ampere架构及相关SDK中，进行了一增两减。一增，是指在Ampere架构中，通过引入新一代Tensor Core，来大幅提升计算性能。两减，一是通过引入结构化稀疏的特性，来降低冗余的计算开销；二是通过新版本的SDK来支持QAT等量化方式，在确保结果精度的前提下，使用定点数值降低推理过程中的计算开销。

随着元宇宙的持续升温，越来越多的会议、展览、演唱会等线下活动搬到了线上，虚拟活动已逐渐渗透各行各业，并持续改变着用户的社交习惯和心智。通过声网 RTE 技术为仿真世界赋能，提升临场感，从传统意义的“在线”迈向“在场”。本次分享以元宇宙应用 MetaLife 为例，介绍声网 SDK 如何为元宇宙场景赋能。

本次分享主要以参赛作品「SuperRent 随心租」为例，分享一款产品如何在一个月内，快速完成从立项到发布上线的全流程。其中包括如何划定产品边界，如何进行技术选型，如何配置研发资源等等。

声网 Flat 开源项目提供了白板 SDK，支持开发自定义 App，为在线教育和白板应用提供了巨大的想象空间。本次分享从一个初次接触 Flat 的开发者的视角出发，介绍互动白板的特点，并以一款互动小游戏为例，分享小游戏前后端框架的选择与使用、整体架构的设计思路和开发流程等。分享也会介绍一些实用的 window-manager APIs，并结合实战说明这些 APIs 如何快速解决一些原本比较复杂的问题。

声网及五源资本联合发起的超音速计划2022年度八强

北美及亚太赛区startup battlefield 优胜项目

敬请期待