RTE 2024 Workshop｜AI 工坊：「组装」你的专属多模态 Agent！

00 <一份活动简介>

OpenAI Realtime API 发布，语音 AI 将迎来新一次爆发。AI 的实时语音和视觉互动能力将为我们带来多少新的创意和场景？

现在，让我们快速动手去体验，并实现一种想法。

在这场工作坊，你会接触到平台型开源框架 TEN Framework，以及使用 TEN 开发的多模态实时互动 AI Agent — TEN Agent，并尝试自定义一个实时多模态 Agent。

TEN 是市面上第一个兼容了 OpenAI Realtime API 和 RTC 的实时多模态 AI Agent 框架，现在访问 https://agent.theten.ai 可以立刻体验接入 Realtime API beta 的最新版本 TEN Agent！

无需撰写代码，你就能创建多模态 Agent。 当电脑响起 “Voice Agent connected！”，你将亲身体验到 AI Agent 的实时对话能力，TEN Agent 能够立即响应你的语音指令，基于视频进行图像理解，并且还能进行网页和天气检索，让你感受到更自然的人机互动体验。

如果你还有口语陪练、儿童故事会、旅游助手等想法，不妨在 TEN 框架下进行自定义，为你的 Agent 赋予新的人设（persona）、音色和功能，即刻探索语音、视频交互的新场景！

现场会设置双重挑战，无论你是想体验多模态 Agent 抑或尝试自己的想法，这里都有适合你的内容。来自 TEN Framework 团队的技术导师们都会在现场为大家答疑。达成基础挑战的伙伴都能拿走我们的开发者奖品，完成进阶挑战更有好礼相赠！

时间：2024 年 10 月 26 日（周六）14:00-18:00

地点：北京朝阳悠唐皇冠假日酒店 · 多瑙会议室

01 <现场指北针>

13:30-14:00  签到    

领取开发者礼包 🎁

14:10-15:00  技术大咖主题分享  

主题分享 1

TEN 开源框架及最佳实践案例                                 

嘉宾：TEN Framework 共同发起者 & RTE 开发者社区布道师 Plutoless

主题分享 2

快速构建有情感的声音 - CosyVoice 语音生成大模型原理和实践

嘉宾：阿里巴巴通义实验室语音算法专家 吕翔

主题分享 3

破次元 - Rokid 空间计算和实时 Agent 搭建

嘉宾：Rokid 全球开发者生态负责人 赵维奇

15:00-17:40  现场挑战   

动手并随时茶歇补充能量！

17:40-18:00  本场回顾    

奖品兑换

10 <对话技术>

- TEN (Transformative Extensions Network) Framework 是一个平台型开源框架，能够让开发者一站式快速、灵活地搭建属于自己的多模态实时互动 AI Agent，这个框架包括了基于 Rust 语言开发的 all-in-one TEN manager，支持实时互动的多模态标准协议，支持多种编程语言混合使用的 TEN Runtime，用于可视化低代码编排逻辑的 Graph Designer，以及支持社区公开发布、分享的 Extension Store，供开发者在构建 AI Agent 的过程中即插即用地挑选心仪的模块灵活替换。

- TEN Agent 是一个用 TEN Framework 开发的多模态实时互动的 demo AI Agent，玩家可以通过语音与 LLM 进行交互，还可以通过摄像头和它进行对话，同时也支持基于特定知识库内容回答问题。TEN Agent 完全开源，供社区使用。

11 <Game on！挑战开始>

分享结束后，就正式进入我们的现场创建环节啦！欢迎各位小伙伴参与 RTE 2024 Workshop，这次的主线任务是让你的电脑发出：

Your Voice Agent has been connected！

* 基础挑战 在本地把 TEN Agent 跑起来。

• （1）与它进行视频/语音对话。

• （2）调用 OpenAI Realtime API，与它进行对话。

* 进阶挑战 通过调试 Graph Designer 或者更改代码实现自定义 Agent。

• （1）切换自己喜欢的 LLM 。

• （2）修改 LLM 的提示词（Prompt）、开场白（greeting）、温度（temperature）。

• （3）切换自己想要的 TTS（TEN Agent 的默认 TTS 是 Azure）。

100 <工欲善其事，必先利其器>

在本场 AI Agent 工作坊中，我们需要现场动手跑通一个 AI Agent，为了能让大家现场一秒进入状态，按时完成挑战、获得奖品，建议报名参与的同学提前做好如下软硬件配置：

• 知识：需要知道科学上网的方式(https + SSH)， 会用命令行，git  和 Docker；

• 需要下载：Docker and Docker compose 和 NodeJS 18；

• 自备电脑一台。

报名并审核通过后，将会邀请大家进入 workshop 专属答疑群，提前搞定前序工作，现场专注探索你的实时 AI 场景！

还可参考以下链接：

• README 英文：https://github.com/TEN-framework/TEN-Agent

• README 中文：https://github.com/ten-framework/ten-agent/blob/main/docs/readmes/README-CN.md

101  <必不可少充电桩>

我们在现场为大家准备了：

• 丰富的奖品进行兑换，达成基础挑战的伙伴都能领取开发者奖品，完成进阶挑战更有好礼相赠 🎁

• 以及美味的茶歇 🍰

• 当然还有必不可少像德芙一样丝滑的网络环境 🗺️

助力大家快乐动手，have fun！

110 <报名须知>

为保证现场体验，仅设 30 余席位，审核名额满员时则会停止报名。审核通过后会邀请大家进入 workshop 专属答疑微信群。

* 关于我们

RTE 开发者社区是聚焦实时互动领域的中立开发者社区。希望通过社区链接领域内的开发者和生态力量，萌芽更多新技

术、新场景，探索实时互动领域的更多可能。不止于纯粹的技术交流，社区相信开发者具备更加丰盈的个体价值，我们

会关注行业发展变革、开发者职涯发展、技术创业创新资源，陪跑开发者，共享、共建、共成长。