长按二维码,关注官方公众号
使用微信扫一扫分享到朋友圈
使用微信扫一扫进入小程序分享活动
生成式 AI 时代，大模型除了继续在云端突破 Scaling law 之外，也正在探索另一个重要的落地方向——端侧。通过量化、蒸馏、剪枝等压缩技术，「瘦身」后的大模型可以适应端侧性能要求，在包括手机、PC、机器人、VR 眼镜、耳机、汽车智能座舱等广泛设备上进行本地部署运行，将 AI+硬件的融合带入新的发展阶段。随之而来，端侧大模型能力的引入不仅为用户提供个性化 AI 体验，还能进一步拓展 AI 应用场景的广度与深度。
在 AI 应用落地需求日益增长的当下，企业应如何把握端侧大模型的发展机遇，探索新的业务模式和应用场景，推动产品和服务的创新，满足市场和客户的新需求？研发人员如何提升技术水平，学习端侧大模型在不同场景下的应用和解决方案？基于此，机器之心策划了「端侧 AI 大模型开发与应用实践」技术论坛，本次论坛由机器之心、世界人工智能大会组委会办公室、上海市漕河泾新兴技术开发区发展总公司主办。
论坛一经发布，机器之心便收到了很多积极反馈和内容详情咨询。现在活动完整日程与议题全部确认，上海交大、商汤科技、面壁智能、安谋科技、蔚来、OPPO 等学界、业界技术大咖重磅加入，快来看看哪些内容是你最关注的吧。
端侧 AI 解读与发展趋势
通用人工智能下的智能终端
面向端侧部署的多模态大模型技术
端侧 AI 应用“芯”机遇，NPU 加速终端算力升级
面向处理器核显的大模型推理优化
午休
面向 agent 的自动驾驶软件架构
基于 RISC-V 的端侧异构 AI 算力探索和展望
算能科技高级副总裁，本硕均就读于北京邮电大学，持有 30 余项技术发明专利，成功主导了算能人工智能芯片算丰 BM1684、BM1684X、BM1880 的量产与商用，是算丰 TPU 架构设计和实现的核心成员，国内人工智能芯片领域最早期的探索者和践行者。
大模型在手机端侧部署落地探索
聚势前行 共启端侧AI新时代
施冲先生于 2011 年加入中国惠普有限公司个人信息产品事业部，目前担任高级计算和解决方案产品部中国区业务拓展经理，专注于惠普 Z 系列工作站的创新业务发展。工作职责涵盖了构建和维护人工智能领域合作伙伴生态社群，推动全球工业软件独立软件供应商（ISV）的合作共赢，以及与国内技术合作伙伴建立并深化 OEM 业务合作关系，以此来不断推动业务的创新和增长。
休息与实操准备
技术实操—端侧设备中模型部署实战
端侧 AI 解读与发展趋势
长期从事稀疏计算电路与系统研究，发表论文80余篇，谷歌学术施引千余次。他带领团队提出FlightLLM是全球首个FPGA大模型推理IP，相比GPU能效提升6倍。曾获DATE’24、ASP-DAC’19 最佳论文奖，和多次会议最佳论文提名，个人曾获2022 WAIC云帆奖等荣誉。
通用人工智能下的智能终端
目前带领团队负责研究智能终端，视频理解与生成等相关研究领域。在CVPR，ICCV，ECCV，PAMI等顶级期刊会议发表数十篇论文，谷歌学术引用数超过10000。组织发布了 3D 数据集项目 OpenXDLab，包括 RenderMe-360、DNA-Rendering和 OmniObject 3D（CVPR2023 最佳论文候选）。作为作者之一获得中国图像图形学学会技术发明一等奖。负责技术产品包括端侧大模型SenseChat-Lite，手机人脸识别SenseID，手机智能抓拍BestMoment，增强现实平台SenseMARS，智能车舱SenseCabin等。
面向端侧部署的多模态大模型技术
面壁智能副总裁，端侧大模型项目负责人，主导负责面壁CPM-C千亿大模型，面壁MiniCPM系列端侧大模型项目研发。特别是面壁“小钢炮”MiniCPM系列端侧模型，包含基座模型MiniCPM和多模态模型MiniCPM-V，凭借以小博大、高效低成本的特性享誉全球。
端侧 AI 应用“芯”机遇，NPU 加速终端算力升级
负责“周易” NPU IP产品，致力于对接并满足多样化端侧硬件设备的不同AI计算需求。他深耕AI领域，拥有丰富的架构设计经验，涵盖了从AI高性能计算到AI高能效比设计等多个重要领域，曾带领团队多次实现了成功流片到顺利量产的目标，显著提升了AI大芯片的能效比。
自加入安谋科技以来，鲍敏祺先生负责NPU IP产品的定义与市场推广，并推动这些前沿技术的实际应用与落地。
面向处理器核显的大模型推理优化
午休
面向 agent 的自动驾驶软件架构
蔚来自动驾驶部门资深技术专家，高级总监，毕业于新加坡国立大学，曾就职于国内知名l4自动驾驶公司以及长安汽车，曾获得多个国际无人机奖项并发表多篇国际期刊。
基于 RISC-V 的端侧异构 AI 算力探索和展望
大模型在手机端侧部署落地探索
2019年博士毕业于华中科技大学，专注于深度学习模型推理性能优化。在OPPO开发了针对Transformer结构模型的高性能端侧推理引擎Transformer-Lite，实现Transformer模型端侧GPU推理性能业界高度领先，支持了智能消除等算法端侧部署。
聚势前行 共启端侧AI新时代
休息与实操准备
技术实操—端侧设备中模型部署实战
主导编译器功能研发，参与算能全系列TPU在视觉和语言算法领域的适配与优化，实现了大语言模型的INT8和INT4自动量化功能，将Llama、Qwen、ChatGLM等主流大语言模型的运行性能提升近4倍。
技术研讨：端侧 AI 的最新技术知识、研究成果及未来发展趋势，为实操提供理论支持；
案例驱动学习：让参与者了解端侧 AI 在不同场景下的应用和解决方案；
手把手实操教程：技术专家现场带领实操，让参会者能够亲自实践端侧 AI 模型部署技术；
互动式现场：设置 Q&A 答疑环节，帮助参会者解决在操作过程中遇到的问题。
专家们准备了丰富的实际用例，从芯片、软件栈到手机、智能终端，分享端侧大模型在各行各业中的「实战经验」。
了解技术发展的方向趋势，探索新的业务模式和应用场景，推动产品和服务的创新，满足市场和客户的新需求。
不仅能系统学到最新的关键技术，还将在理论中进行实操，在实践中巩固学习成果。
这不仅能够帮助企业培养和储备相关领域的专业人才，更能扩展软件工程师们的技能集，从而能够处理更广泛的项目，在产品设计和服务创新上取得先机！
无论你是什么职业背景，只要你对人工智能及端侧 AI 感兴趣，本次论坛都是为你量身打造的。
职场人士
无论你是研发工程师、项目经理、产品经理或者技术开发者，掌握端侧 AI 的相关技术知识和应用能力，提升你的技术水平，将帮助你在职场上更具有竞争力。
企业家
无论是手机、智能穿戴、智能座舱、智能家居或者智能终端行业，都在逐步部署端侧 AI。通过这场论坛，你将更好地了解端侧 AI 如何赋能企业，帮助贵公司在转型过程中做出更具前瞻性的决策。
研究员/学生
无论你是想拓展新的研究领域，还是想提前为职场生涯累积技术知识，深入了解端侧 AI 的技术发展趋势及应用，这将是你未来人生路上的加分项。
长期从事稀疏计算电路与系统研究，发表论文80余篇，谷歌学术施引千余次。他带领团队提出FlightLLM是全球首个FPGA大模型推理IP，相比GPU能效提升6倍。曾获DATE’24、ASP-DAC’19 最佳论文奖，和多次会议最佳论文提名，个人曾获2022 WAIC云帆奖等荣誉。
2019年博士毕业于华中科技大学，专注于深度学习模型推理性能优化。在OPPO开发了针对Transformer结构模型的高性能端侧推理引擎Transformer-Lite，实现Transformer模型端侧GPU推理性能业界高度领先，支持了智能消除等算法端侧部署。
面壁智能副总裁，端侧大模型项目负责人，主导负责面壁CPM-C千亿大模型，面壁MiniCPM系列端侧大模型项目研发。特别是面壁“小钢炮”MiniCPM系列端侧模型，包含基座模型MiniCPM和多模态模型MiniCPM-V，凭借以小博大、高效低成本的特性享誉全球。
负责“周易” NPU IP产品，致力于对接并满足多样化端侧硬件设备的不同AI计算需求。他深耕AI领域，拥有丰富的架构设计经验，涵盖了从AI高性能计算到AI高能效比设计等多个重要领域，曾带领团队多次实现了成功流片到顺利量产的目标，显著提升了AI大芯片的能效比。
自加入安谋科技以来，鲍敏祺先生负责NPU IP产品的定义与市场推广，并推动这些前沿技术的实际应用与落地。
目前带领团队负责研究智能终端，视频理解与生成等相关研究领域。在CVPR，ICCV，ECCV，PAMI等顶级期刊会议发表数十篇论文，谷歌学术引用数超过10000。组织发布了 3D 数据集项目 OpenXDLab，包括 RenderMe-360、DNA-Rendering和 OmniObject 3D（CVPR2023 最佳论文候选）。作为作者之一获得中国图像图形学学会技术发明一等奖。负责技术产品包括端侧大模型SenseChat-Lite，手机人脸识别SenseID，手机智能抓拍BestMoment，增强现实平台SenseMARS，智能车舱SenseCabin等。
蔚来自动驾驶部门资深技术专家，高级总监，毕业于新加坡国立大学，曾就职于国内知名l4自动驾驶公司以及长安汽车，曾获得多个国际无人机奖项并发表多篇国际期刊。
主导编译器功能研发，参与算能全系列TPU在视觉和语言算法领域的适配与优化，实现了大语言模型的INT8和INT4自动量化功能，将Llama、Qwen、ChatGLM等主流大语言模型的运行性能提升近4倍。
咨询本次论坛更多信息，如团购、发票、内容等相关问题，欢迎添加机器之心小助手（ID：13661489516）或通过邮件（panminmin@jiqizhixin.com）进行咨询。
活动现场还将设置抽奖环节，获奖者将会获得《大模型应用开发：动手做 AI Agent》。
