新模型动态 · 视频文字版 · AI 整理
骁龙峰会现场:300亿参数大模型在手机本地跑,端侧智能体成主角
作者在夏威夷骁龙峰会现场看到300亿参数大模型在骁龙手机上完全本地运行,能自主拆解任务、安排行程。视频介绍了新一代至尊版芯片的架构升级、大模型权重按需读取的原理、Liquid Context个人记忆方案,以及本地语音识别、智能眼镜等展区演示,并提到语音输入不能边说边出字等限制。
作者:林亦LYi · 视频发布 · AI 整理
查看原视频 ↗(新窗口打开)视频是作者在夏威夷骁龙峰会的现场见闻。开场先展示了一个亮点:一个300亿参数的大模型,正运行在搭载骁龙平台的手机上,推理完全在本地完成,而且不只能聊天——现场给它一封骁龙峰会邀请函,它自己把任务拆成6步,开始排行程、找航班、找酒店,关键操作会回来找用户确认。
芯片方面,高通今年发布了双旗舰:第六代骁龙8至尊版和第六代骁龙8超级至尊版,由小米18 Pro系列全球首发,摩托罗拉Signature 27是搭载超级至尊版的首批机型。超级至尊版的架构提升包括:CPU用Flex Cache减少任务切换时的重复取数,GPU性能提升44%,新增专门跑AI任务的Matrix Core计算单元,NPU片上共享内存增加50%,让更多计算数据留在处理器附近。
视频重点解释了开头那个300亿参数模型为什么能跑起来。它的权重不用一直塞在运存里,而是放在手机存储上,用到哪部分再读取哪部分。此前的MOE混合专家模型虽然每次只激活一小部分参数,但为了保证速度,常见做法仍是把全部权重放进内存,因为用到时才从存储读取,计算就得停下来等数据。这次能改变做法,一是UFS 5.0提高了存储读取速度,同样一份模型数据搬进运存需要的时间更短;二是高通配合智能存储管理,把常用权重留在运存里复用,再结合预测安排其他权重的读取,减少临时等数据的时间,实现一边按需读取一边推理,让小手机跑大模型有了很大想象空间。
记忆方面,视频介绍了Liquid AI与高通合作的Liquid Context:在用户授权后,从备忘录、照片、消息中提取重要信息,在本地持续整理成个人记忆,再交给智能体使用,这样AI不用每次从头了解用户;换模型甚至换设备,这份了解也能一并迁移。现场展示的智能体已能根据日常信息整理日程、提前准备社交内容。
展区部分,作者体验了一套全程在设备本地完成的语音识别,纠正口误、整理文字都不交给云端模型,实现隐私保护,但它要说完一段才能输出,不能边说边出字,作者觉得还不如常用的智能输入法顺手。此外还有可识别眼前物品并调用购物服务下单的智能眼镜、高通发布的智能胸针参考设计,以及新的骁龙8 Gen 2音频平台,连耳机也开始往智能体方向靠。
视频最后抛出问题:端侧智能体接下来最先能把哪件事做好,哪些智能功能是大家真的愿意每天用的,并邀请观众在评论区讨论。