← 全部 AI 新知

实用案例集 · 视频文字版 · AI 整理

AIPC科普:用厨房比喻讲本地大模型运行、选电脑看什么,以及本地模型能做什么

视频用厨房比喻解释本地大模型运行:CPU是主厨、GPU是帮厨、内存和显存是备菜台、带宽是传送带、硬盘是冷藏库;选AIPC主要看算力、带宽、显存或内存及价格平衡。还讲到统一内存、MOE模型,以及本地模型做AI视频、隐私批处理和离线办公等用途与限制。

作者:秋芝2046 · 视频发布 · AI 整理

查看原视频 ↗(新窗口打开)
视频先补基础知识:把一台配置比较齐全的PC想象成厨房。CPU是全能主厨,GPU是人数众多的帮厨团队;内存和显存分别是主厨与帮厨面前的备菜台;带宽是备菜台与厨师之间的传送带;硬盘是楼下冷藏库,存放本地模型文件。提问时,主厨收到点菜,指挥从硬盘把这道菜所需全部食材搬到帮厨的备菜台,再经传送带送到帮厨面前;帮厨分批烹饪,再把菜品一点点传回主厨端出,也就是得到AI回答。 由此,视频把选AIPC要看的指标归纳为三点:一看有没有帮厨团队以及人数多少,即算力;二看传送带宽窄,即带宽;三看帮厨面前备菜台有多大,即显存。转写提到消费级最好的独立显卡5090价格两万多,显存也只有32GB,因此72B、125B这类大模型在原来的消费级PC上直接放不下。把模型卸载到内存可以借主厨的台子,但独立显卡下内存与显存之间只有窄传送带,食材要一点点挤过去,帮厨大多时间在等食材。MOE模型虽然125B总参数量每次真正干活只需6B,但全部参数仍要先放进备菜台,所以显存不够还是会卡住。视频由此引出统一内存思路:让主厨和帮厨共用一张大备菜台,有足够空间直接塞下前沿大模型,也减少两张台子之间来回搬运。 接着,视频回答为什么用本地模型。云端AI像下馆子或点外卖,选择丰富,能点到很大的菜;本地模型像在家做饭,做不出佛跳墙,口味会比外面差一点,但差得没那么大。用途包括:AI视频方面,转写提到一条10秒的C站2.5价格不低,而本地Minimax H3可以无限抽;作者称用Minimax H3和C大肆跑同样提示词做对比。对精度要求不高的科普素材,可跑720P、5秒的片段,约5分钟一条,睡前把一批排好队彻夜自动跑,早上得到几十条素材,省下费用。隐私安全方面,本地模型不联网可处理账本、合同、账密,例如问某人的银行卡号和上月报销金额;也可批量把文件夹里1000张发票读取成表格并展示报告;因为不花额度,还能切不同模型和agents互相检验计算。离线场景则包括高铁、飞机、地下停车场无网时改PPT。 最后视频总结:选这类AIPC,就是在算力、带宽、显存或内存三种指标与价格之间找平衡,并按不同用途整理了一张配置参考表。限制在于本地能力仍比不过云端超算中心跑的万亿大模型,且具体体验取决于配置;本地模型文件放在硬盘,运行时受显存、内存和带宽制约。