荆州市都会治理执法委员会
政府信息果真
您现在的位置：首页
俩人拼出 40 万的 Mac ങ芝麻无删减版9;冰冰无删减原版迅雷Studio「缝合怪」 ，，双开满血 DeepSeek 不在话下
几个月前 ，，爱范儿在一台 M3 Ultra 的 Mac Studio 上 ，，乐成安排了 671B 的 DeepSeek 的外地大模子（4-bit 量化版） 。。
而若是咱们搞来 4 台顶配 Mac Studio……
- 每一台都是 M3 Ultra
- 512GB 一致内存
- 819GB/s 内存带宽
- 80 核 GPU
- 80Gbps 雷雳 5 双向传输……
把这四头猛兽 ，，经由开源工具串联成一个「桌面级 AI 集群」——能否把外地推理的天花板再抬高一个维度？？？？？？
这也是来自英国创业公司 Exo Labs 正考试处置惩罚的问题 。。而爱范儿成为了第一批见到这个全新处置惩罚妄想的我国媒体之一 。。
「田主家也没有余粮」
你可能会以为 ，，像牛津这样的尖端大学肯定 GPU 多得用不完 ，，但着实彻底不是这样 。。
Exo Labs 首创人 Alex 和 Seth 结业于牛津大学——即便在这样的顶尖高校做钻研 ，，想要运用 GPU 集群也需求提早数月排队 ，，一次只能请求一张卡 ，，流程绵长而低效 。。
（ 甭说牛津大学了 ，，就连美国的国家试验室系统 ，，具有的超算集群算力也相同需求预定排队 。。 ）
Alex 和 Seth 发明了一个征象：其时 AI 根底设施的高度集中化 ，，使得小我私家钻研者和小型团队被边沿化 。。
为了处置惩罚问题 ，，他们在上一年 7 月启动了第一次试验 ，，串联了手头上的两台 MacBook Pro ，，然后跑通了 LLaMA 模子 。。只管功效有限 ，，每秒只能输出 3 个 token ，，但现已足以验证 Apple Silicon 架构用于 AI 漫衍式推理的可行性 。。
更主要的是 ，，只管 LMStudio 等外地跑大模子的根底设施处置惩罚妄想现已较量普遍了 ，，但串联多台消耗级电脑——组成集群——相关妄想在其时依然归于「不知道水域」 。。
而这个小团队的作业 ，，也被苹果注重到了 。。
MacBook Pro 的算力终究是有限的 ，，而二人集群化 Mac 电脑的作业 ，，在今年 3 月迎来了一个要害的转折点：苹果宣布了 M3 Ultra 顶配处置惩罚器版别的 Mac Studio 。。
512GB 一致内存、819GB/s 的内存带宽、80 核 GPU ，，再加上 Thunderbolt 5 的 80Gbps 双向传输才华——真实强有力的 ，，足以运转 2025 上半年满血版大模子的外地 AI 集群 ，，总算从理想酿成了实践 。。
一起跑两个 670 范冰冰无&芝麻无删减版#21024;减原版迅雷亿参数大模子是什么体会？？？？？？
4 台顶配 M3 Ultra 的 Mac Studio 经由 Thunderbolt 5 串联后 ，，账面数据适当惊人：
- 128 核 CPU（32×4）
- 240 个 GPU 中心（80×4）
- 2TB 一致内存（512GB×4）
- 总内存带宽逾越 3TB/s
这样的组合 ，，功效现已称得上是一台小型超算了 ，，但从体积上依然（牵强）可归到「家用级」 。。
但硬件仅仅根底 ，，真实验展效能的要害是 Exo Labs 开发的漫衍式模子调理渠道 Exo V2 。。Exo V2 会依据内存与带宽状态将模子自动拆分 ，，安排在最合适的节点上 。。
Exo Labs 和苹果在现场供应了 Exo V2 的 demo ，，向爱范儿展现了以下中心才华：
大模子加载：8-bit 量化后的 DeepSeek ，，完好载入需求高达 700GB 内存 ，，单台 Mac Studio 无力承当 。。而 Exo 的软件会将模子拆分安排到 2 台 Mac Studio 上完结加载 。。激活后 ，，它的流式输出「打字速率」基础上逾越了人的阅览速率 。。
并行推理：在 DeepSeek V3 仍在两台顶配 Mac Studio 上跑着的一起 ，，又加载了相同 670 亿参数的 DeepSeek R1 。。舷立行将 R1 分派到剩下的两台 Mac Studio ，，完结两个大模子并行推理 ，，支持多用户一起发问 。。
私有文档 RAG 问答：拖入公司财报 PDF ，，模子在外地完结知识嵌入与问答 ，，不依赖任何云端资源 ，，数据彻底私有可控 。。
轻量微调：若企业有数千份内部资料 ，，可经由 QLoRA + LoRA 手艺举行外地微调 。。若是只用单台 Mac Studio ，，微调的耗时依然长达数日 ，，但 Exo 的集群调理才华 ，，使得训练使命可线性加速 ，，大幅缩短时刻资源 。。
重大的资源差别
爱范儿在现场后台视察拓扑图发明：即便 4 台机械一起处于高负载状态 ，，整套系统功耗一直控制在 400W 以内 ，，运转简直无电扇噪音 。。
要在古板效劳器妄想中完结一律功效 ，，至少需求安排 20 张 A100 显卡 ，，效劳器加网络装备资源超 200 万人民币 ，，功耗达数千瓦 ，，还需自力机房与制冷系统 。。
<
Exo Labs 凭证 M3 Ultra Mac Studio 开发的这个套组 ，，起价钱 32999 元 ，，装备 96GB 一致内存 。。而 512GB 的顶配版别 ，，更是价钱不菲 。。
但从手艺视点来看 ，，一致内存架构带来的优势是革命性的 。。
在妄想 M 芯片之初 ，，苹果更多是为节能、高效的小我私家创立而生 。。但一致内存、高带宽 GPU、Thunderbolt 多路径聚合等特征 ，，反而十分合适 AI 外地推理这件事 ，，只管意料之外 ，，却又在情理之中 。。
古板 GPU ，，即即是最高端的作业站卡 ，，显存一样平常也只要 96GB 。。而苹果的一致内存让 CPU 和 GPU 同享统一块高带宽内存 ，，阻止了数据在差别存储层级之间的一再转移 ，，这对大模子推理来说寄义严重 。。
虽然 ，，EXO 这套妄想也有显着的定位差别 。。它不是为了与 H100 正面临立 ，，不是为了训练下一代 GPT ，，而是为了处置惩罚实践的使用问题：运转自己的模子 ，，维护自己的数据 ，，举行须要的微调优化 。。
若是说 H100 是金字塔顶的王者 ，，而 Mac Studio 正在成为中小团队手中的瑞士军刀 。。
本文来自微信公共号“爱范儿”（ID：ifanr） ，，作者：乔纳森何 ，，36氪经授权宣布 。。
相关附件
荆州市都会治理执法委员会主理荆州新闻网承办
地点：湖北省荆州市沙市区北京西路307号
联系电话：0716-8270890传真：
鄂ICP备05028271号鄂公网安备 42100202000246号网站标识码：4210000057
