博源国际

俩人拼出 40 万的 Mac 湛江市哪里有色情场所色情影视 欲Studio「缝合怪」 ，，，，，，双开满血 DeepSeek 不在话下

泉源：荆州市融媒体中心 宣布时间： 2025-08-17 04:16:55

几个月前 ，，，，，，爱范儿在一台 M3 Ultra 的 Mac Studio 上 ，，，，，，乐成安排了 671B 的 DeepSeek 的外地大模子（4-bit 量化版）。。。。。。

而若是咱们搞来 4 台顶配 Mac Studio……

  • 每一台都是 M3 Ultra
  • 512GB 一致内存
  • 819GB/s 内存带宽
  • 80 核 GPU
  • 80Gbps 雷雳 5 双向传输……

把这四头猛兽 ，，，，，，经由开源工具串联成一个「桌面级 AI 集群」——能否把外地推理的天花板再抬高一个维度？？？？ ？？

这也是来自英国创业公司 Exo Labs 正考试处置惩罚的问题。。。。。。而爱范儿成为了第一批见到这个全新处置惩罚妄想的我国媒体之一。。。。。。

「田主家也没有余粮」

你可能会以为 ，，，，，，像牛津这样的尖端大学肯定 GPU 多得用不完 ，，，，，，但着实彻底不是这样。。。。。。

Exo Labs 首创人 Alex 和 Seth 结业于牛津大学——即便在这样的顶尖高校做钻研 ，，，，，，想要运用 GPU 集群也需求提早数月排队 ，，，，，，一次只能请求一张卡 ，，，，，，流程绵长而低效。。。。。。

（ 甭说牛津大学了 ，，，，，，就连美国的国家试验室系统 ，，，，，，具有的超算集群算力也相同需求预定排队。。。。。。 ）

Alex 和 Seth 发明了一个征象：其时 AI 根底设施的高度集中化 ，，，，，，使得小我私家钻研者和小型团队被边沿化。。。。。。

为了处置惩罚问题 ，，，，，，他们在上一年 7 月启动了第一次试验 ，，，，，，串联了手头上的两台 MacBook Pro ，，，，，，然后跑通了 LLaMA 模子。。。。。。只管功效有限 ，，，，，，每秒只能输出 3 个 token ，，，，，，但现已足以验证 Apple Silicon 架构用于 AI 漫衍式推理的可行性。。。。。。

更主要的是 ，，，，，，只管 LMStudio 等外地跑大模子的根底设施处置惩罚妄想现已较量普遍了 ，，，，，，但串联多台消耗级电脑——组成集群——相关妄想在其时依然归于「不知道水域」。。。。。。

而这个小团队的作业 ，，，，，，也被苹果注重到了。。。。。。

MacBook Pro 的算力终究是有限的 ，，，，，，而二人集群化 Mac 电脑的作业 ，，，，，，在今年 3 月迎来了一个要害的转折点：苹果宣布了 M3 Ultra 顶配处置惩罚器版别的 Mac Studio。。。。。。

512GB 一致内存、819GB/s 的内存带宽、80 核 GPU ，，，，，，再加上 Thunderbolt 5 的 80Gbps 双向传输才华——真实强有力的 ，，，，，，足以运转 2025 上半年满血版大模子的外地 AI 集群 ，，，，，，总算从理想酿成了实践。。。。。。

一起跑两个 湛江市哪里有色情场所670 亿参数大模子是什么体会？？？？ ？？

4 台顶配 M3 Ultra 的 Mac Studio 经由 Thunderbolt 5 串联后 ，，，，，，色情影视 欲账面数据适当惊人：

  • 128 核 CPU（32×4）
  • 240 个 GPU 中心（80×4）
  • 2TB 一致内存（512GB×4）
  • 总内存带宽逾越 3TB/s

这样的组合 ，，，，，，功效现已称得上是一台小型超算了 ，，，，，，但从体积上依然（牵强）可归到「家用级」。。。。。。

但硬件仅仅根底 ，，，，，，真实验展效能的要害是 Exo Labs 开发的漫衍式模子调理渠道 Exo V2。。。。。。Exo V2 会依据内存与带宽状态将模子自动拆分 ，，，，，，安排在最合适的节点上。。。。。。

Exo Labs 和苹果在现场供应了 Exo V2 的 demo ，，，，，，向爱范儿展现了以下中心才华：

大模子加载：8-bit 量化后的 DeepSeek ，，，，，，完好载入需求高达 700GB 内存 ，，，，，，单台 Mac Studio 无力承当。。。。。。而 Exo 的软件会将模子拆分安排到 2 台 Mac Studio 上完结加载。。。。。。激活后 ，，，，，，它的流式输出「打字速率」基础上逾越了人的阅览速率。。。。。。

并行推理：在 DeepSeek V3 仍在两台顶配 Mac Studio 上跑着的一起 ，，，，，，又加载了相同 670 亿参数的 DeepSeek R1。。。。。。舷立行将 R1 分派到剩下的两台 Mac Studio ，，，，，，完结两个大模子并行推理 ，，，，，，支持多用户一起发问。。。。。。

私有文档 RAG 问答：拖入公司财报 PDF ，，，，，，模子在外地完结知识嵌入与问答 ，，，，，，不依赖任何云端资源 ，，，，，，数据彻底私有可控。。。。。。

轻量微调：若企业有数千份内部资料 ，，，，，，可经由 QLoRA + LoRA 手艺举行外地微调。。。。。。若是只用单台 Mac Studio ，，，，，，微调的耗时依然长达数日 ，，，，，，但 Exo 的集群调理才华 ，，，，，，使得训练使命可线性加速 ，，，，，，大幅缩短时刻资源。。。。。。

重大的资源差别

爱范儿在现场后台视察拓扑图发明：即便 4 台机械一起处于高负载状态 ，，，，，，整套系统功耗一直控制在 400W 以内 ，，，，，，运转简直无电扇噪音。。。。。。

要在古板效劳器妄想中完结一律功效 ，，，，，，至少需求安排 20 张 A100 显卡 ，，，，，，效劳器加网络装备资源超 200 万人民币 ，，，，，，功耗达数千瓦 ，，，，，，还需自力机房与制冷系统。。。。。。

<色情ô湛江市哪里有色情场所33;视 欲strong>——就这样 ，，，，，，苹果 M 芯片在 AI 大模子的浪潮中 ，，，，，，意外地找到了一个新的定位。。。。。。简直令人没想到。。。。。。

Exo Labs 凭证 M3 Ultra Mac Studio 开发的这个套组 ，，，，，，起价钱 32999 元 ，，，，，，装备 96GB 一致内存。。。。。。而 512GB 的顶配版别 ，，，，，，更是价钱不菲。。。。。。

但从手艺视点来看 ，，，，，，一致内存架构带来的优势是革命性的。。。。。。

在妄想 M 芯片之初 ，，，，，，苹果更多是为节能、高效的小我私家创立而生。。。。。。但一致内存、高带宽 GPU、Thunderbolt 多路径聚合等特征 ，，，，，，反而十分合适 AI 外地推理这件事 ，，，，，，只管意料之外 ，，，，，，却又在情理之中。。。。。。

古板 GPU ，，，，，，即即是最高端的作业站卡 ，，，，，，显存一样平常也只要 96GB。。。。。。而苹果的一致内存让 CPU 和 GPU 同享统一块高带宽内存 ，，，，，，阻止了数据在差别存储层级之间的一再转移 ，，，，，，这对大模子推理来说寄义严重。。。。。。

虽然 ，，，，，，EXO 这套妄想也有显着的定位差别。。。。。。它不是为了与 H100 正面临立 ，，，，，，不是为了训练下一代 GPT ，，，，，，而是为了处置惩罚实践的使用问题：运转自己的模子 ，，，，，，维护自己的数据 ，，，，，，举行须要的微调优化。。。。。。

若是说 H100 是金字塔顶的王者 ，，，，，，而 Mac Studio 正在成为中小团队手中的瑞士军刀。。。。。。

本文来自微信公共号“爱范儿”（ID：ifanr） ，，，，，，作者：乔纳森何 ，，，，，，36氪经授权宣布。。。。。。

相关附件

扫一扫在手机上审查目今页面