潮游速递网

您的位置:首页 > 攻略秘籍

四台MacStudio合体打造AI集群!1.5TB内存加持,硬件成本直逼30万

2026-02-12 04:02:08 来源:潮游速递网 作者:admin

12月25日消息,近日知名工程师Jeff Geerling完成了一项挑战,借助macOS 26.2最新的系统特性,将四台M3 Ultra Mac Studio成功整合,构建出一台配备1.5TB统一内存的AI计算集群。

这次集群能够成功,关键在于macOS 26.2所引入的核心功能——RDMA over Thunderbolt 5。借助Thunderbolt 5接口,该功能可让一台Mac直接读取另一台Mac的内存,且整个过程无需CPU介入。

在Geekbench 6的多核测试环节,这个集群毫无压力地超过了Dell Pro Max with GB10与Framework Desktop;其双精度浮点数性能甚至突破了1TFLOPS,同时闲置状态下的功耗还不到10W。

在AI推理性能测试中,单机部署Llama 3.2 3B模型时,每秒token处理量可达154.6个;而运行更大规模的Llama 3.1 70B模型时,每秒仍能稳定维持14.1个token的处理速度,这两项测试结果均显著领先于同类竞品。

另外,在尝试运行DeepSeek R1 671B超大型模型的过程中,其他系统都没办法正常工作,不过Mac Studio集群依靠它1.5TB的统一内存,成功应对了这一挑战。

在这个AI集群里,RDMA over Thunderbolt 5起到了关键作用,开启RDMA后,内存访问延迟从TCP的300微秒降到了50微秒以内。

在利用exo系统对Qwen3 235B进行测试的过程中,四台设备每秒能够处理31.9个token,这一速度相较于llama.cpp TCP提升了一倍还多;而DeepSeek V3.1的表现更为出色,每秒可处理的token数量达到了32.5个。

尽管RDMA性能优异,不过在负载较高的情况下,偶尔还是会发生系统崩溃的现象

另外需要留意的是,由Mac Studio搭建的AI集群整体硬件成本大约是40000美元(折合人民币约28万元),和另外两个平台比起来,这个价格要更高一些。

免责声明:潮游速递网发此文仅为传递信息,不代表潮游速递网认同其观点或证实其描述。

同时文中图片应用自网络,如有侵权请联系删除。

最新文章
侠客游扪心玩法指南

02:12

游戏评测
侠客游扪心玩法指南

© Copyright © 2012-2024 潮游速递网 All Rights Reserved   联系邮箱:wy1294467727@163.com

陇ICP备2024012075号-1