Apple Machine Learning Research·原文发布· 19 小时前精选AI 评分62
在 Mac Studio 上用 MLX 和 RDMA 进行本地与分布式大模型推理
Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio
AI 导读
Apple 发布 MLX 新版本，展示在 Mac Studio 上本地运行前沿大模型的方法。四台 M5 Ultra Mac Studio 通过 RDMA over Thunderbolt 5 互联。
本站提供 AI 导读，完整报道请前往来源网站阅读。
阅读原文 Apple Machine Learning Research · machinelearning.apple.com
推荐理由
原文给出 MLX 在 Mac Studio 上单机与多机分布式推理的实测数据与命令，可据此评估本地跑大模型的可行边界。