在 Mac 上运行本地大模型已经不是什么新鲜事了，但如果模型太大，一台 Mac 的内存装不下怎么办？

苹果似乎准备提供一个更简单的办法：把几台 Mac 用 Thunderbolt 5 连接起来，让它们一起运行 AI 大模型。

近日有 X 用户 @Aaron 爆料消息称，苹果正在开发一款名为 Harbor 的新应用，专门用于将 Mac 变成私有 AI 推理服务器。

Harbor：让 Mac 变成 AI 服务器

根据曝光的产品介绍，Harbor 可以在搭载 Apple Silicon 芯片的 Mac 上运行开放权重 AI 模型，所有推理过程都在本地完成，数据无需上传云端。

它提供了几个主要功能：

• 本地运行 AI 模型：利用 Apple Silicon 和统一内存运行大模型，数据保留在自己的设备上。
• 内置模型管理：直接在应用中浏览、下载和加载模型，不需要手动配置运行环境。
• 自动组建集群：通过 Thunderbolt 5 连接多台 Mac，应用自动发现设备并完成配置。
• 支持更大模型：利用多台 Mac 的内存资源，运行单台设备无法容纳的模型。
• 提高并发能力：通过多机协作，为更多用户或应用同时提供 AI 推理服务。

其中最值得关注的，是多台 Mac 的协同推理能力。

插上线，多台 Mac 一起运行大模型

假设你有两台配备 64GB 统一内存的 Mac，单独运行时，每台机器都受到自身内存容量的限制。

但通过 Harbor，理论上可以让两台机器共同承担一个大模型的推理任务，突破单机内存容量的限制。

按照曝光的介绍，用户只需要连接支持 Thunderbolt 5 的 Mac，启动应用，就能自动发现设备并建立集群。

无需命令行，无需手动配置网络，也不需要了解分布式推理技术。

对于想运行大型本地模型、但不愿意折腾部署环境的用户来说，这可能是 Harbor 最有吸引力的地方。

目前仍处于私人预览阶段

根据爆料，Harbor 目前以苹果旗下 Claris 品牌进行私人预览，Claris 是苹果旗下的软件公司，主要提供 FileMaker 等企业应用开发和数据管理工具。

这也意味着 Harbor 最初可能面向开发者或企业用户，而不一定直接面向所有 Mac 用户。

已有第三方项目实现

事实上，利用多台 Mac 协同运行 AI 模型并不是新技术。

此前，开源项目 exo 就已经尝试将多台设备组成 AI 推理集群，让不同设备共同运行大型模型。

苹果亲自下场之后，可以期待苹果能否把已有的分布式推理技术进一步整合成面向普通用户的产品，让多台 Mac 运行大模型变得像安装普通应用一样简单。

---

原文：https://www.appinn.com/apple-harbor-mac-ai-cluster/