跳到内容

Apple Foundation Models:独立 Mac 开发者用设备端 AI 能做些什么

简要游览一遍这个框架、它擅长什么、不擅长什么,以及对那些想要 AI 功能却不想要一笔云端账单的小应用意味着什么。

9 分钟阅读

有大约三年时间,每一个想推出“AI 功能”的独立开发者都不得不做同一个让人不舒服的决定。要么付一笔随用户线性增长的 OpenAI 或 Anthropic 账单,要么干脆跳过 AI 功能。对一个一次性购买的应用来说,这笔账很残酷。每位用户每月几美分,几个月内就能摧毁一个 $9.99 终身应用的利润。

在 WWDC 2025 上宣布、并在 macOS 26(Tahoe)中推出的 Apple Foundation Models 框架,改变了这笔账。这个框架让开发者能以编程方式访问那个驱动着用户 Mac 上 Apple Intelligence 功能的、同一个设备端语言模型。模型在本地运行。你的应用不为推理付费。用户不需要 API 密钥。文本绝不离开设备。

这篇文章是一次实用的游览,讲讲独立开发者用这个框架究竟能做什么、它不擅长什么,以及这场架构转变对一款专注的 Mac 应用意味着什么。

你得到的是什么

这个框架暴露了一个 LanguageModelSession,你可以用文本去提示它。模型用文本回应,并且可选地回应一个你用 @Generable 宏指定的结构化对象。对大多数应用来说,结构化输出模式是更有用的那个,因为它让你能说“给我返回符合这个 schema 的 JSON”,而不必去试着解析自由格式的文本。

一个典型的流程看起来是这样的:

  1. 创建一个会话,带上描述模型任务的系统指令。
  2. 发送一条用户消息。
  3. 读取结构化的回应。
  4. 用这个回应来驱动你的应用。

对于短提示,整个过程在毫秒级完成,对于长的则是几秒。没有网络调用。没有 API 密钥。除了设备本身能承受的限度之外,没有任何速率限制。

Cloud LLM call versus on-device model call Diagram comparing two architectures. The top row shows a user prompt going from a Mac, over the public internet, to a cloud LLM provider, then back. The bottom row shows the same prompt staying entirely on the Mac, processed by Apple's Foundation Models framework. The on-device path has no network arrow and no provider box. CLOUD LLM Your Mac user prompt Public internet latency, $$, privacy risk Cloud LLM provider per-token billing ON-DEVICE (FOUNDATION MODELS) Your Mac user prompt Foundation Models local, free, private
同一个提示,由云端 LLM(上)或由 Apple 的设备端 Foundation Models 框架(下)处理。设备端通路没有网络跳转,也没有按调用计费。

这个模型究竟擅长什么

与一个最先进的云端模型相比,设备端模型很小。它不是 GPT-4。把它当成 GPT-4 来对待会带来失望。它大放异彩的地方是一类特定的任务:

  • 分类。 “这个字符串是不是一个日期短语?”“这个任务属于这五个类别中的哪一个?”这些是设备端模型能可靠且快速处理的任务。
  • 结构化提取。 从一个自由文本输入里抽出特定的字段。“这个句子指代的是一天中的什么时间?”“这个句子里的动词是什么?”这个框架的结构化输出模式正是为此而生的。
  • 短文本改写。 把一条非正式的记录转成一个干净的标题、用一句话总结一个段落、修正一份草稿里的语法。模型擅长小型、有界的文本变换。
  • 语气调整。 让一份草稿更温暖、更简洁或更专业。同样的约束:短输入,有界的输出。

这就是一款效率应用实际所需的大部分。注意看看什么不在清单上:长篇生成、复杂推理、世界知识问题、代码生成。设备端模型能做那些,但没有云端模型做得好。如果那些是你产品的核心,你仍然需要云端。

这个模型不擅长什么

有三类任务你应该去用别的东西:

  1. 长上下文。 设备端模型的上下文窗口比云端模型小。喂给它一份 50 页的文档并要求分析,不会有好结果。改成喂给它相关的摘录。
  2. 开放式的创意写作。 它能做短篇的创意写作,但和一个前沿的云端模型相比,你会注意到差别。如果你的应用是面向小说家的写作助手,这大概不是你的模型。
  3. 用户期待最先进质量的任务。 如果你的用户会把你的输出和 ChatGPT 相比、并据此评判,你会输。这个模型对于隐形的实用功能很出色,对于 AI 是可见产品的那些任务则不那么出色。

正确的框定是:用设备端模型在后台让应用更聪明,而不是去当那个可见的产品。

这对独立定价意味着什么

设备端模型最有趣的后果是定价上的影响。在过去三年的大部分时间里,给推出 AI 功能的独立开发者的标准建议是“你必须收订阅费,因为推理成本是真实且循环的”。那个建议是对的。

对于设备端智能就够用的应用来说,它不再是对的了。一个一次性购买的应用之所以无法推出 AI,全部原因就是那个循环成本。如果循环成本是零,这个模型就崩了。你可以在一个一次性购买的应用里推出 AI 功能,而不会破产。

对那一小波试图复兴一次性购买模式的独立 Mac 应用来说,这是件大事。我们写过更广泛的趋势,但 AI 这一块是它在 2026 年管用的实际技术原因之一。

如何上手

这个框架是 macOS 26 上标准 Apple SDK 的一部分。没有单独的下载。没有 API 密钥。没有要创建的账号。在一个 Swift 文件里加上 import FoundationModels,创建一个 LanguageModelSession,发送一个提示,读取回应。

这个模型在满足 Apple Intelligence 系统要求的 Apple 芯片 Mac 上可用。较老的 Intel Mac 拿不到这个框架,所以如果你想支持它们,你的应用就需要一个后备策略。对今天发布的大多数独立 Mac 应用来说,一次可用性检查加一条优雅降级的路径就够了。没有这个模型的用户得到这个功能基于正则的版本;有这个模型的用户得到更聪明的版本。

这在 TodoBar 里是什么样子

TodoBar 把这个框架用作自然语言日期解析的后备。快速通路是正则表达式,它在不到一毫秒内捕获约 90% 的日期短语。当正则通路失败时,设备端模型上场一试,典型延迟约 50 毫秒,并返回一个对用户意图的结构化分类。我们在日期解析那篇文章里描述了完整的流水线。

这个模型对用户是隐形的。他们不知道它在那儿。他们只是注意到“in a couple hours”和“in 2 hours”运作的方式一样。那就是好的设备端 AI 的感觉。

这也是为什么一个 $9.99 一次性购买的应用,能推出一个一年前还需要订阅才能做到的功能。这笔账终于算得过来了。

TodoBar 是一款贴心的 macOS 菜单栏待办清单。支持大白话截止日期、全局快捷键、iCloud 同步。一次付费,永久属于你。

在 App Store 获取 TodoBar