比 GPT-4 运行成本更低的 Arrakis 模型，因表现不及预期被叫停。

撰文：金鹿

编辑：郝博阳

来源：腾讯科技

去年年底，当聊天机器人 ChatGPT 开始在全球引发轰动的时候，人工智能研究公司 OpenAI 的工程师们就已经开始着手研究新的人工智能模型，并为其取代号 Arrakis。

OpenAI CEO Sam Altman

尽管 OpenAI 利用大语言模型（LLM）GPT-4 提升了 ChatGPT 的性能，但 Arrakis 模型将使该公司能够以更低的成本运行聊天机器人。Arrakis 的成功也将帮助 OpenAI 向微软展示其连续创建大语言模型的超能力，这对两家公司完成 100 亿美元投资和产品合作谈判都具有重要意义。

但据知情人士透露，到 2023 年中期，OpenAI 取消了 Arrakis 的发布，因为该模型的运行效率并没有公司预期的那么高。这一失误意味着，OpenAI 失去了许多宝贵的发展时间，并需要将资源转移到开发不同的模型上。此外，此次失败也让微软的多位高管感到失望，因为后者曾花费巨资购买了在其产品中使用 OpenAI 新技术的权限。

Arrakis 项目受挫可能打破 OpenAI 不可战胜的光环。此前，OpenAI 击败了人工智能先驱谷歌，并打造了历史上增长最快的软件业务之一。这表明，人工智能的前沿领域充满了难以预测的陷阱。

虽然 Arrakis 的问题并没有拖累 OpenAI 今年的业务，但随着推出新大语言模型的竞争加剧，这家初创公司可能会在明年感受到影响。例如，谷歌即将推出人工智能模型 Gemini，并希望其能在编码和其他能力以及响应的准确性方面击败 GPT-4。

就 OpenAI 而言，该公司继续对其业界领先的模型进行改进，包括解码图像的能力，并计划在 11 月份宣布一系列新功能。大语言模型是 ChatGPT 等产品的基础，OpenAI 内部甚至认为其有可能成为一种操作系统，包括用于个人设备，因为这些模型能够编写代码、理解图像和检索文件等。

得益于 GPT-4 带来的巨大优势，OpenAI 的业务迅速膨胀。OpenAI 之所以能达到年化 13 亿美元的收入（远高于去年全年的 2800 万美元），主要归功于 GPT-4，它为 ChatGPT 的付费版本提供动力。在今年第二季度出售员工股份后，OpenAI 的账面价值约为 300 亿美元，但该公司正试图大幅提高这一估值。

表现不及预期被叫停

据知情人士透露，OpenAI 从去年秋天开始开发 Arrakis，希望开发出一种与 GPT-4 能力相当但运行效率更高的模型，部分原因是利用了机器学习领域所谓的稀疏性 (Sparsity)。稀疏性指的是模型具有非常大的容量，但只有模型用于给定任务、样本或标记的某些部分被激活。这样，能够显著增加模型容量和能力，而不必成比例增加计算量。

谷歌等其他人工智能开发商也公开讨论了他们对稀疏性的使用，OpenAI 成功地将这个概念纳入了早期的软件中。他们说，Arrakis 将允许 OpenAI 更广泛地推广其技术，因为该公司可以使用数量有限的专用服务器芯片来为其软件提供支持。

到了今年春天，OpenAI 的研究人员开始训练其新模型，其中包括使用先进的计算硬件来帮助模型处理大量数据，以便它能够学习其中的模式。知情人士说，OpenAI 预计这将比训练 GPT-4 的成本低得多。然而员工们很早就意识到该模式的表现不够好，无法获得预期的效果。在员工们花了大约一个月的时间试图解决这些问题后，OpenAI 管理层决定叫停这个项目。

不过，尽管遭遇挫折，OpenAI 仍然可以将其在 Arrakis 上的工作整合到其他模型中。其中包括即将推出的模型 Gobi，它可以生成或分析文本和视觉效果，也被称为多模态模型。

两位知情人士表示，OpenAI 曾试图提高模型的稀疏性从而降低运行成本，但 Arrakis 的表现依然低于该公司的预期。这个模型在早期测试中表现不错，但其在之后的测试中表现不佳的原因尚不清楚。

一位知情人士说，Arrakis 是以《沙丘》系列中一颗沙漠星球命名的，这是对模型设计中使用稀疏性的一种象征。OpenAI 其他模型的代号（包括 Gobi 和 Sahara），其公开为 GPT-3.5 Turbo，也使用了类似的沙漠象征，以反映 OpenAI 正努力使模型变得稀疏。

类似这种感觉

两位知情人士表示，自从 Arrakis 项目失败后，OpenAI 研究人员开始转向开发新版本的 GPT-4，以期更快地对用户需求进行响应。其中一位知情人士说，OpenAI 曾讨论将更新后的模型称为 GPT-4 Turbo，这也是 OpenAI 在 Arrakis 失败之前考虑过的对外名称。

对于 OpenAI 来说，随着人们对该技术成本的担忧日益加剧，以及开源替代方案的激增，让其模型变得更便宜、更高效是他们的当务之急。OpenAI 发言人未予置评。

知情人士表示，微软使用 OpenAI 的 GPT 模型来支持 Office 365 应用和其他服务中的人工智能功能，并预计 Arrakis 将提高性能并降低这些功能的成本。微软搜索引擎必应依靠 GPT-4 和其他模型为类似 ChatGPT 的聊天机器人提供支持，该公司原本希望在 2023 年初就能用上 Arrakis 模型，但这个目标最终未能实现。

这次升级失败在商业上可能给微软带来了很大损失。因为很可能在早期发布产品时，微软是按照该计划可成功的预期进行定价的。根据华尔街日报的报道，微软的拳头 AI 产品 GitHub Copilot 定价 10 美元，而平均每个月在每个用户身上都要倒贴 20 美元，最高能达 80 美元。这表明，微软一个月在这一款软件中的亏损就高达 3000 万美元，一年亏损预计过亿。

据悉，自那以后，微软始终致力于开发其他大语言模型。与 OpenAI 相比，这些大模型的运行成本可能更低。

降低成本成未来趋势

许多行业从业者预计，稀疏性模型能够降低人工智能开发成本。在今年 8 月的一次会议上，谷歌首席科学家、Gemini 人工智能模型的主要开发者杰夫·迪恩 (Jeff Dean) 表示，未来几年，该行业将朝着稀疏性模型的方向发展。

与 Llama 2 等「更密集」的模型不同，稀疏性模型只调用模型内的某些计算，即完成任务所需的参数，使该过程更具成本效益。迪恩说：「稀疏计算将是未来的一个重要趋势！」

许多人工智能从业者说，增加稀疏性的一种方法是通过一种被称为「混合专家模型」的技术。在这种技术中，大型模型的特定部分被训练来处理某些任务。换句话说，这些子模型成为执行这些任务的专家，这样就不需要触发整个模型。知情人士称，OpenAI 将这项技术纳入了 GPT-4, Arrakis 也会这样做。

GPT4 是由多专家模型组成的稀疏模型

加州大学伯克利分校的计算机科学教授伊安·斯托伊卡 (Ion Stoica) 在一封电子邮件中写道：「一般来说，专家模型的数量越多，模型就越稀疏，效率也越高。然而，这也可能会导致结果不那么准确。」