是什么撑起了 MosaicML 的高估值？

撰文：elizeliu

近期，AI 领域掀起了一股投资收购热潮。全球知名企业 Salesforce 向 Anthropic 注资 4.5 亿美元，而 Runway 则成功筹集到了 1.41 亿美元的资金。此外，雪花公司也宣布完成了对 Neeva 的收购，而中国国内巨头美团则以 20.65 亿收购了 AI 公司光年之外。

然而，最引人瞩目的交易无疑是初创公司 MosaicML 的收购案。据了解，MosaicML 以约 13 亿美元的价格被大数据巨头 Databricks 收购，其估值在本次交易中翻了六倍，成为了今年上半年最大的收购案。仅成立 2 年时间，拥有 60 多名员工，是什么撑起了 MosaicML 的高估值？

Databricks 收购 MosaicML，加速生成式 AI 技术民主化

Databricks 近期正式宣布，以约 13 亿美元（约 93 亿元人民币）收购生成式人工智能初创公司 MosaicML，以提供为企业构建类 ChatGPT 工具的服务。

该收购之后，MosaicML 将成为 Databricks Lakehouse 平台的一部分，MosaicML 的整个团队和技术都将纳入 Databricks 旗下，为企业提供统一的平台来管理数据资产，并且能够使用自己的专有数据来构建、拥有和保护自己的生成式 AI 模型。

MosaicML 是一家非常年轻的生成式 AI 公司，它于 2021 年成立于旧金山，目前只公开披露过一轮融资，员工仅 62 人。在上一轮的融资中，其估值为 2.2 亿美元，也就是说，此次收购 MosaicML 的估值直接跃升了 6 倍。此笔交易是截至目前今年生成式 AI 领域内所公布的最大一笔收购案。就在不久前，云计算巨头 Snowflake 刚刚宣布收购了另一家生成式 AI 公司 Neeva。在经历了几个月的投资热之后，大型企业对生成式 AI 初创公司的大规模并购潮似乎正在开启。

Databricks 起源于 UC 伯克利，曾参与 Apache Spark 项目开发。作为数据存储和分析巨头，截至 2022 年估值 310 亿美元，帮助 AT&T、壳牌、Walgreens 等大型公司处理数据。前段时间，刚开源了自己大模型 Dolly，旨在以更少参数实现与 ChatGPT 类似的效果。而在云计算更加普及后，Spark 提出的「湖仓一体」理念，深深影响了一批大数据初创企业。自 2013 年成立后，Databricks 火速成长为全球最火的 Data Infra 公司。去年，Databricks 公布的年收入超过 10 亿美元，而在 2021 年 8 月完成最新一轮融资后，其最新估值达到 380 亿美金。

MosaicML MPT 系列模型的优势

MosaicML 的 MPT 系列模型是从 HuggingFace PretrainedModel 基类中子类化的，与 HuggingFace 生态系统完全兼容。MPT-7B 模型是 MosaicML 最受欢迎的模型之一，拥有数十亿个参数，可以处理超过 2,000 种自然语言处理任务。其中，MPT-7B 的优化层包括 FlashAttention 和低精度层范数等，可以让该模型比传统训练方法快 2-7 倍，资源的近线性可伸缩性确保了具有数十亿参数的模型可以在几小时内训练，而不是过去的几天。MosaicML 还发布了新的可商用的开源大语言模型 MPT-30B，拥有 300 亿参数，并且性能优于 GPT-3。

数据来源：MT-Bench 对 MosaicML 主流模型进行的评估

MPT 系列模型的优势在于它们的高效性和低成本。使用大量数据进行「训练」的人工智能模型的复杂度急剧上升，训练一个模型现在至少要花费数百万美元，除了大公司之外，其他中小型企业普遍都无法承受。而 MosaicML 的 MPT 系列模型可以让企业以更低的成本和更高的效率训练自己的语言模型，从而可以更轻松地应用生成式 AI 技术，实现更好的业务表现。大多数开源语言模型只能处理最多具有几千个 tokens 的序列（参见图 1）。但是，借助 MosaicML 平台和 8xA100-40GB 的单个节点，用户可以轻松微调 MPT-7B 以处理高达 65k 的上下文长度。处理这种极端上下文长度适应的能力来自 ALiBi，这是 MPT-7B 中的关键架构选择之一。

例如，《了不起的盖茨比》的全文不到 68k 个 Token。在一个测试中，模型 StoryWriter 阅读了《了不起的盖茨比》并生成了一个尾声。模型生成的尾声之一如图 2 所示。StoryWriter 在大约 20 秒内（每分钟约 15 万字）读完了《了不起的盖茨比》。由于序列长度较长，其「打字」速度比其他 MPT-7B 型号慢，每分钟约 105 个单词。尽管 StoryWriter 的上下文长度为 65k 进行了微调，但 ALiBi 使模型能够推断出比训练更长的输入：在《了不起的盖茨比》的情况下为 68k 个 Token，在测试中高达 84k 个标记。

图 2：MPT-7B-StoryWriter-65k+ 为《了不起的盖茨比》写了尾声。尾声的结果是提供《了不起的盖茨比》的全文（大约 68k 个 Token）作为模型的输入，后跟「尾声」一词，并允许模型继续生成。

生成式 AI 技术的普及

生成式 AI 技术是人工智能的一种分支，它利用大量的数据和深度学习算法，能够自动生成原始文本、图像和计算机代码等内容。这种技术的出现，让人们可以更加便捷地处理数据、分析数据，更好地服务于人类的需求。随着大数据和人工智能技术的快速发展，生成式 AI 技术已经被广泛应用于自然语言处理、图像识别和虚拟现实等领域。例如，在自然语言处理领域中，GPT-4 已经成为了最受欢迎的生成式 AI 模型之一，可以用于生成文章、翻译语言和回答问题等任务。在图像识别领域，StyleGAN2 能够生成高质量的图像，可以用于游戏开发、影视制作和虚拟现实等领域。

MosaicML 的 CEO Naveen Rao 此前曾表示，自 2018 年以来，使用大量数据进行「训练」的人工智能模型的复杂度急剧上升，训练一个模型现在至少要花费数百万美元，除了大公司之外，其他中小型企业普遍都无法承受。而此次收购之后，Databricks 的 Lakehouse 平台和 MosaicML 技术的联合产品将能够让企业可以使用自己的专有数据来简单、快速、低成本进行生成式 AI 模型的训练和构建，在让用户拥有数据的控制权和所有权的情况下，可以进行自定义 AI 模型开发。根据 Databricks 的相关说法，在 Databricks 和 MosaicML 的平台和技术支持下，企业训练和使用 LLMs 的成本将显著降低，预计可以降至数千美元左右。这为生成式 AI 的普及提供了便利。

Databricks 收购 MosaicML 的意义

Databricks 收购 MosaicML 的主要目的是加速生成式 AI 技术的发展和民主化。通过将两家公司的技术和资源整合起来，Databricks 可以更好地满足客户的需求，提供更高效、更便捷的解决方案。具体而言，该收购将带来以下几个方面的改变：

1. 更高效的大语言模型

Databricks 收购 MosaicML 后，可以将 MPT 系列模型集成到其 Lakehouse 平台中，为客户提供更高效、更低成本的大语言模型。 这将有助于企业更好地处理自然语言处理任务，提高业务效率和准确性。

2.更快的模型训练速度

MosaicML 的 MPT 系列模型具有快速训练的特点，这将有助于 Databricks 提供更快速的模型训练服务。这对于需要快速响应市场需求的企业来说尤为重要，可以帮助他们更好地满足客户的需求。

3. 更高的民主化程度

Databricks 收购 MosaicML 也意味着生成式 AI 技术的民主化程度将会进一步提高。MosaicML 的 MPT 系列模型可以让中小型企业更轻松地训练自己的语言模型，从而可以更好地应用生成式 AI 技术，实现更好的业务表现。这将有助于推动生成式 AI 技术的发展和应用，促进人工智能技术的普及和发展。

总结

生成式人工智能应用程序旨在根据用户的自然语言提示生成原始文本、图像和计算机代码。自去年 11 月人工智能初创公司 OpenAI 推出在线生成 AI 聊天机器人 ChatGPT 以来，人们对这项技术的兴趣激增。「每个组织都应该能够从人工智能革命中受益，并对其数据的使用方式有更多的控制。Databricks 和 MosaicML 有一个难以置信的机会来实现人工智能的民主化，并使 Lakehouse 成为构建生成式人工智能的最佳场所。」Databricks 联合创始人兼首席执行官 Ali Ghodsi 表示。

Databricks 收购 MosaicML 的意义不仅在于加速生成式 AI 技术的发展和民主化，更在于将两家公司的技术和资源整合起来，为客户提供更高效、更便捷的解决方案。随着人工智能技术的快速发展和应用，生成式 AI 技术将扮演着越来越重要的角色，Databricks 收购 MosaicML 的举动也体现了各企业对于这个方向的重视和投资。像 Anthropic 和 OpenAI 这样的公司将现成的语言模型授权给企业，然后企业在其上构建生成 AI 应用程序。在对这些模型的强劲商业需求的推动下，为像 MosaicML 这样的初创公司创造了机会。从 Snowflake 和 Databricks 接连的收购步伐中我们可以看到，大型科技公司对于生成式 AI 技术正在从自主研发、战略投资逐步迈向兼并收购阶段。

参考来源：

https://www.databricks.com/company/newsroom/press-releases/databricks-signs-definitive-agreement-acquire-mosaicml-leading-generative-ai-platform

https://mattturck.com/mosaic/

https://twitter.com/lmsysorg/status/1672077353533730817/photo/1

https://www.mosaicml.com/blog/mpt-7b#appendix-eval

https://www.mosaicml.com/blog/mpt-30b