认识Bonsai：首个可装进手机的270亿参数AI模型_新闻

免责声明：内容不构成买卖依据，投资有风险，入市需谨慎！

认识Bonsai：首个可装进手机的270亿参数AI模型

2026-07-16 04:24:18

AI模型消耗大量内存。一个拥有270亿参数、按行业标准属于中等规模的模型，在运行半精度时大约需要54GB内存。大多数笔记本电脑无法承载这样的内存需求，部分台式机也不行。

本周早些时候，PrismML发布了一款仅3.9GB的模型——小到足以塞进iPhone。参数代表模型能够处理的调节旋钮数量。参数越多，模型越密集、能力越强。

Bonsai 27B：突破消费级手机内存天花板

Bonsai 27B是首款突破消费级智能手机内存上限的27B级模型，在iPhone 17 Pro Max上运行速度可达每秒11个令牌（令牌是AI模型能处理和生成的基本信息单位）。其三元变体仅5.9GB，在M5 Pro笔记本电脑上可达每秒约26个令牌。两款模型均基于Apache 2.0许可证免费提供。

这种压缩方法基于加州理工学院的知识产权，将每个模型权重从16位浮点精度压缩为单个符号——二进制版本中为+1或-1，三元版本中则有三个值之一。每128个权重共享一个16位缩放因子，使得二进制变体每权重仅需1.125比特：比全精度原始版本缩小14倍。三元模型增加了零状态，以提供稍强的表达能力，最终达到每权重1.71比特。

通俗地说，这意味着三元AI模型对每个内部值仅使用三种设置——负值、零或正值——而标准AI模型可以从大约65000种设置中选择。

PrismML在实现这一压缩的同时，几乎没有损失输出质量。

这种方法与传统“低位”模型的不同之处在于，没有任何部分获得高精度逃生通道：嵌入层、注意力机制以及完整语言模型头都实现了端到端压缩。大多数量化构建会保留某些敏感层为全精度，这虽然换来了更好的质量，但增加了模型尺寸。Bonsai不走这条路。

家族第二款主要发布

这是该系列的第二款主要发布。今年3月，PrismML推出了Bonsai 8B，一款1.15GB的模型，证明了1比特架构能在80亿参数规模下存活，且推理能力不崩溃。跃升至270亿参数时，风险变了——这种规模下，持续的思维链推理、可靠的工具使用以及多步智能体行为才真正稳定出现，而这些正是小模型仍会出错的地方。

在NVIDIA H100 GPU上以思考模式评估的15个基准测试（涵盖知识、数学、编码和工具使用）中，三元Bonsai 27B平均得分80.49，达到全精度模型的94.6%。1比特变体得分为76.11。

总体而言，在基准测试中，这些模型以自身尺寸提供的潜力而言，表现远超Gemma 4或Qwen 3.6。

考虑到它们所需的资源极少，这些模型极大地提升了小型硬件（智能手机和低端PC）的能力。在美国邀请数学竞赛（AIME）衍生的AIME25和AIME26测试中，三元Bonsai 27B获得93.7%，而更大的Qwen 3.6B为95.3%。Bonsai在编码方面得分为86分（Qwen 3.6为88分），通识知识得分为77%（Qwen 3.6为83%）。

该模型还采用了混合注意力主干，其中约75%的层是线性注意力，而非完全二次注意力。这种架构使得262K令牌长度的上下文窗口能够在设备上实际运行——标准注意力堆栈在手机硬件上会因成本过高而无法实现。

实际体验：编码与创意写作

我们亲自运行了Bonsai 27B。编码需要迭代：单次提示无法与云端前沿模型竞争。但因为是本地且免费，这一点无关紧要。在我们的僵尸打字游戏（一款第一人称打字恐怖浏览器游戏）中，两轮“氛围编码”就产生了干净的碰撞检测、正确的计分逻辑以及稳固的图形。模型能尽早把握结构；第二轮迭代更多是优化而非重建。

有趣的是，某些模型（例如骷髅模型）比GPT 5.6 Sol生成的更为精致。这并不意味着Bonsai绝对更好，只是在这个任务上它生成了一个可爱的骷髅，而AI巨头做出了较差的风格选择。该游戏可供测试。

创意写作则是一个更复杂的故事，标准也更加主观。粗略来说，如果你心中有一个零样本提示，结果并不特别富有想象力。尽管如此，Bonsai生成的故事具有一致的内部逻辑、节奏和弧线——在类似提示下，效果优于或与Claude Haiku甚至Sonnet（低投入时）相当。对于一个完全运行在本地硬件、无需API成本的模型来说，这已经相当不错了。它创作的故事可在我们的存储库中找到。

DSpark推测解码与苹果兴趣

PrismML还随模型提供了DSpark推测解码层——一个轻量级的草稿模型，负责提出候选令牌块，主模型在单次前向传递中验证这些块，而非逐令牌生成。在H100上，这带来了1.37倍的吞吐量提升，且输出质量不变，因为验证保留了精确的输出分布。在Apple Silicon上默认尚未启用，但对于GPU服务来说，这是一个实实在在的增益。

苹果的兴趣增添了商业维度。PrismML首席执行官Babak Hassibi向某媒体确认，公司正与苹果进行早期洽谈，后者正在评估这项压缩技术，以用于潜在设备端应用。

Hassibi表示，下一个待发布的是压缩版Gemma模型，随后是更大的前沿模型；1比特Bonsai 27B现已可在Apache 2.0许可证下免费下载。如需了解如何在本地运行此类模型的入门知识，可参考相关指南。

免责声明：

本网站、超链接、相关应用程序、论坛、博客等媒体账户以及其他平台和用户发布的所有内容均来源于第三方平台及平台用户。百亿财经对于网站及其内容不作任何类型的保证，网站所有区块链相关数据以及其他内容资料仅供用户学习及研究之用，不构成任何投资、法律等其他领域的建议和依据。百亿财经用户以及其他第三方平台在本网站发布的任何内容均由其个人负责，与百亿财经无关。百亿财经不对任何因使用本网站信息而导致的任何损失负责。您需谨慎使用相关数据及内容，并自行承担所带来的一切风险。强烈建议您独自对内容进行研究、审查、分析和验证。

展开阅读全文