在消费级硬件上微调大型AI模型
内存效率与扩展的硬件兼容性
Tether推出的QVAC Fabric发布了全球首个支持BitNet模型的跨平台LoRA微调方案。仅需1小时18分钟,即可在三星S25设备上完成一个10亿参数模型的本地微调。相较于Gemma-3-1B模型,BitNet-1B节省高达77.8%的显存,大幅降低了消费级硬件的内存需求。该框架将LoRA微调的应用范围从英伟达扩展至AMD、英特尔、Apple Silicon及移动GPU平台。
BitNet LoRA框架的开发近日取得重要进展。该全球首款面向微软1位BitNet语言模型的跨平台LoRA微调框架,已作为QVAC Fabric的组成部分正式发布。其目标是在各类消费级硬件平台上实现大模型训练,使笔记本电脑、消费级显卡及现代智能手机能够处理数十亿参数的人工智能模型训练任务,从而在全球范围内降低人工智能开发对昂贵企业级系统和云端基础设施的依赖。
打破AI模型开发的长期壁垒
BitNet LoRA框架消除了AI模型开发中长期存在的障碍。以往训练大语言模型需要昂贵的专用系统或企业级云服务,高端AI开发实际上成为拥有专项预算和基础设施的大型机构的专属领域。Tether工程团队通过新版QVAC Fabric改变了这一局面。
该框架支持包括Adreno、Mali和Apple Bionic在内的移动GPU芯片。在三星S25设备上,仅需约10分钟即可完成一个1.25亿参数BitNet模型的微调,该过程基于约300份文档、共1.8万标记的生物医学数据集。对于10亿参数模型,在相同数据集上的微调在三星S25上耗时1小时18分钟,在iPhone 16上则为1小时45分钟。值得注意的是,团队甚至在iPhone 16上成功微调了高达130亿参数的模型。
此外,该框架允许在边缘设备上微调比Q4非BitNet模型大一倍的模型,这直接得益于BitNet高效的内存利用架构。以往被认为不足以运行AI工作负载的硬件,如今已能有效执行此类任务。
显著的内存节省效果
内存节省是BitNet LoRA框架最显著的技术优势之一。基准测试显示,BitNet-1B在推理和微调任务中比Gemma-3-1B节省高达77.8%的显存,较Qwen3-0.6B也减少65.6%的显存需求。这些降低为在标准消费设备上运行更大模型创造了空间,并为以往普通硬件无法支持的个性化工作流程开辟了道路。
在测试设备上,移动GPU性能表现达到CPU的2至11倍。当今的智能手机现已能够处理曾经仅限于数据中心或专用硬件设备才能完成的任务。同时,该框架首次将LoRA微调扩展到非英伟达硬件平台,涵盖AMD、英特尔、Apple Silicon及各类移动GPU,减少了对集中式云服务提供商的依赖,使AI开发更具普适性。
Tether首席执行官阐述了本次发布背后的长远愿景:“智能将成为未来社会的关键决定因素。人工智能的未来应当易于获取、广泛可用并向全球开发者和用户开放,不应依赖仅由少数云服务商掌控的巨额资源。”他进一步指出,当大模型训练依赖于集中式基础设施时,创新将陷入停滞,更广泛的生态系统也将变得脆弱。该框架使联邦学习成为短期内可实现的愿景,标志着稳定智能时代的开启。

交易所
交易所排行榜
24小时成交排行榜
人气排行榜
交易所比特币余额
交易所资产透明度证明
去中心化交易所
资金费率
资金费率热力图
爆仓数据
清算最大痛点
多空比
大户多空比
币安/欧易/火币大户多空比
Bitfinex杠杆多空比
ETF追踪
比特币持币公司
加密资产反转
以太坊储备
HyperLiquid钱包分析
Hyperliquid鲸鱼监控
索拉纳ETF
大额转账
链上异动
比特币回报率
稳定币市值
期权分析
新闻
文章
财经日历
专题
钱包
合约计算器
账号安全
资讯收藏
自选币种
我的关注