• 全部
  • 产业
  • Web 3.0
  • DAO
  • DeFi
  • 符文
  • 空投再质押
  • 以太坊
  • Meme
  • 比特币L2
  • 以太坊L2
  • 研报
  • 头条
  • 投资

免责声明:内容不构成买卖依据,投资有风险,入市需谨慎!

Tether的QVAC推出BitNet LoRA框架,实现在消费级设备上运行千亿级参数人工智能

2026-03-18 05:29:27
收藏

在消费级硬件上微调大型AI模型

内存效率与扩展的硬件兼容性

Tether推出的QVAC Fabric发布了全球首个支持BitNet模型的跨平台LoRA微调方案。仅需1小时18分钟,即可在三星S25设备上完成一个10亿参数模型的本地微调。相较于Gemma-3-1B模型,BitNet-1B节省高达77.8%的显存,大幅降低了消费级硬件的内存需求。该框架将LoRA微调的应用范围从英伟达扩展至AMD、英特尔、Apple Silicon及移动GPU平台。

BitNet LoRA框架的开发近日取得重要进展。该全球首款面向微软1位BitNet语言模型的跨平台LoRA微调框架,已作为QVAC Fabric的组成部分正式发布。其目标是在各类消费级硬件平台上实现大模型训练,使笔记本电脑、消费级显卡及现代智能手机能够处理数十亿参数的人工智能模型训练任务,从而在全球范围内降低人工智能开发对昂贵企业级系统和云端基础设施的依赖。

打破AI模型开发的长期壁垒

BitNet LoRA框架消除了AI模型开发中长期存在的障碍。以往训练大语言模型需要昂贵的专用系统或企业级云服务,高端AI开发实际上成为拥有专项预算和基础设施的大型机构的专属领域。Tether工程团队通过新版QVAC Fabric改变了这一局面。

该框架支持包括Adreno、Mali和Apple Bionic在内的移动GPU芯片。在三星S25设备上,仅需约10分钟即可完成一个1.25亿参数BitNet模型的微调,该过程基于约300份文档、共1.8万标记的生物医学数据集。对于10亿参数模型,在相同数据集上的微调在三星S25上耗时1小时18分钟,在iPhone 16上则为1小时45分钟。值得注意的是,团队甚至在iPhone 16上成功微调了高达130亿参数的模型。

此外,该框架允许在边缘设备上微调比Q4非BitNet模型大一倍的模型,这直接得益于BitNet高效的内存利用架构。以往被认为不足以运行AI工作负载的硬件,如今已能有效执行此类任务。

显著的内存节省效果

内存节省是BitNet LoRA框架最显著的技术优势之一。基准测试显示,BitNet-1B在推理和微调任务中比Gemma-3-1B节省高达77.8%的显存,较Qwen3-0.6B也减少65.6%的显存需求。这些降低为在标准消费设备上运行更大模型创造了空间,并为以往普通硬件无法支持的个性化工作流程开辟了道路。

在测试设备上,移动GPU性能表现达到CPU的2至11倍。当今的智能手机现已能够处理曾经仅限于数据中心或专用硬件设备才能完成的任务。同时,该框架首次将LoRA微调扩展到非英伟达硬件平台,涵盖AMD、英特尔、Apple Silicon及各类移动GPU,减少了对集中式云服务提供商的依赖,使AI开发更具普适性。

Tether首席执行官阐述了本次发布背后的长远愿景:“智能将成为未来社会的关键决定因素。人工智能的未来应当易于获取、广泛可用并向全球开发者和用户开放,不应依赖仅由少数云服务商掌控的巨额资源。”他进一步指出,当大模型训练依赖于集中式基础设施时,创新将陷入停滞,更广泛的生态系统也将变得脆弱。该框架使联邦学习成为短期内可实现的愿景,标志着稳定智能时代的开启。

免责声明:

本网站、超链接、相关应用程序、论坛、博客等媒体账户以及其他平台和用户发布的所有内容均来源于第三方平台及平台用户。百亿财经对于网站及其内容不作任何类型的保证,网站所有区块链相关数据以及其他内容资料仅供用户学习及研究之用,不构成任何投资、法律等其他领域的建议和依据。百亿财经用户以及其他第三方平台在本网站发布的任何内容均由其个人负责,与百亿财经无关。百亿财经不对任何因使用本网站信息而导致的任何损失负责。您需谨慎使用相关数据及内容,并自行承担所带来的一切风险。强烈建议您独自对内容进行研究、审查、分析和验证。

展开阅读全文
更多新闻
自选
我的自选
查看全部
市值 价格 24h%