谷歌开源XLA Serving Engine,实现无Python依赖的AI模型推理
谷歌(Google)近日正式以开源形式发布了XLA Serving Engine(XSE)。该引擎旨在无需Python执行环境的情况下处理AI模型推理任务。其核心架构设计为:在模型开发阶段支持使用Python进行训练与构建,而在面向用户请求的服务部署阶段,则采用C++运行时环境,从而实现更高效、更轻量级的服务响应。
XSE的核心组成与技术原理
谷歌于11月5日在官方博客中宣布,将XSE以Apache 2.0许可证开源。作为OpenXLA生态体系中的重要组成部分,XSE主要用于模型的导出(Export)与推理(Inference)环节。
XSE主要由两部分构成:
- 模型导出工具:开发者可使用JAX或PyTorch等框架开发模型,并将其导出为XLA SavedModel格式。其中包含描述模型计算图的StableHLO标准,以及存储在Orbax检查点中的模型权重。
- 推理运行时:基于C++构建的高性能运行时环境,负责加载并执行上述导出的模型。
通过这种分离式设计,OpenXLA编译器将模型计算过程针对不同硬件设备进行优化编译,而XSE则专注于将这些优化后的模型接入服务请求的执行环境中,实现高效响应。
内部验证与性能表现
自2025年起,谷歌已在内部服务基础设施中部署了XSE的核心组件。其应用场景涵盖YouTube Shorts、Google Ads、搜索服务以及Gemini Omni的部分模块。
根据谷歌提供的数据,XSE在内部系统中能够每秒处理超过600万次请求。需要说明的是,这一数据反映了谷歌内部的运营规模,并不直接等同于外部通用环境的处理能力。
在针对短延迟请求的性能对比测试中,XSE展现出显著优势:
- 吞吐量:相较于谷歌内部优化的Python服务器,XSE的处理能力高出2至5倍;相较于默认配置的Python服务器,则高出8至36倍。
- 资源效率:单次预测的CPU耗时比Python实现减少30%至70%,内存占用量约为Python实现的四分之一。
适用场景与局限性
XSE主要定位于推荐系统、视频识别等需要快速处理短请求的场景。谷歌将其定义为一个专注于降低单请求延迟的轻量级推理引擎。
对于涉及长上下文处理及连续生成的大语言模型(LLM),XSE并非首选方案。谷歌建议此类任务使用具备专用内存管理功能的工具,如vLLM或SGLang。
多硬件支持与未来规划
OpenXLA公开存储库指出,经XSE导出的模型包可在CPU、NVIDIA GPU以及Google Cloud TPU等多种硬件平台上运行。开发者在导出模型时,可嵌入针对特定硬件的计算信息以实现最佳适配。
XSE既可作为独立的推理引擎部署,也可集成到更复杂的微服务系统中。其设计初衷之一便是从服务请求的执行路径中移除Python解释器,从而简化部署流程并提升稳定性。
展望未来,谷歌计划推进以下工作:
- 通过与TorchTPU集成,增强对PyTorch模型导出至TPU的支持。
- 优先向内部用户开放离线编译功能,随后再向公众发布。
- 提供基于C++的数据预处理器,进一步完善端到端的推理流水线。

交易所
交易所排行榜
24小时成交排行榜
人气排行榜
交易所比特币余额
交易所资产透明度证明
去中心化交易所
资金费率
资金费率热力图
爆仓数据
清算最大痛点
多空比
大户多空比
币安/欧易/火币大户多空比
Bitfinex杠杆多空比
ETF追踪
索拉纳ETF
瑞波币ETF
香港ETF
比特币持币公司
加密资产反转
以太坊储备
HyperLiquid钱包分析
Hyperliquid鲸鱼监控
大额转账
链上异动
比特币回报率
稳定币市值
期权分析
新闻
文章
财经日历
专题
钱包
合约计算器
账号安全
资讯收藏
自选币种
我的关注