腾讯推出WorkBuddy电脑操控功能,实现屏幕识别与自动化操作
20日,腾讯(Tencent·0700.HK)正式以公开测试版形式推出了其办公AI助手“WorkBuddy”的电脑操控功能。该功能能够识别屏幕画面,并执行点击、输入和滚动等操作。即使目标软件未提供独立的API接口,WorkBuddy也能通过读取屏幕内容直接进行操控。
支持多平台,需更新客户端并授权
据MarsBit报道,WorkBuddy目前支持macOS和Windows系统。用户需将桌面客户端更新至5.11.0及以上版本,开启相关功能并授予必要权限后方可使用。需要注意的是,屏幕识别的效果可能因不同软件而异。
基于视觉理解的GUI代理
IT时代网在10日的介绍中指出,电脑的操控功能通过分析当前屏幕画面,定位目标窗口位置,随后依次执行鼠标点击、文本输入和滚动操作。无需额外连接配置,即可在多个应用程序之间切换,完成基于屏幕的工作任务。
IT时代网解释称,WorkBuddy作为图形用户界面(GUI)代理,通过截图来理解屏幕内容,模拟人类的“观看”和“点击”行为。在使用过程中,它可以截取屏幕或读取窗口内容,同时系统会提示用户可随时中断功能运行。
从文件处理扩展到应用交互
根据WorkBuddy官方产品介绍,该服务原本定位为桌面AI工作流助手,能够通过自然语言指令处理文件,创建文档、表格和演示文稿,并分析数据。它具备自主规划和执行多步骤任务的能力,无需用户逐一指示操作步骤。
此次新增的电脑操控功能,进一步增强了直接操作现有应用程序按钮和输入框的能力。即使用户未单独连接特定程序的API,也能在同一工作流中整合文档、即时通讯及办公软件等不同界面的工具。
这与通过手机远程控制电脑屏幕的方式有所不同。远程控制技术侧重于让用户通过手机查看和操作电脑屏幕;而WorkBuddy的电脑操控功能则是让AI助手根据用户的指令,直接在电脑屏幕上代为执行工作任务。此前,IT之家曾于10月28日报道称,WorkBuddy已具备通过手机确认并操控电脑屏幕的功能。
此外,腾讯此前也在其大型语言模型Hy4正式版中引入了视觉理解和电脑操控功能。
权限管理与企业级控制
要使用电脑操控功能,用户必须批准操作系统层面的权限,包括屏幕捕获和辅助功能访问等。若无相应权限,系统将无法读取屏幕或代劳鼠标和键盘输入。
腾讯云的企业版文档说明,管理员可以对电脑操控功能进行全局管控:可以选择完全允许、仅对特定成员或部门开放,或在必要时全面禁用。默认策略设置为对所有成员禁用。
根据WorkBuddy官方版本记录,截至11月15日,macOS和Windows版本的安装文件已更新至5.11.3版。实际可用的工作范围将取决于支持的操作系统、权限批准情况以及所用软件的屏幕识别能力。

交易所
交易所排行榜
24小时成交排行榜
人气排行榜
交易所比特币余额
交易所资产透明度证明
去中心化交易所
资金费率
资金费率热力图
爆仓数据
清算最大痛点
多空比
大户多空比
币安/欧易/火币大户多空比
Bitfinex杠杆多空比
ETF追踪
索拉纳ETF
瑞波币ETF
香港ETF
比特币持币公司
加密资产反转
以太坊储备
HyperLiquid钱包分析
Hyperliquid鲸鱼监控
大额转账
链上异动
比特币回报率
稳定币市值
期权分析
新闻
文章
财经日历
专题
钱包
合约计算器
账号安全
资讯收藏
自选币种
我的关注