有人爬取了56亿条TikTok视频，并将数据免费上传至Hugging Face_新闻

免责声明：内容不构成买卖依据，投资有风险，入市需谨慎！

有人爬取了56亿条TikTok视频，并将数据免费上传至Hugging Face

2026-10-07 06:38:48

数十亿 TikTok 视频元数据开源发布：AI 开发者的新燃料与法律灰色地带

一位名为 hashfunction 的开发者在开源 AI 平台 Hugging Face 上发布了约 56 亿条公共 TikTok 视频的元数据，供公众免费下载。该数据集由 datasocial 账号发布，时间跨度从 2014 年 7 月延伸至 2026 年 10 月。

需要明确的是，这是元数据而非视频本身。每一行数据都包含了标题、标签、音频 ID、屏幕文字、TikTok Shop 商品及卖家 ID，以及浏览量、点赞数、评论数、分享数、收藏数和下载量等互动指标。整个数据集大小为 460 GB，以 Parquet 格式存储，按月分割。

数据内容与来源细节

部分字段源自 TikTok 自身的标记，例如视频是否被标记为“AI 生成”，以及 TikTok 是否将其从“推荐页”（For You Page）中移除。由于这些旧视频来自档案库，许多早期视频的 AI 标记字段为空。

该数据集未设访问门槛，任何人都可以获取。截至统计时，Hugging Face 显示已有 1,181 次下载记录。此外，该数据集也可通过相关网站在线访问。

为何这一数据集备受关注？

AI 开发者对此类数据有着迫切需求，而 TikTok 获取数据的官方渠道却相对狭窄。数十亿帖子的标题、标签、音频 ID 和互动计数，是训练预测病毒式传播内容或 TikTok Shop 热销商品模型的基础素材，也是语言模型学习短视频写作风格的关键数据。

TikTok 官方的数据获取途径主要面向符合条件的学术机构研究人员（包括美国、欧洲经济区、英国、加拿大、瑞士等地的大学，以及欧盟的一些非营利组织），且需要经过申请和审批流程。根据 TikTok 美国服务条款第 3.4 节，除非获得 TikTok 书面批准，否则禁止使用自动化软件从平台提取数据。

技术实现与争议

datasocial 的技术说明指出，他们通过生成的设备身份伪装成安卓手机，逆向工程请求签名，并模拟 TLS 握手，从而接触到 TikTok 的私有移动 API。据称，该系统在三周内收集了 32.3 亿个创作者资料、59.4 亿个视频和 28 亿条评论，整个过程无需登录或账户参与。

这种大规模数据抓取行为已引发法律诉讼。2025 年 10 月，Reddit 起诉 Perplexity 及三家数据抓取公司，指控其进行“工业规模”的内容 harvesting 用于 AI 训练。今年 7 月，联邦法官在很大程度上驳回了被告要求驳回案件的动议。尽管该案涉及通过 Google 搜索结果抓取数据而非直接通过私有移动 API，但其中包含的 DMCA 指控表明，SerpApi 涉嫌绕过 Google 的反机器人保护机制。

商业模式与许可协议

该免费版本同时也充当着商业展示窗口。许可证采用 CC BY-NC 4.0（知识共享署名-非商业性使用 4.0 国际许可），卡片说明其仅适用于研究和个人用途。商业用途、创作者资料及每日更新则引导至官方网站，且抓取的源代码单独出售。

关于数据本身，行内包含标题、使用的音乐以及各种复选框标记。虽然数据集中没有直接的“创作者用户名”列，但提供了大量信息，包括标题、标签、视频中提及的人物等。实际上，用户 ID 在 datasocial 的数据集中是可用的。

目前，类似的数据集已在平台上存在。另一套描述为从 TikTok 移动 API 收集的 45 亿视频数据集也位于 Hugging Face 上。这些数据对于非商业用途免费开放，但用于采集这些数据的代码售价为 1,699 美元。

免责声明：

本网站、超链接、相关应用程序、论坛、博客等媒体账户以及其他平台和用户发布的所有内容均来源于第三方平台及平台用户。百亿财经对于网站及其内容不作任何类型的保证，网站所有区块链相关数据以及其他内容资料仅供用户学习及研究之用，不构成任何投资、法律等其他领域的建议和依据。百亿财经用户以及其他第三方平台在本网站发布的任何内容均由其个人负责，与百亿财经无关。百亿财经不对任何因使用本网站信息而导致的任何损失负责。您需谨慎使用相关数据及内容，并自行承担所带来的一切风险。强烈建议您独自对内容进行研究、审查、分析和验证。

展开阅读全文