全部版块 我的主页
› 论坛 › 计量经济学与统计论坛 五区 › 数据交流中心
253 1
2026-11-05

WildChat 是 AI2 放出来的一套真实用户与 ChatGPT 的对话日志。名字里的 4.8M 指的是最早采集的规模,现在公开的这个非有毒版本实际是 3,199,860 条对话,parquet 文件合计约 15.3 GB。

 

这套数据最特别的地方不是规模,而是它的采集方式:AI2 自己搭了一个 ChatGPT 前端,用户免费使用,条件是对话会被记录并公开。所以它记录的是"人真的会问什么",而不是标注员写出来的指令。

 

版本关系:4.8M、4.74M 与 320 万

 

三个数字容易混:

 

原始采集是 4,804,190 条;剔除未成年人相关对话后是 4,743,336 条,这是 Full 版本;Full 版本再过滤掉 1,543,476 条被判定为有毒的对话,剩下 3,199,860 条,就是现在这个非有毒公开版。

 

有毒版本仍是门控(gated),要申请并说明用途。做安全研究需要它,做普通分析用非有毒版就够。

 

3,199,860 条里都有什么模型

 

按后端模型分:gpt-4o 1,539,780 条、gpt-3.5-turbo 688,900 条、gpt-4.1-mini 634,037 条、gpt-4 202,915 条、o1-mini 58,529 条、o1-preview 53,307 条、gpt-4-turbo 22,392 条。

 

这个分布本身就是一部模型使用史:gpt-3.5-turbo 是 2023 年的主力,gpt-4o 后来居上占了近一半。做时间序列分析时要注意,模型切换的时间点会同时改变"用户问什么"和"模型怎么答",两者混在一起会产生虚假的趋势。

 

字段:15 列,几个要留神

 

主要字段:conversation_hash、model、timestamp、conversation、turn、language、openai_moderation、detoxify_moderation、toxic、redacted、state、country、hashed_ip、header。

 

四个容易踩的点:

 

conversation_hash 不是唯一键。它是内容的哈希,内容相同哈希就相同。要唯一定位一轮对话,用每轮的 turn_identifier。

 

turn 是轮数,一轮指一次用户—助手交互。多轮对话是通过 header 归并的(同一对话所有轮次 header 一致),配合 hashed_ip 可以近似关联同一用户的多段对话。

 

language 是整段对话中出现最多的语言,不是逐轮语言。conversation 里每一条发言另有自己的 language 字段。

 

timestamp 记的是最后一轮的 UTC 时间,不是开始时间。做"首次提问时间"分析会偏差。

 

字段基数方面:language 有 74 个取值,country 有 205 个取值。卡片里没有给出独立用户数,只能用 hashed_ip 近似。

 

去标识做了什么

 

三类处理:

 

一是 PII 匿名化,用 Microsoft Presidio 加自定义正则,再辅以人工校正;命中的发言会标 redacted=true。

 

二是密钥清除,用 TruffleHog 扫描并移除经核验的 API 密钥,这项能力是 2025 年 8 月的更新加进去的。

 

三是 IP 只存 SHA-256 哈希,不保留明文;州与国家由 IP 经 GeoIP2 推断,推不出来的记 None。

 

即便如此,这套数据仍然含大量个人叙述(用户会把病历、合同、邮件贴进去)。用它做研究,引用具体对话时应当再脱敏一次,不要把原文直接搬进论文或公开报告。

 

时间范围有一处不一致

 

卡片 2025 年 8 月的更新说明称已覆盖到 2025 年 8 月 1 日之前;但 Dataset Viewer 预览显示的 timestamp 区间是 2023-04-09 到 2024-05-02。两者不一致,可能是预览统计滞后于最新分片。引用时间跨度时,建议以自己实际下载的那批数据为准,先算一遍 min/max。

 

许可与引用

 

数据集采用 ODC-BY(Open Data Commons Attribution),允许使用与再分发,条件是署名。卡片要求同时引用两篇论文:WildChat(ICLR 2024,arXiv 2405.01470)与 WildVis(EMNLP 2024 Demo,arXiv 2409.03753)。

 

还有一个由这套数据衍生出来的方法值得一提:数据里有少量"用户空输入"导致模型凭空作答的对话,研究者由此想到用空白提示诱导模型自生成指令数据,这就是 Magpie(arXiv 2406.08464)。一个采集缺陷变成了一种造数据的方法,这类细节只有翻真实日志才会发现。

 

适合谁用

 

适合:研究真实提问分布、做多语言对话分析(74 种语言)、做毒性检测与安全对齐的对照、做用户地域差异分析(205 个国家地区取值)。

 

不适合:把它当高质量指令微调语料直接用——真实用户提问里有大量模糊、重复、语码转换的内容,需要先清洗;也不适合直接引用原文做案例,隐私风险仍在。

 

────────────────

数据集页、门控版说明、两篇论文与可视化工具入口都在下面,回复一下就能看到。


游客,如果您要查看本帖隐藏内容请回复

把经管之家装进你常用的 AI 智能体中

一键快捷安装经管之家 MCP/技能,让 AI 帮你查教程、找数据、读论坛帖子。

检索、阅读公开帖子不收费,安装可申请领取:3 通用积分+100 论坛币+3 元论坛资金

请点击查看安装教程与福利 →

说明: AI 算力按所用平台规则计算;附件按原帖条件获取;福利领取条件以活动页面为准。

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2026-11-5 11:57:54
先收藏,回头慢慢看
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群