WildChat 是 AI2 放出来的一套真实用户与 ChatGPT 的对话日志。名字里的 4.8M 指的是最早采集的规模,现在公开的这个非有毒版本实际是 3,199,860 条对话,parquet 文件合计约 15.3 GB。
这套数据最特别的地方不是规模,而是它的采集方式:AI2 自己搭了一个 ChatGPT 前端,用户免费使用,条件是对话会被记录并公开。所以它记录的是"人真的会问什么",而不是标注员写出来的指令。
版本关系:4.8M、4.74M 与 320 万
三个数字容易混:
原始采集是 4,804,190 条;剔除未成年人相关对话后是 4,743,336 条,这是 Full 版本;Full 版本再过滤掉 1,543,476 条被判定为有毒的对话,剩下 3,199,860 条,就是现在这个非有毒公开版。
有毒版本仍是门控(gated),要申请并说明用途。做安全研究需要它,做普通分析用非有毒版就够。
3,199,860 条里都有什么模型
按后端模型分:gpt-4o 1,539,780 条、gpt-3.5-turbo 688,900 条、gpt-4.1-mini 634,037 条、gpt-4 202,915 条、o1-mini 58,529 条、o1-preview 53,307 条、gpt-4-turbo 22,392 条。
这个分布本身就是一部模型使用史:gpt-3.5-turbo 是 2023 年的主力,gpt-4o 后来居上占了近一半。做时间序列分析时要注意,模型切换的时间点会同时改变"用户问什么"和"模型怎么答",两者混在一起会产生虚假的趋势。
字段:15 列,几个要留神
主要字段:conversation_hash、model、timestamp、conversation、turn、language、openai_moderation、detoxify_moderation、toxic、redacted、state、country、hashed_ip、header。
四个容易踩的点:
conversation_hash 不是唯一键。它是内容的哈希,内容相同哈希就相同。要唯一定位一轮对话,用每轮的 turn_identifier。
turn 是轮数,一轮指一次用户—助手交互。多轮对话是通过 header 归并的(同一对话所有轮次 header 一致),配合 hashed_ip 可以近似关联同一用户的多段对话。
language 是整段对话中出现最多的语言,不是逐轮语言。conversation 里每一条发言另有自己的 language 字段。
timestamp 记的是最后一轮的 UTC 时间,不是开始时间。做"首次提问时间"分析会偏差。
字段基数方面:language 有 74 个取值,country 有 205 个取值。卡片里没有给出独立用户数,只能用 hashed_ip 近似。
去标识做了什么
三类处理:
一是 PII 匿名化,用 Microsoft Presidio 加自定义正则,再辅以人工校正;命中的发言会标 redacted=true。
二是密钥清除,用 TruffleHog 扫描并移除经核验的 API 密钥,这项能力是 2025 年 8 月的更新加进去的。
三是 IP 只存 SHA-256 哈希,不保留明文;州与国家由 IP 经 GeoIP2 推断,推不出来的记 None。
即便如此,这套数据仍然含大量个人叙述(用户会把病历、合同、邮件贴进去)。用它做研究,引用具体对话时应当再脱敏一次,不要把原文直接搬进论文或公开报告。
时间范围有一处不一致
卡片 2025 年 8 月的更新说明称已覆盖到 2025 年 8 月 1 日之前;但 Dataset Viewer 预览显示的 timestamp 区间是 2023-04-09 到 2024-05-02。两者不一致,可能是预览统计滞后于最新分片。引用时间跨度时,建议以自己实际下载的那批数据为准,先算一遍 min/max。
许可与引用
数据集采用 ODC-BY(Open Data Commons Attribution),允许使用与再分发,条件是署名。卡片要求同时引用两篇论文:WildChat(ICLR 2024,arXiv 2405.01470)与 WildVis(EMNLP 2024 Demo,arXiv 2409.03753)。
还有一个由这套数据衍生出来的方法值得一提:数据里有少量"用户空输入"导致模型凭空作答的对话,研究者由此想到用空白提示诱导模型自生成指令数据,这就是 Magpie(arXiv 2406.08464)。一个采集缺陷变成了一种造数据的方法,这类细节只有翻真实日志才会发现。
适合谁用
适合:研究真实提问分布、做多语言对话分析(74 种语言)、做毒性检测与安全对齐的对照、做用户地域差异分析(205 个国家地区取值)。
不适合:把它当高质量指令微调语料直接用——真实用户提问里有大量模糊、重复、语码转换的内容,需要先清洗;也不适合直接引用原文做案例,隐私风险仍在。
────────────────
数据集页、门控版说明、两篇论文与可视化工具入口都在下面,回复一下就能看到。
把经管之家装进你常用的 AI 智能体中 一键快捷安装经管之家 MCP/技能,让 AI 帮你查教程、找数据、读论坛帖子。 检索、阅读公开帖子不收费,安装可申请领取:3 通用积分+100 论坛币+3 元论坛资金 请点击查看安装教程与福利 → 说明: AI 算力按所用平台规则计算;附件按原帖条件获取;福利领取条件以活动页面为准。 |