全部版块 我的主页
› 论坛 › 新商科论坛 四区(原工商管理论坛) › 行业分析报告
101 1
2026-11-17

27 分钟,这是对照组做第二次写作任务的平均用时;处理组少用了 10 分钟,相当于快 37%。同一份产出被打分时,处理组高出 0.45 个标准差。但论文里还有个数更该被记住:处理组里 68% 的人把 ChatGPT 的初始输出直接交了上去,一个字没改。

 

这是 Noy 与 Zhang 2023 年 3 月的工作论文,标题很直白——生成式 AI 生产率效应的实验证据。它至今仍是讨论「AI 到底提效多少」时被引最多的实验之一,也是讨论「怎么测 AI 收益」时最该拆开看的一份。

 

实验怎么做的

 

444 名有经验的大学毕业生,六个职业:市场、资助写作、咨询、数据分析、人力资源、经理。每人做两个 20 至 30 分钟的写作任务,任务按职业定制——新闻稿、短报告、分析计划、措辞微妙的邮件——并且配高强度奖金:按得分付费,或对高分额外加钱。评分由同职业的资深从业者盲评,每份产出三人评,同一份产出评分者之间的平均相关为 0.44。

 

随机分一半人到处理组:在两次任务之间被要求注册 ChatGPT,有人教怎么用,第二次任务可以用;对照组则被要求注册 LaTeX 编辑器 Overleaf。这个设计有个细节值得学——对照组也被安排「注册一个新工具」,避免把「被要求做点新事」的效应算成 ChatGPT 的效应。第一次任务的成绩同时充当基线能力,让后面能做不平等分析。

 

时间与质量:一个下降 0.83 个标准差,一个上升 0.45 个

 

时间效应是 0.83 个标准差(95% 区间 0.63 到 1.03),质量效应是 +0.45 个标准差(区间 0.27 到 0.63),两者都在 0.000 水平显著。分项看,整体分、写作质量、内容质量、原创性四个评分的提升幅度差不多——也就是说,不是某一维度被拉高,而是整体评价往上平移。

 

效应不只出现在分布的某一头:时间分布整体左移,评分分布整体右移。两套激励方案(线性:每分 1 美元;凸性:拿到 6 或 7 分再加 3 美元)结果几乎一样,说明这不是「为了多拿钱而敷衍」或「为了多拿钱而精修」的产物。

 

还有一项设计要先说清:对照组里约有 10% 到 20% 的人自己用了 ChatGPT,处理组与对照组在第二次任务上的实际使用率差距约 60 个百分点。这意味着上面的估计是效应的下界。

 

不平等被压缩:相关从 0.49 降到 0.25

 

对照组有明显的持续性不平等:第一次任务得分高的人,第二次也高,两次评分相关 0.49。处理组这个相关只有 0.25(斜率差异 p=0.004),不平等被抹掉一半。

 

驱动来自两头:第一次得分低的人,用上 ChatGPT 后既提分又提速;第一次得分高的人,分数守住,时间大幅缩短。这个结果对培训与招聘的含义很直接——工具抹平的是「把想法写成合格文字」这道门槛,而不是判断力。

 

提效主要来自「替你做」,不是「帮你做得更好」

 

这是全文最不讨喜、也最该读的一段。作者先列出互补性的两种可观测证据:处理组愿意花大量时间编辑 ChatGPT 的输出,或反复提示以换更高分;以及处理组产出的评分高于 ChatGPT 原始输出。结论是两样都没看到。

 

具体数字:68% 的处理组报告直接提交初始输出、不做编辑;在看到大段文本被粘贴进来之后,处理组平均只再活跃 3 分钟;粘贴后的活跃时长与最终评分不相关;处理组评分并不高于把 ChatGPT 原始输出直接交给评分者打的分。即便在「高分额外加钱」的凸性激励组,这个结论也不变。

 

有意思的是一处张力。作者自报的时间结构显示:治疗前,参与者约 25% 时间用于头脑风暴、50% 写初稿、25% 编辑;治疗后,写初稿的时间减少一半以上,编辑时间翻倍。这两组数与「68% 直接提交」并不矛盾——一个说的是自报时间份额的平均变化,一个说的是提交行为的分布——但它提醒读者:平均数会掩盖「一部分人在精修、多数人直接交」的结构。

 

「写作差的人受益更多」这个假说,没有找到证据

 

作者构造了两套写作技能度量(自评沟通能力;以及第一次任务整体分与写作分的落差),又构造了两套受益度量(愿意为 ChatGPT 付多少月费;评分从第一次到第二次提升多少)。结论是平的:无论写作技能在哪个三分位,愿付价格都约为月薪的 0.5%,评分增幅也没有明显差别。

 

这一点和「不平等被压缩」看起来矛盾,其实是两回事:压缩来自低基线者提分更多,而不是来自「写作技能相对弱的人」这个特定群体。

 

主观感受:任务满意度上升,但两周后真实工作满意度没差异

 

任务结束后测的满意度上升约 0.40 个标准差(0.000 显著),自我效能上升 0.20 个标准差(p=0.060,勉强)。对自动化的态度同时往两头走:担忧上升 0.26 个标准差,兴奋上升 0.39,净乐观上升约 0.20。

 

关键的对照在两周后的跟踪调查:真实工作满意度在两组之间没有差异。作者据此提醒,前面的「满意度」测的是对一个小任务的感受,不是对整个工作的感受。

 

方法上最值得抄的六件事

 

一是预注册(AEA RCT 注册号 AEARCTR-0010882)。二是对照组也领一个要注册的工具,控制「新鲜感」。三是用第一次任务做基线,同时支撑不平等分析。四是每分钟给产出拍快照,客观测活跃时间,也能检测对照组是否偷用工具。五是盲评、同职业评分、每份三人评。六是主动给效应贴上「下界」标签,而不是把估计当上限。

 

这份 2023 年 3 月版工作论文的边界

 

首页写明 Working Paper(not peer reviewed)。作者自己列了两条重要限制:任务短、自足、缺少具体情境知识,可能高估 ChatGPT 的用处;实验只捕捉直接、即时的效应,没有一般均衡——真实经济里会有大量间接、相互抵消或放大的调整。此外还有样本层面的事实:只覆盖六类职业、一次会话、2023 年初的 ChatGPT;处理组流失率 10%、对照组 5%(作者用 Lee 界与加入控制变量的回归说明结果稳健)。

 

引用时还有一条版本纪律:本稿所有数字都取自 MIT 站点上这份 2023 年 3 月 2 日的版本(444 人、时间少 37%)。同一研究另有后续版本与发表版,人数与百分比有差异,引用前要核对版本,不要把不同版本的数混着用。

 

────────────────

论文 PDF 入口、实验设计与激励方案、全部结果的效应量与置信区间、可复用的测量清单,以及引用时的版本注意事项,都放在下面,回复本帖可见。


游客,如果您要查看本帖隐藏内容请回复

把经管之家装进你常用的 AI 智能体中

一键快捷安装经管之家 MCP/技能,让 AI 帮你查教程、找数据、读论坛帖子。

检索、阅读公开帖子不收费,安装可申请领取:3 通用积分+100 论坛币+3 元论坛资金

请点击查看安装教程与福利 →

说明: AI 算力按所用平台规则计算;附件按原帖条件获取;福利领取条件以活动页面为准。

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2026-11-17 12:24:50
实验设计比结论更值得看
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群