三位研究人员表示，机器学习模型可以比参与众包平台的人更好、更实惠地进行内容处理和数据清理工作。
这对求职者来说不一定是坏事，因为一些可能受影响的工作看起来很糟糕。
与众包平台 Amazon Mechanical Turk ( MTurk )相比，苏黎世大学的研究人员 Fabrizio Gilardi、Meysam Alizadeh 和 Maël Kubli 研究了 OpenAI 的大型语言模型 ChatGPT 如何处理文本注释——向文本添加标签以帮助机器学习模型更好地理解。
学者们在一篇论文中描述了他们的发现，该论文的标题起到了剧透的作用，“ChatGPT 在文本注释任务方面优于人群工作者。”
使用由研究助理标记的 2,382 条 Twitter 帖子组成的样本数据集，研究人员比较了 ChatGPT 和 MTurk 工作人员在五项不同标记任务中的表现。
这项工作涉及评估每条推文在相关性、立场、主题和问题框架方面如何与内容审核主题相关（例如，内容审核是否被描述为限制言论的问题或防止有害言论的解决方案）。
“我们发现，对于五分之四的任务，ChatGPT 的零射击准确率高于 MTurk，”该论文称。“…此外，ChatGPT 比 MTurk 便宜得多：五个分类任务在 ChatGPT（25,264 个注释）上的成本约为 68 美元，在 MTurk（12,632 个注释）上的成本约为 657 美元。”
研究人员表示，按注释计算，ChatGPT 的成本约为 0.003 美元，比 MTurk 便宜约 20 倍，同时更准确。
在这种情况下更准确不是很准确。苏黎世大学政治学系政策分析教授、该论文的合著者之一法布里齐奥·吉拉迪 (Fabrizio Gilardi) 在一封电子邮件中告诉 The Register，ChatGPT 的结果在某些任务中的准确率不到 50%，但这仍然是比 MTurkers 更好。
- 微软和谷歌的较量，LLM 是致命武器
- FTC 敦促冻结 OpenAI 的“有偏见、欺骗性”的 GPT-4
- 所以你想集成 OpenAI 的 bot。以下是软件安全扫描器 Socket 的工作原理
- OpenAI 推出 ChatGPT 插件，为您的应用程序授予不确定的语言模型访问权限
总而言之，对于热衷于确保此类工作的人类工作者来说，研究结果似乎已经结束。
但 Gilardi 警告不要过于宽泛地解读调查结果。
“现在说 ChatGPT 如何取代人群工作者还为时过早，”吉拉迪在通过电子邮件发送给The Register的一份声明中说。“我们的论文展示了 ChatGPT 在数据注释任务方面的潜力，但需要更多的研究来充分了解 ChatGPT 在这一领域的能力。”
Gilardi 说使用不同的任务、数据类型和语言收集更多数据很重要，并补充说 MTurker 执行其他工作，如调查研究、图像注释、音频和视频转录、可用性测试。他建议，在某些情况下，人类注释者可以借助像 ChatGPT 这样的模型来提高工作效率。
Gilardi 指出，对于所研究的任务类型，ChatGPT 看起来可以取代众包工作人员，这很恰当，因为像它这样的模型肯定是在众包人工注释数据上训练的。人工智能软件接管人们的日常工作可能对心理健康有益，因为人类版主已经就审查有毒内容的创伤提起诉讼。
ChatGPT 等工具可能是替代或减少那些涉及道德考虑的任务的人工注释的完美候选者
“这对令人不快和苛刻的注释任务有影响，例如仇恨言论检测，其中包含对人类注释者的不利心理后果，”吉拉迪说。“换句话说，像 ChatGPT 这样的工具可能是一个完美的候选者，可以替代或减少那些涉及人类道德考虑的任务的人工注释。”
我们最近还认为，ChatGPT 及其同类产品有一个好处：突出我们每天必须做的烦人的单调任务，例如总结报告、给老板发电子邮件、编写样板代码、完成作业等等。通过提供解决枯燥、重复性工作的方法，这些模型可以吸收一些单调乏味的东西，而更好的解决方案可能是重新思考我们如何从一开始就有效和高效地雇用和利用人员。
我们注意到，高盛最近的一份报告[PDF] 将采用生成式 AI 描述为提高生产力而不是破坏工作。它说，“在全球范围内推断我们的估计表明，生成人工智能可以使相当于 3 亿个全职工作岗位实现自动化。” ®
