研究称 ChatGPT 回答的编程问题错误率 52%，但 39% 人类程序员没看出来

2024-05-29 15:07:58次浏览条评论

5 月 25 日消息，生成式 AI 已经成为开发利器，可以辅助开发者快速生成相关代码，让开发者从“敲代码”逐渐过渡到“审代码”，不过最新报告指出 ChatGPT 所回答的编程问题内容错误率高达 52%。

来自普渡大学的研究小组于 5 月初出席计算机-人交互大会，并提交了一份报告，检查了 ChatGPT 回答的 517 个 Stack Overflow 问题，发现错误率高达 52%。

调查结果显示，人类程序员在 35% 的情况下更喜欢 ChatGPT 的答案，认为其提供的内容更全面，且有清晰的语言风格；更糟糕的是，在 39% 的情况下，人类程序员并没有发现 ChatGPT 的错误答案。

虽然这只是对 ChatGPT 功能的一个方面进行的研究，但它确实表明，生成式人工智能机器人仍然容易犯很多错误，而人类可能无法发现这些错误。

哈迈百科附上参考地址：

Is Stack Overflow Obsolete? An Empirical Study of the Characteristics of ChatGPT Answers to Stack Overflow Questions
ChatGPT Answers Programming Questions Incorrectly 52% of the Time: Study