ChatGPT 的编程问题错误率超过五成
2023-8-13 23:35:24 Author: www.solidot.org(查看原文) 阅读量:26 收藏

  • 文章
  • 皮肤

人工智能

Wilson (42865)发表于 2023年08月13日 23时35分 星期日
来自猛兽的财富

普渡大学的研究人员发表了一篇论文预印本,他们用 517 个 Stack Overflow 问题测试了 OpenAI 的聊天机器人 ChatGPT,从正确性、一致性、全面性和简洁等方面对答案进行评估。他们还向 12 位人类参与者询问了 AI 生成的结果。他们的分析显示,ChatGPT 的结果有 52% 错误的,77% 太冗长。而人类只有在错误非常明显的情况下才能识别出来,他们在 39.34% 的情况下偏爱 ChatGPT 的答案,而这些答案中 77% 是错误的。即使答案明显错误,但因为其语言风格更令人感到愉快以及感到具有权威性,人类还是会青睐 AI 生成的答案。

https://arxiv.org/abs/2308.02312
https://developers.slashdot.org/story/23/08/12/0334229/chatgpts-odds-of-getting-code-questions-correct-are-worse-than-a-coin-flip




文章来源: https://www.solidot.org/story?sid=75782
如有侵权请联系:admin#unsafe.sh