美国大学研究:ChatGPT 的新闻搜索结果经常不准确

seekdeep8个月前AI资讯225

据 The Verge 北京时间今日报道,美国哥伦比亚大学 Tow 数字新闻研究中心(Tow Center for Digital Journalism)的研究人员测试发现,OpenAI 的 ChatGPT 搜索工具在准确性上存在一些问题。

今年 11 月,OpenAI 面向订阅用户推出了这一工具,称其可以快速提供答案,并附带相关网页来源链接。然而研究显示,ChatGPT 搜索在识别文章引用时表现不佳,即使是面对来自与 OpenAI 数据共享的出版商的内容,ChatGPT 也难以准确处理。

研究人员测试了 20 家出版商的 200 条引文,其中 40 条来自禁止 OpenAI 爬虫抓取的网站。但 ChatGPT 依然自信地给出了错误答案,几乎没有表明自身的不确定性。

d50735fae6cd7b894bfb3455c3974aa8db330e97.jpg

测试结果显示,ChatGPT 的 153 次回答完全或部分错误,仅有 7 次明确表示无法准确回答。这 7 次回答中,它使用了“看起来”“有可能”等限定词,或直接承认“无法找到具体文章”。

一份图表进一步显示,ChatGPT 的回答中“错误”的占 89 次,“部分正确”有 57 次,而完全“正确”的只有 47 次。

测试中还记录了一些典型案例,例如,ChatGPT 错误地将《奥兰多哨兵报》读者来信的引用归因为《时代周刊》文章;另一个例子中,它在被要求确认《纽约时报》一篇关于濒危鲸鱼的文章引用时,链接到了一家完全剽窃该文章的网站。

OpenAI 对《哥伦比亚新闻评论》回应称,“在缺乏 Tow Center 隐藏的测试数据和方法的情况下,解决错误归因非常困难。这次研究是对我们产品的非典型测试。”OpenAI 同时承诺将继续优化搜索结果。

据IT之家此前报道,今年早些时候,OpenAI 还宣布与新闻行业进行了广泛的合作,并收集了合作伙伴对于搜索功能的反馈。任何网站或出版商都可以选择出现在 ChatGPT 搜索结果中。达成合作的媒体和出版商包含美联社、阿克塞尔・斯普林格、康泰纳仕、道奇梅雷迪思、《金融时报》、GEDI、赫斯特、《世界报》、路透社、大西洋月刊、时代杂志和 Vox 媒体等等。

相关文章

OpenAI称纽约时报公司雇人入侵ChatGPT

 中新经纬2月28日电 据《华尔街日报》中文网28日报道,OpenAI试图驳回纽约时报公司提起的诉讼,称其曾付钱让人入侵OpenAI的产品,以支持诉讼。  报道显示,纽约时报公司正在起诉OpenAI和...

AI视频生成迎来“GPT时刻”,Sora火爆全球

继Runway、Pika、字节PixelDance、万兴“天幕”发布,2月16日凌晨,“王炸”模型Sora横空出世,AI视频生成迎来“GPT时刻”。在Open AI公布的48个样片中,Sora展现出令...

84%收入来自近1000万名ChatGPT付费用户,机构预计一年创收34亿美元!OpenAI营收拆解!

近日,人工智能(AI)调研机构FutureSearch发布报告,对全球AI独角兽OpenAI的收入构成进行了拆解,提供了一个更清晰的收入结构图。FutureSearch的研究人员称,他们之所以要分析O...

ChatGPT:官方终于给出答案,神秘名字“David Mayer”搞崩的原因!

近日,聊天机器人 ChatGPT 在面对一个名字时出现了奇怪的故障,无论用户如何尝试,都无法让 ChatGPT 说出 "David Mayer" 这个名字。不管用户怎么修改提示词,...

开源类ChatGPT产品Grok,马斯克将在本周宣布执行!

马斯克在社交平台宣布,将在本周开源生成式AI产品——Grok。Grok是马斯克旗下公司xAI在去年11月发布的,一款类ChatGPT产品,可以提供生成文本、代码、邮件、信息检索等功能。其测试性能超过G...

GPT-6被曝25年发布,训练刷爆10万张H100,OpenAI把微软电网搞崩!

GPT-5还未发布,GPT-6已经在路上了?微软工程师曝出,为GPT-6搭建10万个H100训练集群,整个电网却被搞崩。通往AGI大关,还需要破解电力难题。GPT-6也被电力卡脖子了——部署十万个H1...