美国大学研究:ChatGPT 的新闻搜索结果经常不准确

seekdeep2年前AI资讯683

据 The Verge 北京时间今日报道,美国哥伦比亚大学 Tow 数字新闻研究中心(Tow Center for Digital Journalism)的研究人员测试发现,OpenAI 的 ChatGPT 搜索工具在准确性上存在一些问题。

今年 11 月,OpenAI 面向订阅用户推出了这一工具,称其可以快速提供答案,并附带相关网页来源链接。然而研究显示,ChatGPT 搜索在识别文章引用时表现不佳,即使是面对来自与 OpenAI 数据共享的出版商的内容,ChatGPT 也难以准确处理。

研究人员测试了 20 家出版商的 200 条引文,其中 40 条来自禁止 OpenAI 爬虫抓取的网站。但 ChatGPT 依然自信地给出了错误答案,几乎没有表明自身的不确定性。

d50735fae6cd7b894bfb3455c3974aa8db330e97.jpg

测试结果显示,ChatGPT 的 153 次回答完全或部分错误,仅有 7 次明确表示无法准确回答。这 7 次回答中,它使用了“看起来”“有可能”等限定词,或直接承认“无法找到具体文章”。

一份图表进一步显示,ChatGPT 的回答中“错误”的占 89 次,“部分正确”有 57 次,而完全“正确”的只有 47 次。

测试中还记录了一些典型案例,例如,ChatGPT 错误地将《奥兰多哨兵报》读者来信的引用归因为《时代周刊》文章;另一个例子中,它在被要求确认《纽约时报》一篇关于濒危鲸鱼的文章引用时,链接到了一家完全剽窃该文章的网站。

OpenAI 对《哥伦比亚新闻评论》回应称,“在缺乏 Tow Center 隐藏的测试数据和方法的情况下,解决错误归因非常困难。这次研究是对我们产品的非典型测试。”OpenAI 同时承诺将继续优化搜索结果。

据IT之家此前报道,今年早些时候,OpenAI 还宣布与新闻行业进行了广泛的合作,并收集了合作伙伴对于搜索功能的反馈。任何网站或出版商都可以选择出现在 ChatGPT 搜索结果中。达成合作的媒体和出版商包含美联社、阿克塞尔・斯普林格、康泰纳仕、道奇梅雷迪思、《金融时报》、GEDI、赫斯特、《世界报》、路透社、大西洋月刊、时代杂志和 Vox 媒体等等。

相关文章

蚂蚁首次公布AI应用矩阵;OpenAI已启动开发“GPT-5”;百度智能云推出“千帆行业增强版”

今日AI daily早新闻主要内容有:OpenAI宣布已启动下一代前沿模型训练,传言已久的“GPT-5”已经开始了;蚂蚁首次公布AI应用矩阵;百度智能云推出“千帆行业增强版”,加速行业大模型应用落地。...

AI是否会取代新闻媒体的记者?

AI是否会取代记者?这是近年来媒体行业最热门的话题之一。在近日的一场行业论坛中,四位资深媒体人齐聚一堂,就AI技术对媒体行业的冲击与机遇展开了深入讨论。中国记协原书记处书记张百新在会上指出,AI技术正...

OpenAI获66亿美元新融资 投后估值超千亿

引领此轮生成式人工智能潮流的美国科技公司OpenAI,近日宣布再获66亿美元(约合人民币463.22亿元)新融资,投后估值高达1570亿美元(约合人民币1.1万亿元)。今年年初时,OpenAI市场估值...

物化生水平比肩人类博士,OpenAI发布o1推理模型,碾压GPT-4o!

对于复杂的推理任务来说,o1 代表了当前人工智能(AI)能力的新水平。就在刚刚,OpenAI 的“草莓”模型正式发布,名为“o1”,这是一系列新的人工智能模型,旨在花更多时间思考后再做出回答。与以前的...

盛名之下的ChatGPT,何以使用率偏低?

据新华社日前报道,一项由路透社新闻研究所发布的在线调查结果显示,ChatGPT已是目前使用最为广泛的生成式人工智能工具,不过总体上生成式人工智能工具的频繁使用率仍偏低。研究人员对英国、美国、阿根廷、丹...

OpenAI取消GPT-4 Turbo的每日限制!

OpenAI在社交平台宣布,取消了GPT-4Turbo的所有每日限制,并将速率限制提升1倍。现在,每分钟可处理高达150万TPM的数据。OpenAI这一周的连续王炸组合拳,从ChatGPT增加 “记忆...