美国大学研究:ChatGPT 的新闻搜索结果经常不准确

seekdeep10个月前AI资讯244

据 The Verge 北京时间今日报道,美国哥伦比亚大学 Tow 数字新闻研究中心(Tow Center for Digital Journalism)的研究人员测试发现,OpenAI 的 ChatGPT 搜索工具在准确性上存在一些问题。

今年 11 月,OpenAI 面向订阅用户推出了这一工具,称其可以快速提供答案,并附带相关网页来源链接。然而研究显示,ChatGPT 搜索在识别文章引用时表现不佳,即使是面对来自与 OpenAI 数据共享的出版商的内容,ChatGPT 也难以准确处理。

研究人员测试了 20 家出版商的 200 条引文,其中 40 条来自禁止 OpenAI 爬虫抓取的网站。但 ChatGPT 依然自信地给出了错误答案,几乎没有表明自身的不确定性。

d50735fae6cd7b894bfb3455c3974aa8db330e97.jpg

测试结果显示,ChatGPT 的 153 次回答完全或部分错误,仅有 7 次明确表示无法准确回答。这 7 次回答中,它使用了“看起来”“有可能”等限定词,或直接承认“无法找到具体文章”。

一份图表进一步显示,ChatGPT 的回答中“错误”的占 89 次,“部分正确”有 57 次,而完全“正确”的只有 47 次。

测试中还记录了一些典型案例,例如,ChatGPT 错误地将《奥兰多哨兵报》读者来信的引用归因为《时代周刊》文章;另一个例子中,它在被要求确认《纽约时报》一篇关于濒危鲸鱼的文章引用时,链接到了一家完全剽窃该文章的网站。

OpenAI 对《哥伦比亚新闻评论》回应称,“在缺乏 Tow Center 隐藏的测试数据和方法的情况下,解决错误归因非常困难。这次研究是对我们产品的非典型测试。”OpenAI 同时承诺将继续优化搜索结果。

据IT之家此前报道,今年早些时候,OpenAI 还宣布与新闻行业进行了广泛的合作,并收集了合作伙伴对于搜索功能的反馈。任何网站或出版商都可以选择出现在 ChatGPT 搜索结果中。达成合作的媒体和出版商包含美联社、阿克塞尔・斯普林格、康泰纳仕、道奇梅雷迪思、《金融时报》、GEDI、赫斯特、《世界报》、路透社、大西洋月刊、时代杂志和 Vox 媒体等等。

相关文章

OpenAI把它放到了机器人上,在GPT-4诞生1年后!

ChatGPT拥有了身体,机器人也有了灵魂。从OpenAI在去年3月14日拿出GPT-4后,已经过了整整一年。显然,在GPT-4诞生之后的这一年,一切都迭代得太快了,从GPT-4展现多模态能力,到千行...

解锁大模型时代的无限可能,从GPT-3到Sora

从2020年OpenAI的GPT-3到2023年的GPT-4再到2024年的文生视频模型Sora,我们见证了大模型领域创新速度之快。从百度、阿里和360等为代表的头部科技企业率先入局到互联网公司、AI...

面临不少麻烦的ChatGPT搜索引擎要来了!

新晋人工智能霸主OpenAI开始挑战搜索市场格局。OpenAI很可能推出基于ChatGPT技术的新搜索引擎。5月6日,界面新闻注意到,名为“GPT Search”的网页已经上线,但目前只有会员才能访问...

80亿参数、前OpenAI人员经数年打造,机器人ChatGPT来了!

机器人 AI 公司 Covariant CEO Peter Chen坐在一个聊天机器人面前,界面和 ChatGPT 的很像。“给我看看你面前的运送箱,” 他输入一段文本。然后出现了一段视频,一个机械臂...

OpenAI员工:没什么科学突破了,接下来只需要工程.GPT-5被曝不及预期!

OpenAI下一代旗舰模型被曝提升不如预期。具体指代号“猎户座”(Orion)的模型相对GPT-4的提升幅度,小于GPT-4相对GPT-3,已进入收益递减阶段。或许这也是奥特曼曾说,可能不会把新模型命...

普通人如何抓住AI机遇? AI眼镜或成下一个风口!

普通人如何抓住AI机遇? AI眼镜或成下一个风口!

智能眼镜市场或迎来新一轮增长,但关键在于AI模型的落地与技术突破。AI技术正在重新定义我们与世界的互动方式,智能眼镜或将成为这一变革的重要载体。AI眼镜:未来生活的新入口智能眼镜不仅仅是科技产品,更是...