OpenAI员工:没什么科学突破了,接下来只需要工程.GPT-5被曝不及预期!

seekdeep2年前AI资讯821

OpenAI下一代旗舰模型被曝提升不如预期。


具体指代号“猎户座”(Orion)的模型相对GPT-4的提升幅度,小于GPT-4相对GPT-3,已进入收益递减阶段。


或许这也是奥特曼曾说,可能不会把新模型命名为GPT-5的原因之一。消息一出,著名悲观派学者Gary Marcus直接半场开香槟,宣布自己胜利。



在更详细的一篇文章中,他认为整个AI行业公司的高估值建立在模型能力不断增强、迅速达到AGI的预期之上。


如果改进放慢了,多数AI公司都能赶上最前沿模型的水平。从此行业进入价格战,收入保持在低位。同时因芯片成本高昂,利润也将难以获得。


当每个人都意识到这一点时,金融泡沫可能会迅速破灭,即使是英伟达也可能受到打击。



并且遇到瓶颈的或许不只是OpenAI,此前Anthropic没有如期发布Claude 3.5 Opus,并且从官网删除了相关描述。


以及谷歌Gemini 2虽然计划很快发布,但也被曝性能提升也不及DeepMind创始人的预期。


大模型Scaling Law真的撞墙了吗?


“猎户座”被曝不及预期,奥特曼:AGI 2025


根据目前消息,长期跟踪ChatGPT进展和网页源码的“光头哥”Tibor Blaho总结如下:


参与测试新模型的OpenAI员工称, “猎户座”仅完成20%训练时就达到了GPT-4级别的性能。


但最终质量提升小于从GPT-3到GPT-4的飞跃,这表明传统的Scaling可能由于高质量数据变得有限而放缓。


训练“猎户座”使用了先前模型(GPT-4和o1)生成的数据,可能导致它重现旧模型的一些行为。


OpenAI创建了一个“基础团队”,在高质量数据供应减少的情况下寻找新方法。


o1类模型成本是传统模型的6倍,“猎户座”可能提高OpenAI数据中心的运营成本,进一步增加财务压力。


OpenAI正在做“猎户座”的安全测试,计划于明年初发布,可能不会再命名为GPT系列



与此同时,从OpenAI CEO和许多资深员工那里,传来的却是不同的故事。


首先是奥特曼接受YC总裁Garry Tan采访,在回答最后一个问题“2025年什么会让你兴奋”时,脱口而出“AGI”,没有半秒犹豫。



这段采访引起争议后,强化学习大牛Noam Brown发声:


我听人们说奥特曼只是在炒作,但从我的观察来看,他说的一切都符合OpenAI一线研究员的中位数观点。



今年1月才入职OpenAI的特斯拉前工程师也表达了认同:


自从我加入以来,我的观点已经从“这是毫无成效的炒作”转变成“AGI基本就在这里”


恕我直言,接下来的科学创新会相对很少,将由多年的艰苦工程代替。



那么,究竟发生了什么?


在Garry Tan与奥特曼的对话中,两人从奥特曼早期在YC的经历,谈到OpenAI的创立、发展过程,以及给如今创业公司的建议等等。


在接近结束的时候,Garry Tan抛出了这样的问题:你从去年秋天的动荡中学到了什么?你对一些人员离职有什么感受?


奥特曼回答:很累,但感觉很好。


ChatGPT还不到两岁,我们有点像在两年内速通了中型甚至大型科技公司的发展历程,通常需要十年时间。


这带来了很多痛苦的事情。任何公司在扩张时,都会以某种速度经历管理团队的更替。擅长从0到1的人不一定适合从1到10或从10到100的阶段。


……我希望我们现在正走向一个更平稳的时期,但我确信将来还会有其他时期,事情会再次变化剧烈。


Garry Tan接着提问:我想知道OpenAI现在运作的如何?目前的质量和推进速度如何?


奥特曼接下来的回答虽然一如既往的打太极,但引起很多关注:


这是我们第一次真正知道该做什么。构建AGI仍然需要大量的工作,有一些已知和未知,还需要一段时间,而且会很困难,但这非常令人兴奋。


……我们的研究路径相当清晰,我们的基础设施路径相当清晰,产品路径也越来越清晰……很长一段时间,我们都不是这样。



评论区网友显然不买账,有人怀疑这只是奥特曼在试图修改AGI的定义,按照合同,一旦董事会宣布AGI达成,就可以停止与微软分享技术了。



也有人指出,这无法解释最近OpenAI人才频繁出走。



对于人才流动,OpenAI模型架构研究员Rohan Pandey表示并没有人们以为的那么严重。


今年早些时候OpenAI员工总数被曝已超过1700,比去年董事会叛变时期增加了上千人。



也有网友认为,反过来也说得通:


OpenAI高管看到技术进展很快,所以提前离开去创办AI智能体公司。


相关文章

AI教父预言正成真,哈佛PSU重磅揭秘“算法共谋”!

AI教父预言正成真,哈佛PSU重磅揭秘“算法共谋”!

又一科幻场景步入现实!GPT-4竟和多个AI模型私自串通一气,欲要形成垄断的资本寡头联合定价。在被哈佛PSU团队抓现行后,大模型拒不认账。未来某天,AI会不会真要失控?GPT-4串谋其他AI智能体,竟...

将发布针对日语进行优化的GPT-4模型,OpenAI官宣在东京开设首个亚洲办事处!

每经AI快讯,OpenAI 4月15日宣布在日本东京设立该公司在亚洲的首个办事处,将业务扩展到亚洲,并将发布针对日语进行优化的GPT-4定制模型。OpenAI称,将致力于与日本政府、当地企业和研究机构...

物化生水平比肩人类博士,OpenAI发布o1推理模型,碾压GPT-4o!

对于复杂的推理任务来说,o1 代表了当前人工智能(AI)能力的新水平。就在刚刚,OpenAI 的“草莓”模型正式发布,名为“o1”,这是一系列新的人工智能模型,旨在花更多时间思考后再做出回答。与以前的...

ChatGPT 出现答非所问、胡言乱语,OpenAI 已紧急修复!

2 月 22 日消息,ChatGPT 用户昨日发现,该聊天机器人返回了很多奇怪的回答内容,例如切换到其它语言、循环输出,反复自我纠正,甚至有些回复答非所问,纯属胡言乱语。例如一位用户和 ChatGPT...

日耗电量高达50万度 ,GPT成“吃电狂魔”, 马斯克“电荒”预言成真?

最近一段时间,公众开始注意到,当前蓬勃发展的生成式AI技术需要耗费大量的电力。据《纽约客》当时时间9日报道,荷兰国家银行数据专家Alex de Vries估计,OpenAI旗下聊天机器人ChatGPT...

从“以人为主”迈向“人机共智”的安全GPT

  在安全运营建设中,我们常说要关注“人员、流程、平台”三个要素,并看到大量的能源、金融、政府、大企业用户,的确围绕态势感知平台、安全运营平台等,并结合供应商和内部员工的安全运营人员队伍,构建了一整套...