OpenAI的超级对齐主管 JanLeike透露了他辞职的真实理由,并透露了更多信息。
首先是计算力不够,答应超对齐小组的20%的数据出现了缺口,这让小组只能硬着头皮往前走,却变得越发艰难。
二是安全管理不够重视,对于 AGI公司的安全管理问题,没有把“亮灯”作为首要任务。
随后,又有一些小道消息,被人挖掘了出来。
比如离开 OpenAI的员工,都需要签订一份不会在外面乱嚼舌根的协议,如果不签署,就会被认定为自动放弃公司股权。
但依然有一些拒绝签字的顽固分子跳出来爆料(令人发笑),称在核心领导人之间就安全优先事项存在长期分歧。
去年的宫斗一直持续到现在,两个派系的理念冲突已经达到了一个临界点,然后看似很有尊严的分崩离析了。
所以,虽然奥特曼派出了共同创立者去接手超对齐小组,它仍然不受欢迎。
第一时间赶到现场的 Twitter用户对 Jan的大胆发言表示感激,同时也感慨道:
我了个擦, OpenAI对这方面的安全还真是不够重视啊!
不过话又说回来,目前负责 OpenAI运营的奥特曼一方,目前还是稳坐钓鱼台的。
他对 Jan在 OpenAI的超级对齐以及安全性上所做的工作表达了谢意,并表示对于 Jan的离去,他感到非常的伤心和不舍。
当然,真正重要的是下面这段话:
等着吧,我会在两天内发布一个比这还要长的推特。
说好的百分之二十的计算力,竟然有做饼的成分。
OpenAI的内斗自从去年开始,灵魂人物、前任首席科学家伊丽娅就很少出现在公众面前,也很少发声。
在他宣布辞职之前,对他的评价就有很大的分歧。很多人都以为伊丽娅看见了什么恐怖的东西,像是人工智能之类的东西,有可能会毁掉人类。
△有个网民说:“我每天早上起来的时候都会想到 Ilya看见了什么。”
这一次, Jan把所有的事情都说了出来,其中最主要的原因,就是技术人员和营销人员对于聚会的安全性的重视程度出现了分歧。
分歧是非常大的,现在的结果……所有人都看见了。
据 Vox称, OpenAI的内部人员表示,奥特曼公司的雇员们对公司的安全性越来越不放心,“他们的信任正在逐渐消失”。
但是你可以看到,在公共的平台上,在公共的场合上,很少有离开公司的人会去讨论这个问题。
部分是因为 OpenAI历来就有这样的传统,即要求雇员在不损害公司利益的情况下签订一份离职协议。如果不签,那就相当于放弃了之前在 OpenAI获得的股份,也就是说,这位站出来的人,很有可能要赔上一大笔钱。
但多米诺骨牌依旧一块接着一块的砸落下来。
Ilya的离职使 OpenAI最近的一波离职浪潮更加严重。
在他之后,又有至少5名安全小组的工作人员离开,包括超级对齐小组的组长 Jan。
还有两个不肯签字的人,丹尼尔.科科塔乔罗(DK Go)。
△ DK兄在去年写到,他相信人工智能有70%的概率会出现一场生存危机。
DK兄是2022年加盟 OpenAI的,在 OpenAI的管理小组中担任要职,负责 OpenAI的 AI安全部署。
不过,他最近也辞去了自己的职务,向外界发表了一篇专访:
OpenAI正在培养更加强壮的人工智能,其目的是使其在所有方面都超过人类的智力。
这也许是人类历史上最美好的一件事,但是也有可能是我们不谨慎的一件事。
DK哥解释说,当时,他带着对公司安全管理的不满和对 OpenAI的期待,加入了 OpenAI,期待着 OpenAI离 AGI更近,更负责。但是 OpenAI的很多成员逐渐认识到 OpenAI不再是那个样子了。
“OpenAO的领导层和他们对 AGI负责任的能力正在逐步丧失信任,” DK说,这也是为什么 DK要离职。
在 Ilya日益严重的离职浪潮中,人们对 AGI的安全前景感到失望,这也是其中的一个因素。
另一方面,也是因为超对齐小组,可能并不像外界所想的那般,能够拥有充足的科研资源。
即便是在超级对齐小组全力投入的情况下, OpenAI也仅仅提供了20%的计算能力。
团队成员的某些要求也常常遭到拒绝。
当然,这是因为对于人工智能企业而言,算力资源极为关键,必须做到物尽其用;此外,“超级校准小组”的任务是“在企业成功构建了 AGI的情况下,解决实际存在的各种安全问题。”
换句话说,“超级对齐小组”相当于 OpenAI未来必须面对的安全性问题。注意,这是将来的事情,谁也不知道是否会发生。
截至本文发稿时,“奥特曼”仍未发布他的“长篇推特”,“而不是 Jan披露的内容。”
但他只是说,詹恩对安全的担心是正确的:“我们仍有许多工作需要完成;我们也是这么打算的。”
就这个吧,大家可以先摆个小桌什么的,到了咱们一块儿先吃瓜吧。
综上所述,目前超齐小组人员流失严重,特别是 Ilya和 Jan的离开,使该小组处于无人领导的尴尬境地。
随后的安排是,由共同创立者约翰·舒玛接管,但是已经没有特别的小组了。
OpenAI的一位发言人说,这个全新的超齐小组将会是一个由来自全公司的不同部门的人员组成的松散组织,“更加紧密的结合在一起”。
外界对此也提出了疑问,因为 John原来的全部职责就是保证 OpenAI现有软件的安全性。
也不知道,约翰在一下子承担了这么多的责任之后,还能不能有足够的时间和精力,将这一支专注于当下,一支专注于将来的安保工作的队伍,给带好?
伊利亚-阿尔特曼之战
如果我们将目光放得更远一些,事实上, OpenAI今日的分裂不过是伊利亚-阿尔特曼“宫斗”的延续。
追溯到十一月份, Ilya仍在公司,他与 OpenAI的董事会一起努力想要炒了奥特曼的鱿鱼。
当时的原因是他没有表现出足够的诚意。换句话说,我们对他没有信心。
但最后的结果很明显,奥特曼和他的“盟友”以加盟微软为要挟,导致公司高层妥协,这次的罢免也没有成功。伊丽娅退出了董事会。而奥特曼一方,则是挑选了一个对自己比较有利的人选。
此后, Ilya也从社交媒体上销声匿迹,直到日前正式宣布辞职。此外,他已经有六个月未在 OpenAI的办公室露面了。
当时,他留下了一条有趣的微博,但是迅速被删掉了。
上个月我学到了很多东西。我们从中学到的一点是,“打人要打到士气高涨才行”的说法并不总是正确的。
但是 Ilya是超级对齐小组的主要负责人,这是由知情人士说的。
而奥特曼那边,被员工诟病的主要是口是心非,嘴上说着要以安全为重,行动上又前后矛盾。
除了原先说好的运算资源一分钱都没出之外。又比如前段时间,沙特就是为了筹措资金建造核心的。
几个很注意安全的工作人员一脸懵逼。
如果他真的在意如何在最大程度上保证 AI的安全性,他就不会为了加快科技的进步而疯狂囤积芯片了吧?
此前, OpenAI也曾向奥特曼(Altman)投资的创业企业下过订单。这笔钱的数额达到了五千一百万美元(大约3亿6千万 RMB)。
而在那段宫斗的日子里, OpenAI的前雇员们的检举书里,对奥特曼形象的描绘也再次得到了证实。
也正是因为这种从头到尾都“言行不一”的做法,才导致公司内部的人,对 OpenAI,对奥特曼,都渐渐丧失了信任。
伊丽娅是如此,扬·拉克是如此,超级对齐小组也是如此。
也有有心的网民,将这些年中,与之有关的事件,进行了重点的梳理,首先,给大家一个温馨的提醒,后面的 P (房间),就是“人工智能有可能触发末日场景”的意思。
2021年,GPT-3项目的领导者因为“安全”原因退出 OpenAI,成立了 Anthropic公司;一个人估计 P (室)是10~25%;
2021年 RLHF安保研发主管离开, P (室)50%;
2023年,奥特曼被 OpenAI的董事会辞退;
2024年,开放人工智能公司解雇了两名安全专家;
2024年, OpenAI的一名研究人员离开了公司,他的工作重点是安全性,他相信 P (房间)的利用率达到了70%。
2024年,伊丽娅,杨拉克离开。
技术或营销?
大企业模型开发到现在,“AGI是怎么来的?”」事实上,可以分为两个方向。
技术型的人想要等到技术成熟,可以控制的时候才去使用;市场学派主张“渐进式”的开放与适用相结合。
这也是关于 OpenAI任务的Ilya-Altman争论的基本差异:
关注 AGI和超对齐或关注 ChatGPT服务的扩张?
ChatGPT服务的大小增加,表示所需的计算能力增加;因此,在 AGI安全性方面的研究也将花费大量的时间。
如果 OpenAI是一家非营利的科研机构,那么它就该在“超级校准”上投入更多的时间。
从 OpenAI的几次对外宣传就可以看出, OpenAI的目的并不是为了赚钱,而是为了在大型机型的市场上抢占先机,为公司和用户带来更多的产品和服务。
这对伊丽娅来说,是很冒险的一件事。即使我们还不知道当它扩大时会发生什么事, Ilya认为最佳的方式是将安全放在首位。
公开、透明,让我们能够保证 AGI的安全建设,不会有任何的秘密。
但是,奥特曼领导下的 OpenAI看起来并不像是在寻求开放源码或超整合。相反,它只是疯狂地冲向 AGI,并努力构筑护城河。
那么,最终人工智能科学家伊利亚做出了正确的决定,或者硅谷企业家奥特曼最终胜出?
目前尚不清楚。但 OpenAI目前至少遇到了一个关键的抉择。
有圈内人总结出两个重要的迹象。
一个原因是 OpenAI的主要业务收入来自 ChatGPT,因此GPT-4不可能在没有良好模式支持的情况下免费发布;
另外一个原因是,如果离开的组员(Jan, Ilya等等)并不在意以后会不会有更加强悍的能力,那么也就不会在意校准的事情了…… AI要是一直保持现在的水准,其实也没什么关系。
但 OpenAI所面临的最基本的矛盾并未解决,一方面是“强盗”式的人工智能科学家担心 AGI的问责制,另一方面是硅谷的市场人士迫切希望通过商业手段实现科技的可持续性。
两个阵营已经水火不容,科学派是彻底退出 OpenAI了,而且到目前为止,外面的人还不清楚 GPT到底走到了什么地步?
急着求解答的吃瓜群众们有些心累。
一股深深的无力感油然而生,正如伊丽娅的老师,图灵奖的三大得主之一辛顿所言:
我年纪大了,我很担心,但是我什么都做不了。