登录注册
比尔盖茨&山姆奥特曼访谈纪要
挖掘底部金股预期差
全梭哈的老韭菜
2024-01-21 15:59:53

核心摘要:

lSam认为未来多模态是最为重要的发展方向

lGPT-4的推理能力、可靠性、个性化体验有限,亟需增强

l未来有望出现比GPT-4的算力大十万、百万倍的超级系统

lAI进程不会放缓,就像人类广泛利用核能一样,因此需要类似国际原子能机构的组织进行全球AI的监管、磋商

lAI目前可以完成“任务”,但无法完成“工作”;最终,AI会取代人类现有的“工作”,但人类也会找到新的“工作”。

lAI最大的意义在于帮助用户提升效率,如此一来,用户的脑力可以放在更为重要的事情上。

lSam认为机器人是另一个重要的AI即将渗透的领域。

l机器人与AIGC最大的不同是,前者需要计算精确的动作指令,而后者更加看重大模型的泛化能力。

lOpenAI的成本下降曲线很陡峭,远远超过摩尔定律。原因在于OpenAI想出了如何让模型更高效的方法,对研究有了更好的理解,GPT可以在更小的模型中获得更多的知识和能力。Sam认为,人类将会把AI的成本降低到接近于零的程度。

Bill:我今天的嘉宾是Sam Altman。当然,他是OpenAI的首席执行官。长期以来,他一直是科技行业的创业者和领军人物,包括经营Y Combinator,为Reddit、Dropbox、Airbnb等公司提供资金。

在我录制本期节目后不久,他被任命为OpenAI的首席执行官,这让我感到非常意外,至少是短暂的意外。在被解雇后的几天里发生了很多事,包括几乎所有OpenAI员工的支持,Sam又回来了。所以,在你听到我们的谈话之前,让我们先来了解一下Sam,看看他现在过得怎么样。

Bill:团队怎么样?

Sam:我想,你知道很多人都说,团队从来没有像现在这样高效、乐观或更好。所以,我想这是所有这一切的一线希望。

从某种意义上说,这对我们来说是一个真正成长的时刻,我们非常有动力变得更好,成为一家准备好迎接挑战的公司。

Bill:太棒了。

因此,我们不会在对话中讨论这种情况;不过,你们会听到Sam致力于打造安全、负责任的人工智能的承诺。希望你们喜欢这次对话。欢迎收看《解惑》。我是Bill。

Bill今天我们将主要关注人工智能,因为这是一件令人兴奋的事情,同时人们也对此表示担忧。欢迎,Sam。

Sam:非常感谢你邀请我。

Bill:我有幸目睹了你们的工作进展,当时我很怀疑。我没想到ChatGPT会做得这么好。它让我大吃一惊,我们并不真正了解编码。我们知道数字,我们可以看它的乘法,但莎士比亚的编码在哪里?你认为我们能理解这种表示法吗?

Sam:百分之百。试图在人脑中实现这一点非常困难。你可以说这是一个类似的问题,就是有这些神经元,它们是连接在一起的。连接是运动的,我们不能把你的大脑切片,观察它是如何进化的,但这我们可以用X光完美地实现。在可解释性方面已经做了一些很好的工作,我认为随着时间的推移还会有更多。我认为我们将能够理解这些网络,但我们目前的理解能力还很低。正如你所期望的那样,我们所了解的那一点点,对改进这些东西非常有帮助。撇开科学好奇心不谈,我们都有动力去真正了解它们,但它们的规模是如此庞大。我们还可以说,莎士比亚在你大脑的哪个位置编码,又是如何表现的?

Bill:我们不知道。

Sam:我们真的不知道,但对于这些我们本应可以完美地进行X光透视、观察和任何测试的大量数字,说我们还不知道,感觉就更不令人满意了。

Bill:我敢肯定,在未来五年内,我们会明白这一点。就训练效率和准确性而言,这种理解会让我们比现在做得更好。

Sam:百分之百。在很多科技史上,你都能看到这种情况,有人做出了经验性的发现。他们不知道发生了什么,但很明显它是有效的。然后,随着对科学理解的加深,他们可以把它做得更好。

Bill:是的,在物理学和生物学中,有时只是胡乱猜测,就像,哇!这究竟是怎么实现的?

Sam:在我们的案例中,建造GPT-1的人自己动手解决了这个问题,虽然有点令人印象深刻,但并没有深入理解它是如何工作的,为什么会工作。后来,我们得到了缩放定律。我们可以预测它会好到什么程度。这就是为什么当我们告诉你我们可以做一个演示时,我们非常有信心它能成功。我们还没有训练过模型,但我们非常有信心。这让我们做了很多尝试,对发生了什么有了越来越科学的认识。但它确实首先来自于经验结果。

Bill:展望未来两年,你认为有哪些重要的里程碑?

Sam:多模态肯定会很重要。

Bill:也就是语音输入、语音输出?

Sam:说进去,说出来。图像最终是视频,显然,人们真的需要视频。我们已经推出了图像和音频,反响比我们预期的要强烈得多。我们还将进一步推动这方面的发展,但最重要的进步领域可能是推理能力。现在,GPT-4的推理能力非常有限。还有可靠性。如果你向GPT-4提出10,000次问题,这10,000次中可能会有一次回答得很好,但它并不总是知道是哪一次,而你希望每次都能得到10,000次中最好的回答,因此提高可靠性将非常重要。

可定制性和个性化也非常重要。人们对GPT-4的需求各不相同:不同的风格、不同的假设。我们将使这一切成为可能,而且还能让它使用你自己的数据。能够了解你、你的电子邮件、你的日历、你喜欢的预约方式、与其他外部数据源的连接,所有这些。这些都将是最重要的改进领域。

Bill:在目前的基本算法中,它只是前馈、乘法,因此要生成每个新词,本质上都是在做同样的事情。我很感兴趣的是,如果有一天你能达到这样的境界,比如在求解一个复杂的数学公式时,你可能需要应用任意次数的变换,那么推理的控制逻辑可能要比我们现在所做的复杂得多。

Sam:至少,我们似乎需要某种自适应计算。现在,我们花在每个Token上的计算量都是一样的,要么是一个哑令牌,要么是计算一些复杂的数学运算。

Bill"做黎曼假设..."

Sam:这需要大量计算。

Bill:和说"the"的计算量是一样的。

Sam:是的,所以我们至少要让它发挥作用。除此之外,我们可能还需要更复杂的东西。

Bill:我很高兴约有30名参议员参加了这次会议,并帮助他们尽快熟悉情况,因为这是一个很大的变革因素。我不认为我们做了太多的事情来吸引政界人士。然而,当他们说,"哦,我们在社交媒体上搞砸了,我们应该做得更好"--这是一个巨大的挑战,在两极分化方面有非常负面的因素。即使是现在,我也不确定我们该如何应对。

Sam:我不明白为什么政府不能在社交媒体方面做得更好,但这似乎值得作为一个案例来理解,因为他们现在要经历的是人工智能。

Bill:这是一个很好的案例研究,当你谈到监管时,你是否清楚将制定什么样的监管条例?

Sam:我想我们已经开始弄明白了。在这个领域制定过多的法规是非常容易的。你可以看看以前发生过的很多例子。但同时,如果我们是对的,也许结果并非如此,但如果我们是对的,而这项技术又能像我们认为的那样发展,那么它将影响社会、地缘政治力量平衡等诸多方面,因此,对于这些仍然是假设的、但未来会异常强大的系统--不是像GPT-4那样的系统,而是计算能力是GPT-4十万或百万倍的系统--我们已经形成了一个全球监管机构的理念,这个机构将负责监管这些超级强大的系统,因为它们确实会产生全球性的影响。我们谈到的一个模式就是类似国际原子能机构的模式。对于核能,我们的决定也是如此。由于其潜在的全球影响,它需要一个全球性的机构。我认为这是有道理的。会有很多短期问题,比如这些模型可以说什么,不可以说什么?我们如何看待版权问题?不同的国家会有不同的想法,这很好。

Bill:有些人认为,如果有一些模型如此强大,我们就会害怕它们--核监管之所以在全球范围内行之有效,是因为基本上每个人,至少是民用方面的人,都希望分享安全实践,这一点非常好。当你进入核武器领域时,就不会有这样的情况了。如果关键是要阻止整个世界做一些危险的事情,你几乎需要全球政府,而今天在许多问题上,比如气候、恐怖主义,我们看到我们很难合作。人们甚至援引中美竞争来解释为什么任何放缓的想法都是不恰当的。难道任何放慢脚步的想法,或者说放慢脚步以谨慎行事的想法都难以实施吗?

Sam:是的,我认为,如果它被理解为要求放缓速度,那将会非常困难。如果它说:"随你们怎么做,但任何超过某个极高功率阈值的计算集群"--考虑到这里的成本,我们说的可能是世界上五个这样的集群--任何这样的集群都必须接受相当于国际武器检查员的检查。那里的模型必须接受安全审计,在训练期间和部署之前通过一些测试。我觉得这是可能的。我之前并不那么确定,但今年我做了一次大型环球旅行,与许多需要参与其中的国家的元首进行了交谈,他们几乎都对此表示支持。但这并不能拯救我们于水火。规模小得多的系统仍会出错,在某些情况下,可能错得很离谱。但我认为,这可以帮助我们应对最大的风险。

Bill:能帮助我们解决一些棘手的问题。

Sam:当然。

Bill:我们看到人工智能提高了很多生产力,这绝对是件好事。你对哪些领域最感兴趣?

Sam:首先,我始终认为值得记住的是,我们正处在一条漫长而持续的曲线上。现在,我们的人工智能系统可以完成任务。它们当然不能完成工作,但它们可以完成任务,这就提高了生产力。最终,它们将能做更多我们今天认为是工作的事情,当然,我们也会找到新的工作和更好的工作。我完全相信,如果你给人们提供更强大的工具,他们不仅可以工作得更快一些,还可以做一些质的不同的事情。现在,我们或许可以将程序员的工作速度提高3倍。这就是我们所看到的,也是我们最兴奋的领域之一。它运行得非常好。但是,如果你能让程序员的效率提高三倍,那就不仅仅是他们能做的事情多了三倍,而是他们能--在更高的抽象层次上,使用更多的脑力--现在他们能思考完全不同的事情。这就好比从打卡机到更高级别的语言,不仅仅是让我们的编程速度快了一点,而是让我们能做这些质的变化。我们确实看到了这一点。

当我们看这些能完成更完整任务的下一步时,你可以想象一个小助理,你可以说:"去帮我写这整个程序吧,一路上我会问你几个问题,但它不会一次只写几个函数。"这样就会有很多新东西。然后,它还能做更复杂的事情。也许有一天,人工智能会对你说"去帮我创办和管理这家公司吧"也许有一天,人工智能可以对你说"去发现新的物理学吧"我们现在看到的东西非常令人兴奋和美妙,但我认为值得始终把它放在这项技术的背景下,至少在未来的五年或十年内,这项技术将处于一个非常陡峭的改进曲线上。

编码可能是我们今天最兴奋的一个提高生产力的领域。在这一点上,它已得到大规模部署和规模化使用。医疗保健和教育也是我们非常期待的两个领域。

Bill:有点令人生畏的是,与以往的技术改进不同,这次的改进速度非常快,而且没有上限。它可以在很多工作领域达到人类的水平,即使它不做独特的科学研究,它也可以做客服、销售电话。我想你和我都有一些担忧,在这一好事的同时,它会迫使我们以前所未有的速度去适应。

Sam:这正是可怕的地方。不是说我们必须适应。并不是说人类没有超强的适应能力。我们已经经历了这些大规模的技术变革,人们所从事的大部分工作在几代人的时间里都会发生变化,而在几代人的时间里,我们似乎可以很好地吸收这些变化。我们在过去的伟大技术革命中看到了这一点。每一次技术革命都会变得更快,而这次将是迄今为止最快的一次。这就是我觉得可能有点可怕的地方,那就是社会必须适应的速度,以及劳动力市场将发生的变化。

Bill:人工智能的一个方面是机器人技术,或者说蓝领工作,当你的手和脚达到人类水平的时候。ChatGPT令人难以置信的突破让我们开始关注白领工作,这是非常恰当的,但我担心人们会失去对蓝领工作的关注。你如何看待机器人技术?

Sam:我对此感到非常兴奋。我们很早开始研究机器人,所以不得不搁置这个项目。这是个错误的决定。它并没有帮助我们在人工智能研究的困难部分取得进展。我们一直在处理糟糕的模拟器和肌腱断裂之类的问题。随着时间的推移,我们也越来越意识到,我们首先需要的是智能和认知,然后才能想办法让它适应物理特性。从建立这些语言模型的方式入手比较容易。不过,我们一直计划回到这个问题上来。

我们已经开始对机器人公司进行少量投资。在物理硬件方面,我终于第一次看到了真正令人兴奋的新平台。到时候,我们就能利用我们的模型,就像你刚才说的,利用它们的语言理解能力和未来的视频理解能力,说:"好吧,让我们用机器人做一些了不起的事情吧。"

Bill:如果那些在腿上做得很好的硬件制造商能把手臂、手掌和手指都做出来然后我们再把它们组合起来而且价格也不会贵得离谱。

Sam:是的。当然,如果我们把时间倒回七年或十年前,当时的一致预测是,首先AI将影响蓝领工作,其次是白领工作,创造性也许永远不会,但肯定是最后,因为那是魔法和人性。

显然,现在的情况正好相反。我认为这其中有很多有趣的原因。创造性的工作,GPT模型的幻觉(泛化能力)是一个特点,而不是一个错误。它能让你发现一些新事物。而如果你要让机器人移动重型机械,你最好能做到非常精确。我认为这只是一个你必须跟随技术发展的案例。你有先入为主的观念,但有时科学并不想走这条路。

Bill:你用得最多的手机应用是什么?

Sam:Slack.

Bill:真的吗?

Sam:是的。我希望我能说是ChatGPT。

Bill:比电子邮件还多?

Sam:比电子邮件多得多。我唯一想到的可能是iMessages,但没错,不止于此。

Bill:在OpenAI内部,有很多协调工作要做。

Sam:是的。那你呢?

Bill:是Outlook。我是个老式的电子邮件用户,要么用Outlook,要么用浏览器,因为我的很多新闻都是通过浏览器发布的。

Sam:我没把浏览器算作应用程序。有可能我用得更多,但我还是认为是Slack。我整天都在用Slack。

Bill:难以置信。

Bill:现在,对于人工智能,对我来说,如果你真的达到了令人难以置信的能力,AGI,AGI+,我担心有三件事。一是坏人控制了系统。如果我们有拥有同样强大系统的好人,希望能把这个问题降到最低。二是系统被控制的可能性。出于某些原因,我不太担心这个问题。我很高兴其他人也这么想。让我感到困惑的是人类的目的。我很擅长研究疟疾和根除疟疾,也很擅长召集聪明人并为此投入资源。当机器对我说:"比尔,去玩皮球吧,我有根除疟疾的工作。你只是个思维迟钝的人。"那么,这在哲学上就是一件令人困惑的事情。你如何组织社会?是的,我们要改善教育,但教育要做什么,如果你走到这个极端,我们仍然有很大的不确定性。这是第一次,未来20年可能出现的机会不是零。

Sam:研究技术有很多心理上的困难,但对我来说,这是最困难的,因为我也从中获得了很多满足感。

Bill:你有真正的附加值。

Sam:从某种意义上说,这可能是我做的最后一件难事了。

Bill:教师、医生和好的想法都很稀缺,我不知道没有这种稀缺的情况下成长起来的一代人能否找到如何组织社会和做什么的哲学概念。也许他们会想出解决办法。恐怕我的思维已经被稀缺性所左右,我甚至很难想到它。

Sam:这也是我对自己说的,也是我真正相信的,虽然我们在这里放弃了一些东西,但从某种意义上说,我们将拥有比我们更聪明的东西。如果我们能进入这个"后匮乏"的世界,我们就会找到新的事情可做。它们的感觉会非常不同。也许你不是在解决疟疾问题,而是在决定你喜欢哪个星系,以及你要用它做什么。我相信,我们永远不会没有问题,我们也永远不会没有不同的方式来寻找满足感,为彼此做事,了解我们如何以这种方式为其他人类玩我们的人类游戏,这将仍然非常重要。这肯定会有所不同,但我认为唯一的出路就是去做这件事。这是一条不可阻挡的技术路线。价值太大了。我非常有信心,我们会成功的,但感觉确实会很不一样。

Bill:如何将其应用到当前的某些问题上,比如给孩子们找个家教,帮助激发他们的积极性,或者发现治疗老年痴呆症的药物,我认为这都是很清楚的方法。人工智能是否能帮助我们减少战争,减少两极分化;你会认为,随着AI的发展,不两极分化是常识,不发生战争也是常识,但我确实认为很多人会持怀疑态度。我很乐意让人们研究人类最棘手的问题,比如我们是否能和睦相处。如果我们认为人工智能能为人类和睦相处做出贡献,我认为这将是非常积极的。

Sam:我相信人工智能会给我们带来惊喜。这项技术能做的事情会让我们大吃一惊。我们还需要摸索和观察,但我非常乐观。我同意你的观点,这将是多么大的贡献。

Bill:就公平性而言,技术通常是昂贵的,比如个人电脑或互联网连接,成本下降需要时间。我想,运行这些人工智能系统的成本看起来很不错,每次评估的成本会降低很多吗?

Sam:已经降低了很多。GPT-3是我们推出时间最长、优化时间最长的模型,在它推出的三年多时间里,我们已经将成本降低了40倍。对于三年的时间来说,这是一个很好的开始。至于3.5版,我敢打赌,目前我们已经将其成本降低了近10倍。4型是新产品,所以我们还没有那么多时间来降低成本,但我们会继续降低成本。我认为,在我所知道的所有技术中,我们的成本下降曲线是最陡峭的,远远超过摩尔定律。这不仅是因为我们想出了如何让模型更高效的方法,还因为我们对研究有了更好的理解,我们可以在更小的模型中获得更多的知识和能力。我认为,我们将把智能的成本降低到接近于零的程度,这将是社会的一次前无古人后无来者的变革。

现在,我的世界基本模型是智能成本和能源成本。这是影响生活质量的两大因素,尤其是对穷人而言。但总体而言,如果你能同时降低这两项成本,你能拥有的东西就会更多,你能为人们带来的改善就会更大。我们正走在一条曲线上,至少在智能方面,我们将真正实现这一承诺。即使按照目前的价格(这也是有史以来最高的价格,而且远远超出了我们的预期),每月20美元,你就能获得大量的GPT-4访问权限,而且价值远远超过20美元。我们已经降得很低了。

Bill:竞争格局怎么样?很多人同时在做这件事,是不是很有趣?

Sam:这既令人讨厌,又有动力和乐趣。我相信你也有类似的感觉。这确实促使我们做得更好,做得更快。我们对自己的方法很有信心。我们有很多人,我认为他们都在往冰球所在的地方滑,而我们也在往冰球要去的地方滑。感觉很好。

Bill:我想人们会对OpenAI的规模之小感到惊讶。你们有多少员工?

Sam:大约500人,所以我们比以前大一点。

Bill:确实很小,以谷歌、微软、苹果的标准来看。

Sam:是很小。我们不仅要经营研究实验室,现在还要经营一家真正的企业和两款产品。

Bill:你所有能力的扩展,包括与世界上所有的人交谈,倾听所有支持者的声音,这对现在的你来说一定很吸引人。

Sam:非常令人着迷。

Bill:这主要是一家年轻的公司吗?

Sam:这是一家比一般公司更老的公司。

Bill:好吧。

Sam:不是一群24岁的程序员。

Bill:因为我已经六十多岁了,你更年轻,但你是对的。你有很多40多岁的程序员。

Sam:30-50岁。

Bill:这不是早期的苹果、微软,我们那时还是孩子。

Sam:不是的,我也反思过这个问题。我觉得公司普遍变老了,我不知道该怎么看。我认为这对社会来说是个不好的迹象,但我在Y Combinator追踪过这个问题。随着时间的推移,最优秀的创始人年龄都呈增长趋势。

Bill:这很有意思。

Sam:就我们的情况而言,我们比平均年龄大一点,即使如此。

Bill:你在Y Combinator帮助这些公司,学到了很多东西。我想,这对你现在所做的事情是很好的锻炼。

Sam:对我帮助很大。

Bill:包括发现错误。

Sam:完全正确。OpenAI做了很多与标准Y Combinator建议背道而驰的事情。我们花了四年半的时间才推出第一款产品。公司成立之初,我们对产品没有任何概念。我们没有与用户交流。我仍然不建议大多数公司这样做,但在Y Combinator学习和见识过这些规则后,我觉得自己明白了何时、如何、以及为什么我们可以打破这些规则。我们所做的事情真的与我见过的其他公司大相径庭。

Bill:关键在于你聚集的人才,让他们专注于大问题,而不是一些短期收入的事情。

Sam:我认为硅谷的投资者不会在我们需要的水平上支持我们,因为我们在开发产品之前,必须在研究上花费大量资金。我们只是说,"最终这个模型会足够好,我们知道它会对人们有价值"。但我们非常感谢与微软的合作,因为这种先于收入的投资方式并不是风险投资行业所擅长的。

Bill:资本成本相当可观,几乎达到了风险投资所能承受的极限。

Sam:也许已经过去了。

Bill:也许过了。我认为萨提亚在思考“如何将这个出色的人工智能组织,与大型软件公司结合起来?”它起到了非常非常大的协同作用。

Sam:是的,非常棒。不过,你真的提到了这一点,这也是我从Y Combinator学到的。我们说,我们要找世界上最好的人来做这件事。我们要确保我们的目标和AGI的使命是一致的。但除此之外,我们要让人们做自己的事情。我们会意识到这将经历一些曲折,需要一段时间。

我们有一套理论,结果证明是大致正确的,但一路上的很多策略都被证明是大错特错的。我们只是试图遵循科学。

Bill:我记得我去看了演示,然后想,好吧,这个项目的收入路径是什么?是什么样的?在这个狂热的时代,你仍然坚持着一个令人难以置信的团队。

Sam:是的。优秀的人都希望与优秀的同事共事。

Bill:这是一种吸引力。

Sam:那里有一个很深的重心。此外,这听起来很老套,每家公司都这么说,但人们对使命的感受是如此深刻。每个人都想参与AGI的创建。

Bill:一定很激动人心我看到了你们的活力,你们的演示又让我大开眼界;我看到了新人、新想法。你们继续以令人难以置信的速度前进。

Sam:你最常给人的建议是什么?

Bill:人才有许多不同的形式。在我职业生涯的早期,我认为只有纯粹的智商,比如工程方面的智商,当然,你也可以把它应用到财务和销售方面。结果证明这是大错特错的。组建团队,将各种技能合理搭配是非常重要的。让人们思考,针对他们的问题,如何建立一支拥有各种不同技能的团队,这可能是我认为最有帮助的方法。是的,告诉孩子们,你知道,数学、科学很酷,如果你喜欢的话,但真正让我感到惊讶的是人才组合。

那你呢?你有什么建议?

Sam:是关于大多数人对风险的误判。他们害怕离开舒适的工作,去做自己真正想做的事,而事实上,如果他们不这样做,他们回顾自己的人生时会说:"伙计,我从来没有去创办我想创办的公司,或者我从来没有尝试去做一名人工智能研究员。"我认为这样做风险更大。

与此相关的是,明确自己想要做什么,并向别人提出自己的要求,会有意想不到的收获。很多人受困于把时间花在自己不想做的事情上。我最常给的建议可能就是想办法解决这个问题。

Bill:如果你能让人们从事一份他们觉得有意义的工作,那会更有趣。有时,这样才能产生巨大的影响。

Sam:那是肯定的。

Bill:感谢您的到来。这是一次精彩的对话。在未来的日子里,我相信我们还会有更多的交流,因为我们正努力以最佳方式塑造人工智能。

Sam:非常感谢邀请我。我真的很喜欢。

Bill:Unconfuse Me由Gates Notes出品。特别感谢今天的嘉宾Sam Altman。

Bill:你的第一台电脑是什么?

Sam:Mac LC2.

Bill:不错的选择。

Sam:是台好电脑。我还留着它,它还能用。

作者利益披露:转载,不作为证券推荐或投资建议,旨在提供更多信息,作者不保证其内容准确性。
声明:文章观点来自网友,仅为作者个人研究意见,不代表韭研公社观点及立场,站内所有文章均不构成投资建议,请投资者注意风险,独立审慎决策。
S
苹果公司
工分
1.75
转发
收藏
投诉
复制链接
分享到微信
有用 0
打赏作者
无用
真知无价,用钱说话
0个人打赏
同时转发
暂无数据