Meta憋大招！明年初训练全新开源大模型对标GPT-4、正-韭研公社

登录注册

Meta憋大招！明年初训练全新开源大模型对标GPT-4、正

降龙十七掌

超短追板的龙头选手

2023-09-12 01:15:13

据《华尔街日报》爆料，Meta正在加紧研发全新的开源大模型，支持免费商用，能力对标GPT-4，参数量比Llama2还要大上数倍，计划在2024年初开始训练。
报道称，Meta一直在抢购更多的英伟达H100人工智能训练芯片，并正在加强其数据中心建设，以便这一次它不再需要依赖微软的Azure云平台来训练新的聊天机器人。其在今年早些时候组建了一个团队来构建该模型，目标是加快创建可以模仿人类表情的人工智能工具。
《华尔街日报》强调，对于这个筹划中的大模型，细节有可能发生变化。
▌Meta坚守“开源”路线
在这场人工智能竞赛中，“开源”是Meta最鲜明的旗帜。大模型可以被免费地用于研究和商业用途，意味着个人开发者和中小型企业能够以最低的成本调用Llama2大模型，而不是花费高昂的成本采购闭源大模型，这也有利于开源大模型用户的吸纳与培养以及大模型开源生态的构建。
2月份，Meta凭借开源的Llama大模型回到生成式AI核心阵列，并在5个月后火速发布Llama2。Llama2有70亿、130亿和700亿三种参数规模，其中700亿参数模型能力已与GPT-3.5接近。
综合来看，扎克伯格的想法是，一边加大投入，让自家大模型性能上追赶OpenAI，一边通过开源，让AI社区以自家模型为基础来不断迭代，为自己的产品打造更开放的生态环境。扎克伯格在阐述为什么要开源时写道：“开源推动创新，因为它使更多的开发人员能够使用新技术进行开发。我相信，如果生态系统更加开放，将会带来更大的进步。”
今年以来，Meta开源的大模型包括语言大模型MMS、计算机视觉模型SAM/I-JEPA、多模态AI模型ImageBind。
有评论称，让像Llama这样复杂的模型广泛地供企业免费使用，可能会颠覆OpenAI等公司在新生的人工智能软件市场上建立起来的早期主导地位。
▌生成式AI竞技场高手如云
不过，Meta的大模型研发之路并非一帆风顺。6月初国会一封质询信直接寄到的扎克伯格手上，措辞严厉的要求他说明3月份Llama泄漏事故的前因后果。一波未平一波又起，近日该公司又陷入大模型团队内讧、人员流失严重的困境，科技媒体The Information称，初代Llama模型的14位核心原作者中，已有超过一半的人全部离职。
与此同时，生成式AI领域的竞争日趋白热化。
尽管OpenAI在4月份、6月份均表示尚未开始训练GPT-5，但OpenAI一直在推出GPT-3.5的微调版本，公司还透露，GPT-4的微调功能将于今年秋天推出。另有蛛丝马迹显示，OpenAI的上述发言只是“烟雾弹”。8月1日，有外媒报道称，OpenAI已经为GPT-5申请了商标。
其他对手同样虎视眈眈。据科技媒体最新报道，苹果计划每天在人工智能上投资数百万美元，多个团队正在同时开发多种人工智能模型，内部模型Ajax据称已超过GPT-3.5；谷歌和微软都在各自的生产力工具中扩大人工智能的使用，谷歌希望在谷歌助手中使用生成式人工智能；亚马逊在其整个组织内开展了生成式人工智能计划，可以产生一个由聊天机器人驱动的Alexa……
巨头依然在狂奔，这场围绕生成式人工智能的年度大戏，依然看点迭出、精彩纷呈。

作者利益披露：转载，不作为证券推荐或投资建议，旨在提供更多信息，作者不保证其内容准确性。

声明：文章观点来自网友，仅为作者个人研究意见，不代表韭研公社观点及立场，站内所有文章均不构成投资建议，请投资者注意风险，独立审慎决策。

张江高科

新纶新材

高鸿股份

工分