登录注册
算力大跌与Deepspeed Chat开源
金融民工1990
长线持有
2023-04-14 22:57:16

昨天算力的大涨还记忆犹新,今天就一个反向反包让人猝不及防,单从技术层面来说, 即使今天有大量获利了结的需求,也不至于跌的这么突然,所以我们认为今天算力带动 整个AI板块下跌更主要的原因是微软宣布开源Deepspeed Chat。

Deepspeed Chat是什么? Deepspeed Chat是基于微软本身就有的、一直为AI社区所熟知的深度学习优化库Deep Speed开发而成。 可以看到这个优化库一直在微软的技术库内,并不是一个新的东西,昨天的消息只是微 软开源了这个优化库。这个优化库具备训练、强化推理等功能,使用RLHF(人工反馈机 制的强化学习)技术,可以将训练速度提升15倍,成本却大幅度降低。 于是市场线性的理解为:多模态大模型训练成本降低 — 算力逻辑证伪。于是整个服务 器-光模块-芯片全线大跌。

但是我们认为,这个线性的理解实际上是错误的,更多的是情绪层面的影响。 一个最粗暴的逻辑就是,AI之所以如此强势是因为Open AI的多模态大模型GPT4的横空 出世,而不是ChatGPT。而这个Deepspeed优化库微软一直有,Open AI必然也可以 用,那么Open AI所披露的大模型对算力的需求必然已经计算了Deepspeed的影响。

所以只有两种可能:

1. GPT4的算力需求已经使用了Deepspeed优化。那么Deepspeed开源之前,业内对于 其他公司开发训练相同层次模型的算力需求测算就是默认包含了Deepspeed优化(这个 测算也可以认为是错误的,因为没有Deepspeed优化技术,其他公司的开发训练成本将 大大提高)。

2. GPT4的开发训练过程无法用Deepspeed优化。Deepspeed只能针对类ChatGPT模 型做优化。但实际上所有公司最终对标的都是GPT4及以上的模型,而不是ChatGPT。

我们倾向于是第二种可能,因为在Open AI尚未建立统治地位的情况下,Deepspeed开 源无异于授人以渔,对微软的伤害程度仅次于开源GPT4。任何一个理智的职业经理人都 不会做出这样的选择,投资几百亿美元只为人类社会做贡献? 但无论事实如何,对算力需求的测算都不会因为Deepspeed开源而大幅改变。

那么 Deepspeed Chat的开源,真正的影响是什么呢?我们认为主要有下面几个影响:

1. 推动个人和小型机构参与AI模型的开发。

2. 笼络更多的参与者进入微软Open AI生态圈,从而打击其他的潜在竞争者。

3. 给微软带来更多的云端业务流水。

4. 降低类ChatGPT模型的开发门槛,降低研究人员和入门级别类ChatGPT模型对算力的 要求。 那么从算力需求的角度来考虑,只有1、4两项有影响。第一项实际上是利好整体AI发展 的,同时也是边际利好算力,因为更多的参与者和更低的门槛都对应增量的算力需求。 而第四项也是利好整体AI发展的,但是边际利空算力,因为如果足够多的研发机构都停 留在类ChatGPT模型阶段,那么优化库开源会降低整体的算力需求。

所以Deepspeed开源对算力的影响最终落到了两个问题上: 未来AI革命要开发的到底是类ChatGPT4、5、6还是更强大的GPT5、6、7? 有多少大型机构愿意寄人篱下用微软的云服务开发次等模型? 答案不言自明。 所以让我们回到最初的那个问题: Deepspeed Chat到底是什么? Deepspeed Chat就是一个AI模型训练App。可以让更多的人用更低的成本去开发一些 基础的类ChatGPT模型以供基本研究和娱乐用,与多模态大模型无关。 综上,Deepspeed Chat开源对于算力需求几乎没有影响,甚至能够更快的刺激国内外 大模型的开发,利好整个AI社区的发展。 业内马上应该会有大神去试试这个所谓的Deepspeed Chat开发的模型到底成色如何。 今天是情绪主导资金出逃,明天就是喜闻乐见的互道SB时刻了。 —————————————————————————————————————— 补充几个科普: Deepspeed Chat提供训练的模型为OPT模型(Open Pre-trained Transformer Language Models),并不是Open AI的GPT/ChatGPT系列。 Meta AI已开放了OPT-175B模型,强度与GPT-3相当。 OPT后面带的175B指的参数量:175billion即1750亿参数。 ChatGPT是GPT3特化而来,主要为处理对话,故称ChatGPT。 Deepspeed Chat提供的示例OPT模型样本为1.3B/2.7B/6.7B/13B/66B。可以估算最终 模型强度将远不如ChatGPT

作者利益披露:转载,不作为证券推荐或投资建议,旨在提供更多信息,作者不保证其内容准确性。
声明:文章观点来自网友,仅为作者个人研究意见,不代表韭研公社观点及立场,站内所有文章均不构成投资建议,请投资者注意风险,独立审慎决策。
S
宏盛股份
工分
0.92
转发
收藏
投诉
复制链接
分享到微信
有用 1
打赏作者
无用
真知无价,用钱说话
0个人打赏
同时转发
暂无数据