（利好英伟达核心经销商恒润股份） GPT-5出世，需5万张H100，全球H100总需求43万张，GPU陷短缺风暴（利好英伟达核心经销商恒润股份） IT手机世界 2023-08-06 18:06湖南关注 GPT-5的训练，需要5万张H100加持。英伟达GPU已成为各大AI公司开发大模型的首选利器。然而，Sam Altaman自曝GPU很缺，竟不希望太多人用ChatGPT。「谁将获得多少H100，何时获得H100，都是硅谷中最热门的话题。」 OpenAI联合创始人兼职科学家Andrej Karpathy近日发文，阐述了自己对英伟达GPU短缺的看法。近来，社区广为流传的一张图「我们需要多少张GPU」，引发了众多网友的讨论。根据图中内容所示： - GPT-4可能在大约10000-25000张A100上进行了训练 - Meta大约21000 A100 - Tesla大约7000 A100 - Stability AI大约5000 A100 - Falcon-40B在384个A100上进行了训练 – Inflection使用了3500和H100，来训练与GPT-3.5能力相当的模型另外，根据马斯克的说法，GPT-5可能需要30000-50000个H100。此前，摩根士丹利曾表示GPT-5使用25000个GPU，自2月以来已经开始训练，不过Sam Altman之后澄清了GPT-5尚未进行训。不过，Altman此前表示，我们的GPU非常短缺，使用我们产品的人越少越好。如果人们用的越少，我们会很开心，因为我们没有足够的GPU。在这篇名为「Nvidia H100 GPU：供需」文章中，深度剖析了当前科技公司们对GPU的使用情况和需求。文章推测，小型和大型云提供商的大规模H100集群容量即将耗尽，H100的需求趋势至少会持续到2024年底。那么，GPU需求真的是遇到了瓶颈吗？各大公司GPU需求：约43万张H100 当前，生成式AI爆发仍旧没有放缓，对算力提出了更高的要求。一些初创公司都在使用英伟达昂贵、且性能极高的H100来训练模型。马斯克说，GPU在这一点上，比药物更难获得。 Sam Altman说，OpenAI受到GPU的限制，这推迟了他们的短期计划（微调、专用容量、32k上下文窗口、多模态）。 Karpathy 发表此番言论之际，大型科技公司的年度报告，甚至都在讨论与GPU访问相关的问题。上周，微软发布了年度报告，并向投资者强调，GPU是其云业务快速增长的「关键原材料」。如果无法获得所需的基础设施，可能会出现数据中心中断的风险因素。这篇文章据称是由HK发帖的作者所写。他猜测，OpenAI可能需要50000个H100，而Inflection需要22,000个，Meta可能需要 25k，而大型云服务商可能需要30k（比如Azure、Google Cloud、AWS、Oracle）。 Lambda和CoreWeave以及其他私有云可能总共需要100k。他写道，Anthropic、Helsing、Mistral和Character 可能各需要10k。作者表示，这些完全是粗略估计和猜测，其中有些是重复计算云和从云租用设备的最终客户。整体算来，全球公司需要约432000张H100。按每个H100约35k美元来计算，GPU总需求耗资150亿美元。这其中还不包括国内，大量需要像H800的互联网公司。还有一些知名的金融公司，比如Jane Street、JP Morgan、Two Sigma等，每家都在进行部署，从数百张A/H100开始，扩展到数千张A/H100。现在对于GPU的渴求既有泡沫和炒作的成分，但是也确实是客观存在的。 OpenAI 等一些公司推出了ChatGPT等产品，这些产品收到了市场的追捧，但他们依然无法获得足够的GPU。其他公司正在购买并且囤积GPU，以便将来能够使用，或者用来训练一些市场可能根本用不到的大语言模型。这就产生了GPU短缺的泡沫。但无论你怎么看，英伟达就是堡垒里的绿色国王。 $恒润股份(SH603985)$ $利通电子(SH603629)$ $鸿博股份(SZ002229)$S工业富联(sh601138）S S首创证券(sh601136）S -韭研公社

登录注册

谁与争锋

蜜汁自信

2023-08-07 11:36:04

（利好英伟达核心经销商恒润股份） GPT-5出世，需5万张H100，全球H100总需求43万张，GPU陷短缺风暴（利好英伟达核心经销商恒润股份） IT手机世界 2023-08-06 18:06湖南关注 GPT-5的训练，需要5万张H100加持。英伟达GPU已成为各大AI公司开发大模型的首选利器。然而，Sam Altaman自曝GPU很缺，竟不希望太多人用ChatGPT。「谁将获得多少H100，何时获得H100，都是硅谷中最热门的话题。」 OpenAI联合创始人兼职科学家Andrej Karpathy近日发文，阐述了自己对英伟达GPU短缺的看法。近来，社区广为流传的一张图「我们需要多少张GPU」，引发了众多网友的讨论。根据图中内容所示： - GPT-4可能在大约10000-25000张A100上进行了训练 - Meta大约21000 A100 - Tesla大约7000 A100 - Stability AI大约5000 A100 - Falcon-40B在384个A100上进行了训练 – Inflection使用了3500和H100，来训练与GPT-3.5能力相当的模型另外，根据马斯克的说法，GPT-5可能需要30000-50000个H100。此前，摩根士丹利曾表示GPT-5使用25000个GPU，自2月以来已经开始训练，不过Sam Altman之后澄清了GPT-5尚未进行训。不过，Altman此前表示，我们的GPU非常短缺，使用我们产品的人越少越好。如果人们用的越少，我们会很开心，因为我们没有足够的GPU。在这篇名为「Nvidia H100 GPU：供需」文章中，深度剖析了当前科技公司们对GPU的使用情况和需求。文章推测，小型和大型云提供商的大规模H100集群容量即将耗尽，H100的需求趋势至少会持续到2024年底。那么，GPU需求真的是遇到了瓶颈吗？各大公司GPU需求：约43万张H100 当前，生成式AI爆发仍旧没有放缓，对算力提出了更高的要求。一些初创公司都在使用英伟达昂贵、且性能极高的H100来训练模型。马斯克说，GPU在这一点上，比药物更难获得。 Sam Altman说，OpenAI受到GPU的限制，这推迟了他们的短期计划（微调、专用容量、32k上下文窗口、多模态）。 Karpathy 发表此番言论之际，大型科技公司的年度报告，甚至都在讨论与GPU访问相关的问题。上周，微软发布了年度报告，并向投资者强调，GPU是其云业务快速增长的「关键原材料」。如果无法获得所需的基础设施，可能会出现数据中心中断的风险因素。这篇文章据称是由HK发帖的作者所写。他猜测，OpenAI可能需要50000个H100，而Inflection需要22,000个，Meta可能需要 25k，而大型云服务商可能需要30k（比如Azure、Google Cloud、AWS、Oracle）。 Lambda和CoreWeave以及其他私有云可能总共需要100k。他写道，Anthropic、Helsing、Mistral和Character 可能各需要10k。作者表示，这些完全是粗略估计和猜测，其中有些是重复计算云和从云租用设备的最终客户。整体算来，全球公司需要约432000张H100。按每个H100约35k美元来计算，GPU总需求耗资150亿美元。这其中还不包括国内，大量需要像H800的互联网公司。还有一些知名的金融公司，比如Jane Street、JP Morgan、Two Sigma等，每家都在进行部署，从数百张A/H100开始，扩展到数千张A/H100。现在对于GPU的渴求既有泡沫和炒作的成分，但是也确实是客观存在的。 OpenAI 等一些公司推出了ChatGPT等产品，这些产品收到了市场的追捧，但他们依然无法获得足够的GPU。其他公司正在购买并且囤积GPU，以便将来能够使用，或者用来训练一些市场可能根本用不到的大语言模型。这就产生了GPU短缺的泡沫。但无论你怎么看，英伟达就是堡垒里的绿色国王。 $恒润股份(SH603985)$ $利通电子(SH603629)$ $鸿博股份(SZ002229)$S工业富联(sh601138）S S首创证券(sh601136）S

@谁与争锋：订单要等半年”！大模型爆火GPU陷供应短缺。英伟达核心经销商六尺科技与恒润合资经营恒润股份:江阴市恒润重工股份有限公司关于公司对外投资设立合资公司的公告公告日期：2023年07月29日证券代码：603985 证券简称：恒润股份公告编号：2023-049 江阴市恒润重工股份有限公司关于公司对外投

2 赞同-8 评论

声明：文章观点来自网友，仅为作者个人研究意见，不代表韭研公社观点及立场，站内所有文章均不构成投资建议，请投资者注意风险，独立审慎决策。

工分