1. 鸿博股份的业务方向
(1) 子公司介绍
鸿博股份旗下有几家重要的子公司,分别是重庆鸿海、鸿博昊天、无锡双龙和英博数科。这些子公司代表了公司的几个重点业务方向。
重庆鸿海:主要从事福利彩票和税务局、银行等专业票据的印刷。
鸿博昊天:主要从事精品印刷,服务于党和国家重要文献、重大主题出版物以及北京市的中小学教科书等核心出版物。
无锡双龙:是国家税务总局、邮储银行、中国银行等多个重要机构的全国性定点印刷企业之一。
英博数科:是鸿博股份的全资子公司,与中关村中恒文化科技创新服务联盟、英伟达公司、鸿博股份合作成立了北京AI创新赋能中心。
(2) 鸿博股份的业务发展
鸿博股份最初从事的是印刷业务,起初是热敏票的印刷,后来逐步发展为高端酒盒包装和精品印刷业务。去年通过子公司英博数科进军算力业务。
2. 英伟达在大模型训练领域的关键作用
英伟达在大模型训练领域扮演着重要角色,其数据中心业务收入占比超过了游戏业务,成为其收入贡献最多的业务。英伟达的数据中心业务表现持续超出市场预期,主要驱动力来自大模型训练对高端GPU的持续需求。
3. 英伟达的DGX产品及核心技术
(1) DGX产品
英伟达的DGX产品是为处理深度学习算法而研发的超级计算机,其中最新的产品是基于A100或H800的DGX服务器。第三代基于A100的DGX设备的单精度算力达到了5P次flop,第四代基于H800的设备的算力达到了16P次。
(2) Envy Link和Envy Switch
Envy Link是用于塔之间传输的高带宽传输工具,速度是传统PCI5.0传输速度的7倍。Envy Switch是连接多个EnvyLink的工具,实现多对多的GPU通信。
(3) IP网络
IP网络是英伟达配套的核心技术,用于多台服务器之间的互联,传输速率快。最新一代基于H100的第四代DGX设备搭载的IB传输速度可达到900GB。
4. 大模型训练对GPU需求的量化测算
根据基于open的论文和第三方机构的方法论,对训练和推理阶段所需的算力和DGX服务器数量进行了测算。
(1) 训练阶段
训练阶段的总训练计算量取决于模型参数数量、训练数据集大小、训练轮次和批次大小。单个GPU的运算能力以及训练大模型所需时间决定了对GPU的总需求量。以训练一个类似于1750亿参数的GPT模型为例,使用基于A100的DGX设备训练,大约需要122台服务器。
(2) 推理阶段
推理阶段的计算量取决于参数数量、问题长度、模型输出回复长度以及模型的计算复杂性。用户的访问量以及单个GPU的运算能力决定了推理阶段对GPU的并发需求量。
Q&A
Q:公司的IP网络具有什么特点?它是用来替代传统的以太网的吗?
A:IP网络是用于多台服务器之间的互联,它的作用是替代传统的以太网,最主要的一个特点是传输速率快。
Q:大模型训练对于算力的需求有哪些因素决定?
A:总的训练计算量取决于模型的参数数量、训练数据集的大小、训练轮次以及批次的大小。单一GPU的运算能力和训练大模型的时间也决定了对GPU的总需求量。
Q:在推理阶段,所需的计算量取决于哪些参数?
A:在推理阶段,所需的计算量取决于参数的数量、问题的长度、模型输出的回复的长度以及模型的计算复杂性。
Q:公司的子公司英博数科和英伟达合作的AI创新赋能中心具体情况如何?
A:英伟达的AI创新赋能中心以英伟达的算力基础设施为依托,旨在打造一个面向全球的公共技术平台,帮助人工智能产业的发展。目前已有4家创新赋能中心建成,其中北京的英博数科与英伟达合作建立了一个赋能中心。
Q:英博数科在AI创新赋能中心中扮演什么角色?
A:英国数科在去年与英伟达签署合作协议,帮助英伟达在北京建立赋能中心,推广其生态。此外,英国数科还围绕算力租赁开展了制算中心和高端一站式服务业务,为公司提供持续的现金流和造血能力。
Q:公司计划在2023年年底前完成一个3000P算力建设的智能算中心,这将带来多少收入?
A:根据我们对算力对应创收的测算,3000P算力对应的一年收入大约是8.2亿。
Q:公司的高端AIDC一站式服务业务是什么?该服务包括哪些内容?
A:高端AIDC一站式服务业务是为政府或其他合作方提供通用制造中心项目建设的服务。具体服务内容包括规划咨询、设备采购、设备部署调优、算力中心运营、能源管理、环境监测预警以及先导性示范项目引入等。
Q:公司目前除了上海项目之外,还有其他地市政府的相关业务在洽谈吗?
A:是的,公司目前正在与多个地市政府的相关业务进行沟通和洽谈。
Q:公司已与哪些大客户签订了服务协议?
A:公司已与5g智能、深研科技和宣亚国际签署了服务协议。其中,5g智能预计在未来12个月内向其提供1280P算力的服务,深研科技和宣亚国际预计分别获得1280批和128台服务器的算力租赁服务。
Q:公司有没有与英伟达合作的计划?
A:公司计划与英伟达的DGX Cloud业务进行对标。通过与英伟达合作,公司有望提供基于英伟达软件全站生态的一站式AI训练解决方案。
Q:公司对于云服务形式提供的AI算力支撑抱有怎样的期待?
A:公司对未来以云服务形式提供的AI算力支撑抱有较大的期待。根据英伟达的官方新闻,目前DGX cloud每个实例配有8个h800或a100的GPU,月售价约为24万人民币。
Q:公司在AI创新赋能中心项目上与英伟达有合作吗?
A:是的,公司与英伟达在AI创新赋能中心项目上有合作。
Q:公司对鸿博股份未来发展的前景如何?
A:公司在人工智能、英伟达GPU需求和AI创新赋能中心项目上积极布局,并有望成为公司的第二增长曲线。