(1)AI芯片的主流架构不同

AI芯片是大模型的基础。A芯片主要分为训练和推理两类芯片，云和端对训练和推理芯片要求不同，目前主流架构包括GPU、FPGA和ASIC三类。三类芯片用于深度学习时各有优缺点: (1)通用性:GPU>FPGA>ASIC，通用性越低，代表其适合支持的算法类型约少。 (2)性能功耗比:GPUKFPGA<ASIC，性能功耗比越高越好，意味着相同功耗下运算次数越多，训练相同算法所需要的时间越短。

2) AI服务器用于“推理”的比例高于“训练”

目前国内的A1服务器这一块，其中有57.6%都是用于推理，42.4%用于训练，预计，到2025-2026的话，整个AI推理这一块的话，整个占比会达到62%。

(3) 不同用途和不同应用场景对AI芯片需求不同，很难替代

不同用途(训练or推理)、不同应用场景 (端-边-云)对AI芯片有着不同的要求。首先训练芯片追求的是高计算性能(高吞吐率)、低功耗，但是推理芯片主要追求的是低延时(完成推理过程所需要的时间尽可能短)、低功耗。其次，“端-边-云”三个环节对AI芯片的要求不同:其中端和边上进行的大部分是AI“推”，因此用于端和边的AI芯片性能要求和上述推理芯片一致;大部分的训练过程是在云和数据中心进行，训练过程对时延没有什么要求，因此需要保证A1芯片在尽可能保证较高算力的情况下，功耗尽可能低，另外许多推理过程也是在云端进行。

云和边缘也相对模糊，就是说云端能够做推理，当然所有的训练基本上还是在云端进行,但是云端的推理和B端的推理其实可以采用同样架构的产品去做，只是说你放置的位置不一样

(4) GPU的市场格局?

全球GPU已经进入了寡头垄断的格局。在传统GPU市场中，排名前三的Nvidia、AMD、Intel的营收几乎可以代表整个GPU行业收入。英伟达的收入占56%、AMD占26%、英特尔占18%。

在云和数据中心AI芯片市场:“训练”和“推理”两个环节都是英伟达GPU一家独大，几乎占据90%以上份额，包括AWS、微软Azure、谷歌云、阿里云、华为云、腾讯云在内的大部分公有云厂商上线的AI加速计算公有云服务绝大部分都是基于英伟达Tesla系列GPU。

在设备端和边缘计算“推理”市场:各类型芯片各自为阵，尚无绝对优势地位的芯片厂商出现一一手机市场以高通、华为、苹果原主控芯片厂商为主，自动驾驶、安防IPC 领域英伟达暂时领先。

(5) GPU国内外技术代差?

从GPU的角度来说，与国际上大概有四代以上的差距目前从实际情况来看的话，与理想状态有一定的差距，所以说目前来说还处于一个微调的阶段。

(6) AI芯片的一个平均的一个价格，大概如何?

目前来说整个A100，因为已经到货嘛，然后国内就是举例的话，像现在的A800，就是英伟达专供中国市场的那个产品，现在能够它报价大概是八万多，但实际上国内现在10万都买不到啊。

整个AI算力成本来，还是会处于一个持续下降的过程。

（7）英伟达的CUDA?

CUDA在广义上既代表GPU的硬件平台又代表GPU的软件平台。这也是英伟达的壁垒所在之

英伟达的数据中心业务的技术根源是CUDA (统一计算设备架构)。CUDA首次推出于2006年的G80核心，隶属于通用并行计算架构，创造了GPGPU。在“安培”时代，CUDA核心已经进化到了80，被运用在几乎所有的英伟达产品线。(1)CUDA兼容DirectCompute、OpenCL等计算接口。与Direct3D、OpenGL等高级图形API相比，CUDA可以使开发者更容易使用GPU资源。

(2)在硬件平台方面，CUDA包含了CUDA指令集以及GPU内部的并行计算引擎。GPU平台的矢量运算如INT、FP32、FP64都由CUDA承担。开发人员可以使用C语言和Fortran语言为CUDA编写程序。

(3)在软件平台方面，基于CUDA的CUDA-X加速库、工具和科技集合，向上对接不同的行业应用需求。在英伟达的软件栈体系中，分为CUDA-X AI和CUDA-X HPC，分别面向AI和HPC两大领域，可以在人工智能和高性能计算方面提供远超其他竞品的性能

(8)性能和生态共同决定英伟达的霸主地位?

性能看算力，生态看兼容。GPGPU英伟达80亿美金收入。每年增速40%左右。国产设计处于起步上升阶段，国产行业会有不断投资机遇。GPU门槛很高中美差距很大，但是很重要，任何一个指标英伟达都是N01，此外后进公司进入的生态壁垒也很大，不缺需求，增速很快。AMD也在追赶英伟达。