英伟达之国产版映射！

2024年初的云天励飞等于2023年初期的寒武纪！AI芯片天书大模型+具身机器人+海量视频编解码处理！

英伟达之国产版映射！2024年初的云天励飞等于2023年初期的寒武纪！AI芯片天书大模型+具身机器人+海量视频！云天励飞创造性的提出了“算法芯片化”的唯一全栈式AI技术公司，系业内少数基于对人工智能算法技术特点的深度分解及对行业场景计算需求的深刻理解，通过自定义指令集、处理器架构及工具链的协同设计，自主研发芯片并已实现流片、量产及市场化销售的公司之一！对标寒武纪给予500亿目标估值！

2023年11月，云天励飞重磅发布新一代自主可控的面向边缘人工智能（AI）推理芯片DeepEdge10系列，最高算力可达48TOPS，支持D2D/C2C Mash互联扩展，可以满足千亿参数的大模型部署需求。大模型时代，AI推理芯片将是应用落地的关键载体。随着以ChatGPT为代表的AI大模型应用的持续火爆，推动了AI全面进入了大模型时代，而且随着边缘算力的提升，AI大模型的部署也开始由云端进入到边了缘端。目前很多AI大模型仍处于快速发展的阶段，因此，对于AI训练芯片的需求仍在快速增长，但是当大模型训练完成，开始进入到了实际应用之后，对于AI推理的需求将会更多。根据IDC的数据显示，2020年中国数据中心用于人工智能推理的芯片的市场份额已经超过50%，预计到2025年，用于人工智能推理工作负载的芯片将达到60.8%。同样，对于边缘AI应用来说，更需要的也将是AI推理芯片。但是，边缘计算的场景存在着算力碎片化、算法长尾化、产品非标化、规模碎片化的特征，传统的算法开发和芯片都难以适应新一代人工智能边缘计算场景的产品化需求。而大模型的出现，开始为行业提供了算法层面的解决之道。但大模型在边缘计算场景要面向实战发挥作用，则需要AI大模型推理芯片的支持。云天励飞表示：“从2015年开始，研发到今天的第三代的神经网络处理器，可以全兼容基于Transformer的计算范式。而Transformer是语言、视觉大模型的计算范式，云天励飞2020年开始研究，到2021年就实现了全面兼容。今天发布的DeepEdge10系列芯片，正是基于最新的Transformer计算范式。”芯片需要具备更大的算力、更大的内存带宽、更大的内存容量，才能支持巨量参数的大模型在边缘端运行。同时，AI边缘推理芯片还承担了“落地应用最后一公里”的职责，这就意味着AI边缘推理芯片不仅要支持大模型等AI计算任务，还需要具备较强的通用算力。针对上述场景需求，云天励飞也将DeepEdge10打造成为了一款面向边缘AI大模型优化的主控级SoC芯片！

云天励飞DeepEdge10是国内首创的14nm Chiplet架构的面向大模型AI推理的主控级SoC芯片。具体来说，DeepEdge10集成了2大核＋8小核的国产RISC-V CPU内核，最高主频1.8GHz；还集成了性能可对标Arm Mali-G52的GC8000L GPU，主频800MHz，支持最大8K@30fps的视频编解码能力和最大2亿像素的JPEG编解码能力，并且支持双屏异显（2K@60fps）；内置云天励飞最新一代自主知识产权 NPU NNP400T，int8算力可达12Tops。同时，DeepEdge10还具备硬件级的安全特性，以及完备的高低速外围接口。正如前面所介绍的，DeepEdge10是面向大模型推理需求进行了针对性优化，其内部集成的 NNP400T NPU是一款支持支持大模型新型计算范式的神经网络处理器，不仅支持FP16/INT16/INT8等数据格式，还支持多线程、支持Transformer网络结构模型。在制造工艺方面，由于更为先进制程工艺获取受限，DeepEdge10选择基于国内自主可控的14nm工艺。同时，采用了基于D2D（Die to Die）互联的 Chiplet先进封装架构，可以支持算力灵活扩展，可满足不同场景对算力和成本的多样化需要。

云天励飞下一代的边缘AI推理芯片DeepEdge20将会采用第二代的Chiplet架构，兼容国际标准/国产UCIE标准，内核采用第三代的异构多核架构，并集成自研的第四代的神经网络处理器，届时性能将会比DeepEdge10提升20倍。云天励飞还推出了三款基于DeepEdge10系列的推理加速卡，包括IPU X2000、IPU X5000和IPU X6000，算力分别为24TOPS、64TOPS和256TOPS。其中，IPU X5000推理卡，已适配并可承载SAM CV大模型、Llama2等百亿级大模型运算。根据云天励飞公布的数据显示，其最强的DeepEdge 10MAX芯片可以支持在端侧运行70亿参数的LLMs大模型，生成速度可达27 Token/s，并且可兼容运行130亿参数的LLMs大模型。而基于DeepEdge10系列芯片的IPU加速卡，通过C2C Mesh互联扩展，算力可达1024TOPS，运行700亿参数的LLMs大模型，生成速度可达42Token/s，并可兼容运行千亿参数的LLMs大模型。云天励飞DeepEdge10系列除了可以直接出货芯片和加速卡之外，还包括板卡、盒子、推理服务器等，可广泛应用于AIoT边缘视频、移动机器人等场景。在生态合作方面，目前云天励飞已经向国内头部的AIoT芯片设计厂商、智慧汽车芯片设计厂商、服务机器人厂商、国家重点实验室等提供神经网络处理器的IP授权，助力其芯片的AI能力提升；云天励飞还有近30家算法芯片化合作伙伴，这些合作伙伴的需求将会被植入云天励飞的下代芯片当中；在算法应用生态方面，所有使用云天励飞芯片产品的合作伙伴，均可在线下载更新云天励飞的100＋种算法。