异动
关注
社群
产业库
时间轴
公社AI
登录注册
美格智能：AI算力模组成功部署大模型，助力消费电子新方向
Gnoix
满仓搞的龙头选手
2023-07-21 12:04:51

 
近日，美格智能高算力AI模组产品团队，充分发挥软硬件一体协同开发的能力，在基于高通骁龙800平台的自研算力模组上成功运行文生图大模型Stable Diffusion，或许是行业内首个在算力模组上运行推理大模型的实例。

Stable Diffusion是一个非常出色的从文本到图像的生成式AI大模型，能够基于任何文本输入，在数十秒内创作出逼真图像。Stable Diffusion的参数超过10亿，迄今为止主要限于在云端运行。


美格高算力AI模组团队很早就前瞻性地开展了大模型在算力模组端侧运行的相关研究工作。运行Stable Diffusion大模型的高算力模组，在硬件上选用了高通骁龙800系列的高算力SoC处理器，在软件上使用了高通AI模型增效工具包(AIMET)实现模型转换，在无需重新训练的情况下，克服了模型参数从FP32压缩到INT8所产生的精度损失，从而让大模型在算力模组上始终保持高效运行。

美格智能研发团队在硬件和软件层面的进一步优化，保证大模型运行精度的同时，有效降低了内存带宽消耗，充分发挥了高算力模组AI硬件的最大效能，最终顺利在算力模组端侧跑通了Stable Diffusion大模型。
作者利益披露：转载，不作为证券推荐或投资建议，旨在提供更多信息，作者不保证其内容准确性。
声明：文章观点来自网友，仅为作者个人研究意见，不代表韭研公社观点及立场，站内所有文章均不构成投资建议，请投资者注意风险，独立审慎决策。
S
美格智能
工分
5.23
转发
收藏
投诉
复制链接
分享到微信
有用 4
打赏作者
无用
真知无价，用钱说话
0个人打赏
同时转发
评论（3）
只看楼主
热度排序
最新发布
最新互动
  • 谁懂的起
    只看TA
    2023-08-23 11:18
    ？？
    0
    0
    打赏
    回复
    投诉
  • 谁懂的起
    只看TA
    2023-08-23 10:37
    谢谢
    0
    0
    打赏
    回复
    投诉
  • 1
前往
页