【OpenAI开放ChatGPT API快评】国金计算机-韭研公社

登录注册

【OpenAI开放ChatGPT API快评】国金计算机

波罗

2023-03-03 07:25:08

【OpenAI开放ChatGPT API快评】国金计算机
💡事件：当地3月1日，OpenAI官方宣布，开发者可通过API将ChatGPT和Wisper模型（语音识别）集成至他们的应用程序和产品中。本次接入的GPT-3.5-turbo模型费用为0.2美分/1000 tokens，较此前使用成本降低90%。

💡点评：
✨推理成本测算：若按微软云原价进行测算，推理成本为0.177美分/千 tokens；若按云计算毛利率70%倒推，自建AIDC推理成本为0.053美分/千 tokens。微软云可能为OpenAI使用提供了部分折扣，因而0.2美分/千tokens的定价依然有盈利空间。

计算思路：1）参数规模：InstructGPT有多个参数版本，turbo与davinci版本相近，因而假设175B参数量；2）微软计算集群GPU数=1pod=8块GPU；3）NV A100峰值算力=312 PFlops；4）Flops利用率假设为30%；5）计算集群定价为10.88美元/h；6）计算集群闲置率假设为20%；7）计算精度因子=1，若未来进一步降低精度，可能带来推理成本下降

✨支持为高需用户提供专用实例（Dedicated instances），或进一步加速场景应用。开发者可上传数据由OpenAI为其进行云端微调，以获取大模型在特定场景下的能力。据官方口径，若开发者每日运营超过4.5亿tokens，dedicated instances可能是更经济的选择。

✨有海外场景的公司有可能率先与turbo进行对接，建议关注福昕软件、万兴科技等海外营收占比较高的应用公司。

联系人：孟灿/王倩雯/陈矣骄

作者利益披露：转载，不作为证券推荐或投资建议，旨在提供更多信息，作者不保证其内容准确性。

声明：文章观点来自网友，仅为作者个人研究意见，不代表韭研公社观点及立场，站内所有文章均不构成投资建议，请投资者注意风险，独立审慎决策。

福昕软件

工分