登录注册
中信建投:预计Open AI开发者大会推出含内存存储的API等更新
精选小作文
2023-11-05 22:28:05
中信建投:预计Open AI开发者大会推出含内存存储的API等更新

简评:

我们预计开发者大会可能发布公司在GPT-4、DALL•E等模型的新进展,主要包括:1)发布内存存储API,减少重复上传历史文本带来的token耗用,从而降低API调用成本;2)持续推进多模态布局,推出GPT-4 V和DALL•E 3的API调用服务等。

1、内存存储API有望有效降低API调用成本

目前大量token用于历史文本传输,内存存储API有望降低API调用成本达95%。据公司官网,目前通过GPT-4、GPT-3.5Turbo上传750词的文档分别需要0.06、0.003美元(以最高速度计算)。2023年6月,公司CEO Sam Altman接受AI开发平台Humanloop采访时曾透露公司的发展路线图,包括推出“有记忆的API”,解决大量token用于历史文本传输的情况。据路透社,内存存储API可能在开发者大会中推出,提高大模型计算速度,降低开发者的API调用成本达95%。

1)降低API调用成本:当前运行AI应用时,都需要将其历史记录通过API上传至大模型,以便大模型依据历史记录进行内容生成,导致大量token用于历史记录传输。内存存储API推出后,使用AI应用时,只需通过API上传最新的对话记录,大模型即可结合该记录和其维护的历史记录,生成新的内容,以此降低token使用量。

2)提高大模型计算速度:内存存储API推出后,大模型只需进行新记录的计算,无需对历史记录进行重复计算,可以提高计算速度,减小算力浪费。
作者利益披露:转载,不作为证券推荐或投资建议,旨在提供更多信息,作者不保证其内容准确性。
声明:文章观点来自网友,仅为作者个人研究意见,不代表韭研公社观点及立场,站内所有文章均不构成投资建议,请投资者注意风险,独立审慎决策。
S
昆仑万维
工分
1.95
转发
收藏
投诉
复制链接
分享到微信
有用 1
打赏作者
无用
真知无价,用钱说话
0个人打赏
同时转发
暂无数据