三六零交流纪要20230330
修仙小锦鲤
航行五百年的公社达人
2023-04-01 21:08:27
- 未来大模型的发展趋势和竞争格局
- 现在的大模型均是基于Transformer架构，之前BERT路线是主流，GPT不是主流。当时百度和Goolge都是Bert路线。OpenAI在22年ChatGP推出之后GPT实现超越，预计未来会有更多的GPT大模型出现。OpenAI GPT-4是闭源，其他厂商大概率会选择开源，如META的LLAMDA的已经开源，未来开源模型会越来越多。BERT模型在处理其他任务更强，理论上在多模态应用BERT相比GPT有优势。
- AI模型的核心壁垒是数据，现在大模型都是搜索厂商推出。Open AI的训练数据集有45T，其中80-85%是公网数据，15%是专业知识数据，5%不到是场景数据。360现在积累的搜索数据量是500PB，从500PB中提取出45T有效的训练数据集是一个难点也是一个优势。
- 国内的格局来看，华为预计会在大模型会有一席之地，一些高校的大模型研究也比较领先。国家层面预计会有一个非民用的大模型，数据集涵盖政府、大学等积累的数据，可能更适用非民用场景。
- 公司大模型的发展历程
- 公司在18-19年开始做投入，当时是选择了非主流的GPT路线，主要考虑公司搜索和安全业务均适合生成式的模型。之前已经用大模型蒸馏出一个针对安全的AI模型实现应用。国内与GPT3.5的差距在1年，与GPT-4差距在2年左右，360模型能够达到GPT3.5的70-80%的效果。
- 公司的大模型是基于GPT 2.0的开源模型做训练和迭代。现在的大模型是千亿参数级别。数据是大模型效果的壁垒。之前发布会原计划与AI无关，由于市场关注度高临时增加了一个AI模型展示环节，预计4月份大模型会发布，并开放用户测试。现在需要等待网信办的测试批准。
- 搜索+大模型的商业模式
- 大模型搜索大概一次生成200个汉字，对应0.04元，现在360是35%的搜索份额，日均请求量10亿次，对应每天成本4000万。公司搜索每年40亿的收入，未来搜索大模型比较难向用户收费，大模型成本大幅降低前C端商业模式比较难跑通。
- 芯片是成本降低的核心环节，算力提升需要远高于芯片成本提升，增加性价比。不会通过模型蒸馏的方式缩小模型降低成本，这样会损失生成质量，得不偿失。
- 公司大模型的投入情况
- 公司AI+智能搜索团队合计200人，实际模型的迭代训练会再做一些人工标注，会涉及其他业务部门的人。未来公司业务重心向大模型倾斜，人员比例也会调整。
- 算力是大模型的必要条件，公司V100、A100、A800一共有1000多台8卡服务器，23Q1又新增采购300多台，大概3亿的采购额，已经到货一半多，未来还会继续增加。服务器从浪潮采购，现在没有断过货。
- 公司模型训练数据以英文数据为主，中文数据相比英文数据质量会更低一些，比如优秀的论文都会翻译成英文的论文，而中文的顶尖论文比较少。OpenAI训练数据中文占比3.5%，公司训练数据中文占比10%。
- 大模型在企业端的商业模式
- 企业端商业模式相比C端更容易，可以类似OpenAI开放API接口给企业客户进行调用，也可以为企业客户训练一个小模型为做本地部署。未来安全业务也需要AI能力的提升，AI将来可能发展出制造威胁的能力，相应也要有AI批量防御能力。
- 企业未来可能希望基于私有数据集做训练，国企和央企会倾向于本地部署。公司为企业客户提供的本地部署的推理模型，不会直接开放训练模型给客户。大模型的本地部署对企业自身开发能力要求高，且在B2B2C模式下，C端如果对效果不满意，可能也会有公司大模型责任分担，这部分全责关系未来需要再明确。
作者利益披露：转载，不作为证券推荐或投资建议，旨在提供更多信息，作者不保证其内容准确性。
声明：文章观点来自网友，仅为作者个人研究意见，不代表韭研公社观点及立场，站内所有文章均不构成投资建议，请投资者注意风险，独立审慎决策。
S
三六零
工分
7.29
转发
收藏
投诉
复制链接
分享到微信
有用 5
打赏作者
无用
真知无价，用钱说话
0个人打赏
同时转发
评论（4）
只看楼主
热度排序
最新发布
最新互动
- 1