ChatGPT深度拆解
加油奥利给
下海干活的韭菜种子
2023-02-10 06:10:19
作者：谢春生ChatGPT引发范式革命，AI产业发展前景可期近期由OpenAI团队发布的聊天机器人软件ChatGPT，凭借类人的语言理解和表达能力，引发AI产业范式革命。通过拆解ChatGPT，我们发现：1）单一大模型或为未来AI训练主流方向；2）大模型训练可以积累底层语言能力，但需要大算力支持；3）预训练语言模型和Transformer架构是模型底层能力的根源；4）ChatGPT商业化应用前景广阔。基于此，我们认为国产厂商或将训练出自己的GPT模型，AI产业有望迎来景气周期。目前国内在模型层面具备产业基础的相关企业包括：百度、商汤、云从科技等；在应用层持续推出新应用的相关企业包括：科大讯飞、金山办公、同花顺、汉王科技等；在底层基础设施和工具有布局的相关企业包括：寒武纪、景嘉微等。
背景：发源于OpenAI，成名于生成式语言OpenAI于2015年在旧金山成立，主要从事人工智能研究。2019年OpenAI收到微软注资10亿美元，就Azure业务开发人工智能技术。2020年发布GPT-3语言模型，由微软获得独家授权。2022年，OpenAI在GPT-3.5的基础上推出了ChatGPT，强化了人工智能的语言对话能力，引起社会广泛关注。2023年，微软拟对OpenAI追加数十亿美元投资，利用自身算力基础设施资源发挥与OpenAI业务协同效应，深入布局生成式AI技术。原理：AI大模型里程碑式的胜利ChatGPT采用监督学习+奖励模型进行语言模型训练，主要包括三个步骤：1）第一阶段：训练监督策略模型。在ChatGPT模型的训练过程中，需要标记者的参与监督过程；2）第二阶段：训练奖励模型。借助标记者的人工标注，训练出合意的奖励模型，为监督策略建立评价标准；3）第三阶段：采用近端策略优化进行强化学习。通过监督学习策略生成PPO模型，将最优结果用于优化和迭代原有的PPO模型参数。我们认为，ChatGPT的训练过程采用单一模型+小样本学习+人类微调监督方式进行，取得了良好效果，验证了AI大模型应用前景，大模型路线有望成为未来主流。
模型：三个维度拆解GPT模型特征我们认为，ChatGPT的成功离不开AI大模型的加持，强大的算法训练模型，使得ChatGPT在迭代中获得实现接近自然语言的表达能力。拆解模型来看：1）ChatGPT使用单一大模型，积累强大底层通用能力，背后来自微软丰富的算力资源支持，并通过引入监督学习，有效填补了大模型同质化漏洞；2）模型的具体训练模式，采用的是预训练语言模型，而预训练语言模型无需人工标签，具备高效性、通用性与正则化等内生优势，且二代模型具备上下文交互能力，推动模型语义理解能力升级；3）Transformer是大模型高效运行的根基，天然适合高并发训练，通过编码器堆叠实现底层架构搭建。
应用：打开AIGC应用新局面ChatGPT属于AIGC的具体应用，相比过去的AI产品，在模型类型、应用领域、商业化等层面呈现出新的特点。1）技术方面：ChatGPT属于自然语言处理领域，与早期的自然语言技术相比，ChatGPT采用大模型进行训练，并加入人工反馈增强学习(RLHF)方法，实现了效果提升；2）应用方面：ChatGPT属于生成式AI，相比于分析型AI，不局限于已有的内容，已在文艺创作，代码处理，营销等多个创造性场景内得到应用；3）商业化方面：ChatGPT在商业化方面彰显出强于以往AI应用的潜力，一方面用户数快速增长，另一方面得到了微软为代表的科技巨头的支持，应用有望快速推广。风险提示：宏观经济波动；下游需求不及预期
背景：发源于OpenAI，成名于生成式语言OpenAI于2015年在旧金山成立，主要从事人工智能研究。2019年OpenAI收到微软注资10亿美元，就Azure业务开发人工智能技术。2020年发布GPT-3语言模型，由微软获得独家授权。2022年，OpenAI在GPT-3.5的基础上推出了ChatGPT，强化了人工智能的语言对话能力，引起社会广泛关注。2023年，微软拟对OpenAI追加数十亿美元投资，利用自身算力基础设施资源发挥与OpenAI业务协同效应，深入布局生成式AI技术。原理：AI大模型里程碑式的胜利ChatGPT采用监督学习+奖励模型进行语言模型训练，主要包括三个步骤：1）第一阶段：训练监督策略模型。在ChatGPT模型的训练过程中，需要标记者的参与监督过程；2）第二阶段：训练奖励模型。借助标记者的人工标注，训练出合意的奖励模型，为监督策略建立评价标准；3）第三阶段：采用近端策略优化进行强化学习。通过监督学习策略生成PPO模型，将最优结果用于优化和迭代原有的PPO模型参数。我们认为，ChatGPT的训练过程采用单一模型+小样本学习+人类微调监督方式进行，取得了良好效果，验证了AI大模型应用前景，大模型路线有望成为未来主流。模型：三个维度拆解GPT模型特征我们认为，ChatGPT的成功离不开AI大模型的加持，强大的算法训练模型，使得ChatGPT在迭代中获得实现接近自然语言的表达能力。拆解模型来看：1）ChatGPT使用单一大模型，积累强大底层通用能力，背后来自微软丰富的算力资源支持，并通过引入监督学习，有效填补了大模型同质化漏洞；2）模型的具体训练模式，采用的是预训练语言模型，而预训练语言模型无需人工标签，具备高效性、通用性与正则化等内生优势，且二代模型具备上下文交互能力，推动模型语义理解能力升级；3）Transformer是大模型高效运行的根基，天然适合高并发训练，通过编码器堆叠实现底层架构搭建。应用：打开AIGC应用新局面ChatGPT属于AIGC的具体应用，相比过去的AI产品，在模型类型、应用领域、商业化等层面呈现出新的特点。1）技术方面：ChatGPT属于自然语言处理领域，与早期的自然语言技术相比，ChatGPT采用大模型进行训练，并加入人工反馈增强学习(RLHF)方法，实现了效果提升；2）应用方面：ChatGPT属于生成式AI，相比于分析型AI，不局限于已有的内容，已在文艺创作，代码处理，营销等多个创造性场景内得到应用；3）商业化方面：ChatGPT在商业化方面彰显出强于以往AI应用的潜力，一方面用户数快速增长，另一方面得到了微软为代表的科技巨头的支持，应用有望快速推广。风险提示：宏观经济波动；下游需求不及预期
声明：文章观点来自网友，仅为作者个人研究意见，不代表韭研公社观点及立场，站内所有文章均不构成投资建议，请投资者注意风险，独立审慎决策。
S
拓维信息
S
方直科技
S
汤姆猫
S
博瑞传播
S
每日互动
工分
10.87
转发
收藏
投诉
复制链接
分享到微信
有用 15
打赏作者
无用
真知无价，用钱说话
1个人打赏
同时转发
评论（10）
只看楼主
热度排序
最新发布
最新互动
- 1