华泰证券发布研究报告称，3月30日，Bloomberg发布专为金融领域打造的大语言模型(Large Language Model，LLM)BloombergGPT，实现了LLM在金融垂直场景的加速落地。从测试结果来看，BloombergGPT在保证LLM通用性能的基础上，更加聚焦金融场景,有效实现了LLM与金融垂直领域知识的深度融合。BloombergGPT的成功，佐证了“开源模型+高质量垂直数据”LLM搭建思路的有效性，金融GPT率先在证券场景落地，同时建议关注后续GPT在银行领域的业务机会。

　　华泰证券主要观点如下：

　　模型拆解：核心突破在于构建金融训练数据集

　　根据论文《BloombergGPT:A Large Language Model for Finance》介绍，BloombergGPT同样基于典型的Transformer架构，与OpenAI GPT模型相同，采用了仅有解码器(decoder-only)的技术路径。对比来看，BloombergGPT的模型参数为500亿，介于GPT-2(1.5亿)与GPT-3(1,750亿)之间。不同的是，Bloomberg为强化LLM对金融垂直领域的专业理解，构建了目前最大规模的金融数据集FINPILE，通过通用文本+金融知识的混合训练，让BloombergGPT在执行金融任务上的表现超过现有的通用LLM模型，在通用场景上的表现与现有通用LLM模型能力基本持平。

　　模型启示：“开源模型+垂直数据”大有可为

　　以GPT-3、GPT-4为代表的大语言模型均由大型的专业人工智能团队开发，并且模型训练需要大量算力。BloombergGPT的成功证明了“开源模型+高质量垂直数据”的方案，可以基于垂直领域数据打造同样具有竞争力的大语言模型。大量的高质量垂直领域知识有望弥补模型在规模上的不足，对比BloombergGPT与GPT-3可以看到，尽管BloombergGPT的模型参数相较于GPT-3较小，但得益于BloombergGPT的预训练数据增加了大量的高质量金融数据，并对预训练数据进行了一系列的清洗、标注，BloombergGPT在通用能力与GPT-3基本持平的情况下，实现了金融垂直能力的大幅增强。

　　金融GPT展望：掌握金融数据的厂商有望复制BloombergGPT路径

　　基于BloombergGPT的成功案例，该行认为，训练数据是大语言模型能力塑造的关键因素，同时，Bloomberg在论文中明确出于对数据泄露的担忧，BloombergGPT将采取与OpenAI相同的闭源方案，侧面佐证了原始的预训练数据是各家大模型竞争的重要因素。从国内的金融GPT的预期来看，金融IT厂商掌握着丰富的金融垂直知识与现有AI产品布局，基于高质量的金融数据与开源的大语言模型，同样有机会打造专属金融场景的大语言模型，实现大语言模型在金融场景的有效赋能，让大语言模型成为底层的AI操作系统。