登录注册
超对称联合复旦大学发布并开源120亿参数语言模型BBT-2,UCloud提供开源和算力支持
龙马精神
超短追板的散户
2023-04-25 07:58:54

近日,超对称与UCloud优刻得合作,将公司推出的3个大模型开源到UCloud官网,以“大模型+大算力“的方式,共同推进AIGC创新应用。


2022年5月超对称技术公司发布大语言模型Big Bang Transformer【乾元】的第一版BBT-1,10亿参数预训练语言模型,在中文金融语料上训练而成,发布之后即获得经济金融领域客户热烈反馈,作为大模型底座已经为多家中国和海外机构提供服务。


近期,超对称公司再推出BBT-2,这是一个基于120亿参数的通用大语言模型,并在BBT-2的基础上,训练出代码、金融、文生图等专业模型。

 

超对称技术公司将发布基于BBT-2的系列模型:

· BBT-2-12B-Text:120亿参数的中文通用语言模型

· BBT-2.5-13B-Text: 130亿参数的中文+英文双语基础模型

· BBT-2-12B-TC-001-SFT  经过指令微调的代码模型,可以进行对话

· BBT-2-12B-TF-001 在120亿模型上训练的金融模型,解决金融领域任务

· BBT-2-12B-Fig:文生图模型

· BBT-2-12B-Science 科学论文模型


 



BBT模型的目标是为金融投资建立统一的人工智能算法框架,基于transformer构建能融合训练金融投资涉及的不同模态数据的架构。在统一架构的基础上训练大规模参数预训练模型,随着模型参数和训练数据集继续增大,超对称团队有希望开发出在金融领域接近人类智能水平的模型。作为金融领域的基石模型,BBT模型为所有金融投资,经济分析,商业咨询等场景的深度学习下游任务提供微调服务。


金融投资领域有大量从业机构和人员,大厂有财力雇佣算法工程师,小团队却用不起基本的文本抽取算法。BBT模型作为金融领域的算法基础设施,让所有从业者配备同级别的武器,让全行业站在同一起跑线去竞争更优的投资策略,从而推动金融和经济市场更高效的信息和要素流动。


为了更好地推进中文金融自然语言处理的发展,超对称搜集和爬取了几乎所有公开可以获得的中文金融语料数据:

1)过去20年所有主流媒体平台发布的财经政治经济新闻

2)所有上市公司公告和财报

3)上千万份研究院和咨询机构的研究报告

4)百万本金融经济政治等社会科学类书籍

5)金融社交媒体平台用户发帖

经测试,BBT-TF在公告摘要任务场景超越ChatGPT:使用ChatGPT和BBT-TF对同一份公告,相同输入,生成摘要并对比效果,发现BBT-TF更满足实际运用场景。BBT-TF还可进行四舍五入的计算。在金融行业对数字高精度要求下,BBT-TF可对单位进行准确的换算。


超对称已开发了11种已落地应用的下游任务,面向专业金融开发者API,已获得中国及海外金融机构付费。


对于中国的大模型研发团队,直接瞄准大语言模型用于科学发现是超越GPT-4的一个可能路径。在科学研究上,研究人员可以使用语言模型来自动提取和分析论文中的主题、实验方法、结果和结论,从而发现新的科学发现和研究方向。


BBT-Science大模型是基于BBT大模型在几千万篇科研论文上训练构建的辅助科学发现的大模型,应用于物理、化学、生物、数学等不同学科的科研知识问题,可以提供三方面的能力:

1. 快速精准的知识检索。这项能力和大模型在其他领域的对话能力相近。

2. 针对所研究领域的前沿问题提供新的ideas。这种新ideas产生于大模型在该领域的海量数据检索和重新组合,发现前人未发现的可能性。

3. 利用多学科知识训练出的能力提供跨学科的建议和洞见。这项能力潜力最大。


为了对科学大模型进行评测,超对称技术公司与复旦、上海交大、浙大、南航、中山大学、北师大等多所大学合作,正在号召全球一线的科研人员共同构建一个最大的科研问题评测数据集Research QA。该数据集覆盖数学、物理、化学、生物、地理地质、计算机、电子工程等主流科研领域。该数据集直接采集科研领域里前沿的研究课题作为问题,重点考察大模型回答的创新性。科学大模型将成为全球科研能力的底层引擎,带来科研生产力的加速。

超对称联合复旦大学发布并开源120亿参数语言模型BBT-2,UCloud提供开源和算力支持 

作者利益披露:转载,不作为证券推荐或投资建议,旨在提供更多信息,作者不保证其内容准确性。
声明:文章观点来自网友,仅为作者个人研究意见,不代表韭研公社观点及立场,站内所有文章均不构成投资建议,请投资者注意风险,独立审慎决策。
S
优刻得
工分
4.07
转发
收藏
投诉
复制链接
分享到微信
有用 1
打赏作者
无用
真知无价,用钱说话
0个人打赏
同时转发
暂无数据