6 月 30 日,百度百度文心大模型 4.5 系列模型正式开源 ,文心并在国内抢先的大模道开源渠道 GitCode 首发上线 ,为宽广企业、型系型开现已下载开发者供给真实可用 、列模好用、源国可落地的内首大模型解决方案。
现在 ,发渠全球开发者 、敞开企业 、百度研究机构等均可免费在 GitCode 渠道直接拜访并下载体会文心大模型 4.5 开源系列 ,文心支撑布置 、大模道微调等各种不同场景的型系型开现已下载运用需求 。
欢迎下载体会,列模敞开你的源国文心大模型之旅。
文心 4.5 系列开源模型共 10 款,涵盖了激活参数规划分别为 47B 和 3B 的混合专家(MoE)模型(最大的模型总参数量为 424B) ,以及 0.3B 的稠密参数模型 。
针对 MoE 架构 ,百度提出了一种立异性的多模态异构模型结构,经过跨模态参数同享机制完成模态间常识交融,一起为各单一模态保存专用参数空间。此架构十分适用于从大言语模型向多模态模型的继续预练习范式,在坚持乃至提高文本使命功用的根底上,明显增强多模态了解能力 。
文心 4.5 系列模型均运用飞桨深度学习结构进行高效练习、推理和布置 。在大言语模型的预练习中 ,模型 FLOPs 利用率(MFU)到达 47% 。试验成果显现 ,该系列模型在多个文本和多模态基准测验中到达 SOTA 水平 ,在指令遵从、世界常识回忆、视觉了解和多模态推理使命上作用尤为杰出 。模型权重依照 Apache 2.0 协议开源,支撑展开学术研究和工业使用。此外,根据飞桨供给开源的工业级开发套件 ,广泛兼容多种芯片,下降后练习和布置门槛。
GitCode 渠道:开源立异的抱负土壤 。
GitCode 渠道自 2023 年 9 月 22 日上线以来开展迅猛,已汇聚了逾越 620 万的注册用户,月活用户达 120 万 ,已经成为颇具影响力的开源社区 ,巨大的用户根底和活泼的社区气氛为文心大模型的推行和使用供给了宽广的舞台 。