接入Llama 2等33个大模型，上线Prompt模板，百度智能云千帆大模型平台重磅升级

• 2023-08-04 18:54:17 来源：机器之心公众号

最近，Meta 开源的 Llama2系列模型引发了不小的轰动。这些模型包含7B、13B、70B 三种版本，最大的70B 版本性能接近 GPT-3.5，小一点的版本甚至可以在移动端运编程行，且整个系列都允许商用，有望成为众多大模型应用的底层支撑。很多人预言说，「大模型的安卓时代就要来了」。

(相关资料图)

Llama 系列模型的 github star 量已经逼近4万。根据官方消息，自发布以来，Llama2一周内就有超过15万次的下载请求。

不过，基于 Llama2构建应用并不只是把它从开源库里下载下来那么简单，模型的后续调优、中文增强、安全评估、与外部数据的融合、推理算力消耗等都是摆在开发者、企业面前的现实问题。这也是当前很多大模型的共性问题。大模型和应用之间需要一座桥梁。

在国内，百度智能云的千帆大模型平台正在努力作好这个角色。

该平台以百度自研的文心大模型为核心，还支持 ChatGLM2、RWKV、MPT、Dolly、OpenLlama、Falcon 等第三方大模型。而且，刚刚发布十几天的 Llama2也已经在他们的模型库中上线（7B、13B、70B 三种版本都有）。

再加上，千帆本身就是一个从数据管理、训练调优到大模型发布的一站式工具链平台，刚刚还新增了预置 Prompt 模板，所以，利用这个平台构建基于 Llama2等大模型的应用变得非常简单、高效，其效果也将明显区别于直接调用原生开源大模型。

在这篇文章中，我们将走近这一平台，看看它到底有哪些功能。

千帆大模型平台:大模型落地加速器

打开千帆平台，可以看到它的左侧罗列了很多功能模块，包括数据服务、大模型训练、大模型管理、大模型服务以及最近新增的 Prompt 模板。这些都是为了加快大模型的落地应用而设计的。

在应用端，很多人对于大模型的感知来源于 ChatGPT 等提供的一个对话框。一开始，大家会觉得这个对话框几乎是万能的，想问什么就问什么。但时间一长，人们也发现了各种问题，有很多个性化需求无法得到满足，尤其是企业需求。

这些企业有一部分想要用更低的成本调用效果依然不错的大模型，希望利用有限的算力获取更大的价值，最好有一js个模型库可以选择，还要有配套的「说明书」;还有一部分希望基于某些强大的开源模型训练自己的行业大模型，追求高效的训练、部署方法以及更低的成本。当然，他们也有一些共同的诉求，即克服大模型的一些固有缺陷，比如可能输出有害或违反法律法规的内容，信息的时效性有所延迟，无法原生地结合企业个性化信息等。

这些问题的解决方案都藏在上面提到的那些功能模块里。

首先，在基础模型的选择上，为了确保模型的可靠性，千帆以模型效果、模型安全性、可商用为指标严选了33个大模型。这些大模型各有所长，比如 Llama27B 体积较小，RWKV 擅长处理长文本。企业可以根据不同细分场景的业务需求，把这些模型组合起来使用。

此外，千帆还对这33个大模型进行了性能 + 安全的双重增强。

其中，性能的增强通过优化模型吞吐、降低模型尺寸来实现，调优后模型体积可压缩至25%-50%，推理成本最多可降低50%，与直接调用或部署第三方开源模型相比更经济。

安全增强是指对输出的内容进行审核，确保其安全合规，这项功能兼顾第三方和自有模型，大大降低了企业直接调用、部署第三方开源模型可能面临的风险。

当然，除了直接调用外，企业还可以对这些模型进行训练、调优，定制自己的专属大模型。在这一过程中，千帆不仅支持传统的全量参数更新，还支持prompt tuning、LoRA等只更新部分参数的高效微调方法。同时，为了让模型更好地与人类意图对齐，它还支持人类反馈强化学习（RLHF）训练。

众所周知，RLHF 训练是一件费时费力的事情，就连 Meta 在第一版 Llama 模型中都没有着重进行这项训练。但在千帆大模型平台的页面上，我们能够很容易地找到一套完整的训练流程，这可能成为很多企业、开发者大幅提升开源模型性能的关键。这点在 Llama1到 Llama2的进化中已经得到了证明，Meta 的研究人员在 Llama2的论文中指出，RLHF 非常重要，模型的出色写作能力基本上是由 RLHF 驱动的，它不只是一种安全工具，更是一种提高模型能力上限的训练方法。

具体到每个训练步骤，千帆都配套了相应的工具，包括13种数据清洗及增强算子以及严密的数据回流设计。

为了降低训练成本，千帆在数据服务中提供了答案自动生成功能和智能在线标注，而且支持带排序的标注功能，让想要进行这项训练的开发者、企业可以借助一套自动化的工具来高效、低门槛地完成。

除了强大的模型库，Prompt 模板也是千帆本次更新的重点。

Prompt 有多重要?相信每个用过 ChatGPT、文心一言的人都深有体会。在工业界，Prompt 工程已经成为一个热门的就业方向。

为什么要专门招人做这件事?因为对于企业来说，大模型就像一个强大但没有说明书的机器，需要一个非常了解大模型技术特点的人来总结其使用方法。

千帆此次发布的103款 prompt 模板有望在一定程度上减轻企业这方面的负担。这些模板包含对话、编程、电商、医疗、游戏、翻译、演讲等十余个场景，企业既可以直接调用，也可以借鉴模板思路进行改写。

从这些功能模块中，我们可以看出千帆平台创建的初衷:他们希望企业在将大模型引入业务的时候不用再到处找工具，在一个平台上就可以把所有问题都解决掉，从而加快大模型在产业界的落地速度。平台的这次密集更新让他们离这一目标更近了一步。

目前，平台新增的 Prompt 模板已经开放内测，机器之心在千帆后台，选择平台接入的某个大型语言模型进行了测试（模型生成结果仅供参考，可能存在纰漏）。

Prompt 模板上手体验

打开「Prompt 模板」模块可以发现，模板列表位于对话框的右侧，找到想用的模板，选择「引用」，即可将模板复制到对话框。

在这里，我们以机器之心高频的素材收集任务为例，看看使用模板前后的效果差异。

比如，在报道最近大火的「室温超导」话题时，我们想搜集一些有关该话题的科普素材。如果随便问一个问题，效果是这样的:

但调用了千帆提供的素材收集模板后，我们得到了更全面的信息:

借助模板，我们还可以让大模型提供写评论的参考角度:

由于两个模板应用起来比较高频，我们选择把它们加入「我的收藏」，节省查找时间。

此外，我们发现，千帆还支持自定义模板功能。于是，我们把平时积累的一些高效 Prompt 创建成了模板，让模型更好地提供翻译建议，结果非常令人满意，大大节省了每次重新编辑 Prompt 的时间。

升级背后的思考

在媒体交流会上，千帆的工程师将千帆大模型平台的未来发展方向概括为更易用、更全面、更安全、更高效、更开放，更扩展，这也是我们在这次升级中能感受到的。

「易用」的感受非常直观。整个千帆的界面看似复杂，但框架清晰，操作简单，而且每个功能模块都搭配了使用文档和操作指引。此外，模型的易用性也随着 Prompt 模板等功能的推出而逐步提升。

「全面」、「安全」、「高效」、「开放」、「扩展」体现在丰富的模型库和工具链上。这些模型库和工具链既满足了当前的一些「不确定性」需求，也编程客栈满足了一些「确定性」需求。

不确定性需求指的是，当前大模型还处在发展初期，企业还不确定什么样的模型更适合自己的业务。所以在这个阶段，千帆想通过更加全面、开放的工具链、更多样的模型库来为企业提供更多的选择，在一个繁荣的平台上快速接受市场反馈，然后把这些反馈沉淀下来，利用平台分享出去。

确定性需求指的是企业在降本增效、模型安全性等方面的共性需求，比如在某些场景中，企业并不需要参数量巨大的通用模型，算力要求较低的小模型就能解决问题，所以千帆要为这样的需求配置全面、高效的工具链，完成模型压缩等刚需任务，同时确保模型安全。

基于这样的思考，千帆的技术团队对平台上的模型库和工具链持续打磨，在短短几个月的时间内就实现了数次迭代，将大模型的强大能力持续输送到各行各业。在未来几个月，我们还将看到这一平台带来更多的惊喜。

标签：