AI公司MosaicML上线70亿参数模型 MPT-7B-8开源可商用

发布时间：2023-07-26 11:00:07 所属栏目：动态来源：互联网

导读： 　　最近，人工智能初创企业Mosaich ML发布了拥有70亿个特征的机器学习模型MP-T7B-8K，据悉，该模型一次可以处理 8000 字文本，相当擅长处理长文重点摘要和问答，还能在 MosaicML 平台上根

　　最近，人工智能初创企业Mosaich ML发布了拥有70亿个特征的机器学习模型MP-T7B-8K，据悉，该模型一次可以处理 8000 字文本，相当擅长处理长文重点摘要和问答，还能在 MosaicML 平台上根据特定任务，进一步微调相关配置。

　　据悉，系列模型采用了 150 万个 Token，并以 256 块 H100 GPU 花 3 天完成模型训练而成。MosaicML 本次发布了 3 个版本模型，包括 MPT-7B-8k、MPT-7B-8k-Instruct 和 MPT-7B-8k-Chat。

　　其中，第一个版本 MPT-7B-8k、是以 Transformer 解码器为基础，并以 FlashAttention 和 FasterTransformer 机制来加速训练与推论，能一次处理 8000 字文本，MosaicML 公司表示，该模型开源、允许商用。

　　第二个版本 MPT-7B-8k-Instruct 是以第一个版本 MPT-7B-8k 微调而成，MosaicML 公司表示，MPT-7B-8k-Instruct 模型可处理长篇指令，特别注重于高质量的生成“可用性的摘要和问答”，该开发模型一样具备开源且可大规模量产的商用。

　　第三个版本 MPT-7B-8k-Chat 则是机器人对话式的 AI 模型，MosaicML 公司宣称，该模型额外多用了 15 亿个聊天数据 Token，在第一版模型 MPT-7B-8k 之上继续训练而成，该模型开源，但不允许商用。

　　此前报道，MosaicML 公司也推出了一款号称训练成本仅为竞品零头的 MPT-30B 开源模型，该公司日前已将所有开源模型发布于 Huggingface 平台，感兴趣的小伙伴们可以前往进行相关了解，还可以在本地硬件上使用自己的数据，在下载后，对模型进行各种微调。这样一来，就可以实现更好的效果。当然，如果你想要更多的功能，也可以通过huggingface平台进行扩展。

（编辑：吕梁站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!