跳到正文
千机 API
原文
Mistral AI·· 2023-12-11

Mistral AI 发布开放权重稀疏专家模型 Mixtral 8x7B

Mixtral of experts

AI 导读

Mistral AI 发布 Mixtral 8x7B 及其指令微调版 Mixtral 8x7B Instruct,采用 Apache 2.0 许可开放权重。官方称模型总参数量为 46.7B、每个 token 使用 12.9B 参数,支持最长 32k token 上下文及五种欧洲语言;Instruct 版在 MT-Bench 得分为 8.30。

来源:Mistral AI · mistral.ai