Mistral AI·· 2023-12-11
Mistral AI 发布开放权重稀疏专家模型 Mixtral 8x7B
Mixtral of experts
AI 导读
Mistral AI 发布 Mixtral 8x7B 及其指令微调版 Mixtral 8x7B Instruct,采用 Apache 2.0 许可开放权重。官方称模型总参数量为 46.7B、每个 token 使用 12.9B 参数,支持最长 32k token 上下文及五种欧洲语言;Instruct 版在 MT-Bench 得分为 8.30。
来源:Mistral AI · mistral.ai