跳到正文
千机 API
原文
Hugging Face Blog·· 2024-08-12

TII 发布开放获取的 7B 纯 Mamba 模型 Falcon Mamba

Welcome Falcon Mamba: The first strong attention-free 7B model

AI 导读

阿布扎比技术创新研究所(TII)发布 Falcon Mamba 7B,按 TII Falcon Mamba 7B License 1.0 开放获取,供研究或应用使用。该模型采用纯 Mamba 架构;文章称其逐 token 生成时间和存储需求不随上下文长度增加,但并行预填充仍需随提示长度增加内存,顺序预填充则可处理任意长提示。

来源:Hugging Face Blog · huggingface.co