Hugging Face Blog·· 2024-08-12
TII 发布开放获取的 7B 纯 Mamba 模型 Falcon Mamba
Welcome Falcon Mamba: The first strong attention-free 7B model
AI 导读
阿布扎比技术创新研究所(TII)发布 Falcon Mamba 7B,按 TII Falcon Mamba 7B License 1.0 开放获取,供研究或应用使用。该模型采用纯 Mamba 架构;文章称其逐 token 生成时间和存储需求不随上下文长度增加,但并行预填充仍需随提示长度增加内存,顺序预填充则可处理任意长提示。
来源:Hugging Face Blog · huggingface.co