Hugging Face 集成 4-bit 模型支持并发布 QLoRA 微调方法

Hugging Face 宣布与 bitsandbytes 合作，在 Transformers 中支持以 4-bit 精度加载模型，并通过 PEFT 在冻结的量化模型上训练适配器；纯 4-bit 训练并不支持，且该方法要求 GPU。同期发布的 QLoRA 论文报告称，可在单张 48GB GPU 上微调 65B 参数模型，并保持其所称的 16-bit 微调任务表现；博客还提供代码、模型和入门笔记本。