作者:admin | 分类:btc | 浏览:62 | 评论:
旨在不同硬件条件下(尤其是资源受限环境)更高效地运行模型。
这是对TheDrummer的Magidonia-24B-v4.3大语言模型进行量化处理后的版本,。
同时尽可能保持模型性能, ,通过使用llama.cpp的imatrix量化技术,生成了从BF16到IQ2_XS等多种精度的GGUF格式文件。