近30天源站下载量
26.3万
参数
未知
上下文
未说明
架构 / 任务
text-generation
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题?
模型能力方面,Flint 是 Recursive 开发的解码器 MoE 编程智能体模型,39.8B 总参数、每 token 约 2.5B 激活,支持文本生成、推理、多轮工具调用及 OpenAI 兼容工具调用,文档化上下文为 262,144 tokens;模型卡列出 Terminal-Bench 与 SWE-bench 评测,但来源设置不同,不宜直接横比。量化仓库方面,unsloth/flint-GGUF 提供 IQ1_M 至 Q8_0、Q_K_XL 系列及 BF16 文件,并标注 NVIDIA 与 Apple Silicon 变体。运行工具方面,资料明确列出 Ollama、llama.cpp 和 LM Studio;各量化的质量差异与速度排序,模型卡未说明。
更适合谁
- 需要本地运行编程智能体的开发者
- 经常排查代码库、修复缺陷和补充测试的用户
- 具备较大内存或显存、愿意配置 GGUF 推理环境的用户
典型使用场景
- 定位项目文件并理解陌生代码库
- 辅助修复 Bug 与实现新功能
- 生成、补充和检查测试代码
- 构建带工具调用的本地编程助手
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
编程智能体定位
面向代码库调查、缺陷修复、功能实现和测试编写
稀疏 MoE 架构
39.8B 总参数,每 token 约激活 2.5B 参数
长上下文交互
文档化上下文为 262,144 tokens,支持推理和多轮对话
工具调用能力
支持 OpenAI 兼容工具调用,可接入多轮工具工作流
按当前权重估算的硬件准备
- 现有 GGUF 文件中,最低显存估算约 11.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。
量化版本怎么选
- 极低资源可比较 flint-UD-IQ1_M.gguf 与 flint-UD-IQ2_XXS.gguf,文件约 11.35 GB 和 11.86 GB
- 平衡空间与资源可查看 flint-UD-Q2_K_XL.gguf、flint-UD-IQ3_XXS.gguf 或 flint-UD-Q4_K_XL.gguf
- 更高精度可选择 flint-UD-Q5_K_XL.gguf、flint-UD-Q6_K_XL.gguf 或 flint-Q8_0.gguf
- 完整 BF16 文件位于 BF16/flint-BF16-00001-of-00003.gguf;模型卡未说明各量化版本的质量差异或速度排序
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。
| 量化 | 权重合计 | 估算加载显存 | 建议显存 | 建议内存 | 来源 |
|---|---|---|---|---|---|
| IQ1_M | 11 GB | 11.5 GB | 13.5 GB | 16 GB | 下载文件 ↗ |
| IQ2_XXS | 11 GB | 12 GB | 14 GB | 17 GB | 下载文件 ↗ |
| Q2_K_XL | 13 GB | 14 GB | 16 GB | 19 GB | 下载文件 ↗ |
| IQ3_XXS | 14 GB | 15 GB | 17.5 GB | 20.5 GB | 下载文件 ↗ |
| Q3_K_XL | 17 GB | 19 GB | 22 GB | 26 GB | 下载文件 ↗ |
| Q4_K_XL | 23 GB | 25.5 GB | 29.5 GB | 35.5 GB | 下载文件 ↗ |
| Q5_K_XL | 28 GB | 30.5 GB | 35 GB | 42 GB | 下载文件 ↗ |
| Q6_K_XL | 34 GB | 37 GB | 42.5 GB | 51 GB | 下载文件 ↗ |
| Q8_0 | 39 GB | 43 GB | 49 GB | 59.5 GB | 下载文件 ↗ |
| BF16需全部分卷 | 74 GB | 80.5 GB | 92 GB | 111.5 GB | 查看文件组 ↗ |
HARDWARE MATCH
哪些显卡或设备更适合运行?
按当前最小量化文件估算,至少需要 11.5GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 13.5GB。
阅读 24GB 显存选型指南 →可以怎样运行
- Ollama || 资料标记为支持,可用于加载和运行 GGUF 模型
- llama.cpp || 资料标记为支持,适合直接使用 GGUF 文件
- LM Studio || 资料标记为支持,可在图形界面中选择本地模型
- SGLang 服务套件 || 模型卡称仓库包含 SGLang serving kit,但未给出完整启动配置
采用前要知道的限制
- 可能生成错误或有害内容、故障代码及不安全的工具调用,重要改动必须测试与审查
- 工具应用需要自行设置权限和执行边界,结构化调用格式不能避免错误操作
- 长推理过程可能消耗输出预算并增加延迟,回答未必能在预算内完成
- 262,144 tokens 是容量上限,不代表所有长度和任务都有稳定准确度;不同检查点与运行工具的结果可能不同