← 返回模型库

unsloth/flint-GGUF

flint-GGUF:面向代码智能体的本地量化选择

Flint 是编程智能体 MoE 模型,适合代码库排查、修复缺陷、实现功能和编写测试,支持推理与工具调用。总参数 39.8B,每 token 约激活 2.5B。仓库提供 GGUF 量化,可使用 Ollama、llama.cpp 或 LM Studio;显存估算从 11.5 GB 到 80.5 GB。

编程智能体代码生成本地推理
查看模型源页面 ↗
近30天源站下载量
26.3万
参数
未知
上下文
未说明
架构 / 任务
text-generation
许可证
apache-2.0

MODEL POSITIONING

这个模型解决什么问题?

模型能力方面,Flint 是 Recursive 开发的解码器 MoE 编程智能体模型,39.8B 总参数、每 token 约 2.5B 激活,支持文本生成、推理、多轮工具调用及 OpenAI 兼容工具调用,文档化上下文为 262,144 tokens;模型卡列出 Terminal-Bench 与 SWE-bench 评测,但来源设置不同,不宜直接横比。量化仓库方面,unsloth/flint-GGUF 提供 IQ1_M 至 Q8_0、Q_K_XL 系列及 BF16 文件,并标注 NVIDIA 与 Apple Silicon 变体。运行工具方面,资料明确列出 Ollama、llama.cpp 和 LM Studio;各量化的质量差异与速度排序,模型卡未说明。

更适合谁

  • 需要本地运行编程智能体的开发者
  • 经常排查代码库、修复缺陷和补充测试的用户
  • 具备较大内存或显存、愿意配置 GGUF 推理环境的用户

典型使用场景

  • 定位项目文件并理解陌生代码库
  • 辅助修复 Bug 与实现新功能
  • 生成、补充和检查测试代码
  • 构建带工具调用的本地编程助手

SOURCE-BASED CAPABILITIES

模型卡透露的核心特点

编程智能体定位

面向代码库调查、缺陷修复、功能实现和测试编写

稀疏 MoE 架构

39.8B 总参数,每 token 约激活 2.5B 参数

长上下文交互

文档化上下文为 262,144 tokens,支持推理和多轮对话

工具调用能力

支持 OpenAI 兼容工具调用,可接入多轮工具工作流

按当前权重估算的硬件准备

  • 现有 GGUF 文件中,最低显存估算约 11.5 GB
  • 为上下文缓存、系统进程和并发请求预留额外内存,不要只按模型文件大小配置设备。

量化版本怎么选

  • 极低资源可比较 flint-UD-IQ1_M.gguf 与 flint-UD-IQ2_XXS.gguf,文件约 11.35 GB 和 11.86 GB
  • 平衡空间与资源可查看 flint-UD-Q2_K_XL.gguf、flint-UD-IQ3_XXS.gguf 或 flint-UD-Q4_K_XL.gguf
  • 更高精度可选择 flint-UD-Q5_K_XL.gguf、flint-UD-Q6_K_XL.gguf 或 flint-Q8_0.gguf
  • 完整 BF16 文件位于 BF16/flint-BF16-00001-of-00003.gguf;模型卡未说明各量化版本的质量差异或速度排序

GGUF VARIANTS

量化版本与硬件要求

显存与内存数值均按权重文件体积估算,未做设备实测。多模态还需要配套投影文件并额外占用内存;分卷容量按全部分卷合计,下载时需获取完整文件组。

量化权重合计估算加载显存建议显存建议内存来源
IQ1_M11 GB11.5 GB13.5 GB16 GB下载文件 ↗
IQ2_XXS11 GB12 GB14 GB17 GB下载文件 ↗
Q2_K_XL13 GB14 GB16 GB19 GB下载文件 ↗
IQ3_XXS14 GB15 GB17.5 GB20.5 GB下载文件 ↗
Q3_K_XL17 GB19 GB22 GB26 GB下载文件 ↗
Q4_K_XL23 GB25.5 GB29.5 GB35.5 GB下载文件 ↗
Q5_K_XL28 GB30.5 GB35 GB42 GB下载文件 ↗
Q6_K_XL34 GB37 GB42.5 GB51 GB下载文件 ↗
Q8_039 GB43 GB49 GB59.5 GB下载文件 ↗
BF16需全部分卷74 GB80.5 GB92 GB111.5 GB查看文件组 ↗

HARDWARE MATCH

哪些显卡或设备更适合运行?

按当前最小量化文件估算,至少需要 11.5GB 显存;如果希望为运行框架和上下文保留余量,优先参考推荐显存 13.5GB。

阅读 24GB 显存选型指南 →

可以怎样运行

  • Ollama || 资料标记为支持,可用于加载和运行 GGUF 模型
  • llama.cpp || 资料标记为支持,适合直接使用 GGUF 文件
  • LM Studio || 资料标记为支持,可在图形界面中选择本地模型
  • SGLang 服务套件 || 模型卡称仓库包含 SGLang serving kit,但未给出完整启动配置

采用前要知道的限制

  • 可能生成错误或有害内容、故障代码及不安全的工具调用,重要改动必须测试与审查
  • 工具应用需要自行设置权限和执行边界,结构化调用格式不能避免错误操作
  • 长推理过程可能消耗输出预算并增加延迟,回答未必能在预算内完成
  • 262,144 tokens 是容量上限,不代表所有长度和任务都有稳定准确度;不同检查点与运行工具的结果可能不同