近30天源站下载量
31.8万
参数
14B
上下文
未说明
架构 / 任务
text-generation
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题？
三层定位。能力层：作为剪枝后用 Claude Fable 5 推理链重新 QLoRA 蒸馏的 14B MoE 模型，模型卡说明属于通用推理模型，会先输出 Qwen 思考 token 再作答，覆盖写作、代码、工具调用等多步任务，并附带 mmproj 文件支持视觉输入。量化仓库层：本仓库仅发布 GGUF 量化，从 Q2_K 到 Q8_0 共八种配置，便于在不同显存条件下取舍。运行工具层：依赖 llama.cpp 兼容后端，Ollama、LM Studio 与 text-generation-webui 均支持。模型卡未提供推理速度与基准成绩。
更适合谁
- 想要消费级显存跑多步推理的中文用户
- 想复现 Claude Fable 5 风格结构化思考链的玩家
- 同时需要写作、编程与工具调用的小型本地工作流开发者
- 在 8GB 至 16GB 显存之间反复横跳挑量化的本地部署者
典型使用场景
- 多步中文写作与结构化规划
- 编程辅助与代码改写
- 视觉问答与图文混合推理
- 函数调用或本地 Agent 草稿生成
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
长思维链
沿用 Qwen 思考模式，先吐推理 token 再给出最终答复
多模态支持
仓库自带 mmproj-F16 文件，可接入视觉问答
工具调用混合训练
训练数据混入 Qwen 工具调用与 Opus 推理痕迹
代码与多步规划
引入 Evol-Instruct-Code 强化代码生成与多步任务
量化谱覆盖宽
从 Q2_K 到 Q8_0 覆盖消费级到近无损区间
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 5.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 想要损失最小优先 Q8_0 或 Q6_K
- 想要质量与体积平衡选 Q5_K_M 或 BPW4.75
- 显存紧张先以 Q4_K_M 作为基本盘
- 极致压缩场景再考虑 Q3_K_M 或 Q2_K
GGUF VARIANTS
量化版本与硬件要求
显存与内存数值均按权重文件体积估算，未做设备实测。多模态还需要配套投影文件并额外占用内存；分卷容量按全部分卷合计，下载时需获取完整文件组。
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 5.5GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 6.5GB。
阅读 8GB 显存选型指南 →可以怎样运行
- llama.cpp 直接加载 GGUF 文件
- Ollama 通过模型标识拉取并运行
- LM Studio 选择本地 GGUF 启动
- text-generation-webui 通过 llama.cpp 后端调用
采用前要知道的限制
- 首 token 时延受长思考链影响会显著拉长
- 剪枝后未做预微调，部分能力依赖 Fable LoRA 补回
- 模型卡未提供速度与质量基准，无法估算实际吞吐
- 仓库内 F16 文件仅是 mmproj 视觉投影，并非完整主模型量化