近30天源站下载量
54.1万
参数
4B
上下文
未说明
架构 / 任务
text-generation
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题？
模型能力：Qwen3.8-4B-Distill 是一个 4B 参数推理型文本生成模型，由 Qwen3.8 2.4T A95B 教师模型经约 4.5 万条精选教师轨迹全参数蒸馏到 Qwen3.5-4B 架构而来，模型卡显示其在 MMLU CoT 等任务上较 Qwen3.5-4B 基座有显著提升，但 GSM8K 等任务略有下降；具体对话质量与最佳实践模型卡未说明，建议参考主模型卡。量化仓库：本仓库仅提供 GGUF 量化产物，覆盖 Q4_K_M、Q5_K_M、Q6_K、Q8_0、BF16 共五档，不含原始 PyTorch 权重。运行工具：原生适配 llama.cpp、Ollama、LM Studio、Jan、KoboldCpp 等主流 GGUF 推理前端；上下文长度上限与训练数据构成模型卡未说明。
更适合谁
- 想在笔记本或入门级显卡上本地跑推理模型的用户
- 已部署较新 llama.cpp 或 Ollama 环境、愿意处理推理模型思考块输出的开发者
- 追求小显存占用同时希望获得推理增强能力的本地部署者
- 想低成本体验 Qwen3.5 混合稀疏注意力架构的爱好者
典型使用场景
- 消费级显卡或笔记本上的本地离线文本生成与问答
- 体验 Qwen3.5 混合架构在量化部署下的推理表现
- 作为更大模型蒸馏研究与基线对比的小体量参考对象
- 学习 GGUF 多档量化选型与本地推理前端配置
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
蒸馏推理增强
基于约 4.5 万条教师轨迹全参数蒸馏，模型卡显示 MMLU CoT 相对 Qwen3.5-4B 基座显著提升
混合稀疏注意力架构
继承 Qwen3.5 的 Gated DeltaNet 加全注意力混合结构，在效率与质量间取平衡
多档位量化覆盖
同时提供 Q4_K_M、Q5_K_M、Q6_K、Q8_0、BF16 五档，覆盖 4GB 至 12GB 以上显存区间
宽松开源协议
权重沿用 Apache-2.0，可自由分发与商用
主流 GGUF 运行时适配
直接支持 llama.cpp、Ollama、LM Studio、Jan、KoboldCpp 等前端
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 3 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 显存 4–6GB 或内存 8GB 首选 Q4_K_M，模型卡标注为推荐档，质量与体积平衡最佳
- 希望更贴近原精度可升至 Q5_K_M 或 Q6_K，文件体积仅小幅增加
- 想要参考级质量再考虑 Q8_0 或 BF16，其中 BF16 文件约 8.7GB，更接近无损
- 显存紧张时可先用 Q4_K_M 跑通，再视效果与硬件余量逐档上调
GGUF VARIANTS
量化版本与硬件要求
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 3GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 4GB。
阅读 4GB 显存选型指南 →可以怎样运行
- llama.cpp：使用内置 chat 模板并加 -cnv 参数，需选用支持 Qwen3.5 与 Gated DeltaNet 的较新构建
- Ollama、LM Studio、Jan、KoboldCpp：直接下载 GGUF 文件加载，使用文件内嵌 chat 模板
- 推荐采样参数 temperature=0.6、top_p=0.95、top_k=20
- 模型为推理模型，回答开头会出现思考块，需为 -n 预留充足输出长度，对外展示时可剥离该段
采用前要知道的限制
- 必须使用较新 llama.cpp 版本，老版本会因不支持 Qwen3.5 与 Gated DeltaNet 混合架构而加载失败
- 上下文长度上限模型卡未说明，长上下文场景下 KV 缓存开销需自行评估
- 完整基准、训练数据细节与最佳实践本卡未给出，需查阅主模型卡
- GSM8K 等任务上蒸馏版相对 Qwen3.5-4B 基座略有下降，纯通用问答场景可能弱于专门调优模型