近30天源站下载量
4.7万
参数
8.8B
上下文
未说明
架构 / 任务
granite
许可证
other
MODEL POSITIONING
这个模型解决什么问题？
模型能力上，TwIL-8B 是基于 Granite 4.2 8B 的 8.8B 参数英文推理模型，以全参数 SFT、GRPO/DAPO 与长度感知强化学习聚焦竞赛数学、代码和指令遵循；balanced 用于常规使用，verbose 以更长推理换取难题准确度。量化仓库另提供 Q4_K_M、Q8_0 与 F16 GGUF。运行侧可用 Transformers、llama.cpp、Ollama 或 LM Studio；模型卡成绩来自 bf16 权重，GGUF 可能略有偏差。
更适合谁
- 需要本地运行竞赛数学与代码推理的开发者
- 重视指令遵循和固定格式输出的中文用户
- 仅有约 8GB 系统内存或 6.5GB 显存、希望尝试 Q4_K_M 的用户
典型使用场景
- 竞赛数学题求解与分步推演
- 代码生成、代码题分析与调试辅助
- 严格格式或复杂指令的文本生成
- 在本地设备上部署英文推理模型
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
数学推理
模型卡报告其聚焦竞赛数学，并提供 MATH-500、AIME 等评测结果
代码生成
针对代码任务进行监督微调和强化学习，模型卡报告了 LiveCodeBench 等成绩
指令遵循
强化训练覆盖指令遵循场景，模型卡报告 IFEval 与 IFBench 评测
双推理变体
balanced 缩短推理过程，verbose 提供更长推理轨迹
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 5.5 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 通用使用优先选择 balanced 的 Q4_K_M GGUF，兼顾文件体积与可用资源
- 偏重竞赛数学、代码等高难度任务时，可考虑 verbose 的 Q4_K_M GGUF
- 需要更高权重精度且资源充足时，verbose 可选 Q8_0 或 F16
- 模型卡未提供各 GGUF 的独立评测，模型卡报告的成绩来自 bf16 权重
GGUF VARIANTS
量化版本与硬件要求
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 5.5GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 6.5GB。
阅读 8GB 显存选型指南 →可以怎样运行
- 可通过 Transformers 加载 balanced；verbose 需指定仓库中的 verbose 子目录
- 可通过 llama.cpp 按文件名选择 GGUF，并在同名量化中区分 balanced 与 verbose
- 可使用支持该模型的 Ollama 或 LM Studio 运行
- 使用聊天模板时应保留思考块，并为复杂任务提供足够大的上下文与生成预算
采用前要知道的限制
- 模型卡明确称其不是知识型模型，科学知识类评测弱于更大的开放模型和前沿模型
- 官方语言标注为 English，模型卡未说明中文能力
- 除 Granite 4.2 原有能力外，没有额外安全、偏好或工具使用训练
- SWE-bench、SuperGPQA、工具使用及智能体任务未评测；部分成绩仅来自 verbose 变体