近30天源站下载量
25.1万
参数
27B
上下文
未说明
架构 / 任务
text-generation
许可证
apache-2.0
MODEL POSITIONING
这个模型解决什么问题？
这是面向聊天场景的 27B 多模式模型仓库：以 HauhauCS 权重承载 Defiance 聊天模板，可通过 reasoning_effort 或模式标记切换推理等级、角色、专家面板和教学方式。仓库提供 IQ4_XS、Q6_K_P 两个完整 GGUF 量化，以及可与它们搭配的 FastMTP-32K 草稿 GGUF，聊天模板已嵌入文件。运行层可选 llama.cpp、LM Studio、Ollama，并附 Open WebUI 工作区配置。模型卡未说明具体架构，来源配置的 contextLength 为空；README 仅称 IQ4_XS 可使用 131K 上下文。
更适合谁
- 希望在本地运行 27B 多模式文本对话的用户
- 需要角色扮演、专家面板或教学模板的聊天用户
- 接受无拒答导向并能自行承担使用责任的用户
- 拥有较大内存或显存、可运行 GGUF 的设备用户
典型使用场景
- 本地角色扮演、开放式聊天和创意写作
- 使用 Einstein、Spoon 等模式组织多专家讨论
- 通过 teacher、Socrates 等模式进行教学或苏格拉底式问答
- 使用 coder 模式进行聊天式代码辅助
SOURCE-BASED CAPABILITIES
模型卡透露的核心特点
多模式切换
通过请求参数或 {REASON:...} 标记切换推理等级、角色、专家面板和教学方式
27B 文本生成
面向文本生成、推理、角色扮演和开放式对话
模板随文件内置
GGUF 自带聊天模板，llama.cpp、LM Studio 和 Ollama 可直接识别
本地量化选择
提供 IQ4_XS 与 Q6_K_P 两个完整量化文件，并附 FastMTP 草稿
角色化工作流
包含 coder、teacher、story、business 等预设，也提供多专家协作模式
按当前权重估算的硬件准备
- 现有 GGUF 文件中，最低显存估算约 1 GB
- 为上下文缓存、系统进程和并发请求预留额外内存，不要只按模型文件大小配置设备。
量化版本怎么选
- 内存或显存资源有限时，优先评估约 15.7 GB 的 IQ4_XS 文件及其文件级资源需求
- 选择约 25.9 GB 的 Q6_K_P 时，应先确认设备能容纳权重，或已具备部分卸载条件
- 不要把约 0.9 GB 的 FastMTP 文件当作完整模型下载，它用于搭配任一完整 GGUF 量化
- 模型卡未提供更多量化档位或不同量化之间的质量对比
GGUF VARIANTS
量化版本与硬件要求
HARDWARE MATCH
哪些显卡或设备更适合运行？
按当前最小量化文件估算，至少需要 1GB 显存；如果希望为运行框架和上下文保留余量，优先参考推荐显存 2GB。
阅读 4GB 显存选型指南 →可以怎样运行
- 使用 llama.cpp 时保留 --jinja；可另加载 defiance-27b.jinja 以启用后续模板修正
- 使用 LM Studio 或 Ollama 加载 GGUF，模型卡称其可直接使用内嵌模板
- 使用 Open WebUI 导入现成工作区模型与功能配置，并通过 Reasoning Effort 切换模式
- 可在消息中使用 {REASON:joker} 等标记切换模式，Instruct 形式可关闭思考块
采用前要知道的限制
- 仅适合聊天；首个系统消息后再发送系统消息会触发模板错误，不适合依赖该行为的编码代理
- 仅支持文本；GGUF 不含视觉投影器，模型卡提到可尝试其他 mmproj，但未测试
- 部分超长模式每轮约占用 2,500 至 3,600 tokens，且长面板模式在当前权重上的角色遵循可能变弱
- 权重主动移除拒答，可能生成其他模型会拒绝的内容；Q6_K_P 仅完成文件级核对，作者未实机运行