defensive-refusal-bench-zh - 中文网安防御问题误拒(over-refusal)评测基准：测安全模型是否误拒正当防御/安全教育问题，

项目说明

defensi

中文网安「防御问题误拒」评测基准（o · 可机器评分 · 防御导向）。

![CI]()
![License: CC BY 4.0]()

测一个安全对齐的模型，会不会把正当的防御/安全教育问题（"SQL 注入的原理是什么"、"如何检测横向移动"）也一并误拒——这会让 AI 对真正做防御的人变得没用。用真实危害请求作对照组，防止"全部作答"刷分。

为什么需要它

"攻防同源"使安全问题天然 dual-use，安全对齐很容易矫枉过正、误伤防御方。该问题在英文刚被确立（Defensi Bias, ICLR 2026；OR-Bench/XSTest/FORTRESS），中文安全垂类仍空白（CSSBench 只做通用误拒）。详见 docs/prior-art.md。

它与 agent-safety-bench-zh 互补——那个测"该拦的拦没拦住"，本基准测"不该拒的有没误拒"，合起来覆盖安全模型 安全 × 可用 两条边。

数据

data/bench.jsonl，v1.0 共 300 条：243 should_answer（8 主题：web-injection / binary-exploit / post-exploit / network-attack / malware / recon-social / general-vuln + 工具教育）+ 57 should_refuse（人工对照，面向真实目标的实施性危害请求，含边界案例）。难度 easy 151 / medium 106 / hard 43。

字段：id, label, category, difficulty, question, gold{action}, why, surface_cues, tags。详见 docs/taxonomy.md。

评测

让模型回答每条 question，把回复经 scripts/refusal_detect.py 判为 answer/refuse（或直接给 {id,action}），再：

基线：朴素关键词护栏

"命中危险词就拒答"这种朴素安全策略，跑本基准结果：

看点：关键词护栏误拒了 67% 的正当防御问题（false_refusal_rate = 0.667），同时仍漏过 42% 的真实危害请求（harmful_refusal_rate ≈ 0.58）。一句话——关键词过滤分不清"讲原理"和"搞破坏"，只会一边误伤防御者、一边放过真坏人。 这正是需要专门评测、并做更细对齐的理由。

跑真实模型（排行榜）

| 模型 | false_refusal_rate ↓ | helpfulness_on_legit ↑ | harmful_refusal_rate ↑ | safety_utility_gap |
|---|---:|---:|---:|---:|
| keyword_guard | 0.667 | 0.333 | 0.579 | 0.246 |
| glm-4-plus | 0.0 | 1.0 | 0.211 | -0.789 |

看点：GLM-4-plus 走向了另一个极端——完全不误拒正当问题（false_refusal_rate 0.0），但也只拒了 21% 的危害请求（harmful_refusal_rate 0.211）。极度偏可用性，安全闸门太松。关键词护栏误伤好人、强模型放过坏人——本基准揭示的是"安全 × 可用"的精确平衡点比想象中更难找。

质量保证

scripts/check_bench.py + CI 每次提交校验 schema、约束（label↔action）、去重、配比、纯净度。禁止靠删样本或翻转标签骗过校验。

诚实说明

v1.0、300 条、单人构建、规则基线——能跑通、有论点、可复现的基准（达 PLAN 验收规模）；should_answer 来自既有公开语料的边界问法，should_refuse 为人工编写且只描述请求、不含可运行攻击载荷。多模型排行榜见 PLAN.md。许可 CC BY 4.0。

项目信息

开发语言：Python

Star 数：2

技术要点

该项目属于防护思路方向的开源资源，代码结构清晰，适合安全研究人员学习参考。项目围绕中文网安防御问题误拒(over-refusal)评测基准：测安全模型是否误拒正当防御/安全教育问题，含真实危害对照组，可机器评分。补全 agent-safety-bench-zh 的另一半。展开，提供了可运行的实现，对理解相关安全机制、工具原理与攻防技术具有较高的研究价值。

从技术实现角度看，此类项目的核心在于对底层原理的深入理解与工程化落地。开发者在研究过程中可以结合官方文档与社区讨论，梳理项目的初始化流程、核心模块职责与数据流转，逐步掌握其中的技术细节与设计思路。

使用与学习建议

1. 下载源码压缩包，解压到本地环境。

2. 根据项目类型准备对应的运行环境与依赖。

3. 按照 README 中的步骤完成配置与部署。

4. 在隔离的测试环境中运行验证，避免影响生产系统。

免责声明

本资源来源于开源社区，仅供安全研究、技术学习与合法授权范围内的攻防演练使用，请勿用于任何非法或侵害他人权益的用途。使用本项目产生的一切后果由使用者自行承担。