一行命令,把一个经过安全训练的开源大模型,变成一个去审查的版本。不重新训练,也不用你懂 transformer
的内部结构。
这就是 heretic,发出去没几天两万五千多颗星,trendshift
当天评它全球第一。它戳中了一个被压了很久的需求——给模型去审查,而且几乎不掉智商。
原理来自 2024 年 NeurIPS 的一篇论文(Arditi 等人):模型的拒绝行为,在神经网络内部其实只是一个数学方向
。找到它,从权重里删掉,模型立刻什么都肯回答。
听起来简单,但社区早有一堆工具干这事,毛病都一样:调参靠人肉试,削太狠就变笨。heretic 的本事在于,它用
Optuna 自动找最优解,还能对小数层做插值、对不同组件分别调参。同样的去审查,它对模型的伤害只有别人工具的
六分之一。
比起"怎么去审查",更值得想的是它顺带揭出来的事实:我们以为很牢固的安全对齐,可能远没有想象的牢靠。
⏱ 时间轴
00:05 开场:删掉一个方向就不再拒绝
00:55 它是什么:一行命令全自动
01:37 厂商的安全墙是怎么筑起来的
02:15 Arditi 2024:拒绝只是残差流里一条方向
03:31 abliteration:正交化权重,抹掉拒绝方向
04:18 旧方法的两个毛病
05:10 创新①②:Optuna 自动调参 + 浮点层插值
06:11 创新③:分组件处理(MLP 比 attention 更伤)
06:40 benchmark:同样的去审查,伤害只有 1/6
07:27 怎么用
08:18 彩蛋功能:把模型内部画出来
09:05 作者 Philipp Emanuel Weidmann
09:49 4000+ 衍生模型,社区反响
10:37 更深的判断:安全对齐竟如此单薄
11:54 总结
项目地址:github.com/p-e-w/heretic(AGPL-3.0 协议,开源免费)