什么是Nightshade？
工作原理及其局限性
自诞生以来，生成式AI模型及其训练师就已证明他们能够下载任何在线内容进行模型训练。而对内容所有者和创作者来说，很少有工具可以阻止他们的内容在违背意愿的情况下被输入给生成式AI模型。在过去，模型训练师会无视可选退出列表，并且可以轻松忽略这些列表而不会产生任何后果。这些列表既无法验证也无法执行，而违反可选退出列表和禁止抓取指令的人亦无法被高度确定地识别。
为了解决这种权力不对称问题，我们设计并实现了Nightshade，一种可将任何图像转换为不适合模型训练的数据样本的工具。更准确地说，Nightshade将图像转换为“毒药”样本，这样未经同意对其进行模型训练的人将看到他们的模型学习到了偏离预期范围的不可预测行为，例如，要求一张在太空中飞行的牛的图像的提示可能会得到一张在太空中漂浮的手提包的图像。
如果使用得当，Nightshade可以帮助阻止那些无视版权、可选退出列表和禁止抓取/robots.txt指令的模型训练师。它不依赖于模型训练师的善意，而是为未经授权抓取和训练的每条数据附加一点逐渐累积的麻烦。Nightshade的目标不是破坏模型，而是增加未授权数据的训练成本，这样从创作者那里获得图像许可就成为一种可行的替代方案。
Nightshade的工作原理与Glaze类似，但它不是针对风格模仿的防御手段，而是被设计为一种攻击工具，用于扭曲生成式AI图像模型中的特征表示。与Glaze一样，Nightshade也使用一种多目标优化算法来进行计算，可以最大限度地减少对原始图像的可见更改。虽然人眼看到的阴影图像与原始图像基本没有变化，但AI模型看到的图像构成却截然不同。例如，人眼可能会看到绿色田野中一头奶牛的阴影图像基本没有变化，但AI模型可能会看到草地上放着一只大皮包。经过足够数量包含奶牛的阴影图像的训练后，模型会越来越相信奶牛拥有漂亮的棕色皮革手柄和带拉链的光滑侧袋，也许还有一个可爱的品牌标志。
与Glaze一样，Nightshade效果对于对图像可能应用的正常更改具有很强的鲁棒性。您可以裁剪、重采样、压缩、平滑像素或添加噪音，而毒药的效果仍会保留。您可以截取屏幕截图，甚至可以对显示器上显示的图像拍照，而阴影效果仍会保留。同样，这是因为它不是水印或隐藏信息（隐写术），而且不易损坏。
Nightshade与Glaze。一个常见的问题是，Nightshade和Glaze之间有什么区别。答案是，Glaze是一种防御工具，个人艺术家可以使用它来保护自己免受风格模仿攻击，而Nightshade是一种攻击工具，艺术家可以作为一个团体使用它来扰乱未经同意抓取其图像的模型（从而保护所有艺术家免受这些模型的侵害）。艺术家在网上发布的每一件作品都应该使用Glaze来保护自己，而Nightshade是一个完全可选的功能，可用于阻止无道德的模型训练师。在网上发布自己作品的艺术家最好将Glaze和Nightshade都应用于他们的作品。我们正在努力将这些工具集成发布。
风险和局限性。
1.Nightshade所做的更改在具有纯色和平滑背景的作品上更加明显。由于Nightshade是有关于扰乱模型的工具，因此较低强度/毒性水平不会对图像所有者产生负面影响。因此，我们为那些希望优先考虑原始图像视觉质量的人提供了低强度设置。
2.与任何安全攻击或防御工具一样，Nightshade不太可能在很长一段时间内保持未来防护。但作为一种攻击工具，Nightshade可以轻松发展以继续跟进任何潜在的对策/防御。
我们的目标。与Glaze一样，我们的主要目标是通过研究发现和学习新事物，并对世界产生积极影响。当我说我们不追求利益时，我（Ben）仅代表我自己（但我认为我们团队也是如此）。与Glaze一样，Nightshade被设计为无需网络即可运行，因此不会有任何数据（或作品）向我们或任何其他人发送。
Nightshade和WebGlaze。Nightshade v1.0被设计为独立工具。它不像Glaze那样提供模仿保护，因此请谨慎使用它。如果您始终担心风格模仿，请不要发布您作品的阴影图像。我们正在测试Nightshade如何与Glaze共存，准备就绪后，我们将发布Nightshade作为Webglaze的附加组件，以便Webglaze用户可以在单个图像上一次性同时应用Nightshade和Glaze。
有关Nightshade的更多信息，请查看有关安装、运行/配置和卸载Nightshade的用户指南。您还可以阅读Nightshade的技术论文：
Nightshade: Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models
Shawn Shan, Wenxin Ding, Josephine Passananti, Haitao Zheng, Ben Y. Zhao
即将发表：第45届IEEE安全与隐私研讨论论文集，
加利福尼亚州旧金山，2024年5月。
预印本：arxiv/2310.13828，2024年2月。
