(资料图)

编程客栈（）8月1日 消息:google 科学家进行一项实验研究，他们使用 openai 的 gpt-4聊天机器人来攻破其他机器学习模型的安全防护措施。这项实验证明了聊天机器人作为研究助手的价值。

具体来说，谷歌 deep mind 的研究科学家 nicholas carlini在一篇题为“ai-guardian 的 llm 辅助开发”的论文中，探讨了如何通过指导 gpt-4设计攻击方法并撰写攻击原理的文本，以欺骗 ai-guardian 的防御机制。ai-guardian 是一种防御对模型的攻击的系统，旨在检测可能被篡改的图像以欺骗分类器。

gpt-4会发出用于调整图像的脚本（和解释）来欺骗分类器——例如，让它认为某人拿着枪的照片是某人拿着无害苹果的照片——而不会引发 ai-guardian 的怀疑。ai-guardian 旨在检测图像何时可能被操纵以欺骗分类器，而 gpt-4的任务是逃避该检测。

通过 gpt-4的帮助，攻击者能够成功地破解 ai-guardian 的防御，使其从98% 的稳健性降低到仅8%。然而，ai-guardian 的开发者指出，这种攻击方法可能在改进的版本中失效。

据了解，gpt-4作为研究助手的价值在于它能够快速生成代码，并且不会分心或疲劳，始终可用于完成指定的任务。然而，依赖 gpt-4并不完全解除人类合作者的责任，因为它仍然需要人类提供正确的提示并修复生成的代码中的错误。

虽然 gpt-4还存在一些限制，但随着大型语言模型的改进，它们将为计算机科学家提供更多时间来开展有趣的研究问题。

论文地址:https://arxiv.orandroidg/abs/2307.js15008