未经许可，不得转载。

本指南提供了一些策略，帮助规划如何在大型语言模型（LLM）产品生命周期的各阶段，围绕负责任人工智能（RAI）风险开展红队演练的设置与管理工作。

什么是红队演练？

“红队演练”一词传统上指的是为测试安全漏洞而进行的系统性对抗攻击。随着大型语言模型的兴起，该术语的含义已扩展至传统网络安全范畴之外，在实际使用中逐步演变为对人工智能系统进行各类探测、测试与攻击的统称。对于 LLM 来说，无论是善意还是恶意的使用方式，均可能产生有害输出，其形式包括仇恨言论、煽动或美化暴力等。

为什么 RAI 红队演练是一项重要实践？

红队演练是开发基于 LLM 的系统和功能时负责任开发的最佳实践之一。尽管红队演练不能替代系统性的测量与缓解工作，但它有助于揭示与识别潜在的危害，从而为评估缓解效果提供参考依据。

每个 LLM 应用的使用场景都是独特的，因此也应当开展红队演练以：

• 测试 LLM 底层模型，并根据具体应用场景识别现有安全系统的潜在缺口；
• 识别并缓解默认过滤器或现有缓解策略中的不足之处；
• 对失败情况进行反馈，以便持续优化。

需要注意的是，红队演练并不能替代系统性测量。最佳实践是在进行系统