详细内容或原文请订阅后点击阅览
遗忘教学模型：使用 Amazon Nova 选择性遗忘
在这篇文章中，我们介绍了反向直接偏好优化 (rDPO)，这是 Amazon Nova 可自定义内容审核设置 (CCMS) 背后的一种新颖的遗忘技术，并展示了它如何在保持模型质量的同时减少过度偏转。我们还为想要将这些偏好优化技术应用到自己的实验中的客户提供指导。
来源:亚马逊云科技 _机器学习部署基础模型 (FM) 的组织经常遇到一个共同的挑战：为内容审核而设计的模型保护措施也可能阻止合法的业务关键型用例。用成熟语言总结脚本的媒体公司、模拟现实世界威胁的网络安全公司或处理敏感证据的法律团队都可能会发现默认的内容审核控制会偏离他们需要处理的内容。例如，安全团队要求模型生成样本网络钓鱼电子邮件以进行员工意识培训，即使其意图是防御性的，也可能会遭到拒绝。
由于模型在训练后调整期间学习了这些保护措施，因此仅靠即时工程无法克服它们。模型的偏转倾向已嵌入其参数中，需要在模型级别进行有针对性的修改，以有选择地调整这种行为。在这篇文章中，我们介绍了反向直接偏好优化 (rDPO)，这是 Amazon Nova 可自定义内容审核设置 (CCMS) 背后的一种新颖的遗忘技术，并展示了它如何在保持模型质量的同时减少过度偏转。我们还为想要将这些偏好优化技术应用到自己的实验中的客户提供指导。
Amazon Nova 可自定义内容审核设置 (CCMS) 通过让获得批准的客户有选择地调整四个负责任的 AI (RAI) 支柱的保护措施来解决此问题。这些支柱包括：
Amazon Nova 强制执行必要的、不可配置的控制措施，以负责任地使用人工智能，例如防止伤害儿童和保护隐私的控制措施。