详细内容或原文请订阅后点击阅览
蚂蚁教给我们关于ai的对齐方式
最近，我一直在考虑生活在耶路撒冷周围山上的木匠蚂蚁。这些微小的昆虫可能只是AI最大挑战之一的关键：对齐。有问题的蚂蚁被称为坎普诺图斯·圣克斯（Camponotus sanctus），它们做了一件了不起的事情，使我们最复杂的AI系统成为[…]
来源:O'Reilly Media _AI & ML最近，我一直在考虑生活在耶路撒冷周围山上的木匠蚂蚁。这些微小的昆虫可能只是AI最大挑战之一的关键：对齐。
所讨论的蚂蚁被称为Camponotus sanctus，它们做了一件了不起的事情，使我们最复杂的AI系统羞愧。当这些蚂蚁菌落搬迁时，它们会面临复杂的决定：防止捕食者，足够的巢穴，靠近食物以及菌落的可及性。赌注很高 - 一个糟糕的选择可能会毁了数千人。
camponotus sanctus但这是令人着迷的：殖民地不依靠单个“超级智能”领导人或集中式命令结构，而是采用了一个民主进程，在该过程中，搜索党中的每个蚂蚁都根据其评估的潜在站点做出自己的决定。各个蚂蚁独立评估不同的位置，通过其集体互动，殖民地始终达到最佳解决方案，即使没有单个蚂蚁拥有有关所有可用选项的完整信息。
研究人员称此“多数特许权”：面对矛盾的偏好时，大多数人有时会放弃其偏爱的选择，以保留殖民地团结，加入少数派而不是冒险。这种复杂的集体行为在没有任何中央协调员的情况下出现，代表了一种分布式智能的形式，可以彻底改变我们对AI的一致性。
当我们建立AI系统时，为什么我们应该关心蚂蚁民主？
答案在于我们当前对AI一致性方法的局限性：从人类反馈或RLHF中学习的强化。
成本问题：RLHF中的人类偏好数据昂贵且高度主观。获得优质的人类反馈是耗时的，人类注释的成本可能比使用AI反馈要高得多。
成本问题： 可伸缩性问题： “谁的价值？”问题：