使用向量引导来改进模型引导

探索向量控制研究并编写实现继续阅读 Towards Data Science »

来源:走向数据科学

大型语言模型很复杂,并不总是给出完美的答案。为了解决这一问题,人们尝试许多不同的技术来指导模型的输出。我们已经在较大的数据集,具有更多参数的预训练模型上进行了预培训,并使用向量数据库(或某些其他形式的查找形式)在LLM的输入中添加相关上下文。所有这些确实有所改善,但是今天没有什么方法是愚蠢的。

指导模型的一种有趣方法是向量转向。一个有趣的例子是Claude Golden Gate Bridge实验。在这里,我们看到不管用户问什么,克劳德都会找到一些聪明的方式来提出其最喜欢的主题:金门大桥。

图像来自“缩放单体性:从Claude 3十四行诗中提取可解释的特征”,显示Claude Sonnet的行为变化,并通过转向向量
“缩放单体性:从Claude 3十四行诗中提取可解释的特征”

今天,我将仔细研究有关此主题的研究,并解释Anastasia Borovykh的出色代码实施。如果您对此主题更感兴趣,我强烈建议您查看她的视频。

Anastasia Borovykh的出色代码 查看她的视频

让我们潜入!

理论