变形金刚(和注意力)只是高档的加法机

“您需要的只是您需要”作为一系列乘法和关节操作的序列,但是...如果我告诉您它们是添加剂的?邮政变压器(和注意力)只是奇特的加法机器,首先是迈向数据科学的。

来源:走向数据科学

是AI中相对较新的子场,专注于通过逆转其内部机制和表示方式来理解神经网络如何发挥作用,旨在将其转化为人类理解的算法和概念。与传统的解释性技术相比,这与Shap和Lime等传统的解释性技术相反。

Shap代表Shapley添加性解释。它计算每个功能对本地和全球模型预测的贡献,即单个示例以及整个数据集的贡献。这允许形状用于确定通常对用例的特征重要性。同时,石灰在单个示例预测对上工作,在该对中,它会散布该示例输入,并使用扰动及其输出来近似黑盒模型的更简单的替代。因此,这两项工作都在功能级别上工作,并给我们一些解释和启发式,以衡量对模型的每个输入如何影响其预测或输出。

sh a p

另一方面,机械解释可以理解更精细的水平的事物,因为它能够提供神经网络中不同层中不同神经元如何学到所述特征的途径,以及该学习如何在网络中的层次上演变。这使其擅长追踪网络内部的特定功能,并查看该功能如何影响结果。

也是

塑造和石灰,然后回答“哪个功能对结果最大的作用?”的问题。机械解释回答了一个问题:“哪个神经元激活了哪个功能,该特征如何发展并影响网络的结果?”

“哪个功能对结果有最大的作用?” 哪些神经元激活了哪个功能,该功能如何发展和影响网络的结果? 多头注意

,但首先是变压器体系结构的回顾。

变压器体系结构

作者的图像:变压器体系结构
1