详细内容或原文请订阅后点击阅览
微型神经网络如何表示基本函数
通过简单的算法示例对机械可解释性进行简单介绍简介本文展示了小型人工神经网络 (NN) 如何表示基本功能。目标是提供有关 NN 工作原理的基本直觉，并作为机械可解释性的简单介绍——该领域旨在对 NN 进行逆向工程。我提供了三个基本函数的示例，使用简单的算法描述了每个函数，并展示了如何将算法“编码”到神经网络的权重中。然后，我探索网络是否可以使用反向传播来学习算法。我鼓励读者将每个示例视为一个谜语，并在阅读解决方案之前花一点时间。机器学习拓扑本文尝试将 NN 分解为离散操作并将其描述为算法。另一种方法可能更常见、更自然，即研究不同层中线性变换的连续拓扑解释。以下是一些有助于增强拓扑直觉的优秀资源：Tensorflow Playground — 一个用于构建分类任务基本直觉的简单工具。ConvnetJS Demo — 一个用于可视化分类任务的 NN 的更复杂工具。神经网络、流形和拓扑 — 一篇关于 NN 工作原理的优秀文章。三个基本函数在以下所有示例中，我使用术语“神经元”来表示 NN 网络中的单个节点。
来源:走向数据科学微小的神经网络如何代表基本功能
通过简单的算法示例轻轻介绍了机械性解释性
简介
本文显示了小型人工神经网络（NN）如何代表基本功能。目的是提供有关NNS如何运作并轻柔地介绍机械解释性的基本直觉，该领域试图反向工程NNS。
机械解释性i提供了基本功能的三个示例，使用简单的算法描述每个函数，并显示如何将算法“编码”到神经网络的权重中。然后，我探索网络是否可以使用反向传播学习算法。我鼓励读者将每个例子视为一个谜语，然后在阅读解决方案之前花一分钟。
机器学习拓扑
本文试图将NNS分解为离散操作，并将其描述为算法。一种替代方法，也许更自然，是研究不同层中线性变换的连续拓扑解释。
以下是加强拓扑直觉的一些重要资源：
三个基本功能
在以下所有示例中，我将术语“神经元”用于NN计算图中的单个节点。每个神经元只能使用一次（没有循环；例如，不是RNN），并且按以下顺序执行3个操作：
- 带有输入矢量的内部产品。添加偏差项。运行A（非线性）激活函数。
我仅提供最小的代码片段，以便阅读会流利。该COLAB笔记本包括整个代码。
COLAB笔记本<运算符
学习“ x <10”功能需要多少个神经元？编写一个返回1时返回1时返回1时的NN，否则否则，写入10和0。
解决方案
让我们首先创建遵循我们要学习的模式的示例数据集
sigmoid b b = 10