Rewinding the Fault: Stress Perturbations Promote Back-Propagating Ruptures
自由表面反射和断层几何粗糙度可以激发界面波或高阶再破裂形式的反向传播。
Multilayer Perceptron, Explained: A Visual Guide with Mini 2D Dataset
分类算法剖析微型神经网络的数学（带视觉效果）有没有感觉神经网络无处不在？它们出现在新闻中、手机中，甚至出现在社交媒体中。但说实话 — 我们大多数人都不知道它们实际上是如何工作的。所有那些花哨的数学和像“反向传播”这样的奇怪术语？这里有一个想法：如果我们把事情变得非常简单会怎么样？让我们探索多层感知器 (MLP) — 最基本的神经网络类型 — 使用小型网络对简单的 2D 数据集进行分类，只需处理少量数据点。通过清晰的视觉效果和逐步解释，您将看到数学变得生动，确切地观察数字和方程式如何在网络中流动以及学习是如何发生的！所有视觉效果：作者使用 Canva Pro 创建。针对移动设备进行了优化；在桌面
How Tiny Neural Networks Represent Basic Functions
通过简单的算法示例对机械可解释性进行简单介绍简介本文展示了小型人工神经网络 (NN) 如何表示基本功能。目标是提供有关 NN 工作原理的基本直觉，并作为机械可解释性的简单介绍——该领域旨在对 NN 进行逆向工程。我提供了三个基本函数的示例，使用简单的算法描述了每个函数，并展示了如何将算法“编码”到神经网络的权重中。然后，我探索网络是否可以使用反向传播来学习算法。我鼓励读者将每个示例视为一个谜语，并在阅读解决方案之前花一点时间。机器学习拓扑本文尝试将 NN 分解为离散操作并将其描述为算法。另一种方法可能更常见、更自然，即研究不同层中线性变换的连续拓扑解释。以下是一些有助于增强拓扑直觉的优秀资源：
LLM Alignment: Reward-Based vs Reward-Free Methods
LLM 对齐的优化方法上下文语言模型已经展示了根据用户提供的提示生成各种引人注目的文本的非凡能力。然而，定义什么是“好”文本具有挑战性，因为它通常取决于个人偏好和具体背景。例如，在讲故事时，创造力是关键；在制作信息内容时，准确性和可靠性至关重要；而在生成代码时，确保它正确运行至关重要。因此出现了“LLM 对齐问题”，它指的是确保大型语言模型 (LLM) 的行为方式符合人类价值观、意图和偏好的挑战。设计一个损失函数来捕捉我们在文本中重视的各种品质——比如创造力、准确性或可执行性——是非常复杂且通常不切实际的。像这样的概念是不可区分的，因此不能反向传播，也不能用简单的下一个标记生成来训练。想象一下
#222 – Jay McClelland: Neural Networks and the Emergence of Cognition
Jay McClelland 是斯坦福大学的认知科学家。请查看我们的赞助商来支持此播客：- Paperspace：https://gradient.run/lex 可获得 15 美元信用额度- Skiff：https://skiff.org/lex 可获得早期访问权- Uprising Food：https://uprisingfood.com/lex 可获得第一个入门套装的 10 美元折扣- Four Sigmatic：https://foursigmatic.com/lex 并使用代码 LexPod 可获得高达 60% 的折扣- Onnit：https://lexfridman.com/o
使用 torch，几乎没有理由从头开始编写反向传播代码。它的自动微分功能称为 autograd，可跟踪需要计算梯度的操作以及如何计算它们。在这个由四部分组成的系列的第二篇文章中，我们更新了简单的手工编码网络以使用 autograd。
Stop Sitting On All That Data & Do Something With It ⚙️
请将您的数据提供给机器。人工智能正在将数据需求提升到一个新的水平。📈假设您可以访问 5,000 张被正确诊断患有某种特定类型癌症（A 型）的患者的 X 射线图像。今天，使用这些数据来训练机器人在新患者中检测出这种癌症出奇地容易。要构建这个机器人，您需要构建一个由神经网络驱动的图像分类器，而 5,000 张 X 射线图像将是您的训练数据集。您将再添加 5,000 张没有癌症的患者的 X 射线，这样分类器就会同时拥有健康和受影响的 X 射线的示例。本质上，这个图像分类器机器人会使用图像梯度在像素级别寻找常见模式，并使用一种广泛使用的机器学习算法（称为反向传播）将该模式与 A 型癌症相关联。请注意，
