Why Gradient Descent Became Stochastic
从基于微积分的优化到随机梯度下降的逐步旅程“为什么梯度下降变成随机”一文首先出现在《走向数据科学》上。
Gradient-based planning for world models at longer horizons
GRASP 是一种新的基于梯度的学习动态规划器（“世界模型”），它通过以下方式使长视野规划变得实用：(1) 将轨迹提升到虚拟状态，以便优化在时间上是并行的；(2) 直接向状态迭代添加随机性以进行探索；(3) 重塑梯度，以便动作获得清晰的信号，同时我们通过高维视觉模型避免脆弱的“状态输入”梯度。大型学习世界模型的能力越来越强。他们可以预测高维视觉空间中未来观察的长序列，并以几年前难以想象的方式概括任务。随着这些模型的扩展，它们开始看起来不再像特定于任务的预测器，而更像通用模拟器。但是拥有强大的预测模型并不等于能够有效地将其用于控制/学习/规划。在实践中，现代世界模型的长期规划仍然脆弱：优化变
Gradient-based planning for world models at longer horizons
GRASP 是一种新的基于梯度的学习动态规划器（“世界模型”），它通过以下方式使长视野规划变得实用：(1) 将轨迹提升到虚拟状态，以便优化在时间上是并行的；(2) 直接向状态迭代添加随机性以进行探索；(3) 重塑梯度，以便动作获得清晰的信号，同时我们通过高维视觉模型避免脆弱的“状态输入”梯度。大型学习世界模型的能力越来越强。他们可以预测高维视觉空间中未来观察的长序列，并以几年前难以想象的方式概括任务。随着这些模型的扩展，它们开始看起来不再像特定于任务的预测器，而更像通用模拟器。但是拥有强大的预测模型并不等于能够有效地将其用于控制/学习/规划。在实践中，现代世界模型的长期规划仍然脆弱：优化变
Structural complexity and prey availability shape spider communities under retention forestry
Abstract 保留林业是一种以保护为导向的管理战略，通过保护单一老树和枯木等关键结构要素来维持森林生物多样性。然而，这种方法在保护蜘蛛作为多面性捕食者的多样性方面的有效性仍不清楚，特别是因为保留林业下的结构要素对蜘蛛的影响可能是通过其对猎物可用性的影响来调节的。我们在德国黑森林温带混交林的 55 个 1 公顷的样地中对蜘蛛（蜘蛛目）和潜在猎物（双翅目、半翅目、弹尾目）进行了采样。我们使用陷阱来瞄准森林地面上活跃的物种。我们研究了蜘蛛丰度、分类多样性、生态多样性（功能和系统发育距离的综合测量）和森林结构梯度上的群落组成（树冠覆盖、针叶树比例、林分结构复杂性、枯木体积、草本覆盖和林下植物丰富度
PyTorch NaNs Are Silent Killers — So I Built a 3ms Hook to Catch Them at the Exact Layer
NaN 不会破坏你的训练——它们会悄悄地破坏它。在 ResNet 训练运行中因无声故障而损失了几个小时后，我构建了一个轻量级检测器，可以精确定位出现问题的确切层和批次。使用前向钩子和梯度检查，它可以以最小的开销尽早发现问题，而不会减慢模型的速度。PyTorch NaNs 是无声杀手——所以我构建了一个 3ms 的钩子来在精确层捕获它们，该文章首先出现在《走向数据科学》上。
