IEEE Transactions on Emerging Topics in Computational Intelligence, Volume 8, Number 3, June 2024
1) 深度学习在 B 型超声分割中的进展：综合综述作者：Mohammed Yusuf Ansari、Iffa Afsa Changaai Mangalote、Pramod Kumar Meher、Omar Aboumarzouk、Abdulla Al-Ansari、Osama Halabi、Sarada Prasad Dakua页数：2126 - 21492) 机器反学习：解决方案和挑战作者：Jie Xu、Zihan Wu、Cong Wang、Xiaohua Jia页数：2150 - 21683) MuralDiff：基于大规模预训练的古代壁画修复扩散作者：Zishan Xu、Xiaofeng
What is ADAGrad and How Does it Relate to Machine Learning
为什么重要：AdaGrad（自适应梯度）是一种用于机器学习和深度学习领域的优化算法。
是的，NBER 会收取下载工作论文的费用，但您可以免费观看一些最近的会议。顺便说一句，根据我的经验，如果您四处寻找，通常可以找到大多数 NBER 工作论文的未封闭版本。我认为种族和阶层经济学会议以及美国经济发展会议应该会引起本博客读者的兴趣。种族和阶层会议的最后一位演讲者是玛丽华盛顿大学经济学校友 Lavar Edmonds，他目前正在斯坦福大学攻读经济学博士学位，他将介绍他对 HBCU 培训教师影响的研究。我还喜欢种族和阶层会议关于如何将种族和阶层经济学纳入入门经济学课程的内容。 NBER种族与分层工作组 YouTube 频道 https://www.nber.org/conferences
Introduction to XGBoost and its Uses in Machine Learning
为什么重要：XGBoost 是一种基于决策树的集成机器学习算法，它使用梯度提升框架来实现集成机器学习。
The Latest in Observation-Driven TVP Models
看看这个。相对于“标准”GAS/DCS 显式更新，隐式随机梯度更新似乎非常有吸引力。“使用近端参数更新的稳健观察驱动模型”，作者：Rutger-Jan Lange、Bram van Os 和 Dick van Dijk。https://www.tinbergen.nl/discussion-paper/6188/22-066-iii-robust-observation-driven-models-using-proximal-parameter-updates
Deep Recurrent Neural Nets with Long Short Term Memory
再次。LTSM 可能正在成为循环 NN 建模中的大问题。我之前写过博客（例如这里），但我仍然不太了解它。有人了解吗？也许它只是一种避免消失梯度问题的手段（并不是说这并不重要）；也许它更重要。这篇新论文写得很好，突出介绍了 LSTM。DONUT 集成组合预测方法作者：Lars Lien Ankile；Kjartan Krange摘要：本文提出了一种集成预测方法，通过减少特征和模型选择假设，在 M4Competition 数据集上显示出强劲的结果，称为 DONUT（不使用人类假设）。我们的假设减少主要由自动生成的特征和更多样化的集成模型池组成，其表现明显优于 Montero-Manso 等人（20
A journey into Optimization algorithms for Deep Neural Networks
概述用于训练深度神经网络的最流行优化算法。从随机梯度下降到 Adam、AdaBelief 和二阶优化
使用 torch，几乎没有理由从头开始编写反向传播代码。它的自动微分功能称为 autograd，可跟踪需要计算梯度的操作以及如何计算它们。在这个由四部分组成的系列的第二篇文章中，我们更新了简单的手工编码网络以使用 autograd。
摘要：新研制的钝感高爆化合物3-硝基-1,2,4-三唑-5-酮（NTO）由于其高水溶性和低土壤亲和性，在环境中具有移动性。 NTO 的弱酸性 (pKa 3.67) 对高效液相色谱法的环境分析提出了挑战，但可以通过离子色谱法 (IC) 直接分离。我们开发了一种在天然水、土壤和爆炸后残留物中检测 NTO 的 IC 方法。氢氧化钾梯度分离可在 18 分钟内有效分离无机阴离子（F−、Cl−、NO2−、Br−、SO42−、NO3− 和 PO43−）和 NTO。水性 NTO 的抑制电导率在 10 µg/L 至 10 mg/L 范围内呈线性，检测限为 3 µg/L，定量限为 9 µg/L。添加 NTO 的天
摘要：出于通过多尺度材料建模的进步实现力保护的目的，本报告探讨了使用相场方法来模拟金属合金的微观结构凝固。具体来说，它的实用性针对一系列日益复杂的凝固问题进行了检验，范围从纯金属的一维等温凝固到非等温二元合金的二维定向凝固。还考虑了涉及热梯度、拉动速度和各向异性变化的参数研究，并用于评估可能生成树枝状和/或柱状微结构的条件。在准备过程中，提供了相关控制方程的系统推导以及规定的求解方法。
Towards privacy: Encrypted deep learning with Syft and Keras
深度学习与隐私保护并非不可调和。联合学习支持设备上的分布式模型训练；加密使模型和梯度更新保持私密；差分隐私可防止训练数据泄露。如今，私密且安全的深度学习是一种新兴技术。在这篇文章中，我们介绍了 Syft，这是一个与 PyTorch 和 TensorFlow 集成的开源框架。在一个示例用例中，我们从 Keras 模型中获得私密预测。
Normal Equation Algorithm for minimizing cost J
梯度下降提供了一种最小化 J 的方法。第二种方法，这次明确地执行最小化，而不诉诸迭代算法。在“正则方程”方法中，我们将通过明确取其对 θj 的导数并将其设置为零来最小化 J。这使我们能够在不进行迭代的情况下找到最佳 theta。正态方程公式如下:\theta = (X^T X)^{-1}X^T yθ=(XTX)−1XTy使用正态方程不需要进行特征缩放。以下是梯度下降和正态方程的比较：梯度下降正态方程需要选择alpha不需要选择alpha需要多次迭代不需要迭代O (kn^2kn2)O (n^3n3)，需要计算X^TX的逆XTX在n很大时效果很好如果n非常大则速度很慢使用正态方程，计算逆的复杂度为
Optimization Algorithms for Machine Learning
我一直在 Coursera 上学习 Andrew Ng 的深度学习专项课程。我已经完成了该专项课程 5 门课程中的第 1 门（神经网络和深度学习）。我正在学习第 2 门课程，即改进深度学习。这是一门非常有趣的课程，深入探讨了超参数调整、正则化和优化技术。1. 什么是优化算法？它们使您能够更快地训练神经网络，因为应用机器学习是一个非常经验的过程，这些算法有助于有效地达到优化结果。让我们开始研究具有更复杂版本的梯度下降的优化算法。1.1 批量与小批量梯度下降一般来说，梯度下降会遍历整个训练示例集（#m），并向全局最小值迈出一步。这也称为批量梯度下降。这有点低效，因为它要求我们先遍历所有训练示例，然
Non-linear Activation Functions for Neural Networks Simplified
激活函数是形成神经元输出的函数。它为预测添加了非线性，并使基于神经网络的预测器比线性模型好得多。我们通常会问自己应该使用哪种激活函数？答案是，这个问题没有一个万能的答案。这取决于具体情况。让我带您了解最常用的激活函数及其优缺点，以帮助您做出更好的决定。我们可以定义自己的激活函数以最好地满足我们的需求，最常用的激活函数是：1. S 型激活函数 2. Tan 双曲激活函数 3. ReLU（整流线性单元） 4. Leaky ReLU 它们每个的样子如下：图片来源：DeepLearning.ai 专业化 1. S 型激活函数 S 型激活函数的范围在 0 到 1 之间。它看起来像我们在不同研究领域中看到
Stop Sitting On All That Data & Do Something With It ⚙️
请将您的数据提供给机器。人工智能正在将数据需求提升到一个新的水平。📈假设您可以访问 5,000 张被正确诊断患有某种特定类型癌症（A 型）的患者的 X 射线图像。今天，使用这些数据来训练机器人在新患者中检测出这种癌症出奇地容易。要构建这个机器人，您需要构建一个由神经网络驱动的图像分类器，而 5,000 张 X 射线图像将是您的训练数据集。您将再添加 5,000 张没有癌症的患者的 X 射线，这样分类器就会同时拥有健康和受影响的 X 射线的示例。本质上，这个图像分类器机器人会使用图像梯度在像素级别寻找常见模式，并使用一种广泛使用的机器学习算法（称为反向传播）将该模式与 A 型癌症相关联。请注意，
较高的收入有积极的健康影响吗？杰夫·拉里莫尔（Jeff Larrimore）（米尔班克季刊）的背景下，利用赚取的所得税信用探索收入健康梯度：在文献中已经有很好的证明是，收入与发病率之间存在正相关关系。但是目前尚不清楚这种关系是否是积极的，因为收入增加允许[…]首次出现在附带经济学家上的邮政阅读清单。
