Regularisation: A Deep Dive into Theory, Implementation, and Practical Insights
详细的指南控制了过度拟合并提高模型的稳定性。邮政正则化：深入研究理论，实施和实践见解的深入研究首先出现在数据科学方面。
Explained: How Does L1 Regularization Perform Feature Selection?
了解L1（Lasso）正则化执行的自动特征选择该帖子解释了：L1正则化如何执行特征选择？首先出现在数据科学上。
The Essential Guide to Regular Expressions for Data Scientists
希望在数据科学工具箱中添加正则表达式？通过本指南从头开始学习python。
Regularization techniques for training deep neural networks
了解什么是正则化，为什么它在深度神经网络中是必要的，并探索最常用的策略：L1、L2、dropout、随机深度、早期停止等
Normal Equation Algorithm for minimizing cost J
梯度下降提供了一种最小化 J 的方法。第二种方法，这次明确地执行最小化，而不诉诸迭代算法。在“正则方程”方法中，我们将通过明确取其对 θj 的导数并将其设置为零来最小化 J。这使我们能够在不进行迭代的情况下找到最佳 theta。正态方程公式如下:\theta = (X^T X)^{-1}X^T yθ=(XTX)−1XTy使用正态方程不需要进行特征缩放。以下是梯度下降和正态方程的比较：梯度下降正态方程需要选择alpha不需要选择alpha需要多次迭代不需要迭代O (kn^2kn2)O (n^3n3)，需要计算X^TX的逆XTX在n很大时效果很好如果n非常大则速度很慢使用正态方程，计算逆的复杂度为
Appendix: AI keywords used in this study
如果网页至少具有以下关键字之一，则将网页归类为包含AI。使用正则表达匹配（包括常见变体）检测到这些关键字，除非另有说明。
Analyzing JSON Data with DuckDB & SQL
厌倦了用剧本和正则纠纷json？ DuckDB使您可以在JSON文件上运行SQL查询，从而使结构化和半结构化数据分析变得轻而易举。
辍学通常是指从其所属的组织或社会中删除或采取反建制行动。这个词具有负面含义，例如辍学或辍学，通常不被认为是非常有利的。 但是，在AI（人工智能）的机器学习中，该术语具有完全不同的含义。它在提高AI学习准确性方面起着重要作用。辍学不仅可以应用于机器学习，还可以应用于组织成长的体育培训和培训。 这次，让我们看一下辍学。 AI机器学习是根据大量培训数据进行的。通过重复机器学习，可以提高未来预测和数据分类的准确性。当AI首次发展时，它像人类一样犯了各种错误。但是，与人类不同，他们不会抱怨或疲倦，并且始终继续学习。这将越来越提高准确性。过度学习是AI机器学习中的一个问题。过度学习是指在训练过程中获得高精
Learning Elastic Costs to Shape Monge Displacements
给定一个由 Rd\mathbb{R}^dRd 支持的源和目标概率测量，Monge 问题旨在以最有效的方式将一个分布映射到另一个分布。这种效率通过定义源数据和目标数据之间的成本函数来量化。在机器学习文献中，这种成本通常默认设置为平方欧几里得距离，ℓ22(x,y)=12∥x−y∥22\ell^2_2(x,y)=\tfrac12\|x-y\|_2^2ℓ22(x,y)=21∥x−y∥22。使用弹性成本的好处，通过正则化器 τ\tauτ 定义为 c(x,y)=ℓ22(x,y)+τ(x−y)c(x, y)=\ell^2_2(x,y)+\tau(x-y)c(x,y)=ℓ22(x,y)+τ(x−y)，
IEEE Transactions on Emerging Topics in Computational Intelligence, Volume 8, Issue 4, August 2024
1) 深度学习视频超分辨率综述作者：Arbind Agrahari Baniya、Tsz-Kwan Lee、Peter W. Eklund、Sunil Aryal页数：2655 - 26762) 神经动力学优化综述作者：Youshen Xia、Qingshan Liu、Jun Wang、Andrzej Cichocki页数：2677 - 26963) 用于知识图谱补全的图形结构增强预训练语言模型作者：Huashi Zhu、Dexuan Xu、Yu Huang、Zhi Jin、Weiping Ding、Jiahui Tong、Guoshuang Chong页数：2697 - 27084) 通过基
Complex & Intelligent Systems, Volume 10, Issue 4, August 2024
1) 一种用于动作识别的人体骨骼关键帧选择优化方法作者：陈浩，潘悦凯，王晨武页数：4659 - 46732) 城市轨道交通网络短期起讫点流量预测：基于多源大数据的深度学习方法作者：崔红萌，司冰峰……潘伟婷页数：4675 - 46963) 用于社区检测的多约束非负矩阵分解：正交正则稀疏约束非负矩阵分解作者：陈子刚，肖奇……李晓勇页数：4697 - 47124) 使用多层时间图神经网络预测社交媒体网络中的流行趋势作者：金瑞东，刘欣，村田刚页数：4713 - 47295) 受全变分和深度去噪先验启发的混合正则化用于图像恢复作者：Hu Liang, Jiahao Zhang...Jinbo Zhu页数
On the Minimal Degree Bias in Generalization on the Unseen for non-Boolean Functions
我们研究了随机特征 (RF) 模型和 Transformer 的域外泛化。我们首先证明，在“在看不见的 (GOTU) 上泛化”设置中，训练数据在域的某些部分完全可见，但在另一部分进行测试，对于小特征范围内的 RF 模型，收敛发生在最小程度的插值器上，就像布尔情况一样 (Abbe 等人，2023)。然后，我们考虑稀疏目标范围，并解释该范围与小特征范围的关系，但使用不同的正则化项，可以改变图片……
Careful With That Scalpel: Improving Gradient Surgery With an EMA
除了最小化单个训练损失之外，许多深度学习估计管道还依赖于辅助目标来量化和鼓励模型的理想属性（例如，在另一个数据集上的性能、稳健性、与先验的一致性）。虽然合并辅助损失的最简单方法是将其与训练损失相加作为正则化器，但最近的研究表明，可以通过混合梯度而不是简单的总和来提高性能；这被称为梯度手术。我们将问题视为一个受约束的最小化问题，其中辅助目标是……
生成流网络 (GFlowNets) 解决了机器学习中从非正则化概率分布中采样的复杂挑战。通过在构造的图上学习策略，GFlowNets 通过一系列步骤促进有效采样，近似目标概率分布。这种创新方法通过提供强大的框架来处理帖子这项机器学习研究试图在 GFlowNets 的背景下形式化泛化并将泛化与稳定性联系起来，首次出现在 AI Quantum Intelligence 上。
How to regularize your regression
制药应用中的一系列回归实例。我们能否从类似的特定领域数据中学习如何设置正则化参数 \（\lambda\）？概述。实际因变量 \（y\）和特征向量 \（X\）之间最简单的关系可能是线性模型 \（y = \beta X\）。给定一些由特征和因变量对 \（（X_1，y_1），（X_2，y_2），\dots，（X_m，y_m）\）组成的训练示例或数据点，我们希望学习 \（\beta\），在给定未见过的示例的特征 \（X’\）的情况下，哪个会给出最佳预测 \（y’\）。将线性模型 \（\beta\）拟合到数据点的过程称为线性回归。这种简单而有效的模型在生物、行为和社会科学、环境研究和金融预测等领域有着广
Quickpost: PDF/ActiveMime Maldocs YARA Rule
这是我开发的 YARA 规则，用于检测我在“Quickpost：PDF/ActiveMime 多语言恶意文档分析”中写到的 PDF/ActiveMime 恶意文档。它会查找以 %PDF- 开头（此标头可能被混淆）且包含字符串 QWN0aXZlTWlt（BASE64 中的字符串 ActiveMim）的文件，可能被空格字符混淆。用于检测散布的字符 QWN0aXZlTWlt 的正则表达式 […]
IEEE Transactions on Neural Networks and Learning Systems, Volume 35, Issue 4, April 2024
1) 特邀编辑：图的深度神经网络：理论、模型、算法和应用作者：Ming Li、Alessio Micheli、Yu Guan Wang、Shirui Pan、Pietro Lió、Giorgio Stefano Gnecco、Marcello Sanguineti页数：4367 - 43722) 正则化理论背景下的谱图卷积神经网络作者：Asif Salim、S. Sumitra页数：4373 - 43843) 赋能简单图卷积网络作者：Luca Pasa、Nicolò Navarin、Wolfgang Erb、Alessandro Sperduti页数：4385 - 43994) 通过面积正则球
How Batch Normalization Can Make Neural Networks Faster
为什么重要：批量规范化将输入标准化到网络层，从而实现更快的训练、更好的模型性能和固有正则化。
