Gemma Scope: helping the safety community shed light on the inner workings of language models
宣布推出一套全面、开放的稀疏自动编码器，用于语言模型可解释性。
Gemma Scope: helping the safety community shed light on the inner workings of language models
宣布一套全面的，开放的稀疏自动编码器，用于语言模型可解释性。
Gemma Scope: helping the safety community shed light on the inner workings of language models
宣布一套全面的，开放的稀疏自动编码器，用于语言模型可解释性。
IEEE Transactions on Emerging Topics in Computational Intelligence, Volume 8, Issue 4, August 2024
1) 深度学习视频超分辨率综述作者：Arbind Agrahari Baniya、Tsz-Kwan Lee、Peter W. Eklund、Sunil Aryal页数：2655 - 26762) 神经动力学优化综述作者：Youshen Xia、Qingshan Liu、Jun Wang、Andrzej Cichocki页数：2677 - 26963) 用于知识图谱补全的图形结构增强预训练语言模型作者：Huashi Zhu、Dexuan Xu、Yu Huang、Zhi Jin、Weiping Ding、Jiahui Tong、Guoshuang Chong页数：2697 - 27084) 通过基
The Math Behind Multi-Head Attention in Transformers
深入探究 Transformer 和 LLM 中的秘密元素多头注意力。让我们探索它的数学原理，并从头开始用 Python 构建它DALL-E 生成的图像1：简介1.1：Transformer 概述Vaswani 等人在其论文“Attention is All You Need”中介绍的 Transformer 架构已经改变了深度学习，尤其是在自然语言处理 (NLP) 领域。Transformer 使用自注意力机制，使它们能够一次性处理所有输入序列。这种并行处理允许更快地计算并更好地管理数据中的长距离依赖关系。这听起来不熟悉？别担心，因为它会在本文的末尾出现。让我们首先简单看一下 Transfo
IEEE Transactions on Fuzzy Systems, Volume 32, Issue 7, July 2024
1) 模糊机器学习：综合框架与系统综述作者：陆杰，马广志，张广全页数：3861 - 38782) 基于切换事件的区间型 2 T-S 可变方向模糊控制，适用于具有未知控制方向的时滞系统作者：水毅，董璐，张亚，孙昌银页数：3879 - 38903) 基于双规则的加权模糊插值推理模块和时间编码器-解码器贝叶斯网络用于试剂添加控制作者：高晓亮，唐朝晖，谢永芳，张虎，丁农章，桂伟华页数：3891 - 39024) 模糊非线性 MAS 在 DoS 攻击下的弹性协同优化控制作者：范莎，岳东，闫怀成， Xiangpeng Xie, Chao Deng页数：3903 - 39135) 直觉模糊偏好下考虑共识和态
April '23 product roundup | Viam
我们在 4 月份发布了大量新功能！现在，您可以在 Viam 上使用任何 TFLite 模型、配置 Ufactory Lite 6 臂、直接访问编码器等。
Doctor Web’s Q2 2024 virus activity review
2024 年 7 月 1 日根据 Dr.Web 反病毒软件收集的检测统计数据，在 2024 年第二季度，最常见的威胁是不需要的广告软件程序和广告软件木马，以及作为其他木马的一部分分发并用于使后者更难检测的恶意软件。在电子邮件流量中，最常检测到的是恶意脚本和各种钓鱼文档。文件受到编码器木马影响的用户最常遇到 Trojan.Encoder.3953、Trojan.Encoder.35534 和 Trojan.Encoder.26996。对于 Android 移动设备，最常检测到的威胁是 Android.HiddenAds 广告软件木马、Android.FakeApp 恶意程序和 Android.S
Doctor Web’s February 2024 virus activity review
2024 年 4 月 1 日对 2024 年 2 月 Dr.Web 反病毒检测统计数据的分析显示，与 1 月相比，检测到的威胁总数增加了 1.26%。与此同时，唯一威胁的数量减少了 0.78%。各种广告显示木马和不需要的广告软件程序再次占据了检测数量的领先地位。此外，与其他威胁一起分发以使其更难检测的恶意应用程序仍然非常活跃。在电子邮件流量中，最常检测到的是恶意脚本、网络钓鱼文档和利用 Microsoft Office 软件漏洞的程序。与上个月相比，解密受编码器木马影响的文件的用户请求数量减少了 7.02%。勒索攻击背后最常见的恶意软件是 Trojan.Encoder.3953（占事件的 18
Doctor Web’s January 2024 virus activity review
2024 年 3 月 29 日对 Dr.Web 反病毒检测统计数据的分析显示，2024 年 1 月检测到的威胁总数与 2023 年 12 月相比增加了 95.66%。同时，唯一威胁的数量增加了 2.15%。最常检测到的是不需要的广告软件和广告软件木马，以及与其他威胁一起分发的恶意程序，以使后者更难检测到。在邮件流量中，最常见的是恶意脚本和网络钓鱼文档。与 2023 年最后一个月相比，用户要求解密受编码器木马影响的文件的数量增加了 22.84%。这些恶意程序的受害者再次最常遇到 Trojan.Encoder.26996、Trojan.Encoder.3953 和 Trojan.Encoder.3
IEEE Transactions on Artificial Intelligence, Volume 5, Issue 6, June 2024
1) 特邀编辑：非平稳数据的 AutoML作者：Ran Cheng、Hugo Jair Escalante、Wei-Wei Tu、Jan N. Van Rijn、Shuo Wang、Yun Yang页数：2456 - 24572) 用于异构遥感图像中无监督变化检测的自引导自动编码器作者：Jiao Shi、Tiancheng Wu、Alex Kai Qin、Yu Lei、Gwanggil Jeon页数：2458 - 24713) 用于实时追踪水污染的学习驱动动态多模态优化算法作者：Xuesong Yan、Xing Guo、Jin Chen、Chengyu Hu、Wenyin Gong、Liang
YOLOP: You Only Look Once for Panoptic Driving Perception
全景驾驶感知系统是自动驾驶的重要组成部分。高精度、实时的感知系统可以帮助车辆在驾驶时做出合理的决策。我们提出了一个全景驾驶感知网络（YOLOP），用于同时执行交通物体检测、可驾驶区域分割和车道检测。它由一个用于特征提取的编码器和三个用于处理特定任务的解码器组成。我们的模型在具有挑战性的 BDD100K 数据集上表现非常出色，在准确性和速度方面在所有三个任务上都达到了最先进的水平。此外，我们通过烧蚀研究验证了我们的多任务学习模型用于联合训练的有效性。
Deep Recurrent Neural Nets with Long Short Term Memory
再次。LTSM 可能正在成为循环 NN 建模中的大问题。我之前写过博客（例如这里），但我仍然不太了解它。有人了解吗？也许它只是一种避免消失梯度问题的手段（并不是说这并不重要）；也许它更重要。这篇新论文写得很好，突出介绍了 LSTM。DONUT 集成组合预测方法作者：Lars Lien Ankile；Kjartan Krange摘要：本文提出了一种集成预测方法，通过减少特征和模型选择假设，在 M4Competition 数据集上显示出强劲的结果，称为 DONUT（不使用人类假设）。我们的假设减少主要由自动生成的特征和更多样化的集成模型池组成，其表现明显优于 Montero-Manso 等人（20
How Transformers work in deep learning and NLP: an intuitive introduction
对 Transformers 及其在机器翻译中的使用方式的直观理解。在逐一分析了自注意力和位置编码等所有子组件之后，我们解释了编码器和解码器背后的原理以及 Transformers 为何如此有效
FNN-VAE for noisy time series forecasting
在这个关于使用假最近邻 (FNN) 损失进行预测的迷你系列的最后一部分中，我们用卷积 VAE 替换了上一篇文章中的 LSTM 自动编码器，从而实现了相同的预测性能，但训练时间明显缩短。此外，我们发现，当底层确定性过程被大量噪声所掩盖时，FNN 正则化会大有帮助。
Time series prediction with FNN-LSTM
在最近的一篇文章中，我们展示了如何使用由假最近邻 (FNN) 损失正则化的 LSTM 自动编码器来重建非线性混沌动态系统的吸引子。在这里，我们探讨了同样的技术如何帮助进行预测。与容量相当的“原始 LSTM”相比，FNN-LSTM 可以提高一组非常不同的真实世界数据集的性能，尤其是对于多步预测中的初始步骤。
Deep attractors: Where deep learning meets chaos
在非线性动力学中，当状态空间被认为是多维的，但我们所拥有的数据只是一个单变量时间序列时，人们可能会尝试通过延迟坐标嵌入重建真实空间。然而，先验地不清楚如何选择重建空间的维数和时间滞后。在这篇文章中，我们展示了如何使用自动编码器架构来解决这个问题：只需给出一系列标量的观察结果，自动编码器就会直接学习以足够的维数来表示混沌系统的吸引子。
Infinite surprise - the iridescent personality of Kullback-Leibler divergence
Kullback-Leibler 散度不仅用于训练变分自动编码器或贝叶斯网络（而且不仅仅是一个难以发音的东西）。它是信息论中的一个基本概念，被广泛应用于各种应用中。最有趣的是，它并不总是与约束、正则化或压缩有关。恰恰相反，有时它与新颖性、发现和惊喜有关。
