By tweaking materials, scientists create transistors that remember
霍普金斯大学的研究人员揭示了电气开关的意外特性,可能会影响计算机内存
AI’s Growing Appetite for Power: Are Data Centers Ready to Keep Up?
随着人工智能 (AI) 的飞速发展,其能源需求正使数据中心不堪重负。下一代人工智能技术(如生成式人工智能 (genAI))不仅改变了行业,而且其能源消耗影响着几乎所有数据服务器组件,从 CPU 和内存到加速器和网络。GenAI 应用程序(包括 Microsoft 的 Copilot 和 OpenAI 的 ChatGPT)需要更多的能源 […] 文章 AI 对电力的日益增长的需求:数据中心准备好跟上了吗?首先出现在 Unite.AI 上。
VC Head Reveals "Most Important Graph Ever Conceived"
VC 负责人揭示“有史以来最重要的图表” 美国商人和风险投资家 Stephen Jurvetson 在 X 上的一篇文章中阐述了摩尔定律在计算能力进步方面超过一个世纪的历史。Jurvetson 是 Future Ventures 的创始人,曾为 Skype、SpaceX、Tesla、Zoox、Boring Company 和其他初创公司提供资金,他用颜色标记了从机械到继电器到真空管到晶体管再到集成电路的转变。他指出,“摩尔定律最近从 GPU(绿点)过渡到 ASIC(黄点和橙点),而 NVIDIA Hopper 架构本身就是一个过渡物种——从 GPU 到 ASIC,8 位性能针对 AI 模型进行
PSLoramyra: Technical Analysis of Fileless Malware Loader
在本文中,ANY.RUN 的分析师团队将探索一种名为 PSLoramyra 的恶意加载程序。这种高级恶意软件利用 PowerShell、VBS 和 BAT 脚本将恶意负载注入系统,直接在内存中执行它们,并建立持久访问。PSLoramyra 被归类为无文件加载程序,通过完全加载其主要负载来绕过传统检测方法 […]PSLoramyra:无文件恶意软件加载程序的技术分析首先出现在 ANY.RUN 的网络安全博客上。
Getting Started with Redis: Installation and Setup Guide
Redis 是一种开源内存数据结构存储,以其出色的速度和可扩展性而闻名。 本指南全面概述了在各种操作系统(包括 Linux、Windows 和 macOS)上安装和设置 Redis。
Amazon SageMaker Inference now supports G6e instances
SageMaker 上的 G6e 实例解锁了以经济高效的方式部署各种开源模型的能力。凭借卓越的内存容量、增强的性能和成本效益,这些实例为希望部署和扩展其 AI 应用程序的组织提供了极具吸引力的解决方案。处理更大模型、支持更长上下文长度和保持高吞吐量的能力使 G6e 实例对于现代 AI 应用程序特别有价值。
Google’s Gemini AI Introduces Memory Feature
重要性:了解 Google 的 Gemini AI 内存如何彻底改变用户交互,提供个性化、无缝的体验。
Election Week Saw Huge Money-Market Fund Inflows, Bank Deposits Rise, Loan Volumes Shrink
选举周货币市场基金流入量巨大,银行存款增加,贷款量减少货币市场基金连续第二周出现大量资金流入(+816 亿美元),推动管理的总资产达到 6.66 万亿美元的历史新高...来源:彭博社虽然货币市场基金激增,但美国银行存款总额却小幅下降(经季节性调整后为 -75 亿美元)...来源:彭博社有趣的是,在未经季节性调整的基础上,截至 11 月 6 日(包括选举)的一周内,总存款小幅增加了 37 亿美元...来源:彭博社不包括外国存款,美国银行的国内存款在季节性调整(+120 亿美元)和正常季节性调整(+167 亿美元)基础上均有所增加...来源:彭博社选举周贷款量大幅萎缩...来源:彭博社最后,美联储
Ymir ransomware, a new stealthy ransomware grow in the wild
卡巴斯基警告称,在系统被 RustyStealer 恶意软件入侵后不久,新的 Ymir 勒索软件就被部署在攻击中。卡巴斯基研究人员发现了一个名为 Ymir 勒索软件的新勒索软件家族,攻击者在通过 PowerShell 命令入侵系统后部署了该勒索软件。Ymir 包括检测规避功能,使用 malloc、memmove 和 memcmp 等函数在内存中执行任务。攻击者最初访问系统 […]
Ymir ransomware, a new stealthy ransomware grow in the wild
卡巴斯基警告称,在系统被 RustyStealer 恶意软件入侵后不久,新的 Ymir 勒索软件就被部署在攻击中。卡巴斯基研究人员发现了一个名为 Ymir 勒索软件的新勒索软件家族,攻击者在通过 PowerShell 命令入侵系统后部署了该勒索软件。Ymir 包括检测规避功能,使用 malloc、memmove 和 memcmp 等函数在内存中执行任务。攻击者最初访问系统 […]
拉米纸牌 AI 的分步指南作者使用 DALL-EMotivation 生成的图像当我正在为拉米纸牌游戏开发强化学习 (RL) 模型时,我到了需要 AI 对手进行环境设置并为模型训练做出贡献的阶段。然而,在网上搜索后,我发现为拉米纸牌游戏创建 AI 的资源有限,而且可用的少数解决方案对我来说太慢了。由于 AI 将用于训练,(没有它,训练时间已经很长),因此 AI 需要在处理速度和内存使用方面快速高效地运行。不用说,蛮力解决方案根本行不通,所以我不得不尝试各种算法和优化技术来实现适合训练的复杂性和速度。那么为什么要阅读这些文章?我们将在这里构建的是通用的、适应性强的,适用于您可能正在开发的几乎任何
Optimizing Contextual Speech Recognition Using Vector Quantization for Efficient Retrieval
神经语境偏差允许语音识别模型利用语境相关信息,从而提高转录准确性。然而,偏差机制通常基于音频和偏差条目目录之间的交叉注意模块,这意味着计算复杂性可能会对偏差目录的大小造成严重的实际限制,从而影响准确性的提高。这项工作提出了一种基于矢量量化的交叉注意评分近似值,并实现了计算和内存高效的大偏差使用……
Reducing the Size of AI Models
在边缘设备上运行大型 AI 模型使用 Pixlr 创建的图像AI 模型,尤其是大型语言模型 (LLM),需要大量的 GPU 内存。例如,对于 2024 年 7 月发布的 LLaMA 3.1 模型,内存要求如下:80 亿参数模型需要 16 GB 内存(16 位浮点权重)更大的 4050 亿参数模型需要 810 GB(使用 16 位浮点数)在全尺寸机器学习模型中,权重表示为 32 位浮点数。现代模型具有数亿到数百亿(甚至数千亿)的权重。训练和运行如此大的模型非常耗费资源:它需要大量的计算(处理能力)。它需要大量的 GPU 内存。它会消耗大量的能源,特别是,造成这种能源消耗的最大因素是:- 使用 3
让您的 AI 任务区分困难和简单问题在这篇立场文件中,我讨论了一个前提,即许多潜在的性能增强都被搁置了,因为我们通常不解决动态执行的潜力。我想我需要首先定义在这种情况下什么是动态执行。正如你们许多人无疑知道的那样,我们经常通过仔细研究模型本身以及可以做些什么来使该模型的处理更高效(可以通过更低的延迟、更高的吞吐量和/或节能来衡量)来解决性能优化问题。这些方法通常解决模型的大小问题,因此我们会寻找压缩模型的方法。如果模型较小,则内存占用和带宽要求会得到改善。一些方法还解决了模型中的稀疏性问题,从而避免了无关紧要的计算。不过……我们只关注模型本身。这绝对是我们想要做的事情,但是还有其他机会可以利用
A Simple Example Using PCA for Outlier Detection
在异常值检测之前执行 PCA 转换可提高准确性、速度和内存使用率本文继续介绍使用 PCA(主成分分析)进行异常值检测的一系列应用,紧随其后的是使用 PCA 进行异常值检测。那篇文章描述了 PCA 本身,并介绍了使用 PCA 进行异常值检测的两种主要方法:评估重构误差,以及在 PCA 转换空间上运行标准异常值检测器。它还给出了第一种方法的示例,即使用重构误差,使用 PyOD 提供的 PCA 和 KPCA 检测器可以轻松完成。本文介绍了第二种方法,我们首先使用 PCA 转换数据空间,然后在此上运行标准异常值检测。正如上一篇文章所述,在某些情况下,这可能会降低可解释性,但在准确性、执行时间和内存使用
On Device Llama 3.1 with Core ML
许多应用程序开发人员都对在集成功能日益强大的大型语言模型 (LLM) 的设备体验上进行构建感兴趣。在 Apple 芯片上本地运行这些模型使开发人员能够利用用户设备的功能进行经济高效的推理,而无需向第三方服务器发送数据和从第三方服务器接收数据,这也有助于保护用户隐私。为了做到这一点,必须仔细优化模型以有效利用可用的系统资源,因为 LLM 通常对内存和处理能力都有很高的要求。这篇技术文章详细介绍了如何……