将基于 Transformer 的模型扩展到超过 1000 亿个参数已在自然语言处理中取得突破性成果。这些大型语言模型在各种应用中都表现出色，但由于生成推理的顺序性，有效部署它们带来了挑战，其中每个标记的计算都依赖于前面的标记。这需要细致的并行布局和内存帖子《大规模 Transformer 模型的有效部署：可扩展和低延迟推理策略》首先出现在 AI Quantum Intelligence 上。
将基于 Transformer 的模型扩展到超过 1000 亿个参数已在自然语言处理领域取得突破性成果。这些大型语言模型在各种应用中都表现出色，但由于生成推理的顺序性，每个 token 的计算都依赖于前面的 token，因此有效部署它们带来了挑战。这需要细致的并行布局和内存。《高效部署大规模 Transformer 模型：可扩展和低延迟推理策略》一文首先出现在 AI Quantum Intelligence 上。
Samsung Electronics forecasts major Q2 profit jump
三星电子周五表示，随着芯片价格反弹和对生成式人工智能的需求持续增长，预计第二季度营业利润将同比增长 15 倍以上。这家全球最大的内存芯片制造商在一份监管文件中表示，其 4 月至 6 月的营业利润预计将增至 10.4 万亿韩元（75.4 亿美元），较去年同期的 6700 亿韩元增长 1452.2%。
Not All HNSW Indices Are Made Equaly
并非所有 HNSW 索引都一样克服主要的 HNSW 挑战以提高 AI 生产工作负载的效率照片由 Talha Riaz 在 Pexels 上拍摄分层可导航小世界 (HNSW) 算法以其在大规模数据搜索中的效率和准确性而闻名，使其成为搜索任务和 AI/LLM 应用程序（如 RAG）的热门选择。但是，设置和维护 HNSW 索引本身也存在一系列挑战。让我们来探索这些挑战，提供一些克服它们的方法，甚至看看我们如何通过解决其中一个问题来一石二鸟。内存消耗由于其嵌入的分层结构，HNSW 的主要挑战之一是其高内存使用率。但很少有人意识到内存问题超出了存储初始索引所需的内存。这是因为，随着 HNSW 索引的修改
Serendipity reveals new method to fight cancer with T cells
用“代谢启动”处理的细胞保留了其干细胞样特性，从而增强了它们杀死癌细胞、转化为持久记忆细胞并在体内存活更长时间的能力。
复合 AI 系统、Txt2SQL 和数据代理。关于 Apple 智能模型。构建 AI 代理的课程。 NVIDIA Nemotron-4 340B。新内存调优。agentUniverse。让我们重现 GPT-2。代理混合
AMD обновляет графические ускорители вычислений Instinct для ЦОДов
新型人工智能处理器比前代处理器拥有更多内存和更高带宽。
TinyAgent: Function Calling at the Edge
LLM 能够通过普通语言（例如英语）执行命令，这使得代理系统能够通过协调正确的工具集（例如 ToolFormer、Gorilla）来完成用户查询。这与最近的多模式努力（例如 GPT-4o 或 Gemini-1.5 模型）一起扩大了 AI 代理的可能性范围。虽然这非常令人兴奋，但这些模型的模型大小和计算要求通常要求在云端进行推理。这可能会给它们的广泛采用带来一些挑战。首先，将视频、音频或文本文档等数据上传到云端的第三方供应商可能会导致隐私问题。其次，这需要云/Wi-Fi 连接，而这并不总是可行的。例如，部署在现实世界中的机器人可能并不总是有稳定的连接。除此之外，延迟也可能是一个问题，因为将大量数
Critical flaw found in Fluent Bit cloud services monitoring component
Tenable 的安全研究人员在 Fluent Bit 中发现了一个潜在的严重内存损坏漏洞，Fluent Bit 是许多云服务监控基础设施的核心组件。该漏洞被称为 Linguistic Lumberjack，跟踪编号为 CVE-2024-4323，源于 Fluent Bit 内置 HTTP 服务器中的编码缺陷。如果不解决该漏洞，可能会导致拒绝服务……继续阅读文章 Fluent Bit 云服务监控组件中发现严重缺陷最先出现在 Cyber Security Minute 上。
Competition to design AI Chips
摘自《经济学人》，Nvidia 能被赶下王座吗？看看那些争夺王冠的初创公司Nvidia 的市值超过 2 万亿美元，年收入增长超过 200%。这是它成功的原因：...GPU 负责训练和操作大型人工智能模型所需的计算重担。然而，奇怪的是，这并不是它们的设计目的。这个首字母缩略词代表“图形处理单元”，因为这种芯片最初是为处理视频游戏图形而设计的。事实证明，对于 Nvidia 来说，这些芯片可以重新用于处理 AI 工作负载，这真是幸运。但现在有几家初创公司正在设计专门为 AI 设计的芯片：Cerebras 的应对措施是将 900,000 个内核和大量内存放到一个巨大的芯片上，这样……内核之间的片上连接
New version of the free anti-virus Dr.Web Light for Android
2024 年 5 月 2 日俄罗斯反病毒公司 Doctor Web 更新了其免费反病毒软件 Dr.Web Light for Android。在新版本 12.2.2 中，反病毒引擎（该应用程序的“心脏”）已更新，可提供针对所有类型恶意软件的可靠保护。还实现了期待已久的对 Android 14 的支持。此外，此更新还改进了用户界面。威胁现在分为更多类别，使配置扫描变得简单。此更新可通过此链接在我们的网站和 Google Play 上获取。 Dr.Web Light for Android 的主要功能：实时检测对设备文件系统所做的修改（保存的文件、安装的应用程序等）。根据用户需求扫描内存中的所有文
Modeling Extremely Large Images with xT
作为计算机视觉研究人员，我们相信每个像素都可以讲述一个故事。然而，在处理大图像时，似乎出现了写作障碍。大图像已不再罕见——我们口袋里携带的相机和绕地球旋转的相机拍摄的照片非常大且细节丰富，以至于在处理这些照片时，它们会将我们目前最好的模型和硬件推到极限。通常，随着图像大小的增加，内存使用量会呈二次方增长。今天，我们在处理大图像时会做出两个次优选择之一：下采样或裁剪。这两种方法会导致图像中存在的信息量和上下文的严重损失。我们重新审视这些方法，并引入了 $x$T，这是一个新的框架，用于在当代 GPU 上端到端地对大图像进行建模，同时有效地将全局上下文与局部细节聚合在一起。$x$T 框架的架构。为什
Coast Guard: Enforcement of Egress Requirements for Historic Wood Sailing Vessels
GAO 的发现海岸警卫队执行出口要求有助于确保乘客和船员在紧急情况下能够安全离开船只。随着时间的推移，小型客船的出口要求变得更加严格。然而，在海岸警卫队根据法规发布 2021 年临时规则之前，旧的小型客船可以遵守不太严格的出口要求。该规则要求为乘客提供过夜住宿的小型客船（非渡轮），无论何时建造，均须在 2023 年 12 月 27 日之前遵守更新、更严格的要求。作为“历史性木制帆船”，GAO 确定了 27 艘符合该定义大部分要素的船只（在报告中称为木制帆船）。这 27 艘船舶仅占 2021 年临时规则中要求遵守出口要求的船舶总数（308 艘）的一小部分。GAO 对海岸警卫队海上事故报告的审查发
Confidential computing in Microsoft Azure gets a boost
任何使用公共云的企业面临的最大挑战之一是它是公共的。是的，您的应用程序在独立的虚拟机中运行，您的数据位于自己的虚拟存储设备中，但仍然存在数据泄露的风险。在多租户环境中，您无法确定内存是否已安全释放，因此您的数据不会泄漏到您的系统与其他系统之间的边界。这就是为什么企业密切关注其法规遵从性，并经常将敏感数据保存在内部。这使他们能够确信他们正在安全地（或至少是私下）管理个人身份信息以及任何受法规约束的数据。要阅读本文全文，请单击此处
Pandas and Large DataFrames: How to Read in Chunks
为什么重要：随着数据集平均越来越大，了解如何有效地处理内存中的数据可以提高您作为数据专业人员的工作效率和灵活性。了解如何在 Pandas 中处理这些数据将使您能够轻松地大规模管理数据。
Resources Available to Make Voting Easier for Soldiers, Families
投票是美国公民最基本的权利之一。然而，这并不意味着投票总是简单的，特别是对于服务内存来说......
甲病毒在全球范围内存在，并导致相当多的人类和动物疾病。传染病暴发可引起发烧、不适和头痛，严重感染可导致脑炎、长期神经系统异常和死亡。国防威胁降低局 (DTRA) 化学和生物技术部作为联合科学技术部门化学和生物防御办公室（JSTO）正在投资研究，以开发有效的、广谱的医疗对策来预防和治疗甲病毒感染。这项研究还可以帮助治疗其他病毒感染，例如 COVID-19。
