How Much Will Intelligence Cost in the Future?
人工智能驱动的智能成本正在快速下降：代币价格的下降速度几乎比科技领域的任何事物都要快。我们可能会看到智能（计算、推理）成为一种可再生、可替代的资源，由硬件（GPU、TPU、ASIC）、电力以及创建和部署智能所需的供应链等投入推动。但真正的商品化并不能保证：如果硬件仍然稀缺，价格就会上涨（尽管相反的情况一直在发生）如果有人开发出下一代人工智能（例如 GPT-6），可以解锁全新的用例，并且可以在竞争对手赶上之前收取额外费用，那么稀缺性将再次推高价格。特别是如果推理硬件有限，在愿意支付的人之间引发竞价战。这种情况还没有发生，因为目前的 LLM（如 GPT-4）没有提供足够的价值来证明大幅提高价格是合
我上周在 Twitter 上发布的一些有趣的链接（我也在 Mastodon、Threads、Newsmast 和 Bluesky 上发布了这些链接）：我们需要非常小心地构建更好的人工智能，而无需人类参与干预：https://arstechnica.com/ai/2024/10/the-quest-to-use-ai-to-build-better-ai/老实说，他关于人工智能被炒作的说法并没有错。而且我同意，一旦炒作逐渐平息，它就会变得有用：https://www.tomshardware.com/tech-industry/artificial-intelligence/linus-torv
Reducing the Size of AI Models
在边缘设备上运行大型 AI 模型使用 Pixlr 创建的图像AI 模型，尤其是大型语言模型 (LLM)，需要大量的 GPU 内存。例如，对于 2024 年 7 月发布的 LLaMA 3.1 模型，内存要求如下：80 亿参数模型需要 16 GB 内存（16 位浮点权重）更大的 4050 亿参数模型需要 810 GB（使用 16 位浮点数）在全尺寸机器学习模型中，权重表示为 32 位浮点数。现代模型具有数亿到数百亿（甚至数千亿）的权重。训练和运行如此大的模型非常耗费资源：它需要大量的计算（处理能力）。它需要大量的 GPU 内存。它会消耗大量的能源，特别是，造成这种能源消耗的最大因素是：- 使用 3
Nvidia To Replace Intel In The Dow Jones Industrial Average; Stock Jumps
Nvidia 将取代英特尔进入道琼斯工业平均指数；股价大涨就在人们认为 Nvidia 近期创纪录的涨势有失败的危险时，周五晚些时候，道琼斯工业平均指数的所有者标准普尔道琼斯指数的决策委员会宣布，Nvidia 将取代英特尔进入道琼斯工业平均指数（显然现在已经发生了变化），这对蓝筹股指数来说是一次重大调整，将一家萎靡不振的半导体公司替换为人工智能 GPU 的主要供应商。另外，Sherwin Williams 也将毫不讽刺地取代曾经的化学巨头（道琼斯的同名公司）进入道琼斯指数。此次更换将于 11 月 8 日进行。英特尔股价在周五盘后交易中下跌 1%。Nvidia 股价上涨 1%。截至 2024 年，
On the Programmability of AWS Trainium and Inferentia
使用自定义运算符加速 AI/ML 模型训练 — 第 4 部分照片由 Agata Bres 在 Unsplash 上拍摄在这篇文章中，我们继续探索通过自定义运算符开发来优化机器学习 (ML) 工作负载运行时的机会。这一次，我们重点介绍 AWS Neuron SDK 提供的工具，用于在 AWS Trainium 和 AWS Inferentia 上开发和运行新内核。随着推动 AI 革命的低级模型组件（例如注意层）的快速发展，用于训练和运行 ML 模型的加速器的可编程性至关重要。专用 AI 芯片必须为广泛使用且影响深远的通用 GPU (GPGPU) 开发框架（例如 CUDA 和 Triton）提供有
Computational Bottlenecks of Training Small-Scale Large Language Models
这篇论文被 NeurIPS Workshop 2024 的高效自然语言和语音处理 (ENLSP) 研讨会接受。虽然大型语言模型 (LLM) 主导着人工智能领域，但由于消费者对成本和效率的要求，小规模大型语言模型 (SLM) 正受到关注。然而，对 SLM 的训练行为和计算要求的研究有限。在本研究中，我们通过检查各种超参数和配置（包括 GPU 类型、批量大小等）的影响，探索了训练 SLM（最多 2B 个参数）的计算瓶颈…
Microsoft’s Inference Framework Brings 1-Bit Large Language Models to Local Devices
2024 年 10 月 17 日，微软宣布推出 BitNet.cpp，这是一个旨在运行 1 位量化大型语言模型 (LLM) 的推理框架。BitNet.cpp 是 Gen AI 的一项重大进展，它能够在标准 CPU 上高效部署 1 位 LLM，而无需昂贵的 GPU。这一发展使 LLM 的访问变得民主化，使其可以在各种 […]文章《微软的推理框架将 1 位大型语言模型带到本地设备》首先出现在 Unite.AI 上。
IEEE Transactions on Artificial Intelligence, Volume 5, Issue 10, October 2024
1) 基于 Transformer 的计算机视觉生成对抗网络：综合调查作者：Shiv Ram Dubey、Satish Kumar Singh页数：4851 - 48672) 数据驱动技术在智能家居社区规划、需求侧管理和网络安全中的应用作者：Dipanshu Naware、Arghya Mitra页数：4868 - 48833) 针对物体检测系统的中间人攻击作者：Han Wu、Sareh Rowlands、Johan Wahlström页数：4884 - 48924) 夜间色热语义分割的测试时间自适应作者：Yexin Liu、Weiming Zhang、Guoyang Zhao、Jinjing
AI Model Optimization on AWS Inferentia and Trainium
使用 AWS Neuron SDK 加速 ML 的技巧照片由 julien Tromeur 在 Unsplash 上拍摄我们正处于人工智能的黄金时代，尖端模型颠覆了行业并准备改变我们所知的生活。推动这些进步的是越来越强大的人工智能加速器，例如 NVIDIA H100 GPU、Google Cloud TPU、AWS 的 Trainium 和 Inferentia 芯片等。随着选项数量的增加，选择最适合我们的机器学习 (ML) 工作负载的平台的挑战也随之而来——考虑到与 AI 计算相关的高成本，这是一个至关重要的决定。重要的是，对每个选项进行全面评估需要确保我们最大限度地利用它以充分利用其功能。
dnata grows green operations at DXB
地面处理商 dnata 已在迪拜国际机场 (DXB) 投资 400 万美元购买了 14 台新的 180kVA 地面电源装置 (GPU)... 阅读更多文章 dnata 在 DXB 扩大绿色运营首先出现在 Air Cargo News 上。
Depth Pro: Sharp Monocular Metric Depth in Less Than a Second
我们提出了零样本度量单目深度估计的基础模型。我们的模型 Depth Pro 合成了高分辨率深度图，具有无与伦比的清晰度和高频细节。预测是度量的，具有绝对尺度，而不依赖于元数据（例如相机内在函数）的可用性。而且该模型速度很快，在标准 GPU 上 0.3 秒内即可生成 225 万像素的深度图。这些特性是由许多技术贡献实现的，包括用于密集预测的高效多尺度视觉变换器、结合了……的训练协议
PS5 Pro: All we know about release date, cost, design features and specifications
PS5 Pro 将于 2024 年 11 月 7 日发布，提供重大的硬件改进，包括升级的 GPU、光线追踪和 AI 驱动的升级。它的售价为 699.99 美元，增强了向后兼容的游戏。它还推出了 PS5 Pro 增强版游戏。
GenAI with Python: Coding Agents
构建一个数据科学家 AI，可以使用 SQL 查询数据库、使用 Python 分析数据、使用 HTML 编写报告以及执行机器学习（无需 GPU……继续阅读 Towards Data Science »
Elon Musk reveals xAI’s “Colossus,” probably the most powerful supercomputer in the world
埃隆·马斯克的初创公司 xAI 公布了其最新成果：一台名为 Colossus 的超级计算机。这个庞大的 AI 训练系统目前拥有 100,000 个 Nvidia Hopper H100 处理器。Colossus 位于田纳西州孟菲斯，将扩充 50,000 个 Nvidia 新的、更先进的 H200 系列芯片，其性能大约是 H100 的两倍。如果 Colossus 还不是地球上最强大的计算机，这几乎肯定会使它成为地球上最强大的计算机。作为背景，Meta 宣布计划在 2024 年底前积累 350,000 个 H100 GPU，而 OpenAI 被认为只会使用大约 25,000 个 GPU 用于 GP
AMD приобретает производителя серверов
ZT Systems 专家加入公司员工队伍将有助于其快速测试和发布用于 AI 的 GPU，以满足最大的云运营商的需求。
Datacenters powered by solar farms
您如何看待这个商业创意？寻找阳光充足的廉价未使用土地（例如沙漠地区）在那里建造太阳能发电场和数据中心（用于 AI/LLM 推理；使用 ASIC 实现高能效或 GPU）使用太阳能为这些数据中心供电（本质上是免费能源）按代币收费，或可能在未来进行拍卖竞标（为更高的情报访问权限支付更多费用）远程位置的延迟可能不是问题……情报处理通常需要时间 + Starlink 可以处理它我的观点：未来几年对情报（AI/LLM 推理、计算）的需求将增长，能源需求也将增长。可能需求大于供应。一些参与者会为情报支付溢价，因为他们的用例/业务证明了这一点。尖端的 LLM（例如 GPT-10..）可能会保持关闭状态，仅通过
硅谷的 Figure 揭开了其下一代 Figure 02 对话式人形机器人的面纱，该机器人利用 NVIDIA Omniverse 和 NVIDIA GPU 执行完全自主的任务。 Figure 表示，它最近在宝马集团位于南卡罗来纳州斯帕坦堡的生产线上测试了 Figure 02 的数据收集和用例培训。Figure 02 上市仅 10 个月 阅读文章
MOE & MOA for Large Language Models
向专家小组寻求建议图片由作者提供（AI 生成 leonardo.ai）大型语言模型 (LLM) 无疑席卷了科技行业。它们的迅速崛起得益于来自维基百科、网页、书籍、大量研究论文以及我们喜爱的社交媒体平台的用户内容的大量数据。数据和计算密集型模型一直在狂热地整合来自音频和视频库的多模态数据，并且数月来一直在使用数万个 Nvidia GPU 来训练最先进的 (SOTA) 模型。所有这些都让我们怀疑这种指数级增长是否能持续下去。这些 LLM 面临的挑战很多，但让我们在这里探讨一些。成本和可扩展性：较大的模型可能需要花费数千万美元来训练和服务，成为日常应用程序采用的障碍。 （参见 GPT-4 的训练成本
