Irshad Buchh 是一位经验丰富的技术专家，在科技行业拥有 30 多年的经验，目前在 Oracle 担任云解决方案工程师，他部署了大规模 AI/ML 和 GPU 集群来训练和构建用于各种用例的大型语言模型，专注于医疗保健、初创企业和制造业等行业。在此之前，[…]
Kinesiska DeepSeek-V3 bästa öppna AI-modellen
DeepSeek是一家中国人工智能公司，推出了DeepSeek V3，这是一个开源人工智能模型，包含6710亿个参数，并在NVIDIA H800 GPU上训练了超过278.8万小时。该模型在各种对比测试中均优于 Meta 的 Llama 3.1 和 OpenAI 的 GPT-4 等竞争对手。中国人工智能公司DeepSeek发布了新的语言模型DeepSeek V3，它超越了开放[…]中国DeepSeek-V3最佳开放人工智能模型首次出现在人工智能新闻上。
Accelerating LLM Inference on NVIDIA GPUs with ReDrafter
加速 LLM 推理是一个重要的 ML 研究问题，因为自回归 token 生成计算成本高且相对较慢，而提高推理效率可以减少用户的延迟。除了持续努力加速 Apple 芯片上的推理之外，我们最近在加速 NVIDIA GPU 的 LLM 推理方面取得了重大进展，该 GPU 广泛用于整个行业的生产应用程序。今年早些时候，我们发布并开源了 Recurrent Drafter (ReDrafter)，这是一种新颖的推测解码方法，达到了最先进的水平……
Stanford welcomes first GPU-based supercomputer
“马洛”以雷蒙德·钱德勒创作的虚构侦探命名，有可能改变从政治学到天体物理学等各个领域的研究。
IEEE Transactions on Evolutionary Computation, Volume 28, Issue 6
1) 具有共享个体的多任务线性遗传规划及其在动态作业车间调度中的应用作者：Zhixing Huang, Yi Mei, Fangfang Zhang, Mengjie Zhang页数：1546 - 15602) 评估将进化与学习相结合以在复杂形态空间中设计机器人的框架作者：Wei Li, Edgar Buchanan, Léni K. Le Goff, Emma Hart, Matthew F. Hale, Bingsheng Wei, Matteo De Carlo, Mike Angus, Robert Woolley, Zhongxue Gan, Alan F. Winfield, Jo
我们是游戏 AI 的先驱：更新 0.3.0a 引入了本地 LLM 支持，使 AI NPC 能够直接在您的 PC 上运行。AI People 是第一款实现由本地 LLM 驱动的 AI NPC 的游戏。现在，整个 AI People 游戏都可以在您的 PC 上离线运行（在游戏选项中配置）本地 LLM 集成AI People 的 NPC 通过大型语言模型运行，该模型处理他们的对话、理解和交互。这些交互会消耗令牌 - AI People 中的信用额度所涵盖的处理单位。以前，这需要云处理并消耗信用额度。更新 0.3.0a 添加了在 PC 上本地运行 LLM 的选项，而不是使用云服务。这对玩家意味着什么成
ii-Company智能引擎引入了护照识别系统的新版本和其他智能ID引擎2.5文档，以证明客户的个性。为此，开发人员培训了Da Vinci和Sherlock Ensemble的两个神经网络，这将使企业能够更有效地与FROD战斗，简化客户路径并增加转换。一个图像中两个模型的执行时间平均不到1秒，而无需使用GPU。
VC Head Reveals "Most Important Graph Ever Conceived"
VC 负责人揭示“有史以来最重要的图表” 美国商人和风险投资家 Stephen Jurvetson 在 X 上的一篇文章中阐述了摩尔定律在计算能力进步方面超过一个世纪的历史。Jurvetson 是 Future Ventures 的创始人，曾为 Skype、SpaceX、Tesla、Zoox、Boring Company 和其他初创公司提供资金，他用颜色标记了从机械到继电器到真空管到晶体管再到集成电路的转变。他指出，“摩尔定律最近从 GPU（绿点）过渡到 ASIC（黄点和橙点），而 NVIDIA Hopper 架构本身就是一个过渡物种——从 GPU 到 ASIC，8 位性能针对 AI 模型进行
Nvidia Dominates AI Chips; Amazon, AMD Rise
重要性：Nvidia 凭借尖端 GPU 引领 AI 芯片，而亚马逊和 AMD 则成为 AI 硬件领域的强大竞争对手。
This Nvidia-powered laptop now lowest price all year — Cyber Monday save $400
配备 Nvidia GeForce RTX 4050 GPU 和最新 Intel Core Ultra 7 CPU 的戴尔 Inspiron 16 Plus，这个网络星期一只需 1,100 美元即可购买。
Winners And Losers Of Black Friday 2024
2024 年黑色星期五的赢家和输家作者：RetailDive 的 Daphne Howland，尽管人们推动提前假期以缓解多年来最短的购物窗口之一的限制，但许多人还是把购物清单留到了感恩节之后。预计购物者今年在假期再次谨慎消费。几年来，通货膨胀一直占据新闻头条，掩盖了零售额增长，震惊了消费者，甚至掩盖了本月初举行的总统大选。尽管通货膨胀有所缓解，一些零售商在最近几周特意大幅降价，但许多家庭的预算仍然紧张。如果现任总统当选人唐纳德·特朗普承诺的关税得以实现，他们可能不会得到太多缓解。这可能会对假日销售产生影响。诺德斯特龙本周早些时候表示，第四季度初的销售额有所下降，这表明其在第三季度经历的势头可
Продажи графических процессоров в 2024 году достигнут 100 миллиардов долларов
据 Jon Peddie Research 称，目前几乎所有的增长都归功于人工智能基础设施的快速发展。
Ubitium Secures $3.7M to Revolutionize Computing with Universal RISC-V Processor
半导体初创公司 Ubitium 推出了一款突破性的通用处理器，有望重新定义计算工作负载的管理方式。这款创新芯片将处理能力整合到一个高效的单元中，无需 CPU、GPU、DSP 和 FPGA 等专用处理器。通过摆脱传统的处理架构，Ubitium 将简化 […]The post Ubitium 获得 370 万美元，通过通用 RISC-V 处理器彻底改变计算方式首次出现在 Unite.AI 上。
Enfabrica Corporation 在推进人工智能 (AI) 基础设施方面迈出了有力的一步，在 Supercomputing 2024 (SC24) 上宣布完成令人印象深刻的 1.15 亿美元 C 轮融资，同时即将推出其业界首款 3.2 兆兆位每秒 (Tbps) 加速计算结构 (ACF) SuperNIC 芯片。这一开创性的公告凸显了 Enfabrica 在人工智能 (AI) 基础设施领域日益增长的影响力 […]Enfabrica 获得 1.15 亿美元 C 轮融资并宣布推出全球最快 GPU 网络芯片一文首次出现在 Unite.AI 上。
AMD выпустила собственную большую языковую модель с открытым кодом
该模型是使用 AMD Instinct GPU 上的集群进行训练的。
How Much Will Intelligence Cost in the Future?
人工智能驱动的智能成本正在快速下降：代币价格的下降速度几乎比科技领域的任何事物都要快。我们可能会看到智能（计算、推理）成为一种可再生、可替代的资源，由硬件（GPU、TPU、ASIC）、电力以及创建和部署智能所需的供应链等投入推动。但真正的商品化并不能保证：如果硬件仍然稀缺，价格就会上涨（尽管相反的情况一直在发生）如果有人开发出下一代人工智能（例如 GPT-6），可以解锁全新的用例，并且可以在竞争对手赶上之前收取额外费用，那么稀缺性将再次推高价格。特别是如果推理硬件有限，在愿意支付的人之间引发竞价战。这种情况还没有发生，因为目前的 LLM（如 GPT-4）没有提供足够的价值来证明大幅提高价格是合
我上周在 Twitter 上发布的一些有趣的链接（我也在 Mastodon、Threads、Newsmast 和 Bluesky 上发布了这些链接）：我们需要非常小心地构建更好的人工智能，而无需人类参与干预：https://arstechnica.com/ai/2024/10/the-quest-to-use-ai-to-build-better-ai/老实说，他关于人工智能被炒作的说法并没有错。而且我同意，一旦炒作逐渐平息，它就会变得有用：https://www.tomshardware.com/tech-industry/artificial-intelligence/linus-torv
Reducing the Size of AI Models
在边缘设备上运行大型 AI 模型使用 Pixlr 创建的图像AI 模型，尤其是大型语言模型 (LLM)，需要大量的 GPU 内存。例如，对于 2024 年 7 月发布的 LLaMA 3.1 模型，内存要求如下：80 亿参数模型需要 16 GB 内存（16 位浮点权重）更大的 4050 亿参数模型需要 810 GB（使用 16 位浮点数）在全尺寸机器学习模型中，权重表示为 32 位浮点数。现代模型具有数亿到数百亿（甚至数千亿）的权重。训练和运行如此大的模型非常耗费资源：它需要大量的计算（处理能力）。它需要大量的 GPU 内存。它会消耗大量的能源，特别是，造成这种能源消耗的最大因素是：- 使用 3
