Datacenters powered by solar farms
您如何看待这个商业创意？寻找阳光充足的廉价未使用土地（例如沙漠地区）在那里建造太阳能发电场和数据中心（用于 AI/LLM 推理；使用 ASIC 实现高能效或 GPU）使用太阳能为这些数据中心供电（本质上是免费能源）按代币收费，或可能在未来进行拍卖竞标（为更高的情报访问权限支付更多费用）远程位置的延迟可能不是问题……情报处理通常需要时间 + Starlink 可以处理它我的观点：未来几年对情报（AI/LLM 推理、计算）的需求将增长，能源需求也将增长。可能需求大于供应。一些参与者会为情报支付溢价，因为他们的用例/业务证明了这一点。尖端的 LLM（例如 GPT-10..）可能会保持关闭状态，仅通过
硅谷的 Figure 揭开了其下一代 Figure 02 对话式人形机器人的面纱，该机器人利用 NVIDIA Omniverse 和 NVIDIA GPU 执行完全自主的任务。 Figure 表示，它最近在宝马集团位于南卡罗来纳州斯帕坦堡的生产线上测试了 Figure 02 的数据收集和用例培训。Figure 02 上市仅 10 个月 阅读文章
MOE & MOA for Large Language Models
向专家小组寻求建议图片由作者提供（AI 生成 leonardo.ai）大型语言模型 (LLM) 无疑席卷了科技行业。它们的迅速崛起得益于来自维基百科、网页、书籍、大量研究论文以及我们喜爱的社交媒体平台的用户内容的大量数据。数据和计算密集型模型一直在狂热地整合来自音频和视频库的多模态数据，并且数月来一直在使用数万个 Nvidia GPU 来训练最先进的 (SOTA) 模型。所有这些都让我们怀疑这种指数级增长是否能持续下去。这些 LLM 面临的挑战很多，但让我们在这里探讨一些。成本和可扩展性：较大的模型可能需要花费数千万美元来训练和服务，成为日常应用程序采用的障碍。 （参见 GPT-4 的训练成本
Diffusion Model from Scratch in Pytorch
去噪扩散概率模型 (DDPM) 的实现 MNIST 上的 DDPM 示例 — 作者提供的图片简介一般来说，扩散模型是一种生成式深度学习模型，它从学习到的去噪过程中创建数据。扩散模型有很多种，最流行的通常是文本条件模型，它可以根据提示生成特定的图像。一些扩散模型 (Control-Net) 甚至可以将图像与某些艺术风格融合在一起。下面是一个例子：作者使用经过微调的 MonsterLabs 的 QR Monster V2 提供的图片如果您不知道这幅图像有什么特别之处，请尝试远离屏幕或眯起眼睛来查看图像中隐藏的秘密。扩散模型有许多不同的应用和类型，但在本教程中，我们将构建基础的无条件扩散模型 DDP
GenAI with Python: LLM vs Agents
创建一个 AI 小队，无需 GPU 即可在笔记本电脑上自动执行任何操作继续阅读 Towards Data Science »
The Ultimate Handbook for LLM Quantization
深入研究 LLM 量化和技术照片由 Siednji Leon 在 Unsplash 上拍摄 CPU 上的 LLM？是的，你没听错。从处理对话到创建自己的图像，AI 自诞生以来已经取得了长足的进步。但它也带来了瓶颈。随着模型的扩展，它们的计算需求也在增加。AI 开始严重依赖计算能力。为了满足这些需求，我们转向了 GPU，剩下的就是历史了。许多设备没有强大的 GPU，因此错过了 AI 功能。有必要缩小这些模型的大小和功能，以便在计算能力有限的设备（如手机或仅配备 CPU 的计算机）上运行 AI 模型。早期的努力包括修剪和蒸馏等技术。然而，这些方法对于通常具有大规模架构的 LLM 来说并不可行。最近
Nvidia Faces French Antitrust Charges Amidst Market Dominance Concerns
Nvidia 现在是全球最有价值的公司，但受到法国反垄断监管机构的审查，他们正准备指控这家科技巨头存在反竞争行为。此举凸显了欧盟致力于维护科技行业公平竞争的决心。Nvidia 以其在人工智能和机器学习中必不可少的图形处理单元 (GPU) 而闻名，它被指控利用其市场地位来压制竞争。潜在的处罚可能包括巨额罚款和强制改变 Nvidia 的商业行为，从而影响其竞争战略和市场影响力。 Nvidia 的市场主导地位和监管审查 Nvidia 成立于 1993 年，从一家 [...]
Charging Ahead: Breakthrough Sodium Battery Technology Ushers in New Era of Safety and Efficiency
由 Sayan Das 博士领导的研究小组与印度 IIT Kharagpur 低温工程中心的 Venimadhav Adyam 教授及其同事美国印第安纳州普渡大学的 Vilas Pol 教授一起，在钠金属电池的开发方面取得了突破。他们的创新成果发表在同行评审期刊《能源》上 […]
Competition to design AI Chips
摘自《经济学人》，Nvidia 能被赶下王座吗？看看那些争夺王冠的初创公司Nvidia 的市值超过 2 万亿美元，年收入增长超过 200%。这是它成功的原因：...GPU 负责训练和操作大型人工智能模型所需的计算重担。然而，奇怪的是，这并不是它们的设计目的。这个首字母缩略词代表“图形处理单元”，因为这种芯片最初是为处理视频游戏图形而设计的。事实证明，对于 Nvidia 来说，这些芯片可以重新用于处理 AI 工作负载，这真是幸运。但现在有几家初创公司正在设计专门为 AI 设计的芯片：Cerebras 的应对措施是将 900,000 个内核和大量内存放到一个巨大的芯片上，这样……内核之间的片上连接
What's New in Robotics? 29.03.2024
本周的新闻简报介绍了 NVIDIA 的年度 GPU 大会 2024，以及 NVIDIA 的公告将对机器人、协作机器人和 AMR 的未来产生重大影响。
Modeling Extremely Large Images with xT
作为计算机视觉研究人员，我们相信每个像素都可以讲述一个故事。然而，在处理大图像时，似乎出现了写作障碍。大图像已不再罕见——我们口袋里携带的相机和绕地球旋转的相机拍摄的照片非常大且细节丰富，以至于在处理这些照片时，它们会将我们目前最好的模型和硬件推到极限。通常，随着图像大小的增加，内存使用量会呈二次方增长。今天，我们在处理大图像时会做出两个次优选择之一：下采样或裁剪。这两种方法会导致图像中存在的信息量和上下文的严重损失。我们重新审视这些方法，并引入了 $x$T，这是一个新的框架，用于在当代 GPU 上端到端地对大图像进行建模，同时有效地将全局上下文与局部细节聚合在一起。$x$T 框架的架构。为什
Nvidia's Breakthrough and Hybrid AI with Clarifai
Nvidia 的开创性声明在科技行业引起了轰动，有望重塑 AI 驱动解决方案的功能。 凭借不断突破界限的传统，Nvidia 的新一代 GPU 有可能彻底改变行业并推动 AI 取得前所未有的进步——想象一下全新的 GPU 基本上是 AI 火箭燃料。
NVIDIA Isaac Taps Generative AI for Manufacturing and Logistics Applications
NVIDIA Isaac 机器人平台正在利用最新的生成式 AI 和先进的模拟技术来加速 AI 机器人技术。在今天的 GTC 上，NVIDIA 宣布推出 Isaac Manipulator 和 Isaac Perceptor — 一套基础模型、机器人工具和 GPU 加速库。在超过 10,000 名观众面前，NVIDIA 创始人兼首席执行官 Jensen Huang 展示了阅读文章
#204 – Cumrun Vafa: String Theory
Cumrun Vafa 是哈佛大学的理论物理学家。请查看我们的赞助商来支持此播客：- Headspace：https://headspace.com/lex 可获得 1 个月的免费试用期- Jordan Harbinger Show：https://www.youtube.com/thejordanharbingershow- Squarespace：https://lexfridman.com/squarespace 并使用代码 LEX 可获得 10% 的折扣- Allform：https://allform.com/lex 可获得 20% 的折扣剧集链接：Cumrun 的 Twitter：
Distributed Deep Learning training: Model and Data Parallelism in Tensorflow
如何使用镜像策略、参数服务器和中央存储等分布式方法在多个 GPU 或机器中训练数据。
