Behind the Magic: How Tensors Drive Transformers
变形金刚内部的张量的工作流程魔术背后的帖子:张量如何使变形金刚首先出现在数据科学上。
Towards Low-Bit Communication for Tensor Parallel LLM Inference
这篇论文被 NeurIPS 2024 的高效自然语言和语音处理 (ENLSP) 研讨会接受。张量并行提供了一种提高服务器大型语言模型 (LLM) 推理效率的有效方法,尽管增加了额外的通信成本。然而,随着服务器 LLM 规模不断扩大,它们将需要分布在更多设备上,从而增加了通信成本。解决这个问题的一种方法是量化,但目前的 LLM 方法往往避免量化张量并行需要传达的特征。利用……
TensorFlow Filesystem - Access Tensors Differently
通过将 tensorflow 模型挂载到文件系统中来访问该模型的奇怪(但很酷)的方法。
Getting familiar with torch tensors
在这个由四部分组成的迷你系列的第一部分中,我们介绍了您想要了解的有关 torch 张量的主要内容。作为一个说明性示例,我们将从头开始编写一个简单的神经网络。
▼研究人员的眼睛☆风险荒谬的原因 - 除非重做,否则不能采取风险。 ☆欧洲委员会对苹果和元元的惩罚 - 违反数字市场法案☆世界人口趋势和人寿保险市场 - 中国的“过头”是否会在人寿保险市场中实现? ☆年轻人对可持续性的dile - “责任意识”开始发展,而非凡的转变是黄金周☆美国 - 中国摩擦对特朗普的关税是动荡的 - 中国将如何面对艰难的情况,知名度不佳? ☆定量筛选的差异 - 筛选将如何动摇? ------▼每周经济学信☆中国经济:2023年1月至3月期间的评估 - 潜伏在春风中的逆风。尽管这是一个强劲的开始,但美国 - 中国摩擦的关键时刻将很快开始-----▼基本研究报告☆基本研究报告
SpaceX Just Launched Robots, Atomic Clocks, and Mars Tech Into Orbit
NASA和SpaceX刚刚向国际空间站发起了重大补给任务,以提供近7,000磅的货物,包括食品,设备和高科技实验。从机器人敏捷性测试到尖端的原子钟和生命支持创新,龙航天器的工具可以重新定义我们在太空中的未来。任务扮演[...] 研究人员通过使用1,400多个GPU和开创性算法技术模拟Google的53 Qubit Sycamore电路,从而实现了量子计算的重大飞跃。他们有效的张量网络方法和巧妙的“ TOP-K”采样方法大大减少了准确模拟所需的内存和计算负载。这些策略通过较小的测试电路进行了验证,并且可以塑造[...]
How 1,432 GPUs Cracked Google’s 53-Qubit Quantum Computer
NASA和SpaceX刚刚向国际空间站发起了重大补给任务,以提供近7,000磅的货物,包括食品,设备和高科技实验。从机器人敏捷性测试到尖端的原子钟和生命支持创新,龙航天器的工具可以重新定义我们在太空中的未来。任务扮演[...]研究人员通过使用1,400多个GPU和开创性算法技术模拟Google的53 Qubit Sycamore电路,从而实现了量子计算的重大飞跃。他们有效的张量网络方法和巧妙的“ TOP-K”采样方法大大减少了准确模拟所需的内存和计算负载。这些策略通过较小的测试电路进行了验证,并且可以塑造[...]
Google Pixel 9a Launched: Pricing, Availability, Features and More
Google Pixel 9a启动了:期望什么?价格,规格,功能和Morethe Pixel 9a是Google Pixel阵容的最新成员。 Google已正式在印度和国外推出了Pixel 9A,提供了负担能力和旗舰级别的功能。 Google Pixel 9A拥有6.3英寸OLED显示屏,张量G4处理器,双后置摄像头,5100mAh电池和Android 15,并具有7年的更新。借助Magic Eraser和IP68认证等AI工具,它提供了创新和耐用性。它具有鲜艳的颜色,旨在在保持Google签名卓越的同时重新定义智能手机市场的价值。GooglePixel 9Kakey Points The G
Pioneering approach expands possibilities for measuring quantum geometry in solids
理解并可靠地测量量子态的几何特性可以为各种物理现象的复杂基础提供新的启示。量子几何张量 (QGT) 是一个数学对象,它详细描述了量子态如何响应扰动而变化,从而提供了有关其底层几何的见解。
Understanding Einstein’s Notation and einsum Multiplication
使用字符串符号执行高阶张量运算继续阅读 Towards Data Science »
Is the video game industry facing an AI renaissance? What are the impacts?
想象一下玩经典的第一人称射击游戏 DOOM,但有一个变化:游戏不是在程序员编写的代码上运行的;它是由人工智能系统实时生成的。这有效地描述了 GameNGen,这是谷歌和特拉维夫大学研究人员最近推出的突破性 AI 模型。GameNGen 可以使用单个张量处理单元 (TPU) 以每秒超过 20 帧的速度模拟 DOOM。在该处理单元中,我们见证了可以自我思考和创造的游戏的诞生。人类程序员不再定义游戏行为的每个方面,而是让 AI 系统学习生成整个游戏。文章《电子游戏行业是否面临 AI 复兴?其影响是什么?》首次出现在 DailyAI 上。
IEEE Transactions on Neural Networks and Learning Systems, Volume 35, Issue 8, August 2024
1) 自主视觉感知的开放式在线学习作者:Haibin Yu, Yang Cong, Gan Sun, Dongdong Hou, Yuyang Liu, Jiahua Dong页数:10178 - 101982) 连续时间强化学习控制:理论结果回顾、性能洞察和新设计需求作者:Brent A. Wallace, Jennie Si页数:10199 - 102193) 可解释人工智能归纳逻辑编程技术评论作者:Zheng Zhang, Levent Yilmaz, Bo Liu页数:10220 - 102364) 离线强化学习调查:分类、评论和开放问题作者:Rafael Figueiredo Pru
IEEE Transactions on Neural Networks and Learning Systems, Volume 35, Issue 7, July 2024
1) 联邦学习中的隐私和稳健性:攻击与防御作者:Lingjuan Lyu、Han Yu、Xingjun Ma、Chen Chen、Lichao Sun、Jun Zhao、Qiang Yang、Philip S. Yu页数:8726 - 87462) 测量解缠:指标回顾作者:Marc-André Carbonneau、Julian Zaïdi、Jonathan Boilard、Ghyslain Gagnon页数:8747 - 87613) 深度强化学习中的探索:从单智能体到多智能体领域作者:Jianye Hao、Tianpei Yang、Hongyao Tang、Chenjia Bai、Jiny
快速启动和运行的概述,避免混淆照片由 Pao Dayag 在 Unsplash 上拍摄我们时不时都会考虑是否要尝试新的工具或尝试一个包,而这其中存在一些风险。如果该工具无法满足我的需求,或者需要几天时间才能运行,或者需要我没有的复杂知识,该怎么办?今天,我将分享我自己使用 PyTorch Tabular 启动和运行模型的经验的简单回顾,并提供代码示例,这些示例应该可以帮助其他考虑使用它的用户以最少的麻烦快速上手。这个项目始于一个相当高维的 CatBoost 模型,这是一个具有多类分类结果的监督学习用例。数据集有大约 30 个高度不平衡的类,我将在以后的文章中更详细地描述它们。我想尝试将神经网络
Isaac Gym: High Performance GPU-Based Physics Simulation For Robot Learning
Isaac Gym 提供了一个高性能学习平台,可直接在 GPU 上训练各种机器人任务的策略。物理模拟和神经网络策略训练都驻留在 GPU 上,并通过直接将数据从物理缓冲区传递到 PyTorch 张量进行通信,而无需经历任何 CPU 瓶颈。这使得在单个 GPU 上进行复杂机器人任务的训练时间极快,与使用基于 CPU 的模拟器和 GPU 进行神经网络的传统 RL 训练相比,速度提高了 2-3 个数量级。
Please allow me to introduce myself: Torch for R
今天,我们很高兴推出 torch,这是一个 R 包,可让您从 R 原生使用类似 PyTorch 的功能。无需安装 Python:torch 直接基于 libtorch 构建,libtorch 是一个 C++ 库,提供构建神经网络所必需的张量计算和自动微分功能。
Deep learning in medical imaging - 3D medical image segmentation with PyTorch
介绍了张量表示的基本 MRI 基础,以及应用深度学习方法处理特定任务问题(类别不平衡、数据有限)的基本组件。此外,我们还介绍了开源医学图像分割库的一些功能。最后,我们讨论了我们的初步实验结果并提供了查找医学影像数据的来源。
Variational convnets with tfprobability
在贝叶斯神经网络中,层权重是分布,而不是张量。使用 tfprobability(TensorFlow Probability 的 R 包装器),我们可以构建具有概率层的常规 Keras 模型,从而“免费”获得不确定性估计。在这篇文章中,我们展示了如何定义、训练和从概率卷积神经网络中获得预测。