Behind the Magic: How Tensors Drive Transformers
变形金刚内部的张量的工作流程魔术背后的帖子：张量如何使变形金刚首先出现在数据科学上。
Social media posts and transformer-based models for early detection of heat stroke
研究人员开发了一种使用社交媒体和AI有效检测中风风险的方法。在科学询问者上首次出现了社交媒体帖子和基于变压器的早期检测热中风的模型。
DART: Denoising Autoregressive Transformer for Scalable Text-to-Image Generation
扩散模型已成为视觉产生的主要方法。他们是通过deno培训的马尔可夫工艺，该过程逐渐为输入增加了噪音。我们认为，马尔可夫的财产限制了该模型充分利用生成轨迹的能力，从而导致训练和推理期间效率低下。在本文中，我们提出了DART，这是一种基于变压器的模型，该模型统一自回归（AR）和非马克维亚框架内的扩散。飞镖迭代地将图像贴片在空间和光谱上使用与标准相同的架构相同的AR模型
EC-DIT: Scaling Diffusion Transformers with Adaptive Expert-Choice Routing
扩散变压器已被广泛用于文本对图像合成。在将这些模型扩展到数十亿个参数显示出希望的同时，超越当前尺寸的缩放的有效性仍然没有充满挑战和具有挑战性。通过明确利用图像世代的计算异质性，我们开发了一个新的Experts（MOE）模型（MOE）模型（EC-DIT），用于具有专家选择路由的扩散变压器。 EC-DIT学会了适应性地优化分配的计算以了解输入文本并生成相应的图像补丁，从而实现异质性…
Transformer Lab: Öppen källkods-plattform förenklar arbetet med AI-språkmodeller
人工智能和大型语言模型变得越来越易于访问，但实际上与它们合作通常需要专业知识。 Transformer Lab试图通过提供一个平台来改变这一点，开发人员可以在本地尝试AI模型而无需深入的技术知识。 Transformer Lab是一个开源代码平台，允许任何人构建，微调[…] Post Transformer Lab：开源平台最初出现在AI News上的AI语言模型来简化作品。
M2R2: Mixture of Multi-Rate Residuals for Efficient Transformer Inference
残差转换增强了大语言模型（LLMS）的代表性深度和表达能力。但是，在自动回归产生中应用所有代币的静态残差转换会导致推理效率和产生忠诚度之间的次优折衷。现有方法，包括早期退出，跳过解码和深入的混合物，通过根据令牌级的复杂性调节剩余转换来解决此问题。尽管如此，这些方法主要考虑由代币通过模型层所穿越的距离，忽略了…
Vision Transformers (ViT) Explained: Are They Better Than CNNs?
了解计算机视觉任务的开创性架构如何运作后视觉变形金刚（VIT）解释：它们比CNN更好吗？首先出现在数据科学上。
Вучич: Сербия передаст Украине электрогенераторы и трансформаторы на сумму 8,4 млн. евро
塞尔维亚当局将向乌克兰转让价值840万欧元的发电机和变压器。
VQ4DiT: A Fast Post-Training Vector Quantization Method for DiTs (Diffusion Transformers Models)
文本到图像的扩散模型在根据输入条件生成复杂而忠实的图像方面取得了重大进展。其中，扩散变压器模型 (DiT) 变得特别强大，OpenAI 的 SoRA 是一个值得注意的应用程序。DiT 由堆叠多个变压器块构建而成，利用变压器的缩放属性通过灵活的参数扩展实现增强的性能。文章 VQ4DiT：一种用于 DiT（扩散变压器模型）的快速后训练矢量量化方法首次出现在 AI Quantum Intelligence 上。
Flash Attention: Revolutionizing Transformer Efficiency
随着 Transformer 模型的规模和复杂性不断增长，它们在计算效率和内存使用方面面临着重大挑战，尤其是在处理长序列时。Flash Attention 是一种优化技术，有望彻底改变我们在 Transformer 模型中实现和扩展注意力机制的方式。在本综合指南中，我们将深入探讨 […]The post Flash Attention：革命性地改变 Transformer 效率首先出现在 Unite.AI 上。
Electricity Grid: DOE Could Better Support Industry Efforts to Ensure Adequate Transformer Reserves
GAO 发现电力公司和能源部 (DOE) 面临着多项挑战，以确保有足够数量的大型电力变压器 (LPT)（无论是在用还是在备）来维持弹性电网。公用事业公司认为供应链限制是最紧迫的挑战，包括制造前置时间长（且不断增加）、制造能力有限以及劳动力和材料短缺。此外，购买和运输 LPT 的成本使一些公用事业公司无法保留备用件。例如，公用事业公司报告称，购买 LPT 的成本可能高达 1000 万美元，运输成本则高达数十万美元。此外，联邦和行业利益相关者表示，建立联邦拥有的变压器库存将面临额外的挑战（例如缺乏标准化），并可能加剧现有的供应链限制。变电站大型电力变压器示例 DOE 已经确定了解决影响公用事业公司
创新设备将安装在罗斯托夫地区的 220 kV B-10 变电站和 220 kV Veshenskaya-2 变电站。
Ученые ЮФУ разработали умную систему диагностики силовых трансформаторов
智能平台杜绝企业能源领域因电力变压器事故和损坏造成的事故，及时识别缺陷发展情况，预测高压设备无故障寿命。
AudioX: En kraftfull ny AI som förvandlar allt till ljud
想象一个可以通过观看图像，阅读文字或观看视频来创建音乐或声音效果的AI。这正是Audiox所做的 - 既令人印象深刻又令人恐惧。 Audiox是一种新的扩散变压器模型，可以从[…] Audiox：强大的新AI中产生高质量的声音，它首先出现在AI新闻中。
Sesame Speech Model: How This Viral AI Model Generates Human-Like Speech
深入研究残留矢量量化器，对话语音AI和健谈的变压器。芝麻后的语音模型：该病毒AI模型如何产生类似人类的语音，首先出现在数据科学上。
Fine-tune large language models with reinforcement learning from human or AI feedback
在这篇文章中，我们引入了一种最先进的方法来通过增强学习来微调LLM，审查了RLHF与RLAIF与DPO的利弊，并看到了如何与RLAIF进行LLM微调工作。我们还看到了如何使用拥抱面式变压器和TRL库对萨吉式制造商实施端到端的RLAIF管道，以及使用现成的毒性奖励模型在PPO期间与对齐响应，或直接提示LLM在PPO期间产生定量奖励反馈。
