Transformer? Diffusion? Transfusion!
最新多模态转输模型的简单介绍最近，Meta 和 Waymo 发布了他们的最新论文 —Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model，该论文将流行的 Transformer 模型与扩散模型相结合，用于多模态训练和预测目的。与 Meta 之前的工作一样，Transfusion 模型基于带有早期融合的 Llama 架构，它同时采用文本 token 序列和图像 token 序列，并使用单个 Transformer 模型来生成预测。但与以前的技术不同，Transfusion 模型对图像 t
How I Streamline My Research and Presentation with LlamaIndex Workflows
以可靠性、灵活性和可控性协调 AI 工作流的示例LlamaIndex 最近推出了一项新功能：工作流。它对于那些想要创建既可靠又灵活的 AI 解决方案的人来说非常有用。为什么？因为它允许您使用控制流定义自定义步骤。它支持循环、反馈和错误处理。它就像一个支持 AI 的管道。但与通常以有向无环图 (DAG) 形式实现的典型管道不同，工作流还支持循环执行，使其成为实现代理和其他更复杂过程的良好候选。介绍工作流测试版：使用 LlamaIndex 创建复杂 AI 应用程序的新方法 - LlamaIndex，LLM 应用程序的数据框架在本文中，我将展示如何使用 LlamaIndex 工作流简化我研究某个主题
Time Series Are Not That Different for LLMs
利用 LLM 的力量进行时间序列建模基础模型推动了计算语言学和计算机视觉领域的最新进步，并在人工智能 (AI) 中取得了巨大成功。成功的基础模型的关键思想包括：海量数据：庞大而多样的训练数据涵盖了全面的分布，使模型能够近似任何潜在的测试分布。可转移性：记忆和回忆所学信息的机制，例如提示 [1] 和自我监督的预训练 [2]，使模型能够有效地适应新任务。在 LLM 成功之后，时间序列基础模型的开发变得更加密集。图片来自论文 https://arxiv.org/pdf/2403.14735.大型时间序列基础模型 (LTSM)随着基础模型在计算语言学领域的成功，越来越多的研究工作旨在在另一种类型的序列
Understanding and Implementing Medprompt
深入研究提示框架背后的细节Medprompt 策略各个组成部分的说明（图片取自 Medprompt 论文 [1] (https://arxiv.org/abs/2311.16452) 中的图 6）在我的第一篇博客文章中，我探讨了提示及其在大型语言模型 (LLM) 中的重要性。提示对于从 LLM 获得高质量的输出至关重要，因为它可以指导模型的响应并确保它们与手头的任务相关。在此基础上，尝试使用 LLM 解决用例时经常会出现两个关键问题：仅使用提示可以将性能提升到多远，以及何时您会咬紧牙关并决定微调模型可能更有效？在做出利用提示的设计决策时，需要考虑几个因素。像小样本提示和思路链 (CoT) [2
A technique allows robots to determine whether they are able to lift a heavy box
人形机器人，即身体与人类相似的机器人，很快就能帮助人们完成各种各样的任务。这些机器人被设计用来完成许多任务，包括拾取不同形状、重量和大小的物体。虽然迄今为止开发的许多人形机器人能够拾取小而轻的物体，但举起笨重或沉重的物体往往更具挑战性。事实上，如果物体太大或太重，机器人最终可能会将其摔坏或掉落。考虑到这一点，约翰霍普金斯大学和新加坡国立大学 (NUS) 的研究人员最近开发了一种技术，使机器人能够确定它们是否能够举起具有未知物理特性的重箱子。这项技术发表在 arXiv 上的一篇论文中，该技术可以开发出能够更有效地举起物体的机器人，从而降低它们拾起无法支撑或携带的物体的风险。“我们特别感兴趣的是人
An iterative refinement model for PROTAC-induced structure prediction
这项工作被接受为 ICLR 2024 生物分子设计生成和实验视角研讨会的口头报告。有关更多信息，请查看我们在 arXiv 上的论文。什么是 PROTAC？蛋白质是分子机器，可执行人体生长所需的许多功能。当蛋白质发生故障时 […]
NIST Tool Will Make Math-Heavy Research Papers Easier to View Online
由 NIST 科学家开发的工具将帮助 arXiv 预印本变得更容易获取。
#359 – Andrew Strominger: Black Holes, Quantum Gravity, and Theoretical Physics
安德鲁·斯特罗明格是哈佛大学的理论物理学家。请查看我们的赞助商来支持此播客：- Eight Sleep：https://www.eightsleep.com/lex 获得特别优惠- Rocket Money：https://rocketmoney.com/lex- Indeed：https://indeed.com/lex 获得 75 美元信用额度- ExpressVPN：https://expressvpn.com/lexpod 获得 3 个月免费使用 剧集链接：Andrew 的网站：https://www.physics.harvard.edu/people/facpages/stromi
#325 – Michael Levin: Biology, Life, Aliens, Evolution, Embryogenesis & Xenobots
迈克尔·莱文 (Michael Levin) 是塔夫茨大学的生物学家，致力于研究理解和控制生物系统中复杂模式形成的新方法。请查看我们的赞助商来支持此播客：- Henson Shaving：https://hensonshaving.com/lex 并使用代码 LEX 获得 100 个免费刀片和剃须刀- Eight Sleep：https://www.eightsleep.com/lex 获得特别优惠- LMNT：https://drinkLMNT.com/lex 获取免费样品包- InsideTracker：https://insidetracker.com/lex 获得 20% 折扣剧集链接
#306 – Oriol Vinyals: Deep Learning and Artificial General Intelligence
Oriol Vinyals 是 DeepMind 的研究总监和深度学习负责人。请查看我们的赞助商来支持此播客： - Shopify：https://shopify.com/lex 获得 14 天免费试用 - Weights & Biases：https://lexfridman.com/wnb - Magic Spoon：https://magicspoon.com/lex 并使用代码 LEX 获得 5 美元折扣 - Blinkist：https://blinkist.com/lex 并使用代码 LEX 获得 25% 的高级折扣 EPISODE LINKS：Oriol 的 Twitter：ht
#295 – Richard Wolff: Marxism and Communism
理查德·沃尔夫是一位马克思主义哲学家和经济学家。请查看我们的赞助商来支持此播客：- Skiff：https://skiff.org/lex 获得早期访问权- Indeed：https://indeed.com/lex 获得 75 美元信用额度- Onnit：https://lexfridman.com/onnit 获得高达 10% 的折扣- Blinkist：https://blinkist.com/lex 并使用代码 LEX 获得 25% 的高级折扣- Linode：https://linode.com/lex 获得 100 美元免费信用额度剧集链接：Richard 的推特：https://
Factor Network Autoregressions
请查看 Barigozzi、Cavaliere 和 Moramarco 撰写的文章：http://d.repec.org/n?u=RePEc:arx:papers:2208.02925&r=非常酷的动态“多层网络”方法。在标准的 N 维网络中，有一个 NxN 邻接矩阵。但更丰富的网络可能有许多种连接，每种连接都由自己的邻接矩阵控制。（多么伟大的见解——一旦你听到它，就会觉得如此自然和明显。一个美好的“顿悟时刻”！）所以也许有 K 个可操作的 NxN 邻接矩阵。然后实际上有一个宏大的 3 维邻接矩阵 (NxNxK) 可操作——一个立方矩阵而不是方阵。简约建模变得绝对关键，在这方面，BCM 有效地
分数阶 SDE-Net：具有长期记忆的时间序列数据生成作者：Kohei Hayashi；Kei Nakagawa摘要：本文重点介绍使用神经网络生成时间序列数据。通常情况下，输入的时间序列数据（尤其是来自真实金融市场的数据）是不规则采样的，其噪声结构比 i.i.d. 类型更复杂。为了生成具有这种特性的时间序列，我们提出了 fSDE-Net：神经分数阶随机微分方程网络。它通过使用 Hurst 指数大于一半的分数布朗运动来推广神经 SDE 模型，从而表现出长期记忆特性。我们推导了 fSDE-Net 的求解器，并从理论上分析了 fSDE-Net 解的存在性和唯一性。我们的实验表明，fSDE-Net 模
这真是让我震惊。真是太有见地了。在另一个背景下，等权重组合规则！另请参阅我与 Minchul Shin 合作的论文，这些论文分别明确指出了点预测和密度预测的权重相等：Diebold, F.X. 和 Shin, M. (2019)，“机器学习用于正则化调查预测组合：部分平等的套索及其衍生物”，《国际预测杂志》，35，1679-1691。Diebold, F.X.、Shin, M. 和 Zhang, B. (2022)，“关于概率评估的聚合：欧元区通胀和实际利率的正则化预测密度混合”，《计量经济学杂志》，即将出版。工作论文，arXiv:2012.11649。HAR 模型中的预测组合难题作者：Cle
Mentorship, Difference, and an Artist's Sensibility with Dr. Malik Boykin
Malik Boykin 博士是布朗大学的心理学教授。Malik 与 Mike Palmer 一起谈论他作为黑人心理学教授之子成长的经历，从康奈尔大学的伊萨卡开始，最后到华盛顿特区的霍华德大学。从那里，Malik 带我们了解了他作为音乐艺术家的旅程，以及他在接触分析、指导和算法偏见方面的研究。除了他在心理学实验室对群体不平等的看法和偏好的研究外，Malik 还向我们介绍了他作为音乐家 Malik Starx 的工作，包括他最近发布的《为自由而舞》。这是一场关于多样性、同理心和创造性表达的广泛对话，您一定不想错过。要观看更多这样的精彩节目，请在您收听播客的任何地方订阅《Trending in E
#120 – François Chollet: Measures of Intelligence
François Chollet 是 Google 的人工智能研究员，也是 Keras 的创建者。通过支持我们的赞助商来支持此播客（并获得折扣）：- Babbel：https://babbel.com 并使用代码 LEX- MasterClass：https://masterclass.com/lex- Cash App：下载应用程序并使用代码“LexPodcast”剧集链接：Francois 的 Twitter：https://twitter.com/fcholletFrancois 的网站：https://fchollet.com/关于智力的衡量（论文）：https://arxiv.org
Easy PixelCNN with tfprobability
PixelCNN 是一种深度学习架构（或架构包），旨在生成高度逼真的图像。要使用它，无需对 arXiv 论文进行逆向工程或搜索参考实现：TensorFlow Probability 及其 R 包装器 tfprobability 现在包含一个 PixelCNN 分布，可用于以可参数化的方式训练直接定义的神经网络。
