New generative AI tools open the doors of music creation
我们最新的AI音乐技术现已在MusicFX DJ，Music AI Sandbox和YouTube短裤 宣布一套全面的，开放的稀疏自动编码器，用于语言模型可解释性。 新的AI系统设计成功结合靶分子的蛋白质，具有推进药物设计，疾病理解等的潜力。 使用深度学习来解决计算量子化学中的基本问题并探索物质与光的相互作用 该模型可以极大地提高性能，并在跨模式的长篇文化理解中取得了突破。 在自然通信中发表的一系列实验中，我们发现证据表明人类判断确实受到对抗性扰动的系统影响。 这是人工智能（AI）研究及其实用应用领域中令人难以置信的一年。 在自然界发表的一篇论文中，我们介绍了FunSearch，这是
释放 RAG 工作流的全部潜力为什么、何时以及如何对增强型 RAG 进行分块我们如何分割球？（使用 Cava 生成）大型语言模型在单个请求中可以处理的最大标记数称为上下文长度（或上下文窗口）。下表显示了所有版本的 GPT-4 的上下文长度（截至 2024 年 9 月）。虽然上下文长度随着每次迭代和每个新模型而增加，但我们可以为模型提供的信息仍然有限。此外，输入的大小与 LLM 生成的响应的上下文相关性之间存在反比关系，简短而集中的输入比包含大量信息的长上下文产生更好的结果。这强调了将数据分解成更小、更相关的块的重要性，以确保 LLM 做出更合适的响应 — — 至少在 LLM 无需重新训练即可处
我上周在 Twitter 上发布的一些有趣的链接（我也在 Mastodon、Threads、Newsmast 和 Bluesky 上发布了这些链接）：使用 AI 避免碰撞的自动驾驶船：https://www.stuff.co.nz/nz-news/350423932/unmanned-vessel-makes-waves-science-minister 帮助研究文献和引用的 AI：https://dataconomy.com/2024/09/27/scite-ai-review-can-it-research-well/ 微软纠正生成性 AI 幻觉的方法：https://www.comput
EAGLE: Exploring the Design Space for Multimodal Large Language Models with a Mixture of Encoders
准确解释复杂视觉信息的能力是多模态大型语言模型 (MLLM) 的关键重点。最近的研究表明，增强的视觉感知可显著减少幻觉并提高分辨率敏感任务（例如光学字符识别和文档分析）的性能。最近的几个 MLLM 通过利用视觉编码器的混合来实现这一点。尽管 […]EAGLE：探索使用混合编码器的多模态大型语言模型的设计空间首先出现在 Unite.AI 上。
Is Reflection 70B the most powerful open-source LLM or a scam?
HyperWrite 创始人兼首席执行官 Matt Shumer 宣布，他的新模型 Reflection 70B 使用一个简单的技巧来解决 LLM 幻觉，并提供了令人印象深刻的基准测试结果，击败了 GPT-4o 等更大甚至封闭的模型。 Shumer 与合成数据提供商 Glaive 合作创建了基于 Meta 的 Llama 3.1-70B Instruct 模型的新模型。在 Hugging Face 的发布公告中，Shumer 表示：“Reflection Llama-3.1 70B 是（目前）全球顶级的开源 LLM，采用名为 Reflection-Tuning 的新技术进行训练，该技术可教导
我上周在 Twitter 上发布的一些有趣的链接（我也在 Mastodon、Threads、Newsmast 和 Bluesky 上发布了这些链接）：大规模人工智能需要大规模核电，但将电力从发电厂输送到数据中心存在监管问题：https://spectrum.ieee.org/amazon-data-center-nuclear-power 人工智能驱动的出租车的集合名词是“Gaggle”还是“Honk”？https://futurism.com/the-byte/robotaxis-gather-honk-all-night 随着生成式人工智能越来越好，这些人工智能生成的故事多久之后会变得无法
The crisis of knowledge and enlightenment’s imitations
来自 Asad Zaman 和 RWER 的最新一期 我们当前的环境困境从根本上说是一场知识危机，根源在于启蒙运动对认识论的狭隘概念化。这种转变助长了一种客观性的幻觉，这种幻觉自此渗透到了我们对世界的理解中，特别是在社会动态的背景下。启蒙运动对客观知识的强调[…]
Building a Platform for Custom Chatbots with Alden Do Rosario and Dr. Phil Hendrix
在本期《教育趋势》中，主持人 Mike Palmer 欢迎 Custom GPT AI 创始人 Alden Do Rosario 和 Phil Hendrix 博士讨论定制聊天机器人和人工智能在高等教育中的新兴前景。我们探索了 Custom GPT AI 的起源，并深入研究了 Hendrix 博士共同撰写的关于大学采用人工智能的白皮书。对话涵盖了教育环境中人工智能实施的各个方面，从个别教师使用到全校应用。我们讨论了负责任的人工智能的重要性，解决了对幻觉和错误信息的担忧。嘉宾们分享了关于定制 GPT 如何增强学习体验、改善学生服务并为教育工作者提供宝贵数据的见解。本集的主要内容包括：精心挑选的可
上周我在推特上发布的一些有趣链接（我也在 Mastodon、Threads、Newsmast 和 Bluesky 上发布了这些链接）：这应该不足为奇。如果你将垃圾放入训练数据中，那么模型就是垃圾。由于目前的人工智能输出了很多垃圾，因此在这些输出上训练的模型不会更好：https://www.popsci.com/technology/ai-trained-on-ai-gibberish/另一家不加区别地抓取数据的人工智能公司：https://www.theverge.com/2024/7/25/24205943/anthropic-ai-web-crawler-claudebot-ifixit-
Time might be a mirage created by quantum physics, study suggests
自该领域开始以来，物理学家们一直在努力理解时间的本质。但一项新的理论研究表明，时间可能是在量子层面编织的幻觉。
MOE & MOA for Large Language Models
向专家小组寻求建议图片由作者提供（AI 生成 leonardo.ai）大型语言模型 (LLM) 无疑席卷了科技行业。它们的迅速崛起得益于来自维基百科、网页、书籍、大量研究论文以及我们喜爱的社交媒体平台的用户内容的大量数据。数据和计算密集型模型一直在狂热地整合来自音频和视频库的多模态数据，并且数月来一直在使用数万个 Nvidia GPU 来训练最先进的 (SOTA) 模型。所有这些都让我们怀疑这种指数级增长是否能持续下去。这些 LLM 面临的挑战很多，但让我们在这里探讨一些。成本和可扩展性：较大的模型可能需要花费数千万美元来训练和服务，成为日常应用程序采用的障碍。 （参见 GPT-4 的训练成本
VerifAI Project: Open Source Biomedical Question Answering with Verified Answers
基于 Qdrant 和 OpenSearch 索引构建 LLM（Mistral 7B）生物医学问答系统的经验，并采用幻觉检测方法去年 9 月（2023 年），在获得 Horizon Europe 的 NGI Search 资助计划的资助后，我们着手开发 VerifAI 项目。该项目的想法是创建一个基于经过审查的文档（因此我们使用了一个名为 PubMed 的生物医学期刊出版物库）的生物医学领域生成搜索引擎，并使用一个额外的模型来验证生成的答案，通过比较引用的文章和生成的声明。在生物医学等领域，以及一般科学领域，人们对幻觉的容忍度很低。虽然有些项目和产品（例如 Elicit 或 Perplex
我上周在 Twitter 上发布的一些有趣的链接（我也在 Mastodon、Threads、Newsmast 和 Bluesky 上发布了这些链接）：人工智能如何让外骨骼更易于控制：https://arstechnica.com/science/2024/07/ai-helps-exoskeleton-adjust-to-different-users-handle-stairs/ChatpGPT 只有针对以前见过的问题才能生成好的代码。也就是说，当它可以剽窃人类编写的代码时：https://spectrum.ieee.org/chatgpt-for-coding人工智能可以通过很多方式让事情
Small Steps, Big Shifts: How Consistency and Continuity Unlock Lasting Change
我们都有那种唠叨的声音，低声说着我们“应该”做什么。也许是在呼吁我们吃得更健康、多锻炼，或者最终解决那个被忽视的爱好。但这种声音有多少次能转化为持续的行动呢？事实是，实现持久的改变很少需要宏大的姿态或戏剧性的大修。它关乎一致性和连续性的力量——小而稳定的转变可以积聚动力，为改变的你铺平道路。Nicki Slaugh 和我在《个性化》第 1 章中分享了以下内容：有没有“小”胜利？我们质疑这个概念，因为整体影响取决于旁观者的眼睛。小胜利可以具有与大胜利同等甚至更大的意义，这种现象有两个主要原因。没有这些小小的胜利，取得重大成就就变得令人怀疑；我们往往会在取得大胜利之前因失望和沮丧而投降。持续实
Understanding and Implementing Medprompt
深入研究提示框架背后的细节Medprompt 策略各个组成部分的说明（图片取自 Medprompt 论文 [1] (https://arxiv.org/abs/2311.16452) 中的图 6）在我的第一篇博客文章中，我探讨了提示及其在大型语言模型 (LLM) 中的重要性。提示对于从 LLM 获得高质量的输出至关重要，因为它可以指导模型的响应并确保它们与手头的任务相关。在此基础上，尝试使用 LLM 解决用例时经常会出现两个关键问题：仅使用提示可以将性能提升到多远，以及何时您会咬紧牙关并决定微调模型可能更有效？在做出利用提示的设计决策时，需要考虑几个因素。像小样本提示和思路链 (CoT) [2
The Machine Learning Guide for Predictive Accuracy: Interpolation and Extrapolation
评估训练数据之外的机器学习模型简介近年来，机器学习 (ML) 和深度学习 (DL) 等数据驱动方法已应用于广泛的任务，包括机器翻译和个性化定制推荐。这些技术通过分析大量数据揭示了给定训练数据集中的一些模式。但是，如果给定的数据集存在一些偏差并且不包含您想要了解或预测的数据，则可能很难从训练模型中获得正确答案。照片由 Stephen Dawson 在 Unsplash 上拍摄让我们考虑一下 ChatGPT 的情况。ChatGPT 目前的最新版本是 ChatGPT 4o，该模型使用的数据训练到 2023 年 6 月（本文撰写时）。因此，如果您询问 2024 年发生的事情，而这些事情未包含在训练数据
Building LLM Agents for RAG from Scratch and Beyond: A Comprehensive Guide
GPT-3、GPT-4 等 LLM 及其开源对应物通常在检索最新信息时遇到困难，有时会产生幻觉或不正确的信息。检索增强生成 (RAG) 是一种将 LLM 的强大功能与外部知识检索相结合的技术。RAG 使我们能够将 LLM 响应建立在事实、最新信息的基础上，从而显着提高了准确性和可靠性 […] 文章 从头开始构建 RAG 的 LLM 代理：综合指南首先出现在 Unite.AI 上。
