VerifAI Project: Open Source Biomedical Question Answering with Verified Answers
基于 Qdrant 和 OpenSearch 索引构建 LLM（Mistral 7B）生物医学问答系统的经验，并采用幻觉检测方法去年 9 月（2023 年），在获得 Horizon Europe 的 NGI Search 资助计划的资助后，我们着手开发 VerifAI 项目。该项目的想法是创建一个基于经过审查的文档（因此我们使用了一个名为 PubMed 的生物医学期刊出版物库）的生物医学领域生成搜索引擎，并使用一个额外的模型来验证生成的答案，通过比较引用的文章和生成的声明。在生物医学等领域，以及一般科学领域，人们对幻觉的容忍度很低。虽然有些项目和产品（例如 Elicit 或 Perplex
Your 15-Minute Guide on Using Causal Inference in Business (with Placebo Tests)
“相关性不代表因果关系。”所以让我们计算因果关系。继续阅读 Towards Data Science »
Introducing zeroCPR: An Approach to Finding Complementary Products
推荐系统当前的 ML 模型可以推荐类似的产品，但互补性如何？在 AI 推荐系统领域，机器学习模型已被广泛用于推荐类似的样本，无论是产品、内容，还是建议类似的联系人。这些预训练模型大多数都是开源的，无需从头开始训练模型即可使用。但是，由于缺乏大数据，我们没有可以依赖的开源技术来推荐互补产品。在下面的文章中，我提出了一个框架（代码以用户友好库的形式呈现），该框架利用 LLM 以低成本的方式发现互补产品。我引入这个框架的目标是：可扩展该框架在运行时不需要监督，没有中断的风险，并且输出应该易于构建，可以与其他工具结合使用。负担得起应该能够以最低的花费（每 1000 个计算产品约 1 美元 - 使用 g
Diffusion Model from Scratch in Pytorch
去噪扩散概率模型 (DDPM) 的实现 MNIST 上的 DDPM 示例 — 作者提供的图片简介一般来说，扩散模型是一种生成式深度学习模型，它从学习到的去噪过程中创建数据。扩散模型有很多种，最流行的通常是文本条件模型，它可以根据提示生成特定的图像。一些扩散模型 (Control-Net) 甚至可以将图像与某些艺术风格融合在一起。下面是一个例子：作者使用经过微调的 MonsterLabs 的 QR Monster V2 提供的图片如果您不知道这幅图像有什么特别之处，请尝试远离屏幕或眯起眼睛来查看图像中隐藏的秘密。扩散模型有许多不同的应用和类型，但在本教程中，我们将构建基础的无条件扩散模型 DDP
Sampling from Multivariate Distributions: From Statistical to Generative Modeling
将经典统计方法与尖端生成 AI 模型相结合，从多元分布中进行采样。继续阅读 Towards Data Science »
Chaining Pandas Operations: Strengths and Limitations
了解何时值得在管道中链接 Pandas 操作。继续阅读 Towards Data Science »
Reinforcement Learning, Part 5: Temporal-Difference Learning
智能协同动态规划和蒙特卡罗算法简介强化学习是机器学习的一个领域，它引入了代理在复杂环境中学习最佳策略的概念。代理根据环境状态从其行为中学习，从而获得奖励。强化学习是一个具有挑战性的话题，与机器学习的其他领域有很大不同。强化学习的非凡之处在于，可以使用相同的算法使代理适应完全不同、未知和复杂的条件。注意。为了充分理解本文中的概念，强烈建议您熟悉之前文章中讨论的动态规划和蒙特卡罗方法。强化学习，第 2 部分：策略评估和改进强化学习，第 3 部分：蒙特卡罗方法关于本文在第 2 部分中，我们探索了动态规划 (DP) 方法，其中代理根据先前的计算迭代更新 V-/Q 函数及其策略，并用新的估计值替换它们。
Why It Feels Impossible to Get a Data Science Job
市场艰难的原因以及您可以采取的措施继续阅读 Towards Data Science »
How to Deliver Successful Data Science Consulting Projects
关于如何成功开展数据科学咨询项目并建立持久客户关系的关键建议图片由作者使用 DALL-E 生成引言我并不羞于这么说：数据科学咨询并不总是那么容易！它可能很残酷——尤其是在高层，当您需要创造销售以保持竞争力时。即使让客户满意是您的首要任务，但对于数据科学项目来说，做到这一点并不总是一件容易的事。回顾十多年来提供数据科学和数据工程项目的经历——其中大部分是作为顾问——我看到项目为客户带来了令人难以置信的价值，但我也看到项目跌跌撞撞，结果平庸，通常是由于计划不周、期望不一致和技术困难。很明显，成功的数据科学咨询不仅仅是成为 Python 和 R 奇才——在 Hackerrank 数据科学编程竞赛中取
Lessons Learned as a Data Science Manager and Why I’m Moving Back to an Individual Contributor Role
我问自己的三个问题帮助我选择了职业道路继续阅读 Towards Data Science »
Time Series Are Not That Different for LLMs
利用 LLM 的力量进行时间序列建模基础模型推动了计算语言学和计算机视觉领域的最新进步，并在人工智能 (AI) 中取得了巨大成功。成功的基础模型的关键思想包括：海量数据：庞大而多样的训练数据涵盖了全面的分布，使模型能够近似任何潜在的测试分布。可转移性：记忆和回忆所学信息的机制，例如提示 [1] 和自我监督的预训练 [2]，使模型能够有效地适应新任务。在 LLM 成功之后，时间序列基础模型的开发变得更加密集。图片来自论文 https://arxiv.org/pdf/2403.14735.大型时间序列基础模型 (LTSM)随着基础模型在计算语言学领域的成功，越来越多的研究工作旨在在另一种类型的序列
3 Powerful SQL Queries To Work With Date-Time Data
使用它们进行有效的趋势分析并获得决策驱动洞察继续阅读 Towards Data Science »
Rainbow: The Colorful Evolution of Deep Q-Networks
在 JAX 中组装 DQN Megazord 所需的一切。“彩虹 Megazord”，Dall-E 32013 年，Mnih 等人引入了深度 Q 网络 (DQN)。[1] 标志着深度强化学习的首次突破，在三款 Atari 游戏中超越了人类专家玩家。多年来，DQN 的几种变体相继发布，每种变体都针对原始算法的特定弱点进行了改进。2017 年，Hessel 等人。[2]通过结合 6 种强大的变体，充分利用了 DQN 调色板，打造出所谓的 DQN Megazord：Rainbow。在本文中，我们将分解组成 Rainbow 的各个组件，同时回顾它们在 Stoix 库中的 JAX 实现。DQNRainb
Using Evaluations to Optimize a RAG pipeline: from Chunkings and Embeddings to LLMs
使用 Milvus 矢量数据库的最佳实践 RAG，第 2 部分继续阅读 Towards Data Science »
Running Local LLMs is More Useful and Easier Than You Think
使用 Python 在本地运行 Llama3 的分步指南继续阅读 Towards Data Science »
Scale Up Your RAG: A Rust-Powered Indexing Pipeline with LanceDB and Candle
为大规模文档处理构建高性能嵌入和索引系统照片由 Marc Sendra Martorell 在 Unsplash 上拍摄1. 简介最近，检索增强生成 (或简称 RAG) 已成为使用大型语言模型构建生成式 AI 应用程序的事实标准。RAG 通过确保生成模型使用适当的上下文来增强文本生成，同时避免了为同一任务微调 LLM 所涉及的时间、成本和复杂性。RAG 还允许更有效地使用外部数据源并更轻松地更新模型的“知识”。尽管基于 RAG 的 AI 应用程序通常可以使用更适中或更小的 LLM，但它们仍然依赖于嵌入和索引所需知识库的强大管道，以及能够有效地检索并将相关上下文注入模型提示。在许多用例中，可以使
GenAI with Python: LLM vs Agents
创建一个 AI 小队，无需 GPU 即可在笔记本电脑上自动执行任何操作继续阅读 Towards Data Science »
