走向数据科学领域信息情报检索

在数据科学领域分享概念、思想和代码。Towards Data Science Inc.是一家在加拿大注册的公司。它为成千上万的人提供了一个交流思想、扩展对数据科学理解的平台。

如何使用 RAG 为 Gmail 创建强大的 AI 电子邮件搜索

How to Create a Powerful AI Email Search for Gmail with RAG

了解如何使用 RAG 开发应用程序来搜索电子邮件继续阅读 Towards Data Science »

XPER:揭示预测性能的驱动力

XPER: Unveiling the Driving Forces of Predictive Performance

一种分解您最喜欢的性能指标的新方法照片由 Sira Anamwong 在 123RF 上拍摄与 S. Hué、C. Hurlin 和 C. Pérignon 合著。I - 从解释模型预测到解释模型性能敏感 AI 系统的可信度和可接受性在很大程度上取决于用户理解相关模型或至少是其预测的能力。为了揭开不透明 AI 应用的面纱,可解释 AI (XAI) 方法(例如事后可解释性工具(例如 SHAP、LIME))如今被广泛使用,并且从其输出中产生的见解现在已被广泛理解。除了单个预测之外,我们在本文中展示了如何使用可解释性能 (XPER) 方法识别任何分类或回归模型的性能指标(例如 AUC、R2)的驱动因

关心还是不关心:使用 XmR 图表区分指标中的信号和噪声

To Care, or Not to Care: Using XmR Charts to Differentiate Signals from Noise in Metrics

创建和解释 XmR 图表以进行有效数据分析的分步指南继续阅读 Towards Data Science »

微型神经网络如何表示基本函数

How Tiny Neural Networks Represent Basic Functions

通过简单的算法示例对机械可解释性进行简单介绍简介本文展示了小型人工神经网络 (NN) 如何表示基本功能。目标是提供有关 NN 工作原理的基本直觉,并作为机械可解释性的简单介绍——该领域旨在对 NN 进行逆向工程。我提供了三个基本函数的示例,使用简单的算法描述了每个函数,并展示了如何将算法“编码”到神经网络的权重中。然后,我探索网络是否可以使用反向传播来学习算法。我鼓励读者将每个示例视为一个谜语,并在阅读解决方案之前花一点时间。机器学习拓扑本文尝试将 NN 分解为离散操作并将其描述为算法。另一种方法可能更常见、更自然,即研究不同层中线性变换的连续拓扑解释。以下是一些有助于增强拓扑直觉的优秀资源:

NumPy 简介,第 1 部分:了解数组

Introducing NumPy, Part 1: Understanding Arrays

创建、描述和访问属性继续阅读 Towards Data Science »

分析表格数据集所需的只是统计数据

All You Need Is Statistics to Analyze Tabular Datasets

要分析表格数据集,无需深度学习或大型语言模型继续阅读 Towards Data Science »

AI 代理可以在应用程序上完成您的日常任务吗?

Can AI Agents Do Your Day-to-Day Tasks on Apps?

在应用程序和人的世界中对编码代理进行基准测试想象这样一个世界,其中 AI 代理可以充当您的个人助理,为您完成任务,例如设置亚马逊退货或根据您的电子邮件取消会议。这将需要代理在复杂的工作流程中以交互方式操作您的应用程序,并且实际上还没有很好的方法来对此类代理进行基准测试。直到现在。🤖 1. 个人应用程序的编码代理随着底层 AI 模型的改进,AI 助手(例如,我们手机上的助手)正在不断改进。几年前,他们很难正确回答简单的事实问题。今天,他们已经开始达到可以代表我们操作应用程序来执行基本任务的程度。例如,最近的 GoogleIO 和 Apple WWDC 活动大部分都是关于 AI 助手成为代表我们工

线性规划优化:单纯形法

Linear Programming Optimization: The Simplex Method

第 3 部分:底层算法继续阅读 Towards Data Science »

教 AI 代理记住的关键见解

Key Insights for Teaching AI Agents to Remember

根据对 Autogen 的“可教代理”的实验,提出构建强大记忆能力的建议记忆无疑正在成为 Agentic AI 的一个重要方面。随着 AI 代理用例的复杂性不断增加,这些代理从过去的经验中学习、利用存储的业务特定知识以及根据累积信息适应不断变化的场景的需求也在不断增加。在我之前的文章“AI 中的记忆:主要优势和投资考虑因素”中,我探讨了记忆对 AI 至关重要的原因,讨论了其在回忆、推理和持续学习中的作用。然而,这篇文章将直接深入研究记忆的实现,通过流行的代理框架 Autogen 中的“可教性”功能来检查其影响。注意:虽然这篇文章本质上是技术性的,但它为希望评估记忆在 Agentic AI 系统

多重共线性是否会破坏营销组合建模中的因果推断?

Is Multi-Collinearity Destroying Your Causal Inferences In Marketing Mix Modelling?

因果 AI,探索因果推理与机器学习的整合照片由 NOAA 在 Unsplash 上拍摄本系列是关于什么的?欢迎来到我的因果 AI 系列,我们将探索因果推理与机器学习模型的整合。期望探索不同业务环境中的许多实际应用。在上一篇文章中,我们介绍了使用 CUPED 和双重机器学习为实验提供动力。今天,我们将重点转移到了解多重共线性如何损害您做出的因果推断,特别是在营销组合建模中。如果您错过了上一篇关于使用 CUPED 和双重机器学习为实验提供动力的文章,请在此处查看:使用 CUPED 和双重机器学习为实验提供动力简介在本文中,我们将探讨多重共线性的破坏性,并评估我们可以用来解决它的一些方法。将涵盖以下

家庭数据科学:使用蒙特卡洛和遗传算法解决保姆时间表难题

Data Science at Home: Solving the Nanny Schedule Puzzle with Monte Carlo and Genetic Algorithms

让混乱变得有序,同时简化我们寻找完美保姆的过程作为数据科学领导者,我习惯于拥有一支能够将混乱变为清晰的团队。但是,当混乱是你自己家庭的保姆时间表时,即使是最好的计划也会出错。一想到工作会议、午睡时间和不可预测的轮班,我们的思绪就会陷入混乱——直到我意识到我可以使用解决业务问题的相同算法来解决非常个人的问题。借助蒙特卡罗模拟、遗传算法和一些父母的聪明才智,我开始了一场驯服我们疯狂时间表的旅程,每次调整一个算法。结果如何?好吧,我们只能说我们保姆的新时间表看起来非常合适。照片由 Markus Spiske 在 Unsplash 上拍摄设置舞台:伟大的时间表难题我们的家庭时间表看起来就像瓷器店里的公

使用 Python 的 GenAI:编码代理

GenAI with Python: Coding Agents

构建一个数据科学家 AI,可以使用 SQL 查询数据库、使用 Python 分析数据、使用 HTML 编写报告以及执行机器学习(无需 GPU……继续阅读 Towards Data Science »

引入语义标签过滤:通过标签相似性增强检索

Introducing Semantic Tag Filtering: Enhancing Retrieval with Tag Similarity

语义标签过滤如何使用语义相似性来改进标签过滤***要理解本文,需要了解 Jaccard 相似性和向量搜索。该算法的实现已在 GitHub 上发布,并且完全开源。多年来,我们已经发现了如何从不同模态中检索信息,例如数字、原始文本、图像以及标签。随着定制 UI 的日益普及,标签搜索系统已成为一种方便的方式,可以轻松过滤具有良好准确度的信息。通常使用标签搜索的一些情况是检索社交媒体帖子、文章、游戏、电影甚至简历。然而,传统的标签搜索缺乏灵活性。如果我们要过滤掉包含指定标签的样本,可能会出现这样的情况:特别是对于只包含几千个样本的数据库,可能没有任何(或只有几个)与我们的查询匹配的样本。在结果稀缺的情

超优化 AI 工作流的 5 个支柱

5 Pillars for a Hyper-Optimized AI Workflow

介绍一种用于创建可用于生产、可扩展且高度优化的 AI 工作流的方法 来源:Google Gemini,作者提示 简介 在过去十年中,在我从事的每个项目中,我都带着一个深刻的问题:我该如何构建和开发我的 AI 和 ML 项目?我想知道——是否有一种优雅的方法可以以迭代方式构建可用于生产的代码?可扩展、优化、可维护和可复制的代码库?如果有——这个秘密在哪里?谁拥有这种黑暗艺术的知识?多年来,我一直在努力寻找答案——阅读文章、观看教程并尝试不同的方法和框架。但我找不到令人满意的答案。每次我以为我快要找到解决方案时,总觉得还缺少一些东西。经过大约 10 年的反复试验,加上过去两年的专注努力,我想我终于

半监督学习有助于训练更好的模型吗?

Does Semi-Supervised Learning Help to Train Better Models?

评估半监督学习如何利用未标记数据作者提供的图片 — 使用 Bing 中的 Image Creator 创建数据科学家面临的最常见挑战之一是缺乏足够的标记数据来训练可靠且准确的模型。标记数据对于监督学习任务(例如分类或回归)至关重要。但是,在许多领域,获取标记数据可能成本高昂、耗时或不切实际。另一方面,未标记数据通常很容易收集,但它们不提供任何直接输入来训练模型。我们如何利用未标记数据来改进我们的监督学习模型?这就是半监督学习发挥作用的地方。半监督学习是机器学习的一个分支,它结合标记和未标记数据来训练一个比单独使用标记数据表现更好的模型。半监督学习背后的直觉是,未标记的数据可以提供有关数据底层结

在 RAG 中对幻觉检测方法进行基准测试

Benchmarking Hallucination Detection Methods in RAG

评估增强 LLM 生成响应可靠性的方法。未经检查的幻觉仍然是当今检索增强生成应用中的一个大问题。本研究评估了 4 个公共 RAG 数据集中流行的幻觉检测器。使用 AUROC 和精确度/召回率,我们报告了 G-eval、Ragas 和可信语言模型等方法自动标记不正确的 LLM 响应的能力。使用各种幻觉检测方法识别 RAG 系统中的 LLM 错误。我目前在 Cleanlab 担任机器学习工程师,我为本文讨论的可信语言模型的开发做出了贡献。我很高兴介绍这种方法并在以下基准测试中与其他方法一起对其进行评估。问题:RAG 系统中的幻觉和错误众所周知,当被问到训练数据中没有很好支持的问题时,大型语言模型

面向 AI 学习者的 Python 快速入门

Python QuickStart for People Learning AI

适合初学者的指南 Python 已成为 AI 和数据科学事实上的编程语言。尽管存在无代码解决方案,但学习如何编码对于构建完全自定义的 AI 项目或产品仍然至关重要。在本文中,我分享了一份使用 Python 进行 AI 开发的初学者快速入门指南。我将介绍基础知识,然后分享一个带有代码的具体示例。图片来自 Canva。Python 是一种编程语言,即一种向计算机发出精确指令来做我们不能或不想做的事情的方法 [1]。这在没有现成解决方案的情况下自动执行独特任务时非常方便。例如,如果我想自动编写和发送个性化的会议跟进,我可以编写一个 Python 脚本来执行此操作。有了 ChatGPT 这样的工具,很

JavaScript 中 Async / Await 的直观解释

Intuitive Explanation of Async / Await in JavaScript

设计异步管道以实现高效的数据处理注。本文假设您熟悉回调和承诺,并对 JavaScript 中的异步范式有基本的了解。简介异步机制是 JavaScript 和一般编程中最重要的概念之一。它允许程序在后台单独执行次要任务,而不会阻止当前线程执行主要任务。当次要任务完成后,将返回其结果,程序继续正常运行。在这种情况下,此类次要任务称为异步。异步任务通常包括向外部环境(如数据库、Web API 或操作系统)发出请求。如果异步操作的结果不影响主程序的逻辑,那么与其在任务完成之前等待,不如不要浪费这段时间并继续执行主要任务。然而,有时异步操作的结果会立即用于下一行代码。在这种情况下,后续代码行不应在异步操