走向数据科学领域信息情报检索

在数据科学领域分享概念、思想和代码。Towards Data Science Inc.是一家在加拿大注册的公司。它为成千上万的人提供了一个交流思想、扩展对数据科学理解的平台。

使用 Python 的 GenAI:编码代理

GenAI with Python: Coding Agents

构建一个数据科学家 AI,可以使用 SQL 查询数据库、使用 Python 分析数据、使用 HTML 编写报告以及执行机器学习(无需 GPU……继续阅读 Towards Data Science »

引入语义标签过滤:通过标签相似性增强检索

Introducing Semantic Tag Filtering: Enhancing Retrieval with Tag Similarity

语义标签过滤如何使用语义相似性来改进标签过滤***要理解本文,需要了解 Jaccard 相似性和向量搜索。该算法的实现已在 GitHub 上发布,并且完全开源。多年来,我们已经发现了如何从不同模态中检索信息,例如数字、原始文本、图像以及标签。随着定制 UI 的日益普及,标签搜索系统已成为一种方便的方式,可以轻松过滤具有良好准确度的信息。通常使用标签搜索的一些情况是检索社交媒体帖子、文章、游戏、电影甚至简历。然而,传统的标签搜索缺乏灵活性。如果我们要过滤掉包含指定标签的样本,可能会出现这样的情况:特别是对于只包含几千个样本的数据库,可能没有任何(或只有几个)与我们的查询匹配的样本。在结果稀缺的情

半监督学习有助于训练更好的模型吗?

Does Semi-Supervised Learning Help to Train Better Models?

评估半监督学习如何利用未标记数据作者提供的图片 — 使用 Bing 中的 Image Creator 创建数据科学家面临的最常见挑战之一是缺乏足够的标记数据来训练可靠且准确的模型。标记数据对于监督学习任务(例如分类或回归)至关重要。但是,在许多领域,获取标记数据可能成本高昂、耗时或不切实际。另一方面,未标记数据通常很容易收集,但它们不提供任何直接输入来训练模型。我们如何利用未标记数据来改进我们的监督学习模型?这就是半监督学习发挥作用的地方。半监督学习是机器学习的一个分支,它结合标记和未标记数据来训练一个比单独使用标记数据表现更好的模型。半监督学习背后的直觉是,未标记的数据可以提供有关数据底层结

在 RAG 中对幻觉检测方法进行基准测试

Benchmarking Hallucination Detection Methods in RAG

评估增强 LLM 生成响应可靠性的方法。未经检查的幻觉仍然是当今检索增强生成应用中的一个大问题。本研究评估了 4 个公共 RAG 数据集中流行的幻觉检测器。使用 AUROC 和精确度/召回率,我们报告了 G-eval、Ragas 和可信语言模型等方法自动标记不正确的 LLM 响应的能力。使用各种幻觉检测方法识别 RAG 系统中的 LLM 错误。我目前在 Cleanlab 担任机器学习工程师,我为本文讨论的可信语言模型的开发做出了贡献。我很高兴介绍这种方法并在以下基准测试中与其他方法一起对其进行评估。问题:RAG 系统中的幻觉和错误众所周知,当被问到训练数据中没有很好支持的问题时,大型语言模型

面向 AI 学习者的 Python 快速入门

Python QuickStart for People Learning AI

适合初学者的指南 Python 已成为 AI 和数据科学事实上的编程语言。尽管存在无代码解决方案,但学习如何编码对于构建完全自定义的 AI 项目或产品仍然至关重要。在本文中,我分享了一份使用 Python 进行 AI 开发的初学者快速入门指南。我将介绍基础知识,然后分享一个带有代码的具体示例。图片来自 Canva。Python 是一种编程语言,即一种向计算机发出精确指令来做我们不能或不想做的事情的方法 [1]。这在没有现成解决方案的情况下自动执行独特任务时非常方便。例如,如果我想自动编写和发送个性化的会议跟进,我可以编写一个 Python 脚本来执行此操作。有了 ChatGPT 这样的工具,很

Python 中混淆矩阵的热图

Heatmap for Confusion Matrix in Python

一张图片胜过千言万语。继续阅读 Towards Data Science »

黄金的价格:奥运会的成功是否只属于富人?

The Price of Gold: Is Olympic Success Reserved for the Wealthy?

分析 30 年奥运会奖牌分布和国家财富指标继续阅读 Towards Data Science »

使用 Python 实现粒子群优化从理论到实践

From Theory to Practice with Particle Swarm Optimization, Using Python

以下是关于什么是 PSO 以及如何使用它的教程继续阅读 Towards Data Science »

永远学习:为什么 AI 难以适应新挑战

Forever Learning: Why AI Struggles with Adapting to New Challenges

了解深度学习的局限性和对真正持续适应的追求继续阅读 Towards Data Science »

使用 ClassificationThresholdTuner 实现更好的分类结果

Achieve Better Classification Results with ClassificationThresholdTuner

用于调整和可视化二分类和多分类问题阈值选择的 Python 工具调整分类问题中使用的阈值(即调整用于决定预测一个类别还是另一个类别的概率的截止值)是一个有时会被遗忘的步骤,但很容易做到并且可以显著提高模型的质量。这是大多数分类问题都应该执行的步骤(根据我们希望优化的内容,有一些例外,如下所述)。在本文中,我们将仔细研究执行此操作时实际发生的情况 — 特别是在多分类中,这可能会有点微妙。我们将介绍我自己编写的开源工具 ClassificationThesholdTuner,它可以自动化并向用户描述该过程。考虑到调整阈值的任务在分类问题中是多么常见,以及不同项目之间的过程通常有多么相似,我已经能够

为什么比率在商业健康中胜过原始数字

Why Ratios Trump Raw Numbers in Business Health

了解比率是深入了解业务健康状况和推动更明智决策的关键继续阅读 Towards Data Science »

现实世界用例:使用 Tabnet 和 Optuna 预测服务利用率

Real world Use Cases: Forecasting Service Utilization Using Tabnet and Optuna

Dall-e 生成的图像数据科学在现实世界中发挥着最佳作用。我打算分享我参与过的各种生产化项目的见解。在我担任数据科学家的这些年里,我遇到了很多有兴趣成为数据科学家的学生,或者刚刚毕业的刚起步的学生。像任何领域一样,开始数据科学的职业生涯需要陡峭的学习曲线。我经常被问到的一个非常好的问题是:我已经学到了很多关于数据科学的理论方面,但现实世界的例子是什么样的?我想分享一些我职业生涯中一直在从事的不同项目的小作品。即使有些作品可能已经是几年前的了,我只会写一些我仍然认为相关的主题。我会尽量保持总体情况的清晰和简洁,以便有抱负的新同事能够了解接下来可能发生的事情。但我也想停下来研究一下细节,我希望更

LangGraph — 直观且详尽的解释

LangGraph — Intuitively and Exhaustively Explained

在约束内构建强大的 LLM 代理继续阅读 Towards Data Science »

ML 模型中的因果关系:引入单调约束

Causality in ML Models: Introducing Monotonic Constraints

单调约束是使机器学习模型可操作的关键,但它们仍然未被广泛使用继续阅读 Towards Data Science »

强化学习简介和解决多臂老虎机问题

Introduction to Reinforcement Learning and Solving the Multi-armed Bandit Problem

剖析 Richard S. Sutton 的“强化学习”与自定义 Python 实现,第一集继续阅读 Towards Data Science »

空间索引:R 树

Spatial Index: R Trees

空间索引的数据驱动结构继续阅读 Towards Data Science »

最短路径算法:如何使用数据进行导航和优化

Shortest Path Algorithms: How to Use Data to Navigate and Optimize

Dijkstra 算法和 Bellman-Ford 算法概述继续阅读 Towards Data Science »

生成式 AI 会导致 AI 崩溃吗?

Can Generative AI Lead to AI Collapse?

AI 自食其果:生成系统中模型崩溃的风险继续阅读 Towards Data Science »