Advanced Retrieval Techniques in a World of 2M Token Context Windows Part 1
2M Token Context Windows 世界中的高级检索技术，第 1 部分探索 RAG 技术以提高检索准确性 Google DeepMind 启动的可视化 AI 项目。来自 Unsplash 图像。首先，我们还关心 RAG（检索增强生成）吗？Gemini Pro 可以处理惊人的 2M 令牌上下文，而 GPT-3.5 发布时我们惊讶的只有 15k。这是否意味着我们不再关心检索或 RAG 系统？基于 Needle-in-a-Haystack 基准测试，答案是，虽然需求正在减少，尤其是对于 Gemini 模型，但高级检索技术仍可显着提高大多数 LLM 的性能。基准测试结果表明，长上下文模型
Neural Network (MLP) for Time Series Forecasting in Practice
特征工程和构建 MLP 模型的实用示例简介时间序列，更具体地说是时间序列预测，是专业人士和商业用户中非常著名的数据科学问题。存在几种预测方法，为了理解和更好的概述，可以将其归类为统计或机器学习方法，但事实上，对预测的需求如此之高，以至于可用的选项非常丰富。机器学习方法被认为是时间序列预测中最先进的方法，并且越来越受欢迎，因为它们能够捕捉数据中复杂的非线性关系，并且通常可以提高预测的准确性 [1]。一个流行的机器学习领域是神经网络领域。具体来说，对于时间序列分析，循环神经网络已被开发并应用于解决预测问题 [2]。数据科学爱好者可能会发现此类模型背后的复杂性令人生畏，作为你们中的一员，我可以说我也
BlazeFace: How to Run Real-time Object Detection in the Browser
训练 BlazeFace 模型的分步指南，从 Python 训练管道到 JavaScript 演示，再到模型转换。自由改编自 Unsplash 上的 visuals 的照片得益于 Ultralytics 的 YOLO 等库，如今只需几行代码即可轻松创建强大的对象检测模型。不幸的是，这些解决方案的速度还不够快，无法在任何设备上以每秒 30 帧（通常被认为是视频应用程序的实时极限）的速度在 Web 浏览器中实时视频流上运行。通常，它在普通移动设备上的运行速度低于 10 fps。Web 浏览器上最著名的实时对象检测解决方案是 Google 的 MediaPipe。这是一个非常方便且用途广泛的解决方案
从随机森林到 YOLO：比较卫星图像中云分割的不同算法。作者：Carmen Martínez-Barbosa 和 José Arturo Celis-Gil 云朵在一片开满鲜花的绿色田野上，画的是梵高的风格。图片由作者使用 DALL 创建。卫星图像彻底改变了我们的世界。借助它，人类可以实时跟踪水、空气、土地、植被的变化以及我们在全球范围内产生的足迹效应。提供此类信息的应用程序无穷无尽。例如，它们已用于评估土地使用对河流水质的影响。卫星图像还用于监测野生动物和观察城市人口的增长等。根据忧思科学家联盟 (UCS) 的数据，大约有一千颗地球观测卫星正在绕地球运行。然而，其中最著名的是 Sentine
Data Curation Practices to Minimize Bias in Medical AI
确保医疗 AI 应用的医疗保健结果公平公正 AI 训练数据中的潜在偏见来源。图片由作者创建。AI 偏见是指由于训练数据中的偏见，AI 系统对不同群体产生不平等结果时的歧视。如果不加以缓解，AI 和机器学习模型中的偏见会通过在决策算法中嵌入歧视，使历史上被边缘化的群体所面临的歧视系统化和加剧。训练数据中的问题，例如不具代表性或不平衡的数据集、数据中嵌入的历史偏见以及有缺陷的数据收集方法，会导致模型出现偏差。例如，如果贷款决策应用程序是根据历史决策进行训练的，但黑人贷款申请人在这些历史决策中受到系统性的歧视，那么该模型将在其决策中嵌入这种歧视模式。偏见也可能是在特征选择和工程阶段引入的，其中某些属
How to Succeed as a Machine Learning Engineer in the Industry
5 条帮助我在 BigTech 不断超越期望的提示您是否想过要成为一名成功的机器学习工程师需要什么？您是否很难确定自己在这个充满活力的领域中的角色？我也有过这样的经历！嗨！我是 Kartik Singhal，Meta 的高级机器学习工程师。凭借在该领域的六年经验，我仍然发现自己每天都在学习。今天，我将分享五条秘诀，这些秘诀帮助我在 BigTech 担任高级机器学习工程师期间获得了“超出预期”的评级。💻 构建基础图片作者，来自 ChatGPT 4o 您需要很好地理解机器学习基础知识，并意识到其在实际应用中的局限性。了解核心概念：掌握监督学习与无监督学习、分类与回归的基础知识，以及深度学习的基础知
Fraud Prediction with Machine Learning in the Financial Industry: A Data Scientist’s Experience
一位一线数据科学家的见解和经验照片由 Growtika 在 Unsplash 上拍摄 各位数据爱好者们，大家好！我想通过几篇文章与大家分享我 3 年开发机器学习模型来预测金融行业欺诈行为的经验。因此，如果您在欺诈检测项目中扮演项目经理、数据科学家、ML 工程师、数据工程师、Mlops 工程师、欺诈分析师或产品经理的任何角色，您可能会发现这篇文章很有帮助。在本系列的第一篇文章中，我想讨论以下几点：要解决的业务问题是什么项目的高级步骤业务问题每天，全球有数百万人使用汇款服务。这些服务帮助我们向亲人汇款，并使购物变得更容易。但欺诈者利用这些系统诱骗他人向他们汇款或接管他们的账户进行欺诈。这会伤害受害
Judge an LLM Judge: A Dual-Layer Evaluation Framework for Continuous Improvement of LLM Evaluation
“评判 LLM 评委”：用于持续改进 LLM 申请评估的双层评估框架“LLM 评委对 LLM 应用程序的评估”是否可以由另一位 LLM 评委审核，以持续改进评估过程？采用无参考方法的 LLM 应用程序评估持续改进框架 - 图片来自作者TLDR本文解释了雇用 LLM 评委评估另一位 LLM 评委的概念和低抽象实现。目的是改进 LLM 申请的评估流程，减少 LLM 评委未能做出公正评估的情况。目录介绍研究问题实验设计实施实验结果结论👉 简介❇️ 在构建 LLM 应用程序领域，如何确保一致且可靠的性能是讨论最多的主题之一。由于其不确定性，LLM 模型会在输出中产生很大的变化。因此，严格要求对 LLM
Exploring the Latest Advances in Foundation Time-series Models
快速准确地预测新数据 - 无需训练继续阅读 Towards Data Science »
A Practical Framework for Search Evaluation
通过搜索提升用户体验和业务绩效的数据驱动方法搜索评估 — 图片来自inspiring.team搜索功能强调了当今几乎每种数字资产的用户体验。无论是电子商务平台、内容丰富的网站还是内部知识库，搜索结果的质量都会决定用户的满意与否。但您如何真正知道您的搜索算法是否返回了相关结果？您如何确定它是否满足了用户需求并推动了业务目标？虽然这是一个非常重要的子应用程序，但我们实际上缺乏一种结构化的方法来评估搜索算法。这就是这个搜索算法评估框架所提供的。通过制定系统化的搜索质量评估程序，企业将能够获得有关其算法执行情况的有意义的见解，了解应在哪些方面努力推动改进，并学会衡量一段时间内的进展。在这篇文章中，我们
Exploring the Right Fit: Choosing Primary Keys for Your Database
在现实场景中导航关键选择权衡的实用示例继续阅读 Towards Data Science »
Visualizing and Integrating Complex Ideas with LLMs, Part 1: Napkin AI
了解 AI 工具如何将复杂的概念转化为清晰、实用的框架和图表图片由作者提供，使用 Napkin AI 制作简介Chat GPT 等 AI 工具正在改变我们处理复杂想法的方式。我喜欢使用 Chat GPT 做的事情之一是整合不同思想家的观点和想法，并区分它们以更好地理解它们的细微差别。这无疑是我最喜欢的 AI 应用之一。图片由作者提供，使用 Napkin AI 制作动机Napkin AI 引起了我的注意，因为它可以根据文本输入自动生成有趣的图表，使其高度灵活且易于使用。我一直在寻找好的概念图和知识图软件，这似乎是一个不错的起点。图片由作者提供，使用 Napkin AI 制作目标这篇文章是系列文章
MOE & MOA for Large Language Models
向专家小组寻求建议图片由作者提供（AI 生成 leonardo.ai）大型语言模型 (LLM) 无疑席卷了科技行业。它们的迅速崛起得益于来自维基百科、网页、书籍、大量研究论文以及我们喜爱的社交媒体平台的用户内容的大量数据。数据和计算密集型模型一直在狂热地整合来自音频和视频库的多模态数据，并且数月来一直在使用数万个 Nvidia GPU 来训练最先进的 (SOTA) 模型。所有这些都让我们怀疑这种指数级增长是否能持续下去。这些 LLM 面临的挑战很多，但让我们在这里探讨一些。成本和可扩展性：较大的模型可能需要花费数千万美元来训练和服务，成为日常应用程序采用的障碍。 （参见 GPT-4 的训练成本
Pitching (AI) Innovation in Your Company
在当前工作中开启 AI 之旅的关键步骤图片来自 KindelMedia，在 Pexels 我多次听说数据科学家因公司内部缺乏酷炫项目而感到沮丧。说服业务利益相关者和管理层启动 AI 项目可能具有挑战性。虽然数据科学家通常没有责任去思考和提出需要优先考虑的项目，但我已经看到数据科学家与数据经理和产品经理一起如何影响路线图并帮助引入更具创新性和影响力的项目。在这篇博文中，我将分享一些我见过的成功影响团队或公司文化的步骤和策略，以引入更具创新性的 ML 或基于 AI 的项目。请注意，这不是一天发生的事情，而是一段旅程，在此期间，您的知识和动力可以帮助公司中的其他人跳出思维定势，看到 ML 和 AI
快速启动和运行的概述，避免混淆照片由 Pao Dayag 在 Unsplash 上拍摄我们时不时都会考虑是否要尝试新的工具或尝试一个包，而这其中存在一些风险。如果该工具无法满足我的需求，或者需要几天时间才能运行，或者需要我没有的复杂知识，该怎么办？今天，我将分享我自己使用 PyTorch Tabular 启动和运行模型的经验的简单回顾，并提供代码示例，这些示例应该可以帮助其他考虑使用它的用户以最少的麻烦快速上手。这个项目始于一个相当高维的 CatBoost 模型，这是一个具有多类分类结果的监督学习用例。数据集有大约 30 个高度不平衡的类，我将在以后的文章中更详细地描述它们。我想尝试将神经网络
The Math Behind Multi-Head Attention in Transformers
深入探究 Transformer 和 LLM 中的秘密元素多头注意力。让我们探索它的数学原理，并从头开始用 Python 构建它DALL-E 生成的图像1：简介1.1：Transformer 概述Vaswani 等人在其论文“Attention is All You Need”中介绍的 Transformer 架构已经改变了深度学习，尤其是在自然语言处理 (NLP) 领域。Transformer 使用自注意力机制，使它们能够一次性处理所有输入序列。这种并行处理允许更快地计算并更好地管理数据中的长距离依赖关系。这听起来不熟悉？别担心，因为它会在本文的末尾出现。让我们首先简单看一下 Transfo
