An introduction to preparing your own dataset for LLM training
在这篇博文中，我们介绍了如何为 LLM 训练准备自己的数据集。无论您的目标是针对特定任务微调预训练模型，还是继续针对特定领域的应用程序进行预训练，拥有精心策划的数据集对于实现最佳性能都至关重要。
Accelerating LLM Inference on NVIDIA GPUs with ReDrafter
加速 LLM 推理是一个重要的 ML 研究问题，因为自回归 token 生成计算成本高且相对较慢，而提高推理效率可以减少用户的延迟。除了持续努力加速 Apple 芯片上的推理之外，我们最近在加速 NVIDIA GPU 的 LLM 推理方面取得了重大进展，该 GPU 广泛用于整个行业的生产应用程序。今年早些时候，我们发布并开源了 Recurrent Drafter (ReDrafter)，这是一种新颖的推测解码方法，达到了最先进的水平……
Agent Memory in AI: How Persistent Memory Could Redefine LLM Applications
人工智能 (AI) 从根本上改变了我们的生活、工作和交流方式。大型语言模型 (LLM)，例如 GPT-4、BERT、Llama 等，在对话式人工智能方面取得了显着进步，提供了快速且类似人类的响应。然而，这些系统受到一个关键缺点的限制，无法在单个会话之外保留上下文。一旦交互 […]The post Agent Memory in AI: How Persistent Memory Could Redefine LLM Applications appeared first on Unite.AI.
The Best Inference APIs for Open LLMs to Enhance Your AI App
想象一下：您已经构建了一个具有绝妙想法的 AI 应用程序，但它很难实现，因为运行大型语言模型 (LLM) 感觉就像试图用卡带播放器举办音乐会。潜力是有的，但性能呢？缺乏。这就是开放式 LLM 推理 API 的用武之地。这些服务是 […] 文章《用于增强您的 AI 应用程序的开放式 LLM 最佳推理 API》首先出现在 Unite.AI 上。
How to Install and Run LLMs Locally on Android Phones
了解如何将 AI 的强大功能带到您的 Android 手机上 — 无需云、无需互联网，只需纯粹的设备智能！
How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts
多模态大型语言模型 (MLLM) 的显著进步并未使它们免受挑战，特别是在处理提示中的欺骗性信息的情况下，因此在这种情况下会产生幻觉反应。为了定量评估这种脆弱性，我们提出了 MAD-Bench，这是一个精心策划的基准，包含 1000 个测试样本，分为 5 个类别，例如不存在的对象、对象计数和空间关系。我们对流行的 MLLM 进行了全面分析，从 GPT-4v、Reka、Gemini-Pro 到开源模型……
What is a Multi Model LLM Strategy?: Build an AI Ready Workforce
随着对大型语言模型 (LLM) 在您的业务中的使用的进一步了解，可以发现许多有效的用法。在这个使用仍存在很大争议的阶段，人们仍在寻找有效的方法来建立您的 AI 就绪劳动力。我们将通过此博客考虑一种方法 […] 什么是多模型 LLM 策略？：建立 AI 就绪劳动力 首次出现在 Weam - AI For Digital Agency 上。
今天在 AWS re:Invent 2024 上，我们很高兴地宣布 Amazon SageMaker Inference 中的一项新功能，它显著减少了使用 LMI 部署和扩展 LLM 进行推理所需的时间：Fast Model Loader。在这篇文章中，我们深入探讨了 Fast Model Loader 的技术细节，探索了它与现有 SageMaker 工作流程的集成，讨论了如何开始使用这项强大的新功能，并分享了客户成功案例。
在本文中，我们提供了在 LLM 部署中实施 Fast Model Loader 的详细实践指南。我们探讨了两种方法：使用 SageMaker Python SDK 进行编程实现，以及使用 Amazon SageMaker Studio UI 获得更直观、更具交互性的体验。无论您是喜欢使用代码的开发人员还是喜欢图形界面的人，您都将学习如何利用这一强大功能来加速您的 LLM 部署。
Towards Time-Series Reasoning with LLMs
多模态大型语言模型 (MLLM) 已在视觉等领域的理解和推理方面取得了许多进展，但我们尚未看到时间序列取得如此广泛的成功。尽管之前对时间序列 MLLM 的研究在时间序列预测中表现出色，但很少有研究展示 LLM 如何用于自然语言的时间序列推理。我们提出了一种新颖的多模态时间序列 LLM 方法，该方法可以学习跨各个领域的可推广信息，并具有强大的零样本性能。首先，我们在… 之上训练一个轻量级时间序列编码器
Search enterprise data assets using LLMs backed by knowledge graphs
在本文中，我们将介绍一种生成式 AI 驱动的语义搜索解决方案，使业务用户能够快速准确地在各种企业数据源中找到相关数据资产。在此解决方案中，我们集成了托管在 Amazon Bedrock 上的大型语言模型 (LLM)，这些模型由基于 Amazon Neptune 构建的知识图谱派生的知识库提供支持，以创建强大的搜索范例，使基于自然语言的问题能够集成对存储在 Amazon Simple Storage Service (Amazon S3) 中的文档、托管在 AWS Glue 数据目录中的数据湖表以及 Amazon DataZone 中的企业资产的搜索。
Deploy Meta Llama 3.1-8B on AWS Inferentia using Amazon EKS and vLLM
在本文中，我们将介绍使用 Amazon EKS 在 Inferentia 2 实例上部署 Meta Llama 3.1-8B 模型的步骤。此解决方案将 Inferentia 2 芯片的卓越性能和成本效益与 Amazon EKS 的强大和灵活的环境相结合。Inferentia 2 芯片提供高吞吐量和低延迟推理，非常适合 LLM。
Serving LLMs using vLLM and Amazon EC2 instances with AWS AI chips
在过去一年中，大型语言模型 (LLM) 和生成式 AI 的使用呈爆炸式增长。随着强大的公开基础模型的发布，用于训练、微调和托管您自己的 LLM 的工具也变得民主化。在 AWS Trainium 和 Inferentia 上使用 vLLM 可以托管 LLM 以实现高性能 [...]
在本博文中，SophosAI 分享了使用 Amazon Bedrock 和 Amazon SageMaker 使用和评估开箱即用的 LLM 来提高安全运营中心 (SOC) 生产力的见解。我们使用 Amazon Bedrock 上的 Anthropic 的 Claude 3 Sonnet 来说明用例。
Design Patterns in Python for AI and LLM Engineers: A Practical Guide
作为 AI 工程师，编写干净、高效且可维护的代码至关重要，尤其是在构建复杂系统时。设计模式是软件设计中常见问题的可重复使用的解决方案。对于 AI 和大型语言模型 (LLM) 工程师，设计模式有助于构建强大、可扩展且可维护的系统，以高效处理复杂的工作流。本文深入探讨了设计模式 […]文章《面向 AI 和 LLM 工程师的 Python 设计模式：实用指南》首先出现在 Unite.AI 上。
John Snow Labs Medical LLMs are now available in Amazon SageMaker JumpStart
今天，我们很高兴地宣布，John Snow Labs 的医学 LLM – 小型和医学 LLM – 中大型语言模型 (LLM) 现已在 Amazon SageMaker Jumpstart 上推出。对于医生来说，此工具可以快速了解患者的医疗历程，帮助他们从大量文档中及时做出明智的决策。这种总结能力不仅可以提高效率，还可以确保不会忽略任何关键细节，从而支持最佳患者护理并改善医疗保健结果。
How to automate Accounts Payable using LLM-Powered Multi Agent Systems
了解 LLM 驱动的多代理系统如何改变应付账款自动化。了解它们的功能、优势和实际应用，并了解 AI 如何彻底改变财务工作流程。
