Deploy Meta Llama 3.1-8B on AWS Inferentia using Amazon EKS and vLLM
在本文中，我们将介绍使用 Amazon EKS 在 Inferentia 2 实例上部署 Meta Llama 3.1-8B 模型的步骤。此解决方案将 Inferentia 2 芯片的卓越性能和成本效益与 Amazon EKS 的强大和灵活的环境相结合。Inferentia 2 芯片提供高吞吐量和低延迟推理，非常适合 LLM。
我们很高兴地宣布，Meta Llama 3.1 8B 和 70B 推理支持已在 Amazon SageMaker JumpStart 中的 AWS Trainium 和 AWS Inferentia 实例上推出。 Trainium 和 Inferentia 由 AWS Neuron 软件开发工具包 (SDK) 提供支持，可提供高性能并将 Meta Llama 3.1 的部署成本降低高达 50%。在这篇文章中，我们演示了如何在 SageMaker JumpStart 中的 Trainium 和 Inferentia 实例上部署 Meta Llama 3.1。
LangChain vs LlamaIndex: Choosing the Right Framework for Your LLM Application
简介：大型语言模型 (LLM) 现在已广泛用于基于聊天机器人的基本用途，但将它们集成到更复杂的应用程序中可能很困难。幸运的是，对于开发人员来说，有一些工具可以简化 LLM 与应用程序的集成，其中最突出的两个是 LangChain 和 LlamaIndex。这两个
在本文中，我们将演示如何使用 Amazon SageMaker JumpStart 针对特定领域的应用程序微调 Meta 最新的 Llama 3.2 文本生成模型 Llama 3.2 1B 和 3B。通过使用 SageMaker JumpStart 中提供的预构建解决方案和可定制的 Meta Llama 3.2 模型，您可以解锁模型增强的推理、代码生成和指令遵循功能，以根据您的独特用例进行定制。
От гражданского ИИ к военному: Meta превращает Llama в инструмент нацбезопасности
中国已将人工智能应用于军事任务 - 该公司正在采取新措施进行应对。
On Device Llama 3.1 with Core ML
许多应用程序开发人员都对在集成功能日益强大的大型语言模型 (LLM) 的设备体验上进行构建感兴趣。在 Apple 芯片上本地运行这些模型使开发人员能够利用用户设备的功能进行经济高效的推理，而无需向第三方服务器发送数据和从第三方服务器接收数据，这也有助于保护用户隐私。为了做到这一点，必须仔细优化模型以有效利用可用的系统资源，因为 LLM 通常对内存和处理能力都有很高的要求。这篇技术文章详细介绍了如何……
Discover What Every Neuron in the Llama Model Does
Transluce 的新工具正在改变 AI 透明度的游戏规则——一个测试用例和一些值得思考的内容作者提供的图片——正在使用新工具！Transluce 是一家新成立的非营利研究实验室，肩负着鼓舞人心的使命，刚刚发布（23.10.24）一款引人入胜的工具，可深入了解 LLM 中的神经元行为。或者用他们自己的话说：当 AI 系统表现异常时，我们希望了解解释行为发生原因的“思维过程”。这使我们能够预测和修复 AI 模型的问题，发现隐藏的知识，并发现习得的偏见和虚假相关性。为了完成他们的使命，他们推出了一个可观察性界面，您可以在其中输入自己的提示，接收响应并查看哪些神经元被激活。然后，您可以探索激活的神
Fine-tuning Llama 3.2 Using Unsloth
Unsloth 是一个用户友好的框架，为大型语言模型提供快速推理和微调。 它还支持以多种格式保存模型，包括 vLLM 和 GGUF。
Automate fine-tuning of Llama 3.x models with the new visual designer for Amazon SageMaker Pipelines
在这篇文章中，我们将向您展示如何设置自动化的 LLM 自定义（微调）工作流程，以便 Meta 的 Llama 3.x 模型可以为金融应用程序提供高质量的 SEC 文件摘要。微调允许您配置 LLM 以在特定于域的任务上实现更好的性能。
Deploying Your Llama Model via vLLM using SageMaker Endpoint
利用 AWS 的 MLOps 平台为您的 LLM 模型提供服务继续阅读 Towards Data Science »
How I Streamline My Research and Presentation with LlamaIndex Workflows
以可靠性、灵活性和可控性协调 AI 工作流的示例LlamaIndex 最近推出了一项新功能：工作流。它对于那些想要创建既可靠又灵活的 AI 解决方案的人来说非常有用。为什么？因为它允许您使用控制流定义自定义步骤。它支持循环、反馈和错误处理。它就像一个支持 AI 的管道。但与通常以有向无环图 (DAG) 形式实现的典型管道不同，工作流还支持循环执行，使其成为实现代理和其他更复杂过程的良好候选。介绍工作流测试版：使用 LlamaIndex 创建复杂 AI 应用程序的新方法 - LlamaIndex，LLM 应用程序的数据框架在本文中，我将展示如何使用 LlamaIndex 工作流简化我研究某个主题
在本文中，我们将向您展示如何通过使用直接偏好优化 (DPO) 对使用 SageMaker Ground Truth 收集的数据进行微调来提高 Meta Llama 3 8B Instruct 的性能。
Fine-tune Llama 3 for text generation on Amazon SageMaker JumpStart
在本文中，我们将演示如何使用 Amazon SageMaker JumpStart 对 Meta 中最近发布的 Llama 3 模型（特别是 llama-3-8b 和 llama-3-70b 变体）进行微调。
Build powerful RAG pipelines with LlamaIndex and Amazon Bedrock
在这篇文章中，我们向您展示了如何将 LlamaIndex 与 Amazon Bedrock 结合使用，以构建强大而复杂的 RAG 管道，从而充分发挥 LLM 在知识密集型任务中的潜力。
Best practices for prompt engineering with Meta Llama 3 for Text-to-SQL use cases
在本文中，我们将探索一种解决方案，该解决方案使用向量引擎 ChromaDB 和 Meta Llama 3（托管在 SageMaker JumpStart 上的公开基础模型）来实现文本到 SQL 用例。我们分享了 Meta Llama 3 的简要历史、使用 Meta Llama 3 模型进行快速工程的最佳实践，以及使用少样本提示和 RAG 提取存储在 ChromaDB 中的相关模式的架构模式。
Clarifai 10.7: Your Data, Your AI: Fine-Tune Llama 3.1
使用 Clarifai 平台中的最新训练模板针对您的用例对 Llama 3.1 进行微调。新模型：Llama 3.1 8B Instruct、GPT-4 o mini。
