How to Fine-Tune DistilBERT for Emotion Classification
客户支持团队在我工作的每家公司的客户询问中淹没了大量的客户查询。您有类似的经历吗？如果我告诉您您可以使用AI自动识别，分类甚至解决最常见的问题怎么办？通过微调诸如Bert之类的变压器模型，您可以构建[…]如何微调Distilbert进行情感分类的帖子首先出现在数据科学上。
Fine-tune LLMs with synthetic data for context-based Q&A using Amazon Bedrock
在本文中，我们将探讨如何使用 Amazon Bedrock 生成合成训练数据来微调 LLM。此外，我们还提供了具体的评估结果，展示了合成数据在数据稀缺时进行微调的强大功能。
What is RAFT? RAG + Fine-Tuning
简单来说，检索增强微调 (RAFT) 是一种先进的 AI 技术，其中检索增强生成与微调相结合，以增强大型语言模型针对特定领域特定应用的生成响应。它允许大型语言模型提供更准确、上下文相关且稳健的结果，尤其是针对目标行业 […]
Fine-tune and host SDXL models cost-effectively with AWS Inferentia2
随着技术的不断发展，新的模型不断涌现，提供更高的质量、更大的灵活性和更快的图像生成功能。StabilityAI 发布的 Stable Diffusion XL (SDXL) 就是这样一种突破性的模型，它将文本到图像的生成 AI 技术推向了前所未有的高度。在这篇文章中，我们演示了如何使用 SageMaker Studio 有效地微调 SDXL 模型。我们展示了如何准备经过微调的模型以在由 AWS Inferentia2 提供支持的 Amazon EC2 Inf2 实例上运行，从而为您的推理工作负载带来卓越的性价比。
How to Fine-Tune DeepSeek-R1 for Your Custom Dataset (Step-by-Step)
一步一步微调 DeepSeek 模型……即使您是 LLM 新手！
RAG vs. Fine-Tuning: Which One Suits Your LLM?
大型语言模型 (LLM)（例如 GPT-4 和 Llama 3）已经影响了 AI 领域，并在从客户服务到内容生成的各个方面都表现出色。但是，根据特定需求调整这些模型通常意味着在两种强大的技术之间进行选择：检索增强生成 (RAG) 和微调。虽然这两种方法都增强了 LLM，但它们针对不同的[…]
PEFT fine tuning of Llama 3 on SageMaker HyperPod with AWS Trainium
在这篇博文中，我们展示了如何使用 AWS Trainium 上的 PEFT 和 SageMaker HyperPod 对 Meta Llama 3 模型进行高效的监督微调。我们使用 HuggingFace 的 Optimum-Neuron 软件开发工具包 (SDK) 将 LoRA 应用于微调作业，并使用 SageMaker HyperPod 作为主要计算集群在 Trainium 上执行分布式训练。使用 LoRA 监督微调 Meta Llama 3 模型，您可以进一步将微调模型的成本降低高达 50%，并将训练时间缩短 70%。
Fastweb 是意大利领先的电信运营商之一，很早就认识到了 AI 技术的巨大潜力，并于 2019 年开始在该领域进行投资。在本文中，我们将探讨 Fastweb 如何利用尖端的 AI 和 ML 服务踏上他们的 LLM 之旅，克服挑战并在此过程中解锁新机遇。
Accelerating Mixtral MoE fine-tuning on Amazon SageMaker with QLoRA
在本文中，我们将演示如何通过使用完全托管的环境和 Amazon SageMaker 训练作业来使用 PyTorch 完全分片数据并行 (FSDP) 和量化低秩自适应 (QLoRA) 对 Mixtral 8x7B 模型进行微调，从而解决模型定制复杂、耗时且通常成本高昂的挑战。
Fine-tune large language models with Amazon SageMaker Autopilot
微调基础模型 (FM) 是一个过程，涉及将预先训练的 FM 暴露给特定于任务的数据并微调其参数。然后它可以加深理解并为该特定领域产生更准确和相关的输出。在本文中，我们将展示如何使用 Amazon SageMaker Autopilot 训练作业和 AutoMLV2 […]
Memory-Retaining Finetuning via Distillation
这篇论文被 NeurIPS 2024 的“现代机器学习中的微调：原理和可扩展性 (FITML)”研讨会接受。在大量互联网文本上进行预训练的大型语言模型 (LLM) 拥有世界上的大量知识。在预训练之后，人们通常需要对某些能力进行持续的预训练，例如数学和编码，或“后训练”（又称对齐）技术，以使模型遵循用户的指示并使其与人类偏好保持一致。这些微调阶段的一个挑战是模型可能会丢失预训练知识……
Fine-tune multimodal models for vision and text use cases on Amazon SageMaker JumpStart
在本文中，我们将展示如何微调文本和视觉模型（例如 Meta Llama 3.2），以便在视觉问答任务中表现更好。Meta Llama 3.2 Vision Instruct 模型在具有挑战性的 DocVQA 视觉问答基准上表现出色。通过利用 Amazon SageMaker JumpStart 的强大功能，我们展示了调整这些生成式 AI 模型以更好地理解和回答有关图像的自然语言问题的过程。
Generate financial industry-specific insights using generative AI and in-context fine-tuning
在这篇博文中，我们演示了使用行业特定语言生成表格数据的准确且相关的分析的提示工程技术。这是通过在提示中提供具有特征和标签的上下文样本数据中的大型语言模型 (LLM) 来实现的。结果类似于微调 LLM，但没有微调模型的复杂性。
Fine-Tuning LLMs at Home with Axolotl
为什么重要：使用 Axolotl 在家中微调大型语言模型（如 GPT），以最少的设置实现定制的 AI 应用程序。
在本文中，我们将演示如何使用 Amazon SageMaker JumpStart 针对特定领域的应用程序微调 Meta 最新的 Llama 3.2 文本生成模型 Llama 3.2 1B 和 3B。通过使用 SageMaker JumpStart 中提供的预构建解决方案和可定制的 Meta Llama 3.2 模型，您可以解锁模型增强的推理、代码生成和指令遵循功能，以根据您的独特用例进行定制。
Best practices and lessons for fine-tuning Anthropic’s Claude 3 Haiku on Amazon Bedrock
在这篇文章中，我们探讨了在 Amazon Bedrock 上微调 Anthropic 的 Claude 3 Haiku 的最佳实践和经验教训。我们讨论了微调的重要组成部分，包括用例定义、数据准备、模型定制和性能评估。
