详细内容或原文请订阅后点击阅览
使用汽车术语在 AWS 上自定义小型语言模型
在本文中，我们将指导您完成在 AWS 上自定义 SLM 的各个阶段，特别关注汽车术语作为问答任务的诊断。我们从数据分析阶段开始，然后逐步完成端到端流程，涵盖微调、部署和评估。我们将定制的 SLM 与通用 LLM 进行比较，使用各种指标来评估词汇丰富度和整体准确性。
来源:亚马逊云科技 _机器学习在快速发展的人工智能世界中，为特定行业定制语言模型的能力变得更加重要。虽然大型语言模型 (LLM) 擅长使用自然语言处理各种任务，但与专业任务相比，它们在通用任务方面更胜一筹。这可能会在处理来自具有自己独特术语的高度专业化领域的文本数据时带来挑战，或者在处理专业任务时，LLM 的固有知识不太适合检索增强生成 (RAG) 等解决方案。
例如，在汽车行业，用户可能并不总是提供特定的诊断故障代码 (DTC)，这些代码通常是每个制造商专有的。这些代码，例如用于通用发动机失火的 P0300 或用于 ABS 系统故障的 C1201，对于精确诊断至关重要。如果没有这些特定代码，通用 LLM 可能难以提供准确的信息。这种特异性的缺乏可能会导致生成的响应中出现幻觉，其中模型会发明合理但不正确的诊断，或者有时根本没有答案。例如，如果用户只是描述“引擎运转不顺畅”而不提供具体的 DTC，一般的 LLM 可能会提出一系列潜在问题，其中一些问题可能与实际问题无关，或者由于上下文不足而无法提供任何有意义的诊断。同样，在代码生成和通过基于聊天的应用程序提供建议等任务中，用户可能不会指定他们想要使用的 API。相反，他们经常请求帮助解决一般问题或生成使用专有 API 和 SDK 的代码。
此外，面向消费者的生成式 AI 应用程序可以提供有关最终用户交互类型的宝贵见解。借助适当的反馈机制，这些应用程序还可以收集重要数据，以不断改进这些模型生成的行为和响应。
生成式人工智能