Accelerate custom LLM deployment: Fine-tune with Oumi and deploy to Amazon Bedrock
在这篇文章中，我们将展示如何在 Amazon EC2 上使用 Oumi 微调 Llama 模型（可以选择使用 Oumi 创建合成数据）、在 Amazon S3 中存储工件以及使用自定义模型导入部署到 Amazon Bedrock 进行托管推理。
10 Python Libraries Every LLM Engineer Should Know
有兴趣成为法学硕士工程师吗？以下是您的工作所必需的 Python 库的列表。
LLM Training Shift Powers AI Leap
为什么重要：法学硕士培训转变为 AI Leap 探索了 RLHF 和指令调整等新培训方法如何促进人工智能。
vLLM vs Triton vs TGI: Choosing the Right LLM Serving Framework
将公共 MCP 服务器部署为 API 端点，并使用函数调用将其工具集成到 LLM 工作流程中。
The malleable mind: context accumulation drives LLM’s belief drift
在接受了包含 80,000 个保守政治哲学单词的数据集的训练后，Grok-4 在超过四分之一的时间里改变了其输出对政治问题的立场。这没有任何对抗性提示——训练数据的变化就足够了。由于记忆机制和研究代理 [1, 2] 使法学硕士能够积累 [...]
Hey ChatGPT, write me a fictional paper: these LLMs are willing to commit academic fraud
研究发现，主流聊天机器人对故意制造请求表现出不同程度的抵制
The Top 10 LLM Evaluation Tools
LLM 评估工具可帮助团队衡量模型在各种任务中的执行情况，包括推理、总结、检索、编码和指令遵循。他们分析性能趋势，检测幻觉，根据实际情况验证输出，并在微调或即时工程期间对改进进行基准测试。如果没有强大的评估框架，组织就会面临部署不可预测或有害人工智能的风险……阅读更多»“十大法学硕士评估工具”一文首先出现在《大数据分析新闻》上。
Zero-Waste Agentic RAG: Designing Caching Architectures to Minimize Latency and LLM Costs at Scale
通过验证感知的多层缓存将 LLM 成本降低 30% 后零浪费代理 RAG：设计缓存架构以最大限度地减少延迟和大规模 LLM 成本首先出现在《走向数据科学》上。
Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments
大型商业搜索系统优化相关性以推动成功的会话，帮助用户找到他们正在寻找的内容。为了最大化相关性，我们利用两个互补的目标：行为相关性（用户倾向于点击或下载的结果）和文本相关性（结果的语义适合查询）。一个持续存在的挑战是相对于丰富的行为相关性标签而言，专家提供的文本相关性标签的稀缺。我们首先通过系统地评估 LLM 配置来解决这个问题，发现一个专门的、经过微调的模型显着......
New method could increase LLM training efficiency
通过利用空闲计算时间，研究人员可以在保持准确性的同时将模型训练速度提高一倍。
Efficiently serve dozens of fine-tuned models with vLLM on Amazon SageMaker AI and Amazon Bedrock
在这篇文章中，我们将解释如何在 vLLM 中为专家混合 (MoE) 模型实现多 LoRA 推理，描述我们执行的内核级优化，并向您展示如何从这项工作中受益。我们在这篇文章中使用 GPT-OSS 20B 作为我们的主要示例。
Beyond a Single Extractor: Re-thinking HTML-to-Text Extraction for LLM Pretraining
构建网络规模的 LLM 预训练数据集的首要预处理步骤之一涉及从 HTML 中提取文本。尽管网络内容多种多样，但现有的开源数据集主要对所有网页应用单个固定提取器。在这项工作中，我们调查这种做法是否会导致互联网数据的覆盖和利用不理想。我们首先表明，虽然不同的提取器可能会在标准语言理解任务上产生相似的模型性能，但在固定过滤管道中幸存的页面可能会有很大差异。这表明一个简单的...
How to Choose the Right Open-Source LLM for Production
根据工作负载类型、基础设施限制、成本和实际性能为生产选择合适的开源 LLM 的实用指南。
Asynchronous Verified Semantic Caching for Tiered LLM Architectures
大型语言模型 (LLM) 现在位于搜索、辅助和代理工作流程的关键路径中，使得语义缓存对于降低推理成本和延迟至关重要。生产部署通常使用分层的静态-动态设计：从日志中挖掘的经过策划、离线审查的响应的静态缓存，由在线填充的动态缓存提供支持。在实践中，这两层通常都由单个嵌入相似性阈值控制，这会导致一个艰难的权衡：保守的阈值会错过安全重用的机会，而激进的阈值则可能会导致语义上不正确的服务......
Personalization features can make LLMs more agreeable
长期对话的背景可能会导致法学硕士开始反映用户的观点，可能会降低准确性或创建虚拟回声室。
DPO vs PPO for LLMs: Key Differences & Use Cases
企业级 AMD MI355X 指南，涵盖 AI 推理、LLM 培训、内存扩展、性能权衡和部署策略。
LLM Model Architecture Explained: Transformers to MoE
企业级 AMD MI355X 指南，涵盖 AI 推理、LLM 培训、内存扩展、性能权衡和部署策略。
