Hey ChatGPT, write me a fictional paper: these LLMs are willing to commit academic fraud
研究发现，主流聊天机器人对故意制造请求表现出不同程度的抵制
The Top 10 LLM Evaluation Tools
LLM 评估工具可帮助团队衡量模型在各种任务中的执行情况，包括推理、总结、检索、编码和指令遵循。他们分析性能趋势，检测幻觉，根据实际情况验证输出，并在微调或即时工程期间对改进进行基准测试。如果没有强大的评估框架，组织就会面临部署不可预测或有害人工智能的风险……阅读更多»“十大法学硕士评估工具”一文首先出现在《大数据分析新闻》上。
Zero-Waste Agentic RAG: Designing Caching Architectures to Minimize Latency and LLM Costs at Scale
通过验证感知的多层缓存将 LLM 成本降低 30% 后零浪费代理 RAG：设计缓存架构以最大限度地减少延迟和大规模 LLM 成本首先出现在《走向数据科学》上。
Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments
大型商业搜索系统优化相关性以推动成功的会话，帮助用户找到他们正在寻找的内容。为了最大化相关性，我们利用两个互补的目标：行为相关性（用户倾向于点击或下载的结果）和文本相关性（结果的语义适合查询）。一个持续存在的挑战是相对于丰富的行为相关性标签而言，专家提供的文本相关性标签的稀缺。我们首先通过系统地评估 LLM 配置来解决这个问题，发现一个专门的、经过微调的模型显着......
New method could increase LLM training efficiency
通过利用空闲计算时间，研究人员可以在保持准确性的同时将模型训练速度提高一倍。
Efficiently serve dozens of fine-tuned models with vLLM on Amazon SageMaker AI and Amazon Bedrock
在这篇文章中，我们将解释如何在 vLLM 中为专家混合 (MoE) 模型实现多 LoRA 推理，描述我们执行的内核级优化，并向您展示如何从这项工作中受益。我们在这篇文章中使用 GPT-OSS 20B 作为我们的主要示例。
Beyond a Single Extractor: Re-thinking HTML-to-Text Extraction for LLM Pretraining
构建网络规模的 LLM 预训练数据集的首要预处理步骤之一涉及从 HTML 中提取文本。尽管网络内容多种多样，但现有的开源数据集主要对所有网页应用单个固定提取器。在这项工作中，我们调查这种做法是否会导致互联网数据的覆盖和利用不理想。我们首先表明，虽然不同的提取器可能会在标准语言理解任务上产生相似的模型性能，但在固定过滤管道中幸存的页面可能会有很大差异。这表明一个简单的...
How to Choose the Right Open-Source LLM for Production
根据工作负载类型、基础设施限制、成本和实际性能为生产选择合适的开源 LLM 的实用指南。
Asynchronous Verified Semantic Caching for Tiered LLM Architectures
大型语言模型 (LLM) 现在位于搜索、辅助和代理工作流程的关键路径中，使得语义缓存对于降低推理成本和延迟至关重要。生产部署通常使用分层的静态-动态设计：从日志中挖掘的经过策划、离线审查的响应的静态缓存，由在线填充的动态缓存提供支持。在实践中，这两层通常都由单个嵌入相似性阈值控制，这会导致一个艰难的权衡：保守的阈值会错过安全重用的机会，而激进的阈值则可能会导致语义上不正确的服务......
Personalization features can make LLMs more agreeable
长期对话的背景可能会导致法学硕士开始反映用户的观点，可能会降低准确性或创建虚拟回声室。
DPO vs PPO for LLMs: Key Differences & Use Cases
企业级 AMD MI355X 指南，涵盖 AI 推理、LLM 培训、内存扩展、性能权衡和部署策略。
LLM Model Architecture Explained: Transformers to MoE
企业级 AMD MI355X 指南，涵盖 AI 推理、LLM 培训、内存扩展、性能权衡和部署策略。
ClickHouse получит функции мониторинга LLM-приложений
随着数据平台玩家试图成为人工智能反馈循环的“大师”，数据库分析提供商收购了开源大型语言模型工程系统开发商 Langfuse。
Top Cost-Efficient Small Models for AI APIs
将公共 MCP 服务器部署为 API 端点，并使用函数调用将其工具集成到 LLM 工作流程中。
这个便携式计算引擎能够运行 1200 亿个参数的 LLM，大约是 GPT-3 的三倍，而无需访问互联网或云。
How to Come Off GLP-1 Drugs and Not Regain Weight
Hatty Willmoth，《科学焦点》 新型减肥药有望带来惊人的效果，并且在大多数情况下确实能够实现。但是，如果经过几个月的每周注射后，您达到了目标......
随着大型语言模型 (LLM) 部署的增加，人们担心它们可能被滥用来生成有害内容。我们的工作研究对齐挑战，重点是过滤器以防止生成不安全信息。两个自然的干预点是在输入提示到达模型之前对其进行过滤，以及在生成后对输出进行过滤。我们的主要结果证明了过滤提示和输出方面的计算挑战。首先，我们表明存在没有有效提示过滤器的法学硕士：对抗性提示......
