Tokenminning: How to Get More from Your Chatbot for Less
Tokenmaxxing 已出炉。在不牺牲人工智能有效性的情况下降低成本的真实模式《Tokenminning：如何以更少的成本从聊天机器人中获得更多》一文首先出现在《走向数据科学》上。
即使在我有机会写下它之前，tokenmaxshing 的实践似乎正在消失。好摆脱。燃烧代币来创造生产力的表象注定只能持续到会计师们了解这一点为止，而所有会计师中最严格的是个人支票簿。是什么让许多开发人员思考 [...]
EvilTokens: A phishing attack that doesn’t steal your password
网络钓鱼工具包颠覆了 Microsoft 的合法身份验证流程，让攻击者无需窃取密码或创建虚假登录页面即可侵入帐户
Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling
Token作为现代自回归模型的基本计算单位，生成长度直接影响推理成本和推理性能。尽管它很重要，但现有方法缺乏细粒度的长度建模，主要在粗粒度的序列级别上运行。在本文中，我们介绍了长度值模型（LenVM），这是一个令牌级框架，用于对每个解码步骤的剩余生成长度进行建模。通过将长度建模表述为价值估计问题，并为每个生成的代币分配恒定的负奖励，LenVM…
Kimi K3 – the world’s largest open-weight AI model
中国Moonshot AI推出全球最大的开放权重人工智能模型Kimi K3，拥有2.8万亿个参数和100万个token上下文窗口。此次发布标志着开放人工智能领域的又一个重要里程碑，凸显了中国在人工智能前沿发展方面的快速进步，并加剧了与美国领先人工智能公司的全球竞争。
MemoryLLM: Plug-n-Play Interpretable Feed-Forward Memory for Transformers
了解变压器组件在法学硕士中的工作原理非常重要，因为它是人工智能最新技术进步的核心。在这项工作中，我们重新审视了与前馈模块（FFN）的可解释性相关的挑战，并提出了 MemoryLLM，其旨在将 FFN 与自注意力解耦，并使我们能够将解耦的 FFN 作为上下文无关的 token-wise 神经检索记忆来研究。详细地，我们研究了输入标记如何访问 FFN 参数内的内存位置以及 FFN 内存在不同下游任务中的重要性。 MemoryLLM 实现...
3 NLTK Tricks for Advanced Text Preprocessing & Linguistic Analysis
在本文中，我们将介绍三个基本的 NLTK 技巧来提升文本预处理：使用 MWETokenizer 保持短语完整性、使用词性映射进行上下文感知词形还原以及使用关联度量进行统计搭配提取。
The PRC’s Token Economy Takes Shape
Executive Summary: Policymakers in the People’s Republic of China (PRC) want to improve “data supply” (数据供给) to “provide sufficient ‘fuel’ for the development and application of artificial intelligence” (为人工智能发展和应用提供充足“燃料”). This is according to a new plan from the National Data Administration (NDA,
