XiaoMi-AI文件搜索系统
World File Search System令牌
启用语言模型的晶体材料的不变令牌化
我们考虑使用语言模型（LMS）生成水晶材料的问题。关键步骤是将3D晶体结构转换为1D序列，以通过LMS处理。先前的研究使用了晶体学信息框架（CIF）文件流，该文件无法确保SE（3）和周期性不变性，并且可能不会导致给定晶体结构的唯一序列表示。在这里，我们提出了一种新的方法，即Mat2Seq，以应对这一挑战。mat2Seq将3D晶体结构转换为1D序列，并确保以单个唯一的序列表示相同晶体的不同数学描述，从而可以实现SE（3）和周期性不变性。实验结果表明，与先前的方法相比，MAT2SEQ具有MAT2SEQ在晶体结构产生中的表现有希望的。
在视觉状态空间模型中探索令牌修剪
状态空间模型（SSM）具有与变压器的注意模块相比保持线性计算复杂性的优势，并且已将视觉任务应用于视觉任务作为一种新型强大的视觉基础模型。受到观察的启发，即视觉变压器（VIT）的最终预测仅基于最有用的代币的子集，我们采取了新的步骤，即通过基于令牌的修剪来提高基于SSM的视力模型的效率。但是，即使经过广泛的微调，为VIT设计的现有代币修剪技术的直接应用也无法提供良好的性能。为了解决此问题，我们重新审视了SSM的独特计算特征，并发现Naive Application破坏了顺序令牌位置。这种洞察力促使我们设计了一种专门针对基于SSM的视力模型的新颖和通用的代币修剪方法。我们首先引入一种修剪感知的隐藏状态对准方法，以稳定剩余令牌以增强性能的邻里。此外，根据我们的详细分析，我们提出了一种适用于SSM模型的令牌重要性评估方法，以指导令牌修剪。采用有效的实施和实际加速方法，我们的方法带来了实际的加速。广泛的实验表明，我们的方法可以实现大量的计算减少，而对不同任务的性能的影响最小。值得注意的是，我们在成像网上获得了81.7％的精度，而修剪的plainmamba-l3的拖鞋降低了41.6％。此外，我们的工作为了解基于SSM的视力模型的行为提供了更深入的见解。
密钥形式：通过关键令牌选择减少KV缓存
本文介绍了一种创新的推理时间方法“密钥形式”，以减轻与KV高速缓存大小相关的挑战。密钥形式利用了以下观察结果，即生成推断中大约90％的注意力重点集中在特定的令牌子集上，称为“键”代币。密钥形式仅通过使用新颖的分数函数识别这些关键令牌来保留KV缓存中的密钥令牌。这种方法降低了KV缓存大小和内存带宽的使用情况，而不会损害模型精度。我们在三个基础模型中评估了KeyFormer的性能：使用各种位置嵌入算法的GPT-J，Cerebras-GPT和MPT。我们的评估使用各种任务，重点是摘要和涉及扩展上下文的对话任务。我们表明，密钥形式可将推理潜伏期降低2.1倍，并将令牌生成吞吐量提高2.4倍，同时保持模型的准确性。
在扩散模型中使用令牌优化的开放式摄取注意图
扩散模型代表文本到图像生成中的新范式。除了从文本提示中生成高质量的图像之外，诸如稳定扩散之类的模型已成功扩展到了共同生成的分段伪遮罩。但是，当前的敏感主要依赖于提取与用于图像合成的及时单词相关的关注。这种方法限制了从文本提示中未包含的单词代币中得出的分割掩码的产生。在这项工作中，我们介绍了开放式摄影注意力图（OVAM） - 用于文本到图像扩散模型的无训练方法，可为任何单词生成注意力图。此外，我们提出了一个基于OVAM的轻巧优化过程，用于查找具有单个注释的对象类的准确注意图。
令牌碳信用额：区块链如何革新碳市场
资产令牌化涉及将资产的所有权转换为区块链上的数字令牌。这些代表特定资产值的代币可以在没有中介的情况下以数字方式进行交易或传输。令牌化适用于各种资产，包括房地产，艺术，商品和金融工具。区块链技术通过提供安全的，分散的分类帐来支持这一过程，该分类帐会不成熟。智能合约是编写代码的自我执行合同，在满足预定义条件时将这些交易自动化。这减少了对中间人的需求，降低了交易成本并加快了结算过程。令牌通常通过在线平台或移动应用程序提供给买家，并进一步简化交易。
有条件令牌：通过在公共区块链中使用智能合约
摘要：肝转移是结直肠癌患者死亡的主要因素。尽管当前治疗的总体成功包括有针对性的治疗，化学疗法和结直肠癌患者的免疫疗法组合，但肝转移患者的预后仍然很差。最近的研究强调了肿瘤微疫苗和串扰的重要性，这决定了远处器官中循环肿瘤细胞的命运。了解肝脏常驻细胞与肝脏肿瘤细胞之间的相互作用为成功治疗转移性结直肠癌的新治疗窗口打开了新的治疗窗口。在这里，我们讨论了原发性肿瘤中肿瘤微环境和肝转移中的关键细胞相互作用，以突出潜在的治疗靶标。我们还讨论了治疗转移性结直肠癌的最新治疗进展。
使用令牌级的加固学习，用于可控文本生成
为了满足现实世界应用的要求，控制几代大语言模型（LLMS）至关重要。先前的研究试图将强化学习（RL）引入可控制的文本生成中，而大多数现有的方法都遭受了过度拟合问题（基于芬太尼的方法）或半崩溃（后处理方法）。但是，当前的RL方法通常由粗粒（句子/段落级）的反馈引导，这可能导致由于语义曲折或句子中的序言而导致次优的表现。为了解决这个问题，我们提供了一种新颖的增强学习算法，名为Tole，该算法为Kenle Vel Rewards制定了可控的文本生成，并采用了“首次量化 - 涉及的”范式来增强RL算法的鲁棒性。此外，TOLE可以灵活地扩展到多个约束，而计算费用很少。实验结果表明，我们的算法可以在单属性和多属性控制任务上实现出色的性能。我们已在https://github.com/windylee0822/ctg上发布了代码。
令牌资产的互操作性 - 迈向金融行业的有担保和统一的未来
尽管区块链的繁荣使资产令牌化有望有望，但它也破坏了市场流动性。已经开发了许多区块链平台。不同的金融机构使用不同的平台来代币和管理资产。这些连锁店是孤立的，这使得交易或转移资产越过它们的挑战。有几种旨在使区块链可互操作的协议，但是，它们主要支持公共链，尤其是基于EVM（以太坊虚拟机）执行模型的公共链。此外，许多金融机构，尤其是银行业中的金融机构，只想在私人区块链或许可的公共连锁店中运营。由于其设计和实施的差异，将这些连锁店（尤其是公共连锁店）连接到私人连锁店或允许无许可的连锁店可能很艰巨。此外，许多机构更喜欢发展其区块链基础架构，而不是迁移到公共区块链。所有这些因素都阻止了数字资产交易跨机构扩展并达到临界质量。
JPLAG：使用令牌归一化图检测混淆的软件pla窃
pla窃在计算机科学教育中普遍存在[CJ08; MUR10]，主要是由于易于复制数字作业。尽管将其理解为不当行为，但一些学生仍继续进行窃，经常试图通过重命名，重新排序或插入代码来混淆它[kar16; NJK19; sağ+22; sağ+23b; sağ+24b]。在大型强制性课程中，手动检查不切实际[CAM+17]，使自动窃检测必不可少[OTT76]。诸如Moss和Jplag之类的软件探测器通常用于解决此问题，假设成功的混淆需要已经教授的技能。然而，窃的发电机，例如mossad [db20]，通过在不需要专业知识的情况下自动化混淆来挑战这一假设。Mossad通过插入熵或重新排序语句以逃避检测来打破基于令牌的检测器。
MADTP：多模式对准引导的动态令牌修剪，以加速视力 - 语言变压器
视觉 - 语言变压器（VLT）最近显示出巨大的成功，但同时伴随着大量的计算成本，其中主要原因可以归因于大量的视觉和语言令牌。存在用于压缩VLTS的令牌修剪研究主要遵循基于单模式的方案，但忽略了对齐不同模态来指导令牌修剪过程的关键作用，从而导致重要的代币在另一个模态分支中错误地修剪一个模态。同时，现有的VLT修剪作品也缺乏基于不同输入样本动态压缩每一层的灵活性。为此，我们提出了一个名为M Ultodal的新颖框架，用于加速变化VLT的木质制成d ynamic t ynamic t oken p Runing（MADTP）。具体来说，我们首先引入了精心设计的多模式对齐指导（MAG）模块，该模块可以使相同语义概念的特征与不同的模式相结合，以确保修剪的代币对所有模式都不太重要。我们进一步设计了一种新型的dy-namic令牌修剪（DTP）模块，该模块可以根据不同的输入实例自适应地调节每个层中的令牌压缩比。对各种基准测试的广泛实验表明，MADTP可以显着确定多种模型的计算复杂性，同时保留竞争性能。值得注意的是，当将MADTP应用于NLVR2数据集中的BLIP模型时，可以将GFLOPS降低80％，而性能降低少于4％。该代码可在https://github.com/double125/madtp上找到。