XiaoMi-AI文件搜索系统
World File Search SystemReLU
grelu：DNA序列建模和设计的综合框架
深度学习模型越来越多地用于在DNA序列上执行各种任务，例如预测组织和细胞类型特异性序列活性，得出顺式调节规则，预测非编码变异效应以及设计合成调节序列。但是，这些模型需要专门的知识来正确构建，训练和解释。此外，由于模型和不同组构建的软件之间缺乏互操作性，该领域受到了阻碍。在这里，我们提出了Grelu，这是一个综合的软件框架，使用户可以轻松地执行高级序列建模管道，包括数据预处理，模型培训，超参数调整，评估，解释，解释，变体效应预测和新型调节元素的设计。该软件伴随着一个模型动物园，其中包含可以轻松下载，应用和微调的最先进的预培训模型。该框架和资源将在DNA序列建模领域加速研究，并实现合成调节元件的有效设计。
抑制剂：有效变压器（学生摘要）
为了提高量化的传输器的计算效率，我们仅用涉及添加和relu激活的替代机制代替了点产生和基于软max的提示。此侧位于矩阵乘法通常需要的双重精度上的扩展，并避免了昂贵的软效果评估，但保持了传统点产物关注的大部分核心功能。它可以在资源约束的硬件或算法算术系统（例如同态加密）上获得更有效的执行并支持更大的量化变压器模型。在四个常见基准任务上进行的训练实验显示了测试集的预测分数，与传统变压器的观点相媲美。我们的缩放体验还表明，无论是在宣传和加密之外，都表明了大量的计算节省。本文中引起的基于RELU和基于加法的注意机制可以通过避免加密变量的昂贵乘法来实现在同态加密下运行的隐私AI应用。