XiaoMi-AI文件搜索系统
World File Search System模型的
infinigen：具有动态KV缓存管理的大语言模型的有效生成推断
基于变压器的大语言模型（LLMS）在各种自然语言处理任务中都具有令人印象深刻的表现。为LLM推断为生成长含量而构成挑战，这是由于瞬态状态的巨大内存足迹（称为键值（KV）缓存），该状态以序列长度和批处理大小缩放。在本文中，我们提出了Infinigen，这是一种针对Longext Genertion量身定制的新型KV缓存管理框架，该框架协同与现代卸载基于卸载的推理系统合作。Infinigen利用了关键见解，即可以通过对当前层的最小彩排以及查询权重的一部分和后续层的关键缓存进行最小化的彩排来推测，对于计算变压器中后续注意力层至关重要的重要洞察力。这使我们只能预取基本的KV缓存条目（不提供所有内容），从而在基于卸载的LLM服务系统中减轻主机内存中的提取开销。我们对几种代表性LLMS的评估表明，与先前的KV高速缓存管理方法相比，Infinigen将基于现代卸载系统的总体性能提高了3.00倍，同时提供了更好的模型准确性。
HHMR：通过增强图扩散模型的多模式可控性
近年来见证了一代和重建范式深入融合的趋势。在本文中，我们扩展了可控制的生成模块的能力，以实现更全面的手网恢复任务：在单个框架中，手工网格的生成，内部网状，重建，重建和拟合，我们将其命名为H olistic H和MESH R Ecovery（HHMR）。我们的主要观察结果是，具有强大多模式可偿还性的单个生成模型可以实现不同类型的手网恢复任务，并且在这样的框架中，实现不同的任务只需要给出不同的信号作为条件。为了实现这一目标，我们提出了基于图形卷积和整体手工网状恢复的注意力卷积和注意力机制的多合一扩散框架。为了实现强大的控制能力，同时确保多模式控制信号的解耦，我们将不同的模态映射到共享特征空间并应用跨尺度随机
带有扩散模型的视频插值-CVF Open Access
我们提出了Vidim，这是一个视频间隔的生成模型，该模型在启动和最终框架下创建了简短的视频。为了实现高保真度并在输入数据中产生了看不见的信息，Vidim使用级联的分化模型首先以低分辨率生成目标视频，然后在低分辨率生成的视频上生成高分辨率视频。我们将视频插补的先前最新方法归纳为先前的最新方法，并在大多数设置中演示了这种作品如何在基础运动是复杂，非线性或模棱两可的情况下失败，而Vidim可以轻松处理此类情况。我们还展示了如何在开始和最终框架上进行无分类器指导，并在原始高分辨率框架上调节超级分辨率模型，而没有其他参数可以解锁高保真性结果。vidim可以从共同降低所有要生成的框架，每个扩散模型都需要少于十亿个pa-rameters来产生引人注目的结果，并且仍然可以在较大的参数计数下享有可扩展性和提高质量。请在vidim- Interpolation.github.io上查看我们的项目页面。
评估对象对象的基于视觉模型的弹性...
摘要。鉴于对最近的基于视觉模型的大规模多模式培训及其概括能力，因此了解其鲁棒性的程度对于他们的现实世界部署至关重要。在这项工作中，我们的目标是评估当前基于视觉模型的弹性，以应对不同的对象到后环上下文变化。大多数鲁棒性评估方法都引入了合成数据集，以引起对物体特征（观点，比例，颜色）的变化或实际图像上使用的图像转换技术（对抗性变化，常见的损坏），以模拟分离中的变化。最近的作品探索了利用大型语言模式和di！使用模型来产生背景变化。但是，这些方法要么缺乏对要进行的更改或扭曲对象语义的控制，从而使它们不适合任务。另一方面，我们的方法可以诱导各种对象兼容地面变化，同时保留对象的原始语义和对象的真实性。为了实现这一目标，我们利用文本对图像，图像到文本和图像对段的生成能力自动生成广泛的对象到背景的变化。我们通过修改文本提示或优化文本模型的潜伏期和Textual嵌入来引起自然和对抗背景的变化。这使我们能够量化背景上下文在理解深神经网络的鲁棒性和一般性中的作用。我们生产了各种版本的标准视觉数据集（Imagenet，Coco），将多样的和相同的背景纳入图像中，或在背景中引入颜色，纹理和对抗性变化。我们进行了彻底的实验，并对基于视觉模型的鲁棒性与对象之间的背景环境之间的鲁棒性进行了深入的分析。我们的代码和评估基准将在https://github.com/muhammad-huzaifaa/ObjectCompose上找到。
图1：准确性与CNN模型的时期图
摘要该项目提出了三种用于为EEG Net数据集创建神经网络模型的方法 - 使用CNN，CNN+LSTM和变异自动编码器（VAE）。研究评估并比较了两种方法在分类运动图像中的性能。结果表明，CNN+LSTM方法在准确性方面优于VAE方法。但是，VAE方法具有保留脑电图信号的关键特征的优势，同时降低其尺寸。两种方法都有其各自的优势和局限性，可以根据应用程序的特定要求使用。除了上述两种方法外，我们还为该数据集实施了随机森林，以对ML和DL模型的准确性成就进行比较分析。索引术语：机器学习（ML），深度学习（DL），VAE（变异自动编码器），长期短期存储网络（LSTM），脑电图（EEG）（EEG）
温暖：关于体重平均奖励模型的好处
通过加强学习（RLHF）将大型语言模型（LLM）与人类偏好保持一致，可以导致奖励黑客，在这种情况下，LLMS在奖励模型（RM）中利用失败（RM）以实现看似高的奖励，而无需实现基本的目标。我们在设计RMS时确定了两个主要挑战以减轻奖励黑客黑客：在RL过程中的分配变化以及人类偏好的不一致。作为解决方案，我们提出了平均奖励模型（温暖），首先对多个RM进行细调，然后在重量空间中平均它们。此策略遵循以下观察结果：在共享相同的预训练时，微调权重保持线性模式。通过平均权重，与传统的预测结合相比，温暖提高了效率，同时提高了分配变化和偏好不一致的鲁棒性的可靠性。使用最佳和RL方法，我们对摘要任务的实验表明，温暖可以提高LLM预测的总体质量和一致性；例如，用温暖调整的策略RL对单个RM进行微调的政策RL的胜利率为79.4％。
使用高斯进程回归机器学习模型的Flyrock投掷预测
I.引言Flyrock是爆炸启动时远离采矿区的岩石质量。通常考虑的第一个参数是：负担，爆炸孔直径，深度，粉末因子间距，茎，爆炸性材料类型和sub-drill在Flyrock预测期间是可控参数。此外，爆炸工程师无法影响的岩石性能是无法控制的参数，例如压缩间距和岩石的拉伸强度。因此，爆炸工程师必须更改第一个参数，以最大程度地减少flyrock掷距离。设计了各种经验方程，以设想由爆破操作[1]，[2]产生的fly架。经验模型是根据flyrock上的几个现场实验的有效参数开发的，即孔直径，爆炸性，茎，负担的密度，弹出材料，粉末因子和孔长度的初始发射速度。因此，这些经验方程的性能预测能力在许多情况下不是很有效[2]，[3]。
视觉模型的有效测试时间适应
通过预训练的视觉模型进行测试时间适应，引起了越来越多的关注，以应对测试时间的分离转移。尽管事先实现了非常有前途的性能，但它们会进行密集的计算，这与测试时间适应非常不规则。我们设计了TDA，这是一种无训练的动态适配器，可通过视觉模型进行有效，有效的测试时间适应。tda可与轻巧的键值缓存一起使用，该缓存维持具有很少射击伪标签的dy-namic队列作为值，而相应的测试样本特征则是键。杠杆键值缓存，TDA允许通过渐进式伪标签的细化逐渐调整数据，而逐步测试数据，而不会产生任何反向传播。此外，我们引入了负伪标记，即当模型不确定其伪标签预测时，通过将伪标签分配给某些负类时，可以减轻伪标签噪声的不利影响。在两个基准上进行的广泛实验表明，与最先进的艺术品相比，TDA的实体有效性和效率。该代码已在https：//kdiaaa.github.io/tda/中发布。
基于扩散模型的机器人视觉运动策略学习
背景和动机视觉策略学习涉及将视觉观察映射到运动动作上，使机器人能够有效地与环境互动。传统方法通常在多模式作用分布的复杂性以及对高精度和时间一致性的需求中挣扎。最近引入的扩散策略通过采用有条件的降级扩散过程来生成机器人动作，从而提供了有希望的解决方案。这些模型在产生复杂的行为方面表现出了卓越的性能，使其成为机器人操纵和组装任务的理想候选人。此外，整合自然语言处理（NLP）允许多功能任务调理，使机器人能够根据人类指令执行各种任务。