XiaoMi-AI文件搜索系统
World File Search SystemModel
无培训预处理的模型合并-CVF Open Access
最近，模型合并技术已浮出水面，作为将多个单元模型组合为单个多泰模型组合的解决方案。但是，该领域的先前努力需要进行其他培训或细调过程，或者要求模型具有相同的预先训练的初始化。在这项工作中，我们在W.R.T.先前的工作中确定了一个缺点。单位相似性在重量空间和激活空间中的不一致性。为了解决这种不一致，我们提出了一个创新的模型合并框架，该模型是在双空间约束（MUDSC）下合并的。具体而言，我们主张探索位于双重空间中统一高相似性的区域中的置换矩阵，而不是仅仅使单个空间的目标最大化，这是通过激活和重量相似性矩阵的线性组合实现的。为了提高可用性，我们还对群体结构进行了对企业的适应，包括多头关注和群体标准化。全面的实验比较表明，MUDSC可以很明显地提高具有各种任务组合和体系结构的合并模型的性能。此外，多任务损失景观中合并模型的可视化表明，MUDSC使合并的模型能够驻留在重叠段中，其中每个任务都有统一的较低损失。我们的代码可在https://github.com/zju-vipa/training_free_model_merging上公开获取。
ma-lmm：长期视频理解的内存大型多模型
随着大型语言模型（LLM）的成功，将视觉模型融入了LLM，以建立视觉语言基础模型最近引起了人们的兴趣。但是，现有的基于LLM的大型多模式模型（例如，视频播放，视频聊天）只能摄入有限数量的框架以进行简短的视频理解。在这项研究中，我们主要专注于设计一个有效有效的模型，以进行长期视频理解。我们建议以在线方式处理视频并将过去的视频信息存储在存储库中，而不是像大多数现有作品一样尝试同时进行更多框架。这使我们的模型可以参考历史视频内容以进行长期分析，而不会超过LLM的上下文长度约束或GPU内存限制。我们的内存库可以以现成的方式被缝制到当前的多模式LLMS中。我们在各种视频理解任务上进行了广泛的实验，例如长期介绍，视频问题答案和视频字幕，我们的模型可以在多个数据集中实现最新的性能。
扩展动态的人类场景相互作用建模
已经取得了显着的迈进，该领域显然是由于缺乏高质量数据集而导致的。早期数据集（如Pigraphs [39]和Prox [16]）启动了探索，但受到可扩展性和数据质量的约束。MOCAP数据集[14，30]使用Vicon等复杂的设备优先考虑高质量的人类运动限制。但是，他们通常缺乏捕获多样化和沉浸式的HSI。通过RGBD视频录制的可扩展数据集提供了更广泛的实用程序，但受到人类姿势和对象跟踪质量较低的阻碍。合成数据集的出现[1，3，4，55]提供了成本效率和适应性，但无法封装完整的现实HSI频谱，尤其是在捕获动态3D触点和对象跟踪时。为了应对这些挑战，这项工作首先引入了trumans（t rack hum a um a u u u u u u u u u u u u u u a ctio n s in s cenes）数据集。Trumans成为最广泛的运动捕获HSI数据集，涵盖了15个小时以上15个小时的室内场景中的各种相互作用。它捕获了全身的人类动作和部分级别的对象动力学，重点是接触的现实主义。通过将物理环境复制到准确的虚拟模型中，可以进一步增强此数据集。外观和运动的广泛增强都应用于人类和物体，以确保相互作用的高度有限。接下来，我们设计了一个计算模型，通过将场景和动作作为条件同时采取行动来应对上述挑战。我们对杜鲁士数据集和运动合成方法进行了全面的交叉评估。特别是，我们的模型采用自回归的条件扩散，场景和动作嵌入作为征用输入，能够产生任意长度的运动。为了整合场景上下文，我们通过在本地化的基础上查询全局场景的占用来开发有效的场景感知者，这在导航杂乱的场景时表现出了3D感知的碰撞避免的强大效率。为了将框架的动作标签合并为条件，我们将时间特征集成到动作片段中，使模型在粘附在给定的动作标签时随时接受指令。场景和动作条件的这种双重整合增强了我们方法的可控性，为在3D场景中合成合理的长期运动提供了细微的界面。将trumans与现有人物进行比较，我们证明了杜鲁士人明显提高了最先进的方法的性能。此外，我们的方法在定性和定量上进行了评估，超过了现有的运动综合方法，其质量和零击性能力在看不见的3D场景上，非常接近原始运动捕获数据的质量。除了运动合成之外，杜鲁士人已经针对人类的姿势和接触估计任务进行了基准测试，证明了其多功能性并将其确立为一系列未来的研究努力的宝贵资产。
布局 - 敏捷场景文本图像综合与扩散模型
虽然扩散模型已显着提高了图像生成的质量，但它们在这些图像中准确且相干渲染文本的能力仍然是一个重大挑战。场景文本生成的常规基于扩散的方法通常受到对中间布局输出的依赖的限制。这种依赖性通常会导致文本样式和字体的多样性限制，这是布局生成阶段的确定性质所引起的固有限制。为了应对这些挑战，本文介绍了SceneTeTgen，这是一种基于新颖的扩散模型，专门设计用于规避预定义布局阶段的需求。这样做，场景 - 文本促进了文本的更自然和多样化的代表。SceneTextGen的新颖性在于其三个关键组成部分的整体：一个字符级编码器，用于捕获详细的印刷属性，并与字符级实例分割模型和Word-
提示病理图像分析的视觉基础模型
近年来非酒精性脂肪肝疾病（NAFLD）病例的迅速增加引起了人们的重大关注。准确地识别组织的改变对NAFLD的诊断至关重要，但是该任务在病理图像分析中带来了挑战，特别是与小规模的数据集有关。最近，从完整的微调转变为改编视觉模型的提示的范式转变为小规模数据分析提供了新的视角。然而，基于任务不足提示的现有提示方法主要是为了通用图像识别而开发的，该方法在为复杂病理学图像提供指导的指示方面缺乏。在本文中，我们提出了基于定量属性的提示（QAP），这是一种专门用于肝脏病理学分析的新提示方法。QAP基于两个定量属性，即基于K功能的空间属性和基于直方图的形态学属性，旨在对组织状态进行标准评估。此外，condi-
通过跳跃扩散驱动的神经SDE的多变量时间序列建模
在数据科学和机器学习的不断发展的景观中，时间序列建模的领域已成为一个重要且挑战性的研究领域。时间序列数据及其独特的时间依赖性和顺序模式，在金融，医疗保健和气候科学等各个领域中找到了应用[1,2,3]。时间序列的准确建模对于创建强大的模型和理解复杂系统至关重要。建模时间序列的一种方法是通过生成模型[4]，该模型在异常检测[5]和数据增强[6]中具有实际应用。在本文中，我们提出了一种基于时间序列生成和建模的神经SDE的新颖方法。尤其是，我们旨在创建一个可以利用默顿模型[3]作为跳跃框架的模型，该模型可以考虑实际市场的跳跃。归一化流是具有易生化密度估计的生成模型家族。主要思想是通过组成几个函数f i将初始复杂的数据分散分散转换为一个简单的想法。有一些
使用高斯进程回归机器学习模型的Flyrock投掷预测
I.引言Flyrock是爆炸启动时远离采矿区的岩石质量。通常考虑的第一个参数是：负担，爆炸孔直径，深度，粉末因子间距，茎，爆炸性材料类型和sub-drill在Flyrock预测期间是可控参数。此外，爆炸工程师无法影响的岩石性能是无法控制的参数，例如压缩间距和岩石的拉伸强度。因此，爆炸工程师必须更改第一个参数，以最大程度地减少flyrock掷距离。设计了各种经验方程，以设想由爆破操作[1]，[2]产生的fly架。经验模型是根据flyrock上的几个现场实验的有效参数开发的，即孔直径，爆炸性，茎，负担的密度，弹出材料，粉末因子和孔长度的初始发射速度。因此，这些经验方程的性能预测能力在许多情况下不是很有效[2]，[3]。
sangea：可扩展和归因网络生成
深层生成模型（DGM）是用于学习数据表示的多功能工具，同时合并了域知识，例如条件概率分布的规范。最近提出的DGMS解决了比较来自不同来源的数据集的重要任务。这样的示例是对比分析的设置，该分析的重点是描述与背景数据集相比富含目标数据集中的模式。这些模型的实际部署通常假定DGM自然推断出可解释的和模块化的潜在表示，这在实践中是一个问题。因此，现有方法通常依赖于临时正规化方案，尽管没有任何理论基础。在这里，我们通过扩展非线性独立组件分析领域的最新进展，提出了对比较DGM的可识别性理论。我们表明，尽管这些模型在一般的混合功能上缺乏可识别性，但当混合函数在零件上时，它们令人惊讶地变得可识别（例如，由Relu神经网络参数化）。我们还研究了模型错误指定的影响，并从经验上表明，当未提前知道潜在变量的数量时，以前提出的用于拟合比较DGM的正则化技术有助于识别性。最后，我们引入了一种新的方法，用于拟合比较DGM，该方法通过多目标优化改善了多个数据源的处理，并有助于使用约束优化以可解释的方式调整正规化的超参数。我们使用模拟数据以及通过单细胞RNA测序构建的细胞中的遗传扰动数据集以及最新的数据集验证了我们的理论和新方法。关键字：非线性ICA；深层生成模型；变分推断；解开；
机器学习中的生成模型：原理和效率
（3）深层生成模型求解随机过程：研究求解随机模型（例如扩散模型）（例如扩散模型）（例如，扩散模型）中随机过程的随机微分方程（SDE）或部分微分方程（PDE）（PDE）（PDES）。模型）在培训期间（5）生成模型中的隐式偏见和正则化：探索生成模型中存在的隐式偏见及其对概括的影响。研究显式和隐式正则化技术的有效性（6）生成模型的鲁棒性和泛化边界：分析生成模型的鲁棒性界限及其在分布分布的场景下（7）潜在的空间几何形状（7）潜在的空间几何学和流形学习：分析与生成模型的潜在空间和与生成数据分配的分析及其关系分配的相关性。探索如何平衡潜在空间中的多样性和发电质量，并研究复杂数据情景中不同流形学习技术的有效性和局限性
建模合作者：通过LLM工具使用
从内容节制到野生动植物保护，需要模型识别细微或主观的视觉概念的应用数量正在增长。传统上，开发用于此类概念的分类器需要在数小时，天甚至数月内衡量的大量手动努力来识别和注释培训所需的数据。即使最近提出的敏捷建模技术可以快速地进行图像分类器的快速启动，但仍需要用户花费30分钟或更多的单调，重复的数据标签，以训练一个罪恶的分类器。利用了Fiske的认知灾难理论，我们提出了一个新框架，通过用自然语言相互作用代替人类标签，从而减少了由自然语言相互作用，从而减少了通过一个数量级来定义的总体努力所需的总体努力：从将2,000张标记的图像定义为只有2,000张图像到只有100张图像到100次自然语言相互作用。我们的框架利用了大型语言模型和视觉语言模型的基础模型的最新进展，以通过对话和自动标记培训数据点来雕刻概念空间。最重要的是，我们的框架消除了对人群来源注释的需求。此外，我们的框架最终生产出在成本敏感的方案中可部署的轻量级分类模型。在15个主观概念和2个公共图像分类数据集中，我们训练的模型的表现优于传统敏捷建模以及最先进的零拍模型，例如Align，clip，cupl，Cupl和大型视觉问题回答诸如Pali-X之类的模型。