XiaoMi-AI文件搜索系统
World File Search Systemgeneralization
技术会议 2024 年 8 月 29 日星期四 | 13:45
Zhao Yuqing, Divya Saxena, Jiannong Cao, Xiaoyun Liu and Changlin Song 8. Cross-modal Representation Flattening for Multi-modal Domain Generalization Yunfeng Fan, Wenchao Xu, Haozhao Wang and Song Guo 9. FedConv: A Learning-on-Model Paradigm for Heterogeneous Federated Clients Leming Shen, Qiang Yang, Kaiyan Cui, Yuanqing Zheng, Xiao-Yong Wei, Jianwei Liu and Jinsong Han 10. Fuzzy Logic Guided Reward Function Variation: An Oracle for Testing Reinforcement Learning
DS303课程描述主题旨在涵盖
Introduction to ML Idea of supervised, unsupervised, semi-supervised, reinforcement learning Linear regression Idea of model complexity, generalization, bias-variance trade-off, regularization Cross validation, VC dimension Supervised classification algorithms: K nearest neighbor, LDA, Decision Tree, SVM and kernel methods, Neural Network, Naive Bayes', Gaussian判别分析，集合方法等有关概率学习模型的更多更多信息：使用MLE，MAP，GMM，EM算法估算参数无监督的学习：群集和内核密度估计，K-Means，dbscan，parzen窗口技术等。使用PCA和内核PCA降低维度强化学习的介绍深度学习和卷积网络的简介，经常性网络
深度学习脑电图解码中的跨数据集变异问题
跨受试者变异问题阻碍了脑机接口的实际应用。近年来，深度学习因其更好的泛化和特征表示能力而被引入脑机接口领域。但目前大多数研究仅对单个数据集验证了深度学习模型，对其他数据集的泛化能力仍需进一步验证。本文对八个 MI 数据集验证了深度学习模型，并证明跨数据集变异问题削弱了模型的泛化能力。为了减轻跨数据集变异的影响，我们提出了一种在线预对齐策略，用于在训练和推理过程之前对齐不同受试者的 EEG 分布。本研究结果表明，具有在线预对齐策略的深度学习模型可以显著提高跨数据集的泛化能力，而无需任何额外的校准数据。
COVID-19期间能量转化的挑战和机遇
摘要：由于建筑物的高能源需求，该建筑物在2020年占全球份额的36％，因此它们是能源耐能力研究和法规的核心目标之一。因此，再加上分散电网的复杂性日益复杂和可再生能源渗透，智能建筑物的创建变得越来越紧迫。Data-driven building energy management systems (BEMS) based on deep reinforcement learning (DRL) have attracted significant research interest, particularly in recent years, primarily owing to their ability to overcome many of the challenges faced by conventional control methods related to real-time building modelling, multi-objective optimization, and the generalization of BEMS for efficient wide deployment.进行了基于PRISMA的470篇大型数据库的系统评估，以回顾基于DRL的BEM的最新进展，用于不同的建筑类型，其研究方向和知识差距。确定了五种建筑物类型：住宅，教育，数据中心和其他商业建筑。他们的比较分析是根据由BEM，可再生能源整合，DR和独特的系统目标控制的设备和系统的类型进行的，例如成本和舒适性。此外，值得考虑的是，最近大约只有11％的研究考虑了实际系统实施。
具有一般损失功能的重尾SGD算法稳定性
在几项经验研究中，已经报道了随机梯度降低（SGD）中的重尾现象。以前的作品中的实验证据表明，尾巴的重度与SGD的概括行为之间存在很强的相互作用。从理论上讲，为了解决这一经验现象，几项作品做出了强有力的拓扑和统计假设，以将概括误差与沉重的尾巴联系起来。最近，已经证明了新的概括范围，这表明了概括误差和重型尾巴之间的非单调关系，这与报道的经验观察者更相关。尽管可以使用重尾随机微分方程（SDE）对SGD进行建模，但这些界限不需要有条件的拓扑假设，但它们只能应用于简单的二次问题。在本文中，我们在这一研究方面构建，并为更通用的目标功能开发了一般的界限，其中也包括非凸功能。我们的方法是基于重尾sdes及其离散化的范围瓦斯汀稳定性范围，然后我们将其转换为概括界。我们的结果不需要任何非平凡的假设；然而，由于损失功能的一般性，他们对经验观察的启示更加明显。
结合交叉验证和集成创建人工神经网络
人工神经网络（ANN）如今被广泛应用，对其性能提升的研究也在持续进行。ANN 的一个主要目标是具有较高的泛化性能，这可以通过验证来估计。集成有助于提高泛化性能，但如果训练数据集的大小有限，集成的验证通常在计算上成本很高。因此，本论文在交叉验证过程中引入了快捷集成，其中对多个验证输出取平均值以估计集成的泛化性能。为了评估该方法，使用两个不同的分类问题数据集，将快捷集成的验证性能与单个模型和实际集成的验证和测试性能进行了比较。结果表明，在验证过程中，快捷集成比单个模型能更好地估计集成的泛化性能，并且可以近似实际集成的验证性能。因此，快捷集成可以在交叉验证期间提供一种成本较低的集成验证方法。
一致性引导的及时学习视觉语言...
我们提出了一致性引导的及时学习（COPROMPT），这是一种新的视觉模型微调方法。我们的方法在几次设置的下游任务上进行了微调时，改善了大型基础模型的概括。共同启动的基本思想是在预测可训练和预训练的模型的预测中执行一致性约束，以防止在下游任务上过度适应。此外，我们将以下两个组件引入我们的同意约束中，以进一步提高性能：在两个扰动的输入上执行一致性，并结合了调谐，提示和适配器的两个主导范式。在扰动输入上执行一致性可以进一步正规化一致性约束，从而改善了概括。此外，适配器和提示的集成不仅可以增强下游任务上的性能，而且还提供了提高的输入和输出空间的调谐灵活性。这有助于在几次学习设置中更有效地适应下游任务。实验表明，在一系列评估套件上，副业的表现优于现有方法，包括基本到新颖的概括，域的概括和交叉数据库评估。在概括方面，coprompt改善了零弹药任务的最先进和11个数据集的整体谐波平均值。详细的消融研究表明了共同局限性中每个组件的有效性。我们在https://github.com/shuvenduroy/coprompt上提供代码。
