XiaoMi-AI文件搜索系统
World File Search System超网
利用超网和可学习的内核来预测各种消费者类型的消费能量
摘要 - 消费者能源预测对于管理能源消耗和计划，直接影响运营效率，降低成本，个性化的能源管理和可持续性工作至关重要。近年来，深入学习技术，尤其是LSTM和变形金刚在能源消耗的预测领域取得了巨大成功。尽管如此，这些技术在捕获综合和突然的变化方面存在困难，而且，通常仅在特定类型的消费者（例如，只有办公室，只有学校）上对它们进行检查。因此，本文提出了超能量，这是一种消费者能源预测的策略，利用超网络可用来改善适用于多样化消费者的复杂模式的建模。超网络负责预测主要预测网络的参数。由多项式和径向基函数内核组成的可学习的可自适应核纳入了增强性能。对拟议的超能量进行了评估，包括各种消费者，包括学生住宅，独立的房屋，带电动汽车充电的房屋和联排别墅。在所有消费者类型中，超能量始终超过10种其他技术，包括最先进的模型，例如LSTM，PoastionLSTM和Transformer。
tidhy：通过超网络的时间尺度解散，从混合观察中学习同时动态
神经活动和行为来自多个并发的时变系统，包括神经调节，神经状态和历史；但是，大多数当前方法将这些数据建模为具有单个时间尺度的一组动力学。在这里，我们通过Hy Pernetworks（Tidhy）开发了Ti Mescale d emixing，作为一种新的计算方法，用于建模临时数据，将它们分解为多个同时的潜在动力学系统，这些动力系统可能跨越刻板级的阶数不同的时间表。具体来说，我们训练一个超网络以动态重新重新获得潜在动力学的线性组合。此方法可以实现准确的数据重建，收敛到真正的潜在动力学并捕获多个变化的时间尺度。我们首先证明Tidhy可以从包含多个独立开关线性动力学系统的合成数据中删除动力学和时间尺度，即使观察结果混合在一起。接下来，使用模拟的运动行为数据集，我们表明tidhy准确地捕获了运动运动学的快速动力学和不断变化的地形的缓慢动力学。最后，在开源的多动物社会行为数据集中，我们表明用Tidhy提取的关键点轨迹动力学可用于准确识别Multiple小鼠的社交行为。综上所述，Tidhy是一种强大的新算法，用于将同时的潜在动力系统与不同的计算域应用。
使用能力感知共享超网络学习灵活的异构协调
合作的异构多智能体任务要求智能体以灵活和互补的方式行事，以最大限度地利用其多样化的能力。针对这一挑战的基于学习的解决方案涵盖两个端点之间的范围：i）共享参数方法，通过为每个智能体分配一个 ID，在单一架构内编码不同的行为，这种方法具有样本效率，但行为多样性有限；ii）独立方法，为每个智能体学习单独的策略，以样本和参数效率为代价实现更大的多样性。先前针对异构多智能体团队的学习工作已经通过学习智能体类别的共享参数或独立策略探索了这一范围的中间地带，从而允许在多样性和效率之间进行折衷。然而，这些方法仍然没有推理智能体能力对行为的影响，因此不能推广到看不见的智能体或团队组成。受到最近迁移学习和元强化学习研究的启发，并在基于特征的任务分配的先前研究的基础上，我们提出了能力感知共享超网络 (CASH)，这是一种用于异构协调的新型软权重共享架构，它使用超网络明确推理持续代理能力和局部观察。直观地说，CASH 允许团队学习共享的决策策略（由共享编码器捕获），这些策略可以通过共享超网络根据团队的个人和集体能力轻松调整。我们对两个异构协调任务和三个标准学习范式（模仿学习、基于价值和策略梯度强化学习）进行了详细的实验，展示了我们的设计如何与底层学习范式无关。结果表明，CASH 生成了适当多样化的行为，在训练和零样本泛化过程中，其任务性能和样本效率始终优于基线架构。值得注意的是，CASH 仅使用基线使用的可学习参数的 20% 到 40% 就实现了这些改进。我们所有的代码都可以在 https://github.com/kfu02/JaxMARL 上找到。
通过能力感知共享超网络学习灵活的异构协调
合作性异构多智能体任务要求智能体以灵活和互补的方式行事，以最大程度地利用其多样化能力。针对这一挑战的基于学习的解决方案涵盖两个端点之间的范围：i）共享参数方法，通过为每个智能体分配一个 ID，在单一架构内编码多样化行为，这种方法样本效率高，但行为多样性有限；ii）独立方法，为每个智能体学习单独的策略，以样本和参数效率为代价实现更大的多样性。先前针对异构多智能体团队学习的研究已经探索了这一范围的中间地带，即为不同类别的智能体学习共享参数或独立策略，从而在多样性和效率之间实现折衷。然而，这些方法仍然没有推理智能体能力对行为的影响，因此不能推广到未知的智能体或团队组成。受到迁移学习和元强化学习最新研究的启发，并在基于特征的任务分配的先前研究的基础上，我们提出了能力感知共享超网络 (CASH)，这是一种用于异构协调的新型软权重共享架构，它使用超网络明确推理持续代理能力和局部观察。直观地说，CASH 允许团队学习共享的决策策略（由共享编码器捕获），这些策略可以通过共享超网络根据团队的个人和集体能力轻松调整。我们在两个异构协调任务和三个标准学习范式（模仿学习、基于价值和策略梯度强化学习）中进行了详细的实验，展示了我们的设计如何与底层学习范式无关。结果表明，CASH 产生了适当多样化的行为，在训练和零样本泛化期间的任务性能和样本效率方面始终优于基线架构。值得注意的是，CASH 仅使用基线使用的 20% 到 40% 的可学习参数就实现了这些改进。我们所有的代码都可以在 https://github.com/kfu02/JaxMARL 上找到。
通过超网络生成的Lora
基础模型最近在NLP [1、21、8]和CV [7]等不同领域取得了巨大成功。在机器人技术领域，机器人基础模型（RFMS）[9]可以帮助机器人做出更好的决策，从高级任务计划到低级行动控制，为学习真正的通才机器人提供了有希望的方法。在本文中，我们专注于一种特定类型的RFM，该RFM基于图像观察和语言指令直接输出动作命令，在先前的工作中，这也称为视觉语言行动（VLA）模型[4、5、18、24、14]。通过对从不同场景和不同机器人收集的大规模现实世界机器人数据进行培训，这些RFM的性能和概括性更高，比在任务狭窄分布的传统机器人控制器上取得了更好的概括。