XiaoMi-AI文件搜索系统
World File Search System训练方法
自我想象和VR培训-Scholarworks@cwu
情感唱歌会影响人声表现和观众的参与。中国大学使用传统的培训技术来教授理论和应用知识。自我想象是情感唱歌的主要训练方法。最近，虚拟现实（VR）技术已在多个领域应用于培训目的。在这项经验比较研究中，实施了一项VR培训任务，以引起歌手的情绪，并进一步帮助他们改善他们的情感歌唱表演。将VR训练方法与传统的自我想象方法进行了比较。通过进行两阶段的实验，通过情感的启发和情感歌唱表演进行了比较两种方法。在第一阶段，脑电图（EEG）数据是从受试者中收集的。在第二阶段，收集了自评报告和第三方教师的评估。通过采用最大值和最小值算法进行特征选择和支持向量机（SVM）来分析脑电图数据，以识别情绪。基于脑电图分类和主观量表的结果，VR可以更好地引起歌手的积极，中立和负面的情绪状态，而不是不使用这项技术（即自我想象）。此外，由于情绪激活的改善，VR带来了唱歌表演的改善。因此，VR似乎是一种有效的方法，可以改善和补充可用的声乐教学方法。
利用野外视频对情境化世界模型进行预训练，以进行强化学习
利用大型和多样化数据集的无监督预训练方法已在多个领域取得了巨大成功。近期研究已针对基于模型的强化学习 (MBRL) 研究了此类无监督预训练方法，但仅限于特定领域或模拟数据。本文中，我们研究了使用丰富的自然视频预训练世界模型的问题，以便高效学习下游视觉控制任务。然而，自然视频具有各种复杂的情境因素，例如错综复杂的背景和纹理外观，这妨碍了世界模型提取共享的世界知识以更好地概括。为了解决这个问题，我们引入了情境化世界模型 (ContextWM)，它明确地分离情境和动态建模，以克服自然视频的复杂性和多样性，并促进不同场景之间的知识转移。具体来说，我们精心实现了潜在动力学模型的上下文化扩展，通过引入上下文编码器来保留上下文信息并赋能图像解码器，从而促使潜在动力学模型专注于关键的时间变化。我们的实验表明，搭载 ContextWM 的野外视频预训练可以显著提升 MBRL 在机器人操控、运动和自动驾驶等多个领域的采样效率。代码可从以下代码库获取：https://github.com/thuml/ContextWM。
高能物理研究所计算中心
l 利用AI强大能力加速高能物理科学发现 l 为粒子物理、天体物理、同步辐射、中子科学等提供AI支持 l 开发HepAI软件与系统。l 开发用于高能物理仿真、重构、分析、实现处理的DL/ML算法。l 为高能物理训练大型语言模型（LLM）。开发用于科学研究的AI代理。l 探索高能物理的大型科学模型（LSM），包括新的预训练方法、粒子的统一表示
OpenHD：基于 GPU 的超维计算框架
摘要 — 超维计算 (HDC) 已成为深度神经网络的替代轻量级学习解决方案。HDC 的一个关键特性是高度并行，可以促进硬件加速。然而，以前的 HDC 硬件实现很少关注 GPU 设计，这也导致效率低下，部分原因是在 GPU 上加速 HDC 的复杂性。在本文中，我们提出了 OpenHD，这是一个灵活且高性能的 GPU 驱动框架，用于自动将包括分类和聚类在内的一般 HDC 应用程序映射到 GPU。OpenHD 利用专门针对 HDC 的内存优化策略，最大限度地缩短对不同内存子系统的访问时间，并消除冗余操作。我们还提出了一种新颖的训练方法，以实现 HDC 训练中的数据并行性。我们的评估结果表明，所提出的训练方法可以快速达到目标准确率，将所需的训练周期减少了 4 × 。借助 OpenHD，用户无需领域专家知识即可部署 GPU 加速的 HDC 应用程序。与最先进的 GPU 驱动的 HDC 实现相比，我们在 NVIDIA Jetson TX2 上的评估表明，OpenHD 在基于 HDC 的分类和聚类方面分别快了 10.5 倍和 314 倍。与 GPU 上的非 HDC 分类和聚类相比，由 OpenHD 驱动的 HDC 在准确度相当的情况下快了 11.7 倍和 53 倍。
改进基于能量的模型的对比散度训练
对比散度是一种常用的基于能量的模型训练方法，但众所周知，它在训练稳定性方面存在困难。我们提出了一种改进对比散度训练的改进方法，即仔细研究一个难以计算且经常为了方便而被忽略的梯度项。我们表明，这个梯度项在数值上是显著的，在实践中对于避免训练不稳定很重要，同时易于估计。我们进一步强调了如何使用数据增强和多尺度处理来提高模型的鲁棒性和生成质量。最后，我们通过实证评估了模型架构的稳定性，并在一系列基准测试和用例（如图像生成、OOD 检测和组合生成）上展示了改进的性能。
Colossal-AI：用于大规模并行训练的统一深度学习系统
Transformer 模型的成功将深度学习模型规模推向了数十亿参数，但单 GPU 的内存限制导致在多 GPU 集群上进行训练的需求迫切。然而，选择最优并行策略的最佳实践仍然缺乏，因为它需要深度学习和并行计算领域的专业知识。Colossal-AI 系统通过引入统一接口将模型训练的顺序代码扩展到分布式环境，解决了上述挑战。它支持数据、管道、张量和序列并行等并行训练方法，并集成了异构训练和零冗余优化器。与基线系统相比，Colossal-AI 在大规模模型上可以实现高达 2.76 倍的训练加速。
证明。东京东京大学，...
确实，这是在芭芭拉·戴维斯中心（Barbra Davis Center）的一次很棒的经历。我深入了解了DM的全面护理，包括医疗，患者教育，营养管理和心理支持。我有不同泵训练方法及其管理血糖的方法的详细经验。另外，工作气氛很棒，团队也很有帮助。此外，我也有机会加入成人诊所，妊娠诊所和眼科诊所，以概述糖尿病儿童向成人部门的过渡。我有一个很好的机会参加Keystone的Barbra Davis中心年度会议。与来自世界各地的专家在一起是一次了不起的经历。非常感谢Ispad，Barbra Davis团队和支持机构
基于深度学习的基于脑部计算机界面的运动图像的连续解码
受试者间转移学习是脑部计算机界面（BCIS）中的长期问题，并且由于与运动成像（MI）相关的大脑信号的高主体间可变性，尚未完全实现。最近基于深度学习的算法在分类不同的大脑信号中的最新成功值得进一步探索，以确定MI信号间的连续解码是否可行，以提供随机的神经反馈，这对于神经habilehabilitation BCI设计很重要。在本文中，我们已经展示了如何使用MEGA块的新概念将基于MI相关的脑电图（EEG）信号的卷积神经网络（CNN）的深度学习框架连续解码，以使网络的新概念适应网络，以防止对象互可能的变化。这些巨型块有能力多次重复一个特定的建筑块，例如一个或多个巨型块中的一个或多个卷积层。可以使用贝叶斯高参数优化来优化此类巨型块的参数。在公开可用的BCI竞争IV-2B数据集中获得的结果平均受试者间的连续解码精度为71.49％（κ= 0.42）和70.84％（κ= 0.42），对于两种不同的训练方法，例如适应性力矩估计（ADAM）和STOCHASTIC DESCENT（S），在7个不同的训练方法中（s s s sgcentient）（s s g extient of Sgentient）（s sgeentient in 7）。我们的结果首次表明，使用基于CNN的架构进行对象间的连续解码是可行的，具有足够的准确性，以开发无校准的MI-BCIS用于实际目的。
面向关键系统可信 AI 应用的工程化
此次事故的起因可以追溯到 InCobot 机械臂配备的人工视觉设备的训练方法。这只重约 50 公斤的手臂配备了一个摄像头，可以观察与人类操作员共享的环境，并检测附近是否有人手。视野中的手会打断机器人的移动，机器人会等待空间空闲后再采取行动。摄像头将其视频流发送到经过机器学习训练的系统。该系统基于通用的“YOLO”（You Only Look Once）技术，该技术广泛应用于计算机视觉，这是一种经过训练可识别日常物体的神经网络，其设计者强调其通用性，并通过“迁移学习”为其提供想要识别的特定物体的互补图像，从而实现专业化。
在基于价值的深度强化学习中，修剪的网络是一个很好的网络
尽管成功地将深入学习（RL）应用于现实世界中的问题（Mnih等人，2015年； Berner等。，2019年； Vinyals等。，2019年； Fawzi等。，2022; Bellemare等。，2020），越来越多的证据表明训练这些网络时会引起挑战和病理（Ostrovski等人。，2021; Kumar等。，2021a; Lyle等。，2022; Graesser等。，2022; Nikishin等。，2022; Sokar等。，2023; Ceron等。，2023）。特别是，已经表明，深度RL药物不足以利用网络的参数：Kumar等人。（2021a）证明存在隐式未参数化，Sokar等人。（2023）表明，训练期间有大量神经元和Graesser等。（2022）表明，稀疏训练方法可以使用很小的原始网络参数保持性能。