在文本到视频生成[2,13,27,31,42]中。尽管取得了成就,但文本输入的有限可控性刺激了图像到视频(I2V)生成领域的增长趋势,旨在鉴于图像和文本描述[27,38,43],旨在产生视频序列。在I2V生成上的最新研究[35,38,43]试图通过将时间层纳入现有SD模型并在视频和图像数据集中训练这些较大的模型来利用预训练的SD模型的功能。尽管这些方法表现出了令人鼓舞的结果,但在大规模标记的数据集中,很大的缺点仍然很大程度上依赖广泛的培训[9,39]。这可以表现出来,从而限制了这些方法的可访问性和发展潜力。
摘要:传统的抗病毒肽(AVP)发现是一个耗时且昂贵的过程。这项研究介绍了AVP-GPT,这是一种新型的深度学习方法,利用基于变压器的语言模型和专门为AVP设计设计的多模式体系结构。AVP-GPT表现出非凡的效率,在GPU系统上产生了10,000个独特的肽,并在两天内识别潜在的AVP。在呼吸道合胞病毒(RSV)数据集(AVP-GPT)中预先训练,成功地适应了流感病毒(INFVA)和其他呼吸道病毒。与LSTM和SVM等最新模型相比,AVP-GPT的困惑性显着降低(2.09 vs. 16.13)和较高的AUC(0.90 vs. 0.82),表明肽序列序列预测和AVP分类。AVP-GPT产生了一套具有出色新颖性的肽,并确定了抗病毒成功率明显高于常规设计方法的候选者。值得注意的是,AVP-GPT对RSV和INFVA产生了新的肽,具有出色的效力,其中包括四种肽,其EC50值在0.02 um左右,这是迄今为止报告的最强的抗RSV活性。这些发现突出了AVP-GPT彻底改变AVP发现和开发的潜力,从而加速了新型抗病毒药。未来的研究可以探索AVP-GPT在其他病毒靶标上的应用,并研究替代AVP设计策略。
认知地图是关于大脑如何有效组织记忆并从中检索上下文的一个概念。内嗅海马复合体与情景和关系记忆处理以及空间导航密切相关,被认为通过位置和网格细胞构建认知地图。为了利用认知地图的有希望的特性,我们使用后继表示建立了一个多模态神经网络,该网络能够模拟位置细胞动态和认知地图表示。在这里,我们使用由图像和词嵌入组成的多模态输入。网络学习新输入和训练数据库之间的相似性,从而成功学习认知地图的表示。随后,网络的预测可用于从一种模态推断到另一种模态,准确率超过 90%。因此,所提出的方法可以成为改进当前 AI 系统的基石,以便更好地理解环境和物体出现的不同模态。因此,特定模态与某些遭遇的关联可以在新情况下导致情境感知,当发生具有较少信息的类似遭遇时,可以从学习到的认知图中推断出更多信息。认知图,以大脑中的内嗅海马复合体为代表,组织和检索记忆中的情境,这表明像 ChatGPT 这样的大型语言模型 (LLM) 可以利用类似的架构来充当高级处理中心,类似于海马体在皮层层次结构中的运作方式。最后,通过利用多模态输入,LLM 可以潜在地弥合不同形式数据(如图像和文字)之间的差距,为情境感知和通过学习到的关联来扎根抽象概念铺平道路,解决人工智能中的基础问题。
预测给定控制动作的未来结果的能力对于物理推理至关重要。然而,这种预测模型通常称为世界模型,已被证明具有挑战性的学习,通常是通过在线政策学习中为特定于任务的解决方案而开发的。我们认为,世界模型的真正潜力在于他们仅使用被动数据来推理和计划各种问题的能力。具体而言,我们要求世界模型具有以下三个属性:1)在离线,预采用的轨迹上进行训练,2)支持测试时间行为优化,3)促进任务无关紧要的推理。为了意识到这一点,我们提出了Dino World Model(Dino-WM),这是一种建模视觉动力学的新方法,没有重建视觉世界。Dino-WM利用了通过Dinov2预先训练的空间贴片特征,从而使其能够通过预测未来的补丁功能来从离线行为轨迹中学习。此设计允许Dino-WM通过动作序列优化实现邻国目标,从而通过将所需的目标贴片特征视为预测目标来促进任务不合时宜的行为计划。我们评估跨各个领域的Dino-WM,包括迷宫导航,桌面推动和粒子操纵。我们的实验表明,Dino-WM可以在测试时间生成零拍的行为解决方案,而无需依赖专家演示,奖励建模或预学的逆模型。值得注意的是,与先前的最新作品相比,Dinowm具有强大的概括能力,适应了多种任务家族,例如任意配置的迷宫,具有多种物体形状的推动操纵和多粒子场景。
深度神经网络 (DNN) 的训练每年都变得越来越耗费资源和能源。遗憾的是,现有的研究主要侧重于优化 DNN 训练以加快完成速度,而往往不考虑对能源效率的影响。在本文中,我们观察到,提高训练性能的常见做法往往会导致能源使用效率低下。更重要的是,我们证明了能耗和性能优化之间存在权衡。为此,我们提出了 Zeus,这是一个优化框架,可通过自动为重复的 DNN 训练作业找到最佳的作业和 GPU 级配置来解决这一权衡。Zeus 使用在线探索-利用方法结合即时能源分析,避免了昂贵的离线测量,同时适应数据随时间的变化。我们的评估表明,Zeus 可以将不同工作负载的 DNN 训练能源效率提高 15.3%–75.8%。
1 德国电子同步加速器 DESY,Platanenallee 6,15738 Zeuthen,德国 2 亚琛工业大学,Templergraben 55,52062 Aachen,德国 3 欧洲核子研究中心,1211 Geneva 23,瑞士 4 洛桑联邦理工学院 (EPFL) 物理研究所,1015 Lausanne,瑞士 5 麻省理工学院理论物理中心、量子优势协同设计中心和 NSF AI 人工智能与基本相互作用研究所,77 Massachusetts Avenue,Cambridge,MA 02139,美国 6 塞浦路斯研究所基于计算的科学和技术研究中心,20 Kavafi Street,2121 Nicosia,塞浦路斯 7 巴斯大学数学科学系,4 West,Claverton Down,Bath BA2 7AY,英国8 柏林洪堡大学物理学研究所,Newtonstr。 15, 12489 柏林, 德国
使用人工智能来处理衍射图像的挑战是需要组装大型且精确设计的训练数据集的挑战。为了解决这个问题,开发了一个称为Resonet的代码库,用于合成这些数据的衍射数据和培训残留神经网络。在这里,共振的两个人均能力:(i)晶体分辨率的解释和(ii)重叠晶格的识别。通过同步加速器实验和X射线自由电子激光实验对衍射图像的汇编进行了测试。至关重要的是,这些模型很容易在图形处理单元上执行,因此可以显着超过常规算法。目前使用共振来为斯坦福同步辐射光源的宏观分子晶体学用户提供实时反馈,但其简单的基于Python的接口使其易于嵌入其他处理框架。这项工作强调了基于物理的模拟对训练深神网络的实用性,并为开发其他模型的开发奠定了基础,以增强衍射收集和分析。
认知训练是一个价值数十亿美元的产业,拥有许多著名的在线训练平台,包括 Lumosity(Lumos Labs,2007 年)、Peak(Brainbow Limited,2014 年)、Elevate(Elevate Inc,2014 年)和 CogniFit Brain Fitness(Cognifit,1999 年)。健康的认知与学业、社交和职业成功始终相关(Gottfredson,1997 年)。计算机化认知训练 (CCT) 包括完成结构化任务,旨在维持或提高特定的认知能力(例如注意力、工作记忆)以及流体智力(即推理和逻辑思考的能力)(von Bastian 和 Oberauer,2014 年;Melby-Lervåg 等人,2016 年)。公众对 CCT 的兴趣迅速增长,因为其提高认知能力的潜力对不同人群都具有广泛的吸引力,从具有正常认知能力的个体到经历认知功能障碍或衰退的个体。Lumosity 网站声称,在过去 10 年内已有 1 亿人使用过其平台,这证明了 CCT 产品的受欢迎程度(Lumos Labs,2019 年)。然而,尽管早期有关于大脑训练对认知能力影响的正面报告和荟萃分析(例如 Karbach 和 Verhaeghen,2014 年;Au 等人,2015 年),但大多数荟萃分析(包括规模最大和最新的荟萃分析)都得出了无效结果(例如 Melby-Lervåg 和 Hulme,2013 年、2016 年;Melby-Lervåg 等人,2016 年;Sala 和 Gobet,2019 年)。此外,一些研究的积极结果也存在争议,批评者呼吁研究设计更加严谨(例如使用主动对照组以及多个认知测试来测量每个结构)和分析技术(例如控制多重比较;准确解释相互作用;Lawlor-Savage 和 Goghari,2014;Redick,2015)。由于他们的许多主张在科学界声名狼藉,一些最受欢迎的 CCT 应用程序的开发人员也发现自己处于法律争议的焦点。例如,2016 年,联邦贸易委员会与 Lumosity(Lumos Labs)的开发商达成 200 万美元的和解协议,指控他们误导公众,声称他们的应用程序将提高用户的学校/工作成绩并减少或延缓与年龄相关的认知障碍(联邦贸易委员会,2016 年)。此外,受欢迎、可信且传播范围广泛的媒体既专门报道了这个故事(例如,Etchells,2016 年;Entis,2017 年;Gallegos,2017 年),也更普遍地报道了 CCT 开发者提出的主张的争议性(例如,Weeks,2014 年;Zaleski,2018 年;Frakt,2019 年)。尽管围绕 CCT 应用的争议越来越多,但它们仍在普通人群中广泛使用,这表明许多人仍然相信 CCT 在增强或改善认知方面的效用和有效性。鉴于这些发展,研究人员开始关注可能解释 CCT 干预效果的矛盾发现的社会心理因素。关于影响认知训练结果的社会心理因素的文献虽然数量不多,但正在不断增加,主要集中在几个重叠的领域。部分学者关注的是个人对认知训练后变化的主观看法,以及
1 德国电子同步加速器 DESY,Platanenallee 6,15738 Zeuthen,德国 2 亚琛工业大学,Templergraben 55,52062 Aachen,德国 3 欧洲核子研究中心,1211 Geneva 23,瑞士 4 洛桑联邦理工学院 (EPFL) 物理研究所,1015 Lausanne,瑞士 5 麻省理工学院理论物理中心、量子优势协同设计中心和 NSF AI 人工智能与基本相互作用研究所,77 Massachusetts Avenue,Cambridge,MA 02139,美国 6 塞浦路斯研究所基于计算的科学和技术研究中心,20 Kavafi Street,2121 Nicosia,塞浦路斯 7 巴斯大学数学科学系,4 West,Claverton Down,Bath BA2 7AY,英国8 柏林洪堡大学物理学研究所,Newtonstr。 15, 12489 柏林, 德国