XiaoMi-AI文件搜索系统
World File Search SystemImproving
计算机科学博士论文：通过人类反馈提高强化学习的样本效率
随着人工智能的快速发展，这项技术已经走出工业和实验室，进入了人们的日常生活。一旦人工智能和机器人代理进入日常家庭，它们就需要能够考虑人类的需求。借助诸如强化学习人类反馈 (RLHF) 之类的方法，代理可以通过学习奖励函数或直接基于其反馈优化策略来学习理想的行为。与受益于互联网规模数据的视觉模型和大型语言模型 (LLM) 不同，RLHF 受限于所提供的反馈量，因为它需要额外的人力投入。在本论文中，我们研究如何减少人类提供的反馈量，以减轻他们在估计奖励函数时的负担，同时又不降低估计值。我们从基于偏好的学习角度研究了反馈的信息量和效率之间的根本权衡。为此，我们介绍了多种方法，这些方法可以分为两类：隐式方法，无需额外的人力投入即可提高反馈质量；显式方法，旨在通过使用更多反馈类型来大幅增加信息量。为了隐式地提高偏好反馈的效率，我们研究如何利用主动学习 (AL)，通过变分自编码器 (VAE) 从已学习表征的不同聚类中策略性地选取样本，从而提高样本的多样性。此外，我们利用偏好对之间的独特关系，通过在 VAE 的潜在空间上进行插值来执行数据合成。虽然隐式方法具有无需额外工作量的优势，但它们仍然存在偏好本身所能提供的信息量有限的问题。轨迹偏好的一个局限性是没有折扣，这意味着如果一条轨迹是偏好的，则假设整个轨迹都是偏好的，从而导致偶然的混淆。因此，我们引入了一种称为亮点的新反馈形式，让用户在轨迹上显示哪些部分是好的，哪些部分是坏的。此外，利用 LLM，我们创建了一种方法，让人类通过自然语言解释他们的偏好，以推断哪些部分是偏好的。总体而言，本论文摆脱了互联网规模数据的假设，并展示了如何通过较少的人工反馈实现一致性。
计算机科学中的博士论文提高了从人类反馈中学习的样本效率
随着人工智能的快速发展，该技术已从工业和实验室环境中转移到了日常人的手中。一旦AI和机器人代理人被安置在日常家庭中，就需要考虑到人类的需求。使用诸如从人类反馈（RLHF）中学习的方法，代理可以通过学习奖励功能或直接基于其回馈来优化策略来学习理想的行为。与互联网规模数据受益的视觉模型和大型语言模型（LLM）不同，RLHF受到提供的反馈量的限制，因为它需要额外的人为努力。在本文中，我们研究了如何减少人类提供的反馈数量，以减轻奖励功能而不会降低估计值时减轻负担。我们从基于偏好的学习角度来解决反馈的信息和效率之间的基本权衡。在这方面，我们介绍了可以分为两组的多种方法，即在没有额外的人类努力的情况下提高反馈质量的隐式方法，以及旨在通过使用其他反馈类型来大幅增加信息内容的明确方法。为了暗中提高偏好反馈的效率，我们研究如何利用主动学习（AL）来通过从差异自动编码器（VAE）中从差异化表示中挑选出差异的群集来提高样品的多样性。此外，我们还利用了优先对对通过在VAE的潜在空间上插值执行数据综合之间的独特关系。虽然隐式方法具有不需要额外努力的好处，但它们仍然遭受单独提供的信息提供的有限信息。对轨迹的偏好的一个局限性是没有折扣，这意味着如果首选轨迹，则为整个轨迹是首选，导致休闲混乱。因此，我们引入了一种称为“亮点”的新形式的反馈形式，该反馈使用户可以在轨迹上显示，哪一部分是好的，哪一部分不好。此外，利用LLMS创建了一种让人通过自然语言解释其偏好的方法，以推断出哪些部分是首选的。总的来说，本论文远离了互联网规模数据的假设，并展示了我们如何从人类较少的反馈中实现一致性。
通过减少刺激幅度深度
摘要 - 稳态视觉诱发电位（SSVEP）当前是脑部计算机界面（BCI）中使用最广泛的范例之一。尽管SSVEP-BCI的特征是它们的高且稳健的分类性能，但从用户体验的角度来看，反式刺激的重复表现是不舒服的。的确，SSVEP刺激的低水平视觉特征使它们随着时间的流逝而紧张，并且可能会破坏需要持续关注的任务。他们甚至可以诱导癫痫发作。本研究探讨了刺激幅度深度（90％的幅度降低），以设计SSVEP刺激，以改善用户舒适性的解决方案。在低振幅和标准的全幅度SSVEP刺激之间，系统比较了不同管道获得的分类精度。结果揭示了使用与任务相关的组件分析（TRCA）分类方法的高（99.8％）和低幅度（80.2％）刺激的高分类精度。目前的发现证明了减少SSVEP刺激幅度以增加用户舒适度为透明BCI操作铺平道路的有效性。
靶向基质金属蛋白酶：改善神经系统修复细胞移植的潜在策略
摘要细胞移植显示了修复受伤的神经系统的希望，包括脊髓损伤（SCI）和周围神经损伤（PNI）。但是，在阻碍这些疗法从长凳到床边移动的疗法时仍然存在问题，方法需要优化。三维（3D）细胞培养系统被建议改善结果，弥合体外环境和体内环境之间的差距。在这种构造中，允许细胞相互相互作用，并像在体内一样与3D中的细胞外基质（ECM）相互作用。3D构建体中的移植细胞而不是悬浮液中的移植细胞被认为可以促进细胞存活并维持重要的细胞行为。这样的关键行为是细胞迁移到伤害部位内外。因此，了解和控制3D培养细胞的迁移能力对于开发更好的移植技术至关重要。ECM重塑会影响许多细胞功能，包括细胞迁移和基质金属蛋白酶（MMP）是ECM调节的重要酶。在这里，我们讨论了调节MMP以控制3D培养系统中细胞迁移的想法，这可以提高3D移植的细胞的治疗潜力。
改进安全和私人的生成AI模型...
摘要。生成的对抗网络（GAN）在为各种应用程序（包括涉及敏感信息（例如医疗保健和金融）等敏感信息的数据生成合成数据）中表现出了巨大潜力。但是，当将gan应用于敏感数据集时出现了两个主要问题：（i）模型可以记住培训样本，损害个人的隐私，尤其是当数据包括个人身份信息（PII），以及（ii）缺乏对生成样品的特异性的控制，这限制了其限制其量身定制的用途。为了应对这些挑战，我们提出了一个新颖的框架，该框架将差异隐私与潜在的表示学学习整合在一起，以确保隐私，同时提供对生成数据的特殊性的控制。我们的方法确保合成数据不会揭示单个数据点，并且通过学习有效的潜在代码，它可以生成特定和有意义的数据。我们使用MNIST数据集评估了我们的方法，表明它保留了隐私并证明了隐私 - 实用性权衡取舍，这会导致分类准确性降低。此外，我们强调了计算挑战，因为与标准GAN模型相比，训练过程的时间增加了十倍。最后，我们将方法扩展到Celeba数据集，证明如何控制隐私和特异性以生成高质量的私人合成数据。
改善俄罗斯经济危机表现的预警系统指标
1耶卡特林堡乌拉尔州矿业大学战略和工业管理部，620144 Sverdlovsk Oblast，俄罗斯2高层管理，大西洋科学技术学术出版社，马萨诸塞州波士顿，美国马萨诸塞州01233，美国； Marina.Vasiljeva2017@gmail.com 3 Mirea-Russian Technological University，119454莫斯科，俄罗斯莫斯科； sokolov_a_researcher@yahoo.com 4经济政策与经济安全研究所，俄罗斯联合会政府领导下的金融大学，俄罗斯莫斯科125993； Nikolay.kuznetsov53@gmail.com 5财政部，货币流通和信贷，乌拉尔州立大学经济大学，Yekaterinburg，620144 Sverdlovsk Oblast，俄罗斯Sverdlovsk Oblast； maksimmaramygin@yandex.ru 6莫斯科州立技术大学工业物流部，俄罗斯莫斯科105005； mar1e.volkova@yandex.ru 7假肢部，I.M.Sechenov第一莫斯科州立医科大学（Sechenov大学），俄罗斯莫斯科119146； Angelinazekiy@yandex.ru 8 Yakutsk东北联邦大学经济与金融系，677007 Sakha Republic，俄罗斯； izabella.elyakova@yandex.ru 9莫斯科大都会治理Yury Luzhkov University，107045莫斯科，俄罗斯莫斯科； n.nikitina_info@yahoo.com *通信：Alexandrossemin@yandex.ruSechenov第一莫斯科州立医科大学（Sechenov大学），俄罗斯莫斯科119146； Angelinazekiy@yandex.ru 8 Yakutsk东北联邦大学经济与金融系，677007 Sakha Republic，俄罗斯； izabella.elyakova@yandex.ru 9莫斯科大都会治理Yury Luzhkov University，107045莫斯科，俄罗斯莫斯科； n.nikitina_info@yahoo.com *通信：Alexandrossemin@yandex.ru
改善来自微小培训的协方差矩阵...
大脑计算机界面域中使用的抽象脑电图数据通常具有低于标准的信噪比，并且数据采集很昂贵。有效且常用的分类器来区分事件相关电位是线性判别分析，但是，它需要对特征分布进行估计。虽然功能协方差矩阵提供了此信息，但其大量的免费参数要求使用正规化方法，例如Ledoit -Wolf收缩。假设与事件相关的潜在记录的噪声没有时间锁定，我们建议将与事件相关潜在数据的协方差矩阵分离，以进一步改善线性歧视分析的协方差矩阵的估计值。我们比较了三种正则变体和基于黎曼几何形状的特征表示，与我们提出的新型线性判别分析与时间耦合的协方差估计值进行了比较。对14个脑电图数据集的广泛评估表明，新颖的方法可将分类性能提高到小型训练数据集的最高四个百分点，并优雅地收敛于标准收缩率调查的LDA对大型培训数据集的性能。鉴于这些结果，该领域的从业人员应考虑使用线性判别分析来对事件相关的电位进行分类时，应考虑使用我们提出的时间耦合协方差估计，尤其是在很少有培训数据点可用时。
通过几何深度学习提高MHC-I结合肽预测的概括性
肽与主要组织相容性复合物（MHC）分子之间的相互作用在自身免疫，病原体识别和肿瘤免疫方面是关键的。癌症免疫疗法的最新进展需求需要更准确的MHC结合肽计算预测。我们解决了与MHC结合的肽预测的普遍性挑战，从而揭示了当前基于序列的方法的局限性。我们利用几何深度学习（GDL）的基于结构的方法表明，在看不见的MHC等位基因的普遍性方面有望提高。此外，我们通过在结构（3D-SSL）上引入一种自我监督的学习方法来解决数据效率。在不暴露于任何绑定亲和力数据的情况下，我们的3D-SSL优于基于序列的方法，该方法在〜90倍的数据点上训练。最后，我们证明了基于结构的GDL方法对乙型肝炎病毒疫苗免疫肽疗法案例研究的结合数据的偏见。这项概念验证研究强调了基于结构的方法增强通用性和数据效率的潜力，对数据密集型领域（如T细胞受体特异性预测预测）具有重要意义，为增强对免疫反应的理解和操纵铺平了道路。
使用容错在线调度
在外太空中有超过21000个对象，并暴露于苛刻的空间环境中。空间对象的大小有很大变化。我们的研究集中于小型卫星，例如立方体，这些卫星必须尊重时间，空间和能量限制。为了解决此问题，本文介绍并评估了两个容忍在线调度算法算法：算法将所有任务安排为Aperiodic（称为OneOff），而将到达任务放置为Aperiodic或Quartiac ofic odic或周期性任务（称为Oneoff＆Cyclic）。基于几种情况，结果表明，订购策略的性能受到系统负载的影响以及与要执行的所有任务的简单和双重任务的比例。“最早的截止日期”和“最早到达时间”为Oneoff的订购政策，或“最小懈怠”订购策略，用于单一和周期性，拒绝所有测试的场景中最小任务。本文还介绍了评估订购策略实时性能的计划时间的分析，并表明Oneoff比OneOff＆Cyclic所需的时间更少。最后，发现所研究的算法在恶劣的环境中的性能也很好，并提供与基于三重模块化冗余的系统相同的可靠性水平，系统功耗较少。