XiaoMi-AI文件搜索系统
World File Search System反馈
计算机科学中的博士论文提高了从人类反馈中学习的样本效率
随着人工智能的快速发展，该技术已从工业和实验室环境中转移到了日常人的手中。一旦AI和机器人代理人被安置在日常家庭中，就需要考虑到人类的需求。使用诸如从人类反馈（RLHF）中学习的方法，代理可以通过学习奖励功能或直接基于其回馈来优化策略来学习理想的行为。与互联网规模数据受益的视觉模型和大型语言模型（LLM）不同，RLHF受到提供的反馈量的限制，因为它需要额外的人为努力。在本文中，我们研究了如何减少人类提供的反馈数量，以减轻奖励功能而不会降低估计值时减轻负担。我们从基于偏好的学习角度来解决反馈的信息和效率之间的基本权衡。在这方面，我们介绍了可以分为两组的多种方法，即在没有额外的人类努力的情况下提高反馈质量的隐式方法，以及旨在通过使用其他反馈类型来大幅增加信息内容的明确方法。为了暗中提高偏好反馈的效率，我们研究如何利用主动学习（AL）来通过从差异自动编码器（VAE）中从差异化表示中挑选出差异的群集来提高样品的多样性。此外，我们还利用了优先对对通过在VAE的潜在空间上插值执行数据综合之间的独特关系。虽然隐式方法具有不需要额外努力的好处，但它们仍然遭受单独提供的信息提供的有限信息。对轨迹的偏好的一个局限性是没有折扣，这意味着如果首选轨迹，则为整个轨迹是首选，导致休闲混乱。因此，我们引入了一种称为“亮点”的新形式的反馈形式，该反馈使用户可以在轨迹上显示，哪一部分是好的，哪一部分不好。此外，利用LLMS创建了一种让人通过自然语言解释其偏好的方法，以推断出哪些部分是首选的。总的来说，本论文远离了互联网规模数据的假设，并展示了我们如何从人类较少的反馈中实现一致性。
计算机科学博士论文：通过人类反馈提高强化学习的样本效率
随着人工智能的快速发展，这项技术已经走出工业和实验室，进入了人们的日常生活。一旦人工智能和机器人代理进入日常家庭，它们就需要能够考虑人类的需求。借助诸如强化学习人类反馈 (RLHF) 之类的方法，代理可以通过学习奖励函数或直接基于其反馈优化策略来学习理想的行为。与受益于互联网规模数据的视觉模型和大型语言模型 (LLM) 不同，RLHF 受限于所提供的反馈量，因为它需要额外的人力投入。在本论文中，我们研究如何减少人类提供的反馈量，以减轻他们在估计奖励函数时的负担，同时又不降低估计值。我们从基于偏好的学习角度研究了反馈的信息量和效率之间的根本权衡。为此，我们介绍了多种方法，这些方法可以分为两类：隐式方法，无需额外的人力投入即可提高反馈质量；显式方法，旨在通过使用更多反馈类型来大幅增加信息量。为了隐式地提高偏好反馈的效率，我们研究如何利用主动学习 (AL)，通过变分自编码器 (VAE) 从已学习表征的不同聚类中策略性地选取样本，从而提高样本的多样性。此外，我们利用偏好对之间的独特关系，通过在 VAE 的潜在空间上进行插值来执行数据合成。虽然隐式方法具有无需额外工作量的优势，但它们仍然存在偏好本身所能提供的信息量有限的问题。轨迹偏好的一个局限性是没有折扣，这意味着如果一条轨迹是偏好的，则假设整个轨迹都是偏好的，从而导致偶然的混淆。因此，我们引入了一种称为亮点的新反馈形式，让用户在轨迹上显示哪些部分是好的，哪些部分是坏的。此外，利用 LLM，我们创建了一种方法，让人类通过自然语言解释他们的偏好，以推断哪些部分是偏好的。总体而言，本论文摆脱了互联网规模数据的假设，并展示了如何通过较少的人工反馈实现一致性。
连续的听觉反馈促进了小鼠的精细运动技能学习
运动技能学习使生物可以与环境有效相互作用，并依靠将感觉反馈与电机输出相结合的神经机制。虽然感觉反馈（例如与运动动作相关的听觉提示）增强了人类运动性能，但其作用机理的理解很少。开发可靠的增强运动技能学习动物模型对于开始剖析这种增强的生物系统至关重要。我们假设在运动任务期间连续的听觉反馈将促进小鼠的复杂运动技能。我们使用DeepLabcut开发了一个闭环系统，以实时无标记跟踪鼠标前爪动作，并具有高处理速度和低延迟。通过将前言的动作编码到不同频率的听觉音调中，小鼠在到达任务期间接收了连续的听觉反馈，需要将左前爪垂直位移到目标。成年小鼠在4 d培训中接受了听觉反馈或没有反馈的培训。与对照组相比，接收听觉反馈的小鼠表现出明显增强的运动技能学习。对轨迹的聚类分析表明，在运动训练的第2天之前，听觉反馈小鼠建立了一致的到达轨迹。这些发现表明，实时，运动编码的听觉反馈有效地促进了小鼠运动技能。这种闭环系统利用高级机器学习和实时跟踪，为探索运动控制机制和通过增强的感觉反馈开发运动障碍的治疗策略提供了新的途径。
使用实时fMRI神经反馈克劳斯（F。f。f。; Kogias，N.O。； Krentz，M。； Lührs，M。
最近已经显示，急性应力影响大型大脑网络之间的神经资源分配，尤其是执行控制网络和显着网络之间的平衡。对这种动态资源重新分配过程的适应性被认为在与压力相关的PSY-CHOPALOGY中起主要作用，这表明应力弹性可以通过在这两个网络之间自适应地重新分配神经资源的保留能力来确定。积极训练这种能力可能是增加患有与压力相关的症状学风险的个体的弹性的潜在有前途的方法。使用实时功能磁共振成像，当前的研究研究了个人是否可以学会自我调节与压力相关的大规模网络平衡。参与者参与了双向和隐式实时fMRI神经反馈范式，其中间歇性地向他们提供了视觉表示显着性和执行控制网络平均激活和执行控制网络之间的差异信号，并试图自我调节该信号。Our results show that, given feedback about their performance over three training sessions, participants were able to (1) learn strategies to differentially control the balance between SN and ECN activation on demand, as well as (2) successfully transfer this newly learned skill to a situation where they (a) did not receive any feedback anymore, and (b) were exposed to an acute stressor in form of the prospect of a mild electric stimulation.当前的研究构成了基于与压力相关的大规模网络平衡的神经反馈培训的第一大成功证明 - 一种新颖的方法，一种新的方法有可能培训对现实生活中压力源的中心反应的控制，并可能为未来的临床干预措施奠定基础，以促进越来越多的弹性。
主演员评论家的新颖声音通过人为反馈框架进行增强机器人导航
这项工作在头部（VIH）框架中提出了一种新颖的声音，该框架集成了大型语言模型（LLM）和语义理解的力量，以增强复杂环境中的机器人导航和互动。我们的系统从战略上结合了GPT和Gemini Power LLM作为加强学习（RL）循环中的演员和评论家组成部分，以进行连续学习和适应。vih采用了由Azure AI搜索提供动力的复杂语义搜索机制，使用户可以通过自然语言查询与系统进行交互。为了确保安全并解决潜在的LLM限制，该系统将增强学习与人类反馈（RLHF）组件结合在一起，仅在必要时才触发。这种混合方法可带来令人印象深刻的结果，达到超过94.54％的成功率，超过了既定的基准。最重要的是，VIH框架提供了模块化可扩展的体系结构。通过简单地修改环境，该系统展示了适应各种应用域的潜力。这项研究为认知机器人技术领域提供了重大进步，为能够在现实世界情景下能够复杂的推理和决策制定的智能自治系统铺平了道路，这使我们更接近实现人工通用情报。
在神经反馈任务期间同时进行EEG-FMRI，这是多模式数据集成的脑成像数据集
组合脑电图和fMRI允许整合精细的空间和准确的时间分辨率，但如果实时执行以实现神经反馈（NF）循环，则会引起许多挑战。在这里，我们描述了在运动成像NF任务中同时获得的脑电图和fMRI的多模式数据集，并补充了MRI结构数据。这项研究涉及30名健康志愿者接受五次培训。我们在以前的工作中展示了同时EEG-FMRI NF的潜力和优点。在这里，我们说明了可以从该数据集中提取的信息的类型并显示其潜在用途。这代表了NF的EEG和fMRI的第一个同时记录之一，在这里我们提出了第一个开放访问BI-MODAL模式NF数据集，该数据集整合了EEG和FMRI。我们认为，这将是（1）多模式数据集成的进步和测试方法，（2）提高所提供的NF质量，（3）改善在MRI下获得的EEG的方法论，并（4）使用多模式信息研究了运动象征的神经标志物。
基于跨学科的语料库探索多模式对话反馈
表2。有关反馈预测和客观评估的文献摘要。方法列是指算法：基于规则的（RB），条件随机字段（CRF），隐藏的马尔可夫模型（HMM），深神经网络（DNN），长期短期记忆，歧视专家的潜在混合物（LSTM）。反馈列是指研究的反馈，第一字母表示所预测的类型：仅通用（g）或特定（g/s）；第二个字母指的是方式：口头（V）和/或手势（G）。特征列是指特征的类型：韵律（P），形态 - 句法（M），手势/视觉（G），自动回归（A）。误差范围（MOE）列指示用于评估地面真相开始反馈的窗口（ - 表示丢失的信息）。分数列包含指标和相关得分：f-Score（f），Precision（p），召回（r）。
DOF转录抑制剂 - 吉布贝罗林反馈环路在调节光独立的种子发芽
植物已经发展了几种应对不断变化的环境的策略。一个例子是通过种子发芽给出的，当环境条件适合植物寿命时，必须发生这种情况。在模型系统中，拟南芥种子发芽是由光引起的。但是，在自然界中，无论这种刺激如何，几种植物的种子都可以发芽。虽然对光引起的种子发芽的分子机制有充分的理解，但在黑暗中管理发芽的分子机制仍然含糊不清，这主要是由于缺乏合适的模型系统。在这里，我们采用了氨基甲胺（Arabidopsis的近亲）作为强大的模型系统，以发现独立于光的发芽的分子机制。通过比较氨基胺和拟南芥，我们表明，维持促膜激素吉布雷素（GA）水平的维持促使豆蔻种子在黑暗和光条件下发芽。使用遗传学和分子生物学的特性，weshowththatthatthe cardamine dof转录反向doF影响发芽1（CHDAG1），与拟南芥转录因子Dag1同源，与该过程功能有关，从而通过负调节Ga Biosynthetic Genes chgaGaGA33Ox1和CHGA33Ox1和CHGA333Ox1和CHGA333Ox1和CHGA33Ox1和CHGA333Ox1和CHGA333Ox1和CHGA333Ox。我们还证明，这种机制可能在其他能够在黑暗条件下发芽的胸腺科中保存，例如鳞翅目sativum和Camelina sativa。我们的数据支持氨基胺作为适合研究光独立发芽研究的新模型系统。利用这一系统，我们还解决了一个长期存在的问题，该问题是关于控制植物中光依赖发芽的机制，为未来的研究打开了新的边界。
朝着改装后的中风后运动康复的神经反馈：艺术和观点
中风是一个严重的健康问题，中风后的运动恢复仍然是康复领域的重要挑战。Neurofackback（NFB）是一种使用在线反馈来调节大脑活动的技术，事实证明，除传统疗法外，还可用于慢性中风种群的运动康复。尽管如此，它在该领域的使用和应用仍留下尚未解决的问题。中风后的脑病理生理机制仍然是未知的，并且在这些机制上促进脑可塑性的干预可能性在临床实践中受到限制。在NFB运动康复中，目的是使用脑成像将治疗适应患者的临床环境，考虑到中风后的时间，脑病变的定位及其临床影响，同时考虑到当前使用的生物标志物和技术局限性。这些现代技术还可以更好地理解中风后大脑的生理病理学和神经塑性。我们对使用NFB进行势头后运动康复的研究进行了叙事文献综述。主要目标是分解可以在NFB疗法中修改的所有元素，这可以根据患者的情况和当前的技术限制导致其适应。可以从这种分析中获得适应和个性化的护理，以更好地满足患者的需求。考虑到最新实验，我们专注于并强调了各种临床和技术组成部分。第二个目标是提出一般建议并提高限制和观点，以提高我们在领域的一般知识并允许临床应用。我们通过结合工程能力和医疗经验来强调这项工作的多学科方法。工程开发对于可用的技术工具至关重要，旨在增加NFB主题中的神经科学知识。考虑到中风后患者的实际临床环境以及由此导致的实际限制，这种技术发展源于为公共卫生问题提供互补治疗解决方案的真正临床需求。
一种新的视觉生物反馈方案，基于缺血性中风患者上身康复的肌肉合成模式的分析：一项实验研究
简介：上肢功能残疾是中风幸存者中常见的后期效应。这项研究的主要目标是提出一种视觉生物反馈方案，以识别基于肘部肌肉的协同模式，用于运动学习和中风幸存者的康复。材料和方法：首先，收集，预处理和同步，与四个关节位置以及横向平面中臂运动中涉及四个肌肉的四个肌肉的表面肌电图信号有关。在下一步中，使用分层交替的最小二乘（HALS）方法提取肌肉协同模式，同时，通过修改的MediaPipe算法记录了运动学数据。最后，使用基于封闭式递归单元（GRU）的深度学习模型来绘制它们之间的映射。模型输出被视为视觉生物反馈轨迹，可由患者进行运动治疗。结果：评估表明，该模型产生的路径可能适合视觉生物反馈。此外，基于GRU架构的人工神经网络在产生视觉生物反馈轨迹方面具有最佳性能。结论：实验和临床评估将表明，参与者可以接受该模型产生的视觉轨迹。因此，该机制可用于改善和开发生物反馈系统，以加速患者的功能康复