XiaoMi-AI文件搜索系统
World File Search SystemFeedback
计算机科学中的博士论文提高了从人类反馈中学习的样本效率
随着人工智能的快速发展，该技术已从工业和实验室环境中转移到了日常人的手中。一旦AI和机器人代理人被安置在日常家庭中，就需要考虑到人类的需求。使用诸如从人类反馈（RLHF）中学习的方法，代理可以通过学习奖励功能或直接基于其回馈来优化策略来学习理想的行为。与互联网规模数据受益的视觉模型和大型语言模型（LLM）不同，RLHF受到提供的反馈量的限制，因为它需要额外的人为努力。在本文中，我们研究了如何减少人类提供的反馈数量，以减轻奖励功能而不会降低估计值时减轻负担。我们从基于偏好的学习角度来解决反馈的信息和效率之间的基本权衡。在这方面，我们介绍了可以分为两组的多种方法，即在没有额外的人类努力的情况下提高反馈质量的隐式方法，以及旨在通过使用其他反馈类型来大幅增加信息内容的明确方法。为了暗中提高偏好反馈的效率，我们研究如何利用主动学习（AL）来通过从差异自动编码器（VAE）中从差异化表示中挑选出差异的群集来提高样品的多样性。此外，我们还利用了优先对对通过在VAE的潜在空间上插值执行数据综合之间的独特关系。虽然隐式方法具有不需要额外努力的好处，但它们仍然遭受单独提供的信息提供的有限信息。对轨迹的偏好的一个局限性是没有折扣，这意味着如果首选轨迹，则为整个轨迹是首选，导致休闲混乱。因此，我们引入了一种称为“亮点”的新形式的反馈形式，该反馈使用户可以在轨迹上显示，哪一部分是好的，哪一部分不好。此外，利用LLMS创建了一种让人通过自然语言解释其偏好的方法，以推断出哪些部分是首选的。总的来说，本论文远离了互联网规模数据的假设，并展示了我们如何从人类较少的反馈中实现一致性。
连续的听觉反馈促进了小鼠的精细运动技能学习
运动技能学习使生物可以与环境有效相互作用，并依靠将感觉反馈与电机输出相结合的神经机制。虽然感觉反馈（例如与运动动作相关的听觉提示）增强了人类运动性能，但其作用机理的理解很少。开发可靠的增强运动技能学习动物模型对于开始剖析这种增强的生物系统至关重要。我们假设在运动任务期间连续的听觉反馈将促进小鼠的复杂运动技能。我们使用DeepLabcut开发了一个闭环系统，以实时无标记跟踪鼠标前爪动作，并具有高处理速度和低延迟。通过将前言的动作编码到不同频率的听觉音调中，小鼠在到达任务期间接收了连续的听觉反馈，需要将左前爪垂直位移到目标。成年小鼠在4 d培训中接受了听觉反馈或没有反馈的培训。与对照组相比，接收听觉反馈的小鼠表现出明显增强的运动技能学习。对轨迹的聚类分析表明，在运动训练的第2天之前，听觉反馈小鼠建立了一致的到达轨迹。这些发现表明，实时，运动编码的听觉反馈有效地促进了小鼠运动技能。这种闭环系统利用高级机器学习和实时跟踪，为探索运动控制机制和通过增强的感觉反馈开发运动障碍的治疗策略提供了新的途径。
基于跨学科的语料库探索多模式对话反馈
表2。有关反馈预测和客观评估的文献摘要。方法列是指算法：基于规则的（RB），条件随机字段（CRF），隐藏的马尔可夫模型（HMM），深神经网络（DNN），长期短期记忆，歧视专家的潜在混合物（LSTM）。反馈列是指研究的反馈，第一字母表示所预测的类型：仅通用（g）或特定（g/s）；第二个字母指的是方式：口头（V）和/或手势（G）。特征列是指特征的类型：韵律（P），形态 - 句法（M），手势/视觉（G），自动回归（A）。误差范围（MOE）列指示用于评估地面真相开始反馈的窗口（ - 表示丢失的信息）。分数列包含指标和相关得分：f-Score（f），Precision（p），召回（r）。
内部动力学与运动Cortex的RNN模型中的运动执行过程中的本体感受反馈
电动机皮层通过向下游神经电路发送时间模式来启动运动。运动执行过程中的模式被认为是由电机皮质网络中的内部动力学产生的。但是，外部输入（例如本体感受）也塑造了运动皮质动力学。为了调查内部动力学和本体感受反馈对自愿运动执行的贡献，我们构建了几种具有本体感受反馈的不同组合，以控制延迟到达任务中的人工手部运动。我们发现，抑制性稳定网络接收手运动学和肌肉力产生的模式与运动皮层神经元数据中观察到的模式最相似。此外，我们使用了一种破坏策略来剖析内部动力学和本体感受反馈的贡献，并发现内部动力学占主导地位，而本体感受反馈微调微型运动命令。消融实验表明，本体感受反馈改善了针对嘈杂的初始条件的鲁棒性。最后，考虑到本体感受途径中感觉反馈的延迟，噪声和来源，我们构建了一个感觉估计网络。我们的结果强调了在运动控制模型中整合内在体系结构和外部输入的必要性，从而促进了受脑启发的人工智能系统的发展。
固体液体接口处的量子反馈
通过导体驱动的电子电流可以通过著名的库仑阻力效应诱导另一个导体中的电流。在移动的流体和导体之间的接口上已经报道了类似的现象，但是它们的解释仍然难以捉摸。在这里，我们利用了非平衡的Keldysh框架，开发了一种相互交织的流体和电子流的量子机械理论。我们预测，全球中性液体可以在其流动的实心壁中产生电子电流。这种流体动力学库仑阻力均来自液体电荷波动与固体电荷载体之间的库仑相互作用，以及由实心声子介导的液体电子相互作用。我们根据固体的电子和语音特性以及液体的介电响应明确地得出了库仑阻力电流，这一结果与液态涂纸界面上的最新实验一致。此外，我们表明当前一代抵消了从液体到固体的动量转移，从而通过量子反馈机制降低了流体动力摩擦系数。我们的结果为控制量子水平控制纳米级液体流量提供了路线图，并提出了设计具有低流体动力摩擦的材料的策略。
自适应迭代反馈提示通过llms
规划对于在复杂的决策任务中运作的代理商至关重要，尤其是在人类机器人互动（HRI）方案中，该方案通常需要适应性和导航动态环境的能力。大型语言模型（LLMS）以其出色的自然语言理解能力而闻名，通过处理上下文和语言提示，可以在HRI中提高HRI的计划。但是，它们的有效性受到空间推理中固有的缺点的限制。现有的基于LLM的计划框架通常取决于与经典计划方法结合或难以适应动态环境，从而限制了它们的实际适用性。本文审查了环境反馈机制和迭代计划是否可以增强LLM的计划能力。具体来说，我们提出了“自适应迭代反馈提示”（AIFP）路径计划框架。在AIFP中，LLM生成了部分轨迹，并通过环境反馈评估了潜在的碰撞。基于评估，AIFP升级了轨迹或重新计划。我们的初步结果表明，AIFP将基线的成功率提高了33。3％，并生成有效的，适当的复杂路径，使其成为动态HRI场景的有希望的方法。
（WIP）从人类反馈中学习一点加强
11策略梯度算法46 11.1策略梯度算法。。。。。。。。。。。。。。。。。。。。。46 11.1.1香草政策梯度。。。。。。。。。。。。。。。。。。。47 11.1.2加强。。。。。。。。。。。。。。。。。。。。。。。。。48 11.1.3加强一把（rloo）。。。。。。。。。。。49 11.1.4近端策略优化。。。。。。。。。。。。。。。。50 11.1.5组相对策略优化。。。。。。。。。。。。51 11.2实施。。。。。。。。。。。。。。。。。。。。。。。。。。。。52 11.2.1政策梯度。。。。。。。。。。。。。。。。。。。。。。。。53 11.2.2近端策略优化。。。。。。。。。。。。。。。。53 11.2.3组相对策略优化。。。。。。。。。。。。56 11.3辅助主题。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。57 11.3.1广义优势估计（GAE）。。。。。。57 11.3.2双重正则化。。。。。。。。。。。。。。。。。。。。58
FS25/1-大型技术和数字钱包 - 反馈声明
1.16从PSR的角度来看，提供用于运营付款系统或为非参与者提供服务的基础架构的实体，这些实体在该付款系统中可以在该付款系统中“参与者”在《金融服务（Banking Reform》（Banking Reform）（FSBRA）（FSBRA）中“参与者”。因此，在提供此类基础设施或服务的范围内，数字钱包提供商将在FSBRA下被视为“参与者”。这些服务可能包括付款数据的存储和传输。每个案件都需要根据自己的事实进行考虑，以确定提供的服务类型是否会将其提供者带入参与者的定义。PSR对受监管支付系统的参与者具有某些权力。
miR-21 与 PPAR- 在透明肾细胞癌中的双重负反馈相互作用
1 里尔大学，法国国立科学研究院，法国国家健康与医学研究院，里尔临床医学院，UMR9020-U1277—CANTHER—癌症异质性可塑性和治疗耐药性，F-59000 里尔，法国；marine.goujon@univ-lille.fr (MG)；justine.woszczyk@gmail.com (JW)；kelliii@hotmail.fr (KG)；thomas.sw@hotmail.fr (TS)；sandy.fellah@univ-lille.fr (SF)；jeanbaptiste.gibier@chru-lille.fr (J.-BG)；isabelle.vanseuningen@inserm.fr (IVS)；romain.larrue@univ-lille.fr (RL)；christelle.cauffiez@univ-lille.fr (CC)；viviane.gnemmi@chru-lille.fr (VG)； sebastien.aubert@chru-lille.fr (SA); nicolas.pottier@univ-lille.fr (NP) 2 CHU Lille, Service d'Anatomo-Pathologie, F-59000 Lille, France 3 CHU Lille, Service de Toxicologie et Génopathies, F-59000 Lille, France * 通讯地址：michael.perrais@inserm.fr；电话：+33-3-20-29-88-62 † 这些作者对这项工作做出了同样的贡献。
在腹腔镜培训中使用触觉反馈与盒子培训师（BT）比较虚拟现实（VR）模拟器的学习成果：系统的RE
在2023年12月至2024年4月的系统审查和荟萃分析的首选报告项目之后，进行了系统的审查和荟萃分析。研究数据库，例如PubMed，Embase，Cinahl和Web of Science，寻找随机对照试验（RCT），将VR模拟器与触觉反馈与BT与培训医学生的BT进行比较。七个RCT符合纳入标准，荟萃分析中包括四个RCT。主要结果是学习曲线和学习效果，而次要结果包括技能转移到手术环境。评论分析了整个研究中125名参与者的数据。的结果表明，BTS表现出优异的学习曲线，参与者比使用VR的学习速度更快。两个模拟器都显示出显着的学习效果。但是，BTS在更多的性能参数上取得了更大的改进。关于技能转移到手术环境，两组之间没有显着差异，这两种方法都有效地支持了手术技能转移。总体而言，BT具有更有效的学习曲线，并且在技能掌握方面的表现略有更好。虽然带有触觉反馈的VR提供了增强的现实主义，但它并未完全复制BT提供的自然触觉反馈。需要进一步的研究来改善VR触觉反馈及其在培训计划中的整合以增强学习成果。