定义奖励功能通常是系统设计师在增强学习中的一项具有挑战性但至关重要的任务,尤其是在指定复杂行为时。从人类反馈(RLHF)中学习的强化是一种承诺的方法来规避这一点。在RLHF中,代理通常通过使用轨迹段的成对比较来查询人类老师来学习奖励功能。这个领域中的一个关键问题是如何减少需要学习内容丰富的奖励功能的查询数量,因为要求人类老师太多的查询是不切实际且昂贵的。为了解决这个问题,大多数现有的方法主要集中于改进探索,引入数据增强或为RLHF设计复杂的培训目标,而查询生成和选择方案的潜力尚未得到充分利用。在本文中,我们提出了二人组,这是一种新颖的方法,用于RLHF中的多种,不确定的,上的查询生成和选择。我们的方法会产生(1)与政策培训更相关的查询(通过政策标准),(2)更有用的信息(通过认知不确定性的原则衡量)和(3)多样化(通过基于聚类的过滤器)。对各种运动和机器人操纵任务的实验结果表明,我们的方法可以超越最先进的RLHF方法,并给出相同的查询预算,同时对可能的非理性教师有力。
大型语言模型 (LLM) 已显示出作为评估 AI 系统生成的答案质量的自动评估器的前景。然而,基于 LLM 的评估器在用于评估成对比较中的候选答案时表现出位置偏差或不一致性,无论内容如何,都会偏向第一个或第二个答案。为了解决这个限制,我们提出了 P ORTIA,这是一个基于对齐的系统,旨在模仿人类的比较策略,以轻量级但有效的方式校准位置偏差。具体来说,P ORTIA 将答案分成多个部分,同时考虑长度和语义,然后将它们合并回单个提示以供 LLM 评估。对 6 个 LLM 对 11,520 个答案对进行的大量实验表明,P ORTIA 显着提高了所有模型和比较形式的一致性率,平均相对提高 47.46%。它还使 P ORTIA 增强型 GPT-3.5 能够实现与 GPT-4 相当的与人类的一致率,并将 GPT-4 的一致率提高到 98%。后续的人工评估表明,P ORTIA 增强型 GPT-3.5 模型在与人类评估者的一致性方面甚至可以超越独立的 GPT-4,凸显了 P ORTIA 纠正立场偏见、提高 LLM 一致性和提高性能的同时保持成本效率的能力。
在许多情况下,对对象进行排名或排序是一个自然问题。从数学上讲,这项任务相当于从有限集合中找到“好的”排列,或者更一般地,从好的排列分布中抽样。这可能出奇地困难。例如,假设我们观察到一组成对的相互作用,如竞争、偏好或冲突,每个相互作用都表明一个对象的排名高于另一个对象,我们的目标是将它们从最强到最弱进行排序。类似地,我们可能想要重建节点加入不断增长的网络的顺序 [1,2],例如在一场流行病中,接触追踪表明一个人感染了另一个人。在这种情况下,找到一个排列,使排序“错误”的违规数量最少,是 NP 难的,也就是说,这是计算机科学中最难的优化问题之一 [3]。即使存在与所有观察到的相互作用一致的排列,计算这种排列的数量或计算给定对象的平均位置也是#P-完全的[4,5]。因此,所有这些问题被认为在最坏情况下会花费指数时间。成对比较可以表示为有向图G,其边(i,j)表示i≺j,即i“击败”j,因此可能排名高于j。我们假设一个生成模型:给定一个真实排列π,我们以概率P(G |π)[6]观察到G。如果所有排列都是先验相等的,并且如果我们以概率f(πi,πj)独立地观察到每个i≺j,则后验具有以下形式
DNA 片段化是基于杂交捕获的短读测序中文库制备过程中的一个基本步骤。迄今为止,人们一直使用超声波来制备适当大小的 DNA,但这种方法会导致大量 DNA 样本损失。最近,研究采用了依赖于 DNA 内切酶酶促片段化的文库制备方法来最大限度地减少 DNA 损失,尤其是在纳米量样本中。然而,尽管它们被广泛使用,但酶促片段化对所得序列的影响尚未得到仔细评估。在这里,我们对使用超声波和酶促片段化方法制备的相同肿瘤 DNA 样本的体细胞变异进行了成对比较。我们的分析显示,与通过超声波创建的文库相比,内切酶处理的文库中反复出现的人工 SNV/indel 数量要多得多。这些人工制品以基因组背景下的回文结构、测序读取中的位置偏差和多核苷酸替换为标志。利用这些独特的特性,我们开发了一种过滤算法,可以高特异性和灵敏度地区分真正的体细胞突变和人为噪声。噪声消除恢复了肿瘤样本中突变特征的组成。因此,我们提供了一种信息学算法来解决因内切酶介导的碎片化而产生的测序错误,这是本研究中首次强调的。
摘要。MRI的大脑年龄预测已成为与广泛的神经病理学相关的流行成像生物标志物。但是,用于培训的数据集经常会偏斜和不平衡人口统计学,有可能使脑时代预测模型容易受到偏见的影响。我们通过进行全面的亚组性能分析和功能检查来分析常用的Resnet-34模型。该模型接受了Cam-Can和IXI的1,215 T1加权MRI扫描的训练,并在英国生物库中进行了测试(n = 42,786),分为六个种族和生物性性亚组。是通过比较亚组之间的表现的目的,通过绝对预测误差来衡量,我们使用Kruskal-Wallis检验,然后进行两次事后Conover-Iman测试,以检查种族和生物学性别的偏见。要检查生成的特征中的偏差,我们使用PCA进行降低降低,并使用两个样本的Kolmogorov-Smirnov测试来识别亚组之间的分布变化。我们的结果揭示了黑白,黑人和亚洲以及男性和女性受试者之间的预测性能统计学上显着差异。十二个成对比较中有7个在特征分布上显示出统计学上的显着差异。我们的发现要求进一步分析大脑年龄预测模型。
摘要:鉴于众多选择的可用性,例如基于铂的剂,聚合酶抑制剂(Parpis)和其他药物,乳腺癌患者的最佳治疗方案仍然有争议。我们包括了II期或III期RCT,除ORR和PCR的OR 95%CI外,OS,PFS和DFS的HR估计了HR 95%CI。我们确定了P分数的治疗组排名。此外,我们在TNBC和HR阳性患者中进行了亚组分析。我们使用R 4.2.0和随机效应模型进行了该网络荟萃分析。总共22个RCT符合条件,涉及4253名患者。在成对比较中,对于OS(在整个研究组和两个亚组中)以及PFS,PARPI +铂 +化学疗法优于Parpi +化学疗法。排名测试表明PARPI +铂 +化学疗法在PFS,DFS和ORR中排名第一。铂 +化学疗法的OS高于PARPI +化学疗法。PFS,DFS和PCR的排名测试表明,除了含有PARPI的最佳治疗方法(PARPI + Platinum + Chemo)外,第二和第三种治疗方法是铂单一疗法或基于铂的化学疗法。总而言之,PARPI +铂 +化学疗法可能是GBRCA突破BC的最佳制度。铂药在组合和单一疗法中表现出比PARPI更有利的效率。
目的:CCHS是一种极为罕见的先天性疾病,需要人工通风作为生命支持。通常是由Phox2b基因中的杂合性多苯胺重复扩张突变(PARMS)引起的,对PARM长度与表型严重程度之间关系的鉴定已实现了预期管理。然而,对于Phox2b中非PARMS的患者(NPARMS,约10%的CCHS患者),尚未建立基因型 - 表型相关性。PHOX2B NPARMS和相关表型的全面报告旨在阐明潜在的基因型 - 将指导预期管理的表型相关性。方法:建立了国际合作(临床,商业和研究实验室),以收集/分享有关新颖和先前发表的PHOX2B NPARM案例的信息。变体按类型和基因位置进行分类。分类数据;对显着结果进行了进一步的成对比较。结果:确定了三百两个具有PHOX2B NPARMS的人,其中包括139例以前未报告的病例。的发现表明,CCHS的关键表型表现与变体类型,位置以及对蛋白质功能的影响之间的显着关联。结论:本研究介绍了迄今为止最大的PHOX2B NPARMS和相关的表型数据,从而实现了基因型 - 表型研究,这些研究将推进个性化的,预期的管理,并有助于阐明病理机制。PHOX2B NPARMS的进一步表征要求通过国际注册机构进行纵向临床随访。
ABSTRACR。-我使用DNA-DNA杂交方法在Gruidae(Cranes)和外部limpkin(Ara-Midae)之间产生1,200多个成对比较。基于每个细胞的3-10个复制实验,遗传距离的矩阵包括所有细胞的平均delta tm值以及起重机之间的倒数值。i选择了Delta t•作为适当的差异度量,因为在标准的实验条件下,起重机基因组中几乎所有同源的单拷贝DNA序列都足够相似。所有起重机物种对的归一百分比杂交百分比(NPH)值接近100。由于与小遗传距离的测量相关的实验变化,delta TM数据略微脱离了度量。DNA数据以最佳拟合树方法进行了分析,并通过具套品来检查内部一致性,支持传统的观点,即加冕起重机(Balearica)是现存的最古老的Gruid谱系。神秘的西伯利亚起重机(Grus leucogeranus)作为其余物种的姊妹组,分为四个密切相关的群体。Bugeranus和Anthropoides是姊妹团体。澳大利亚的三种种类(Antigone,Rubicunda和Vipio)形成了进化枝,五种主要是果皮的Grus(Grus,Monachus,Monachus,Nigricollis,Japo-Nensis和Americana)也是如此。Sandhill Crane(G. Canadensis)虽然显然是Gruine进化枝的成员,但它是一个没有近亲的旧血统。1989年3月21日收到,1989年5月18日接受。
以色列代表带状Newt(Ommatotriton Vittatus)分布的南部限制。O. vittatus的生命周期包括几个不同的阶段:卵,水生幼虫,陆生期和水生生殖相。我们使用mRNA-seq研究了生命周期中基因表达的差异和带状NEW的过渡。我们确定了在3组之间的成对比较之一中差异表达的〜10 k基因:1-陆生new(男性和女性),2-水生new(男性和女性),3-变质前的水生幼虫。通过主成分分析(PCA)明确定义了组。最大的区别是水生纽(男性和女性)和水生幼虫:〜7.4 k de Genes。是水生和陆地表型之间的〜2.4 K基因。其中包括在肾功能中具有已知作用的著名候选者(泌尿蛋白同源物与水生生活方式密切相关),组织结构(角蛋白)和甲状腺激素信号调节剂DUOXA1。在确定的DE基因中所代表过多的其他发育和代谢途径包括“表皮发育”,“神经系统发育”,“核苷酸 - 糖生物合成”。总体而言,带状NEW的变形和环境转变都涉及广泛的转录组重塑,涉及发育,代谢和细胞途径。了解这些途径和单个基因的作用对于研究栖息地之间的过渡,尤其是受气候变化影响的栖息地之间的作用。此外,纽特的表型柔韧性和基因表达的基本调节可以揭示陆生脊椎动物的进化。
复发性胶质母细胞瘤(GBM)的最佳治疗仍然有争议。因此,我们的研究旨在比较和对复发性GBM中的主动疗法进行比较。我们进行了系统的审查和贝叶斯网络荟萃分析。我们在累积排名曲线和平均等级下使用表面获得了处理层次结构。进行了群集分析,以汇总三个结果的分离结果。该协议已在Prospero(CRD42019146794)注册。总共确定了1,667次引用,并在最终网络荟萃分析中保留了17篇合格文章,其中17篇治疗保留。成对比较表明,在6个月无进展生存率(6-M PFS)率,客观响应率(ORR)和总生存期(OS)上没有显着差异。在报告中,Cediranib Plus Lomustine(CCNU)对应于3-4级不良事件的最高率。排名和聚类分析表明,贝伐单抗(BEV)加上CCNU和Regorafenib在ORR上具有较高的效率,6-M PFS速率和OS,并且BEV单一疗法或BEV与活性药物疗法合并为ORR和6-M PFS速率是有利的。此外,肿瘤治疗场(TTF)和BEV在OS中显示出相对较高的Sucra值。根据排名和聚类分析,BEV Plus CCNU和Regorafenib是治疗的主要建议。在患有严重神经系统症状的患者中,建议单独使用BEV单一疗法或与活性药物疗法结合使用。晚期治疗,例如TTF和免疫疗法,在未来的研究中仍有待研究。