现代大型语言模型(LLM)开发人员通常会设置安全一致性,以防止LLM产生不受欢迎或有害内容。这个对齐过程涉及使用人体标记的数据集对模型进行微调,其中包括拒绝回答不道德或有害问题的样本。但是,最近的研究发现,LLM的安全对准可以通过越狱提示绕开。这些提示旨在创建特定的对话方案,并有一个有害的问题。用这样的提示查询LLM可能会误导该模型来回答有害问题。大多数现有的越狱攻击要求模型内部或大量的人类干预才能产生越狱的提示。更先进的技术利用遗传学方法来实现自动化和黑框。然而,遗传方法的随机性和随机性质在很大程度上限制了最先进的(SOTA)越狱攻击的有效性和效率。在本文中,我们提出了RL-Jack,这是一种新颖的Blackbox越狱攻击,该攻击由深度增强学习(DRL)提供支持。我们将越狱提示的产生作为搜索问题,并设计了一种新颖的RL方法来解决它。我们的方法包括一系列定制设计,以在越狱背景下提高RL代理的学习效率。值得注意的是,我们设计了一个llm辅助的动作空间,该空间可以在约束整体搜索空间的同时进行di-verse动作变化。一旦受过培训,我们的经纪人就可以自动针对不同的LLM产生多样化的越狱提示。此外,我们提出了一种新颖的奖励功能,为代理商获得成功越狱的卑鄙的奖励。通过严格的分析,我们发现RL作为确定性搜索策略,比随机搜索方法(例如遗传算法)更有效,并且具有较小的随机性。通过广泛的评估,我们证明了RL-Jack总体上比对六个SOTA LLM的现有越狱攻击更有效,包括大型开源模型(例如Llama2-70B)和商业模型(GPT-3.5)。我们还显示了RL-Jack对三种SOTA防御的弹性及其在不同模型中的可转移性,包括非常大的Llama2-70B。我们通过详细的消融研究进一步证明了RL-Jack的RL代理的必要性以及我们的行动和奖励设计的有效性。最后,我们验证了RL杰克对关键超参数的变化的不敏感性。
当前研究癌症耐药性治疗的研究方法概述随着分子靶向疗法,免疫疗法,化学疗法和放射疗法的发展已取得了重大进展[1]。 靶向药物 - 由分子靶向疗法使用的单克隆抗体和小分子 - 在肿瘤中达到了最高水平的细胞毒性水平,因为它们能够精确靶向癌细胞[2]。 这些治疗方法的可用性大大改善了患者预后。 更重要的是,如果所有肿瘤亚群都共享药物治疗的特征,则靶向药物可以完全缓解该疾病。 但是,癌性肿瘤很少同质。 它们由不同的基因组和转录组划分的各种细胞亚群,每个细胞亚群都可以产生对给定药物的独特反应和敏感性[3]。 结果,具有非同质性动态特征的异质性癌症亚群通常表现出对单药治疗的抵抗力,从而完全消除了该疾病[4]。 一旦消除了绝大多数肿瘤,少数剩余的癌细胞(最小残留疾病(MRD,请参见词汇表)生存下来,并继续增殖[4]。 不可避免的复发具有现在对初始治疗的疾病。 除了某些具有固有耐药性的肿瘤亚群外,癌细胞还可以通过多种机制获得抗药性,例如药物失活,靶替代和药物外排[1,5,6]。当前研究癌症耐药性治疗的研究方法概述随着分子靶向疗法,免疫疗法,化学疗法和放射疗法的发展已取得了重大进展[1]。靶向药物 - 由分子靶向疗法使用的单克隆抗体和小分子 - 在肿瘤中达到了最高水平的细胞毒性水平,因为它们能够精确靶向癌细胞[2]。这些治疗方法的可用性大大改善了患者预后。更重要的是,如果所有肿瘤亚群都共享药物治疗的特征,则靶向药物可以完全缓解该疾病。但是,癌性肿瘤很少同质。它们由不同的基因组和转录组划分的各种细胞亚群,每个细胞亚群都可以产生对给定药物的独特反应和敏感性[3]。结果,具有非同质性动态特征的异质性癌症亚群通常表现出对单药治疗的抵抗力,从而完全消除了该疾病[4]。一旦消除了绝大多数肿瘤,少数剩余的癌细胞(最小残留疾病(MRD,请参见词汇表)生存下来,并继续增殖[4]。不可避免的复发具有现在对初始治疗的疾病。除了某些具有固有耐药性的肿瘤亚群外,癌细胞还可以通过多种机制获得抗药性,例如药物失活,靶替代和药物外排[1,5,6]。对治疗的不敏感性现在可以恢复到90%的癌症相关死亡[7]。因此,必须提高我们对耐药性传播机制的理解,并准确预测哪种组合药物治疗将是针对特定癌症的最有效的。
糖尿病(DM)是全球最常见的慢性病之一,影响了4.22亿人[1]。在这种人口中发展糖尿病足溃疡(DFU)的寿命风险可能高达25%。大约85%的与糖尿病相关的下肢截肢症状在DFU之前[2]。因此,从生活质量和经济角度来看,DFU被认为是医疗保健方面的主要关注点[3]。开发DFU的最大危险因素是周围神经病[4,5]。感觉神经病会引起不敏感性,导致保护性感觉丧失(LOPS)。此外,运动范围有限,脚内小肌肉的萎缩以及由于DM而导致的脚结构变化会导致降压压力。对高足底压力区域的重复应力会导致小伤,由于神经病而可能无法引起注意,导致DFU [6]。根据有关糖尿病脚的国际工作组(IWGDF)预防和管理糖尿病脚的指南,患有高风险患溃疡风险的人需要使用治疗性鞋类(TF)才能卸下高足底式鞋类[7]。可以通过大部分时间使用卸载脚磨损来显着降低开发DFU的风险[8,9]。然而,一些研究表明,在DM患者中使用TF的依从性较低[10-12]。此信息可用于(未来)TF的开发,并进一步改进处方过程。为了提高脚部状况的依从性并进一步恶化,重要的是提高DM患者之间的知识和意识,并确定对使用TF的使用很重要的因素[11]。在2016年发表的综述中,发现只有6项定量观察研究可以证明遵守DM的人使用TF [13]。审查中的大多数研究都报告了不同因素与依从性的关联:脚畸形和较小的截肢,脚部状况的严重程度,TF外观,体重指数,糖尿病类型和年龄[13]。由于研究数量有限,结果不一致,因此尚不确定哪些因素会影响使用TF的依从性。不一致的结果可能是通过研究人员对遵守群体和个体水平预测指标的区别的有限关注来解释的。具有DM和脚并发症的人群的异质性可能解释了TF使用中个体之间的强烈差异,从而导致仅在个体或亚组水平上存在依从性的预测因素[13]。一项定性研究是一种适当的方法,可以为使用TF(在DM和LOPS的不同组中)产生新知识。这种类型的方法不受预先指定的问题的限制,因此可以识别出有关使用TF的最重要因素以及基本的看法,经验和愿望[14]。与互动空间进行焦点小组讨论可能会导致一个富有成果的讨论,其中出现了对主题深入了解的想法[15]。由于DM的人口是异质的,因此根据疾病的严重程度(HOU与No-Hou)