摘要我们描述了OpenWebSearch Group参与CLEF 2024 Quantumclef IR特征选择曲目。我们提交的运行重点是观察到,在更改培训设置时,特征在学习到级别模型中的重要性可能会变化并矛盾。要解决此问题并确定在各种下游训练程序中具有强大功能的特征子集,我们通过反复训练特征的模型在随机选择的功能子集上,并在训练有素的模型中衡量其重要性,从而引导特征的重要性得分。我们确实观察到,在不同的引导程序中,特征的重要性差异很大,并且与自身矛盾。我们假设量子退火器可以更好地探索这种复杂的优化景观,而不是模拟的退火器。但是,我们发现量子退火器并没有发现基本上最佳的解决方案,这些解决方案可以产生更有效的学习对级别模型。
摘要 我们描述了 OpenWebSearch 小组参与 CLEF 2024 QuantumClef IR 特征选择轨道的情况。我们提交的运行重点关注以下观察:学习排序模型中特征的重要性在更改训练设置时会发生变化并自相矛盾。为了解决这个问题并确定一个在不同的下游训练过程中具有鲁棒性的特征子集,我们通过在随机选择的特征子集上反复训练模型并在训练模型中测量它们的重要性来引导特征重要性得分。我们确实观察到特征重要性在不同的引导过程中差异很大,并且自相矛盾。我们假设量子退火器可以比模拟退火器更好地探索这种复杂的优化环境。然而,我们发现量子退火器并没有找到产生更有效的学习排序模型的更优解。
LLM的最新进展,尤其是随着GPT-3.5和GPT-4等复杂系统的开发,从广告和新闻写作到教育和医学研究的各个领域的内容创建彻底改变了跨各个领域的内容。这些模型现在能够生成紧密模仿人写作的文本,并在众多专业工作流程中提高生产力。但是,这种快速的整合面临着重大挑战,包括错误信息[1],伦理困境[2]和学术完整性问题[3,4,5]。LLM产生高度令人信服但可能具有误导性或不准确的内容的能力引起了人们对滥用假新闻,欺骗性社交媒体帖子的滥用的担忧,甚至促进了学术不诚实[6]。因此,开发可靠的方法来区分人类作品和机器生成的文本以减轻这些风险并确保负责使用LLMS变得越来越重要。应对这些挑战,PAN@CLEF 2024引入了Voight-Kampff Generative AI作者身份验证任务。对AI生成的文本的检测已成为研究的关键领域,这是由于需要维护跨数字平台的信息的完整性。传统的文本验证方法在很大程度上依赖于风格和语言特征,当面对现代LLM的精致时,通常不足。这些模型可以生成内容,不仅反映了人类写作,还可以适应各种上下文和样式,从而使手动甚至某些自动检测方法过时。因此,需要更先进的技术来有效地区分人类作者和机器生成的文本。在这项研究中,最初,我们使用培训数据集微调了变压器模型。此过程涉及调整模型参数以更好地符合数据集的特定特征,从而改善模型在我们特定任务上的性能。然后,我们将其准确性与累积学习模型的准确性进行了比较。结果表明合并累积学习模型
可读性被定义为使文本更易于访问和易于阅读的质量[1],但是对于许多人来说,文本的写作方式可能是理解其内容的障碍[2],因为存在很少或未知的单词,并且具有词汇和语义复杂性的短语,这使读者的理解非常复杂[3];在儿童,非母语者[4]以及具有各种认知能力或阅读障碍的人[5]等案件中,这一点尤其明显。理解文本的成功或失败将取决于读者对单词含义的先验知识[6]。信息技术已促进了在教育,新闻,社交网络,健康,政府以及科学等各个领域的大量信息的访问;对于对公众的科学文献,由于数字化,它增加了。然而,每个人都无法获得这些丰富的信息,因为许多人都面临着重要的理解障碍,例如语法结构的复杂性,使用技术语言和句子的长度,这直接影响智障人士,识字率低的人,他们的学术培训和专业知识中的大学生,也可能在读取和理解复杂的文本中,这些人在读书和专业知识中也可能发现[7]。SimpleText实验室[9]是CLEF 2024 [10]倡议的一部分,该计划通过使用共享任务实验来促进信息访问系统的系统评估。SimpleText在科学信息的情况下,一个重要的障碍持续存在,使从原始来源的科学知识很难获得直接获取科学知识,其中主要障碍之一在于科学文本的复杂性,由于缺乏先前的专业知识,因此在现场没有经验的人们带来了困难[8]。
摘要 量子计算 ( QC ) 是计算科学中一个新兴领域,由于其具有开创性应用的潜力,吸引了大量研究兴趣。事实上,人们相信 QC 可以通过显著减少解决问题所需的时间来彻底改变我们解决非常复杂问题的方式。尽管 QC 仍处于发展的早期阶段,但已经可以使用量子计算机解决一些问题,从而开始看到它的潜力。因此,QuantumCLEF 实验室的目标是提高人们对 QC 的认识,并开发和评估新的 QC 算法,以解决在实现信息检索 ( IR ) 和推荐系统 ( RS ) 时通常面临的挑战。此外,这个实验室为人们提供了一个接触 QC 技术的好机会,由于这些技术还处于早期发展阶段,因此通常不易获得。在本文中,我们概述了 QuantumCLEF 的第一版,该实验室专注于应用量子退火 ( QA ),一种特定的 QC 范例,来解决两个任务:IR 和 RS 系统的特征选择,以及 IR 系统的聚类。共有 26 个团队注册了该实验室,最终有 7 个团队按照实验室指南成功提交了他们的运行。由于主题新颖,我们为参与者提供了许多示例和全面的材料,以帮助他们了解 QA 的工作原理以及如何编写量子退火程序。
摘要在本文中,我们在Clef 2024介绍了自动幽默分析(Joker)实验室的工作。小丑实验室的目的是研究幽默的自动处理,其中包括诸如检索,分类和解释各种形式的幽默文本等任务。我们的任务涉及将幽默文本分类为不同类型的不同类型,我们采用了两种不同的方法。这些方法涉及BERT(变压器架构)和传统的机器学习模型(例如随机森林分类器)的使用。在这两种模型中,伯特的精度得分较高,为0.6731。从中,我们得出的结论是,伯特在大多数自然语言过程中都更好。我们展示了有关培训数据的实验,并且在即将出版的页面中介绍了所提供的测试数据集的结果。
摘要近年来,GPT-3,BERT和GPT-4(例如GPT-3,BERT和GPT-4)的大型语言模型在自然语言处理领域取得了重大进步,增强了诸如文档摘要,语言翻译和问题答案之类的任务。尽管有这些好处,但这些模型产生的文本的真实性和信誉引起了社会问题,包括错误信息和窃。为了解决这些问题,PAN组织已经启动了一系列任务,以区分机器生成的文本和人文所写的文本。本文提出了基于Bert和Bilstm的生成AI作者身份验证模型,该模型通过将变压器编码器与多文本特征技术相结合,从而增强了文本歧视功能。该模型利用了预处理的BERT进行深度特征提取,并结合了由Spacy计算出的其他文本功能,由Bilstm和Transformer编码器进一步处理进行分类。实验结果表明,该模型在PAN验证数据集上达到平均得分为0.971,超过了所有基线模型。这种方法不仅提高了检测准确性,而且还提高了对各种文本类型的适应性,这对于保持自动内容生成时代的信息的真实性和可靠性至关重要。
摘要随着大型语言模型(LLM)继续以惊人的速度前进并越来越广泛地采用,人们越来越难以辨别给定文本是由人类还是机器编写的。作者身份验证已成为一项至关重要且具有挑战性的任务。本文采用了一种文本分类模型,该模型结合了BERT和卷积神经网络(CNN),以利用Bert强大的上下文理解能力和CNN有效的本地功能提取能力来增强文本分类性能。CNN的引入有效地弥补了Bert在短语级别提取特征的缺点,尤其是在捕获文本中的本地特征(例如捕获N-gram特征)时。实验结果表明,我们的方法的表现高于基线模型,在ROC-AUC度量中提高了高达6%,平均度量指标近3%。因此,我们验证了这种方法的有效性。
抽象生成的AI作者身份验证旨在识别给定文本中人类撰写的文本。本文介绍了我们针对PAN 2024生成AI作者身份身份验证任务的方法。我们将这项任务框起来是单个文本的二进制分类问题。最初,我们利用数据增强技术来平衡最初的不平衡数据集并在单个文本上训练了模型。此外,我们采用了正则辍学方法来进一步优化模型训练。对于给定的文本,该模型分别处理每个文本以进行推理。最后,使用完全连接的层进行分类,选择具有较高人类自作者评分的文本作为答案。我们的方法在官方测试集上的平均得分为0.99。
摘要 我们生活在一个人工智能快速发展的新时代,现有模型的新版本和越来越强大的版本,甚至是新模型,不断被创造出来。人类和工业界正在越来越多地投资于这些进步。现实生活中有很多例子表明,这些模型被人类用来方便自己或欺骗。学生和学者不再深入研究知识和制造虚假新闻是经常发生的两个主要现象。因此,需要创建一个能够检测和区分人工智能生成的文本和人类编写的文本的分类器。已经采取了几种非常好的方法,但它们必须随着法学硕士的发展而不断发展。今年,CLEF [1] [2] 的 PAN 共享任务阐明了上述需求。为了解决该任务,本文提出了一种 RoBERTa[3] 和 Bi-LSTM 相结合的架构。关键词 RoBERTa、Bi-LSTM、NLP、AI 生成文本检测、作者分析