密集的检索方法在多语言信息检索中表现出了有希望的表现,其中查询和文档可以使用不同的语言。然而,密集的检索器通常需要大量的配对数据,这在多语言方案中带来了更大的挑战。本文介绍了UMR,这是一个未经任何配对数据的训练的ultialual ultilitual contriever r etriever。我们的方法利用了多语言语言模型的序列估计功能,以获取用于培训密集猎犬的伪标签。我们提出了一个两阶段的框架,该框架迭代地改善了多语言密集猎犬的功能。两个基准数据集的实现结果表明,UMR的表现优于监督的基线,展示了训练Mul-listingual语言检索器而没有配对数据的潜力,从而增强了其实用性。1
最先进的神经检索者主要关注英语等高源语言,这阻碍了他们在涉及其他语言的检索中采用。当前通过杠杆化的多语言审计语言模式,可以证明缺乏非英语语言的高质量标记数据。但是,这些模型需要多种语言的大量特定于任务特定的微调,通常在训练阶段的语料库中以最少的反映语言表现较差,以在培训阶段之后结合新语言。在这项工作中,我们提出了一个新颖的模块化检索模型,该模型从单个高资源语言的丰富数据中学习,并有效地转移到各种语言,从而消除了对语言特定标记的数据的需求。我们的模型Colbert-XM展示了与现有的最新的多语言检索器相对的性能,这些猎犬在更广泛的数据集中以各种语言进行了培训。进一步的分析表明,我们的模块化方法具有高度的数据效率,有效地适应了分布数据,并大大减少了能耗和碳排放。通过证明其在零拍摄的Sce-Narios中的熟练程度,Colbert-XM标志着向更可持续和包容的检索系统的转变,从而使有效的信息可以使用多种语言获得。我们将公开发布社区的代码和模型。
•考虑语言和交流需求•学生已经接触了多少年的英语(以及在哪些环境中 - 学校,兄弟姐妹)?•补充教学需求:以儿童的母语和交流模式直接教学的机会(ASL,听力障碍,盲文)•适当的教学和材料认知水平•适当的英语语言能力水平和领域 - 熟练程度和领域 - 听力,听力,阅读,阅读,说话,写作,写作)和域名;请参阅WIDA工作文件中的指南少于四个领域•根据需要进行修改的通识教育期望•在哪种语言中可以实现技能?•阅读理解策略的明确指导•建立一个读书的例行程序•明确的词汇指令•基于绩效的脚手架任务•孩子是否在其祖国学校接受英语教学?•孩子上学前班了吗?是双语教室吗?
攻击性语言识别是近年来受到越来越多关注的研究领域。特别是随着社交媒体平台的兴起,识别混合有代码的社交媒体文本中的攻击性语言至关重要。在社交媒体文本中识别攻击性语言是一项具有挑战性的任务。此外,在英语、希腊语或西班牙语等语言中已经做了大量攻击性语言识别工作(Zampieri 等人,2019 年;Pitenis 等人,2020 年;Ranasinghe 和 Zampieri,2020 年),但对于达罗毗荼语混合代码文本的攻击性语言识别工作却很少。达罗毗荼语(泰米尔语-英语、马拉雅拉姆语-英语和卡纳达语-英语)攻击性语言识别共享任务改变了这一状况。这项共享任务的目标是识别德拉威语混合代码文本中的攻击性语言。混合代码文本是从社交媒体平台收集的。这是一项评论或帖子级别的多语言分类任务,给出混合代码的泰米尔语-英语、马拉雅拉姆语-英语的评论或帖子
按照掩蔽语言建模 (MLM) 目标进行训练的多语言预训练语言模型 (multiPLM) 通常用于双语文本挖掘等跨语言任务。然而,这些模型的性能对于低资源语言 (LRL) 仍然不是最优的。为了改进给定 multiPLM 的语言表示,可以进一步对其进行预训练。这称为持续预训练。先前的研究表明,使用 MLM 进行持续预训练,随后使用翻译语言建模 (TLM) 进行预训练可以改进 multiPLM 的跨语言表示。然而,在掩蔽期间,MLM 和 TLM 都会给予输入序列中的所有标记相同的权重,而不管标记的语言属性如何。在本文中,我们引入了一种新颖的掩蔽策略,即语言实体掩蔽 (LEM),用于持续预训练步骤,以进一步改进现有 multiPLM 的跨语言表示。与 MLM 和 TLM 相比,LEM 将掩码限制在语言实体类型名词、动词和命名实体上,这些实体在句子中占据更重要的地位。其次,我们将掩码限制在语言实体范围内的单个标记上,从而保留更多上下文,而在 MLM 和 TLM 中,标记是随机掩码的。我们使用三个下游任务评估 LEM 的有效性,即双语挖掘、并行数据管理和代码混合情感分析,使用三种低资源语言对英语-僧伽罗语、英语-泰米尔语和僧伽罗语-泰米尔语。实验结果表明,在所有三个任务中,使用 LEM 持续预训练的多 PLM 优于使用 MLM+TLM 持续预训练的多 PLM。
大语言模型(LLM)的兴起,例如GPT-4,已大大增加了各种数字平台上AI生成的内容的量。这些模型可以生成连贯和上下文相关的文本,从而使用户难以区分人类和机器生成的内容。AI生成的内容的重新上升使许多人质疑信息的可信度和可靠性,尤其是关于新闻,学术界和社交媒体的信息,而内容的完整性至关重要。这使得需要开发有效的方法将AI生成的内容检测到历史高(Fraser等人,2024)。最近在LLM的能力中获得的收益为他们的发现带来了新的挑战。ap-诸如使用Human的反馈和指导调整的加固学习之类的方法使这些模型更具多功能性,以遵循甚至连接提示,从而产生合理的响应,从而进一步使检测问题复杂化(Abdali等人。,2024)。依赖于识别单词选择,句子结构或困惑模式的传统检测方法通常不太适合,因为这些模型在模仿Hu-
本文研究了Fincausal 2025共享任务中使用大型语言模型(LLMS)进行财务因果关系检测,这是对生成和多语言问题答案(QA)任务的努力。我们的研究采用了生成性和歧视方法,利用GPT-4O用于生成质量质量质量和基本基础式的,XLM-ROBERTA-LARGE和XLM-ROBERTA-BASE,用于跨英语和西班牙数据集的多语言质量检查。数据集由财务披露组成,问题反映了因果关系,并与直接从文本得出的提取答案配对。使用序列答案相似性(SAS)和精确匹配(EM)指标进行评估。虽然XLM-Roberta-large模型取得了最佳总体表现,但在English中排名第五(SAS:0.9598,EM:0.7615),西班牙语中排名第四(SAS:0.9756,EM:0.8084),在11个团队中,我们的结果也很高,在11个团队中,也可以强大的结果。值得注意的是,GPT-4O在几乎没有的设置中取得了令人鼓舞的结果,SAS得分接近了微调判别模型的分数,表明尽管缺乏特定于任务特定的微调,但生成性的AP可以提供竞争性能。此比较强调了一般LLM作为强大的多功能替代方案的潜力,用于复杂的质量质量质量质量因果关系检测。
在儿科医疗保健中,患者旅程的每个阶段(从初步评估到治疗后的康复到最终的安全出院)都面临着自己的独特挑战。这些复杂性是普遍的,超越地理和文化边界(1)。COVID-19大流行进一步介绍了文化和语言差异对医疗保健各个方面的关键影响(2)。从确定患者的访问(3)到影响护理的影响(4),这些元素在经验上已被证明具有显着影响的健康状况(5-10)(5-10),尤其是在全球大流行病等关键健康事件中(11-13)。建立在理解文化和语言元素的作用的基础上,在医疗教育领域中引起了一个特别紧迫的挑战(1,14)。护理人员,父母和医疗保健专业人员通常会在教学的主要语言不是他们的母语时面临沟通和理解障碍(15)。这个问题在小儿护理中尤为严重,在这里,准确性和深入理解是必要的。考虑到医疗保健环境中通讯中有充分记录的差距(15,16)及其随后的后果(4,17),对多媒体资源有明显而迫切的需求,这些资源不仅是全面的,而且在文化上也是在文化上和语言上量身定制的。在满足这一需求时,成立于2022年的Careaways Collakitrative,其任务是与全球卫生团队合作,以改变手术护理的文化和交付,以便所有患者都可以取得最有利的结果。这组位于波士顿的医疗保健专业人员以及马萨诸塞州的眼睛和耳朵(MEE)和马萨诸塞州综合医院(MGH)的官员旨在创造和传播教育材料,以弥合沟通差距并在各种医疗保健环境中弥补知识的分配。这一问题与世界卫生组织的数字健康指南保持一致,该指南强调了利用数字干预措施对卫生工作者培训和教育的重要性(18)。在这种方面,道路协作创建了基于视频的教育内容,借助了人工智能(AI),以确保各种医疗保健提供者和照顾者人口统计数据的清晰度和文化相关性。AI在弥合医疗教育中的弥合差距中发挥了越来越多的作用(19,20)。随着不同技术的出现,从计算机视觉(21,22)和数据分析(23)到自然语言处理(NLP)(24,25),对与语言和文化障碍有关的长期挑战有希望的解决方案。值得注意的是,Nvidia的Riva(26)和最先进的生成语言模型等创新工具 - 包括Openai的Chatgpt 4(27),Meta的Llama 2(28)以及Microsoft的Palm 2(29) - 启用实时翻译。这种进步不仅使医学教育更容易获得,而且还强调了AI在增强这些资源中的重要作用。利用了十年的实证研究,使用人工智能和语音克隆技术开发了一项课程,以解决儿科医疗保健中的通信差距。以教育视频系列的形式,课程扩展可以洞悉有效的医疗保健实践,并强调减轻潜在不良事件的策略。
摘要 大型语言模型 (LLM) 开创了自然语言处理的新时代,但它们的庞大规模需要有效的压缩技术才能实用。尽管已经研究了许多模型压缩技术,但它们通常依赖于忽略多语言上下文的校准集,并导致低资源语言的准确性显著下降。本文介绍了一种用于多语言 LLM 压缩的新型校准数据采样方法多语言脑外科医生 (MBS)。MBS 通过按比例从各种语言中采样校准数据来克服现有方法以英语为中心的局限性。我们在 BLOOM 多语言 LLM 上进行的实验表明,MBS 提高了现有以英语为中心的压缩方法的性能,尤其是对于低资源语言。我们还揭示了压缩过程中语言交互的动态,表明语言在训练集中的比例越大,并且该语言与校准语言越相似,则该语言在压缩后保留的性能就越好。总之,MBS 提出了一种压缩多语言 LLM 的创新方法,解决了性能差异问题并提高了现有压缩技术的语言包容性。代码可在以下网址获取:https://github.com/X-LANCE/MBS 。
本研究探讨了利用其他培训数据作为在多语言,mul-titask食谱分类问题中生成模型的教学提示。通过将不同的任务分配为其他问题,仅在细调中可用的数据中得出,我们旨在提高所有涉及所有任务和语言的序列到序列模型的分类性能。更重要的是,我们调查了迅速工程对微调过程中其他问题的影响,从而在帮助模型学习任务之间的隐藏相互作用中揭示了其重要作用。所提出的方法在加权多限量准确性(在三个目标分类任务上)的绝对改善分别为2.3%,6.22%和10.7%。最有效的其他动作是从补充数据中得出的问题,而模型的规模以及我们是否执行内域预训练并不能显着改善最终绩效。Our find- ings also underline the importance of training data selection and questioning strategies, es- pecially in underrepresented languages, where we obtained an absolute increase in accuracy of 34.8% in the few-shot setting and 30.33% in the 0-shot setting for an underrepresented language in a difficult main task, together with an increase from 0% to 97% in F1-score for the most underrepresented class.
