XiaoMi-AI文件搜索系统
World File Search System建模语言
大分子建模
Data analysis in drug design (8 ECTS) (A-C. Camproux) BQAAY070 Python1 project (P. Fuchs & P. Poulain) (3 ECTS) Or BQAAY080 Python 2 programming or BQAAY030 Python project (S. Murail) (3 ECTS) BQ2CY050 Data Analysis and Drug Design (A-C Camproux & L. Regad) (3 ECTS）BQ2CY060在药物设计和QSAR（O。Taboureau＆L。Regad）（1 ECTS）BQ2CY070研讨会和R＆D（A-C CAMPROUX）（1 ECTS）
大型语言模型是否反映认知语言处理？
大型语言模型 (LLM) 在文本理解和逻辑推理方面表现出了卓越的能力，这表明 LLM 学习到的文本表征可以促进其语言处理能力。在神经科学中，大脑认知处理信号通常用于研究人类的语言处理。因此，很自然地会问 LLM 的文本嵌入与大脑认知处理信号的对齐程度如何，以及训练策略如何影响 LLM-大脑对齐？在本文中，我们使用表征相似性分析 (RSA) 来测量 23 个主流 LLM 与大脑 fMRI 信号之间的对齐程度，以评估 LLM 对认知语言处理的模拟效果。我们通过实证研究了各种因素（例如，训练前数据大小、模型缩放、对齐训练和提示）对这种 LLM-大脑对齐的影响。实验结果表明，预训练数据大小和模型缩放与 LLM-大脑相似性呈正相关，1 而对齐训练可以显著提高 LLM-大脑相似性。明确的提示有助于 LLM 与大脑认知语言处理的一致性，而无意义的噪声提示可能会削弱这种对齐。此外，各种 LLM 评估（例如 MMLU、Chatbot Arena）的表现与 LLM-大脑相似性高度相关。
生成人工智能、共同进化和语言教育 语言教育
Kern（2024，本期）在《现代语言杂志》本期发表的压轴文章，为批判性地反思（人类）教师在日益广泛的促进第二语言（L2）发展的技术中所扮演的角色提供了机会。正如 Kern 准确描述的那样，自 2020 年 3 月全球爆发新冠肺炎疫情以来，许多习惯于在面对面教学环境中授课的语言教育工作者被迫转向远程教学，而且通常没有专门设计的远程学习模式所具备的亲身体验和基础设施支持。语言教育工作者迎接了这一挑战。而且据我估计，过去几年，在语言教学和学习模式（包括住宿、混合和远程环境）中，技术的有效使用有所提高。在技术应用于语言学习的历史中，视频会议、社交媒体、语言教程网站和应用程序、在线教科书和语法、翻译工具以及基于视频和音频的内容（等等）的使用并不令人惊讶。正如互联网理论家 Clay Shirky 所描述的那样，“通信工具只有在技术上变得无趣时才会变得具有社交意义”（Shirky，2008 年，第 105 页），事实上，人们对更深入地研究人类现在日常使用的数字技术和模式有着浓厚的兴趣，因为它们可能会改变语言的使用和发展轨迹。这一领域的深刻研究包括应用维果茨基的中介概念、扁平的本体论方法（如拒绝严格区分人类和非人类实体的社会唯物主义），以及将人类认知的焦点从大脑局部扩展到认知和学习的观点，这些观点体现、嵌入、实施和分布在不断变化的社会、符号和物质环境中，包括技术的结合。让我补充一点，目前的主要颠覆性技术是生成人工智能（GenAI），它为传统导向的、机构定位的指导性语言学习带来了许多机会，也带来了相当大的风险和挑战。在以下各节中，我首先讨论人类与技术交织在一起的共同进化动态。然后，我描述了我自己（和其他人促进的）一些关于使用的研究
人类语言：Chap21-语言获取和处理的神经网络模型
到（各个方面）输入检查的统计结构，而无需映射到目标输出（例如，发现LAN Guage的语音结构中的规律性）。这些网络非常适合发现环境中存在的统计结构，而无需建模者知道结构是什么。无监督的培训方法的一个众所周知的例子是Hebb（1949）提出的学习规则：加强同时活动的单元之间的连接，如果只有一个单位活跃，则可以削弱两个单元之间的连接。尽管人工神经网络和生物神经网络之间存在表面的相似性（即，在神经元之间传递的互连性和刺激以确定它们的激活，并通过适应连接强度来学习），但这些认知模型通常并非声称在生物神经元的水平上模拟处理。相反，神经网络模型在Marr（1982）的算法级别上形成了描述，也就是说，它们指定了认知表示和操作，同时忽略了生物学实现。神经网络在1990年代经历了流行的激增，但是从21世纪初开始，它们被象征性的概率mod Els所掩盖。然而，神经网络享受了最近的复兴部分，部分原因是深度学习模型的成功，这些模型在各种人工智能任务上表现出最先进的表现（Lecun，Bengio，＆Hinton，2015年）。在大多数情况下，认知建模领域仍然赶上这些新颖的发展。我们在第5节中返回此问题。因此，目前最具影响力的连接主义认知模型是更传统的变化。
大脑与语言 - UZH
摘要：同声传译是一项复杂的任务，工作量很大。为了证实这种关联，我们利用脑电图和自我评估，对四组具有不同同声传译经验的参与者在三个越来越复杂的任务（聆听、跟读和口译）中测量了工作量。自我评估数据显示，与经验较少的参与者相比，专业口译员认为工作量最大的条件，即口译任务，要求较低。非口译员主观感知的工作量较高，同时额叶 θ 功率值从聆听到口译逐渐增加，而专业口译员的这种调节不太明显。此外，就这两项工作量测量而言，实习口译员处于专业口译员和非口译员之间。由于非口译员也表现出较高的第二语言熟练度和丰富经验，我们的研究结果为口译培训对同声传译期间经验丰富的工作量的影响提供了证据。
11masked语言模型
让我们首先讨论整体体系结构。基于双向变压器的语言模型在两种方式上与前几章中的因果变压器不同。首先是注意功能不是因果关系。我可以考虑以下令牌i + 1等。第二个是训练略有不同，因为我们在文本的中间预测了某些东西，而不是最后。我们将在此处讨论第一个和下一节中的第二个。图11.1 A，从第9章复制在此处，显示了第9章的左右方法中的信息流。每个令牌上的注意力计算基于上述（和当前）输入令牌，忽略了所考虑的令牌右侧的潜在有用信息。双向编码器通过允许注意机制在整个输入中进行范围来超越此限制，如图11.1 b。11.1 b。
