摘要 受人工智能在文本生成中日益重要的作用以及生成工具的潜在滥用的推动,本研究调查了区分人工智能生成的文本和人类创作内容的关键特征。我们制作了一个人工智能生成的 2,100 篇研究论文摘要的语料库,以比较人类和人工智能生成的文本之间的正式语言学和文体学特征,例如困惑度、语法、n-gram 分布和功能词频率。主要发现表明,人类撰写的摘要往往表现出更高的困惑度、更大的语法错误和更多样化的 n-gram 分布。为了区分这两种类型的文本,我们采用了各种机器学习算法,我们的随机森林实现在看不见的数据上实现了 0.986 的精度。值得注意的是,特征重要性分析表明,困惑度、语法和 n-gram 分布对人工智能检测分类具有很大的影响。我们的研究为日益重要的人工智能作者归属领域提供了对人工智能生成文本的辨别特征的细致研究。
肽与主要组织相容性复合物(MHC)分子之间的相互作用在自身免疫,病原体识别和肿瘤免疫方面是关键的。癌症免疫疗法的最新进展需求需要更准确的MHC结合肽计算预测。我们解决了与MHC结合的肽预测的普遍性挑战,从而揭示了当前基于序列的方法的局限性。我们利用几何深度学习(GDL)的基于结构的方法表明,在看不见的MHC等位基因的普遍性方面有望提高。此外,我们通过在结构(3D-SSL)上引入一种自我监督的学习方法来解决数据效率。在不暴露于任何绑定亲和力数据的情况下,我们的3D-SSL优于基于序列的方法,该方法在〜90倍的数据点上训练。最后,我们证明了基于结构的GDL方法对乙型肝炎病毒疫苗免疫肽疗法案例研究的结合数据的偏见。这项概念验证研究强调了基于结构的方法增强通用性和数据效率的潜力,对数据密集型领域(如T细胞受体特异性预测预测)具有重要意义,为增强对免疫反应的理解和操纵铺平了道路。
基础模型通过利用其预先训练的代表来捕获语音信号中的情感模式,在语音情感识别(SER)中表现出了巨大的希望。为了进一步提高各种语言和领域的SER性能,我们提出了一种新颖的方法。首先,我们收集了Emoset ++,这是一个全面的多语言,多种文化的语音情感语料库,具有37个数据集,150,907个类型,总持续时间为119.5小时。第二,我们介绍了exhubert,这是Hubert的增强版本,它是通过骨架扩展和对E Mo s et ++进行微调实现的。我们将每个编码器层及其权重填充,然后冻结第一个重复,集成了零零的线性层并跳过连接以保持功能并确保其适应性的能力,以便随后进行微调。我们在看不见的数据集上的评估显示了Exhubert的功效,为各种SER任务设定了新的基准标记。模型和有关E Mo S et ++的详细信息:https://huggingface.co/amiriparian/exhubert。索引术语:情感计算,语音情感识别,变形金刚,深度学习
在本文中,我们从三个角度回顾了有关神经网络统计理论的文献:近似,训练动力学和生成模型。在第一部分中,在非参数回归框架(以及附录B中的分类)中审查了神经网络过多风险的结果。这些结果依赖于神经网络的明确结构,从而导致过多风险的快速收敛速率。尽管如此,它们的基础分析仅适用于深度神经网络高度非凸景的全球最小化器。这激发了我们在第二部分中回顾神经网络的训练动态。具体来说,我们回顾了试图回答“通过基于梯度的方法训练的神经网络如何找到可以很好地概括在看不见数据的解决方案”的论文。”特别是,回顾了两个众所周知的范式:神经切线内核(NTK)范式和平均场(MF)范式。最后但并非最不重要的一点是,我们回顾了生成模型中的最新理论进步,包括生成对抗性网络(GAN),扩散模型和在大型语言模型(LLMS)中,从先前审查的两个perpsectives中,即近似和训练动力学。
简要介绍一下电磁波谱 (EMS) 可以为解释 EW 系统在现代战争中的作用铺平道路。毫不奇怪,从手机到简单的电视遥控器,我们日常生活中的许多设备都使用 EMS。什么是电磁波谱 1 ?基本上,EMS 可以定义为在特定频率范围和波长内以光速传播的电磁波。下图 1 中可以看到 EMS 的频率和波长的全部范围。2 EMS 频率和波长部分的顶部属于伽马射线和 X 射线,由于其高能光子和非常小的波长(λ=10-10 厘米)的性质,它们常用于医学领域(医学成像)和核物理。在 X 射线之后,我们可以看到 EMS 的紫外线和红外光部分。这种 EMS 大部分是人眼看不见的,但只有在这个频谱的一小部分中,人类和大多数动物才能看到电磁波。红外摄像机(用于检测物体的热图像)也在 EM 频谱的这一部分工作。EMS 场的 1-300 GHz 频率(100 米-0.5 毫米波长)频谱主要用于军事应用、气象观测和导航辅助目的的各种雷达系统。EMS 范围的底部主要用于无线电通信和电视
T细胞受体(TCR)及其同源表位之间结合的准确预测是理解适应性免疫反应和发展免疫疗法的关键。当前方法面临两个显着的局限性:全面的高质量数据的短缺以及通过选择监督学习方法中常用的负面培训数据引起的偏见。我们提出了一种基于变压器的方法,用于相互作用的肽和T细胞受体(Tulip)的方法,该模型通过利用不完整的数据和无监督的学习以及使用语言模型的变压器体系结构来解决这两个限制。我们的模型具有灵活性,并整合了所有可能的数据源,无论其质量或完整性如何。我们证明了先前有监督方法中使用的抽样程序引入的偏差的存在,强调了不受监督的方法的需求。郁金香识别表位的特定TCR结合,在看不见的表位上表现良好。我们的模型优于最先进的模型,并为开发更准确的TCR表位识别模型提供了有希望的方向。
内在学习(ICL)是一种提示,其中变压器模型以(输入,输出)示例的序列运行,并在当时进行分解。在这项工作中,我们将上下文学习形式化为一种算法学习问题,其中变压器模型在推理时间内隐含构建了假设函数。我们首先通过多任务学习的镜头探索了该抽象的统计方面:当输入提示为(1)I.I.D的顺序时,我们会对ICL进行概括。(输入,标签)对或(2)由动态系统产生的轨迹。我们的分析的症结是将多余的风险与变压器所影响的算法的稳定性有关。我们表征了当变压器/注意体系结构可证明遵守稳定性条件并提供示例验证时。对于对看不见的任务的概括,我们确定了一种归纳偏见现象,其中转移学习风险受任务复杂性和MTL任务的数量的控制。最后,我们提出了数值评估,即(1)证明了变形金刚确实可以在I.I.D的经典回归问题上实施近乎最佳的算法。和动态数据,(2)提供有关稳定性的见解,(3)验证我们的理论预测。
训练大型语言模型(LLM)遵循用户说明,已显示出具有足够能力在与人类对齐时能够流利的能力的LLM。然而,尚不完全清楚LLM如何在混合主动性设置中引导计划的对话,其中指令以对话的两个方向流动,即LLM和用户都提供指令。在本文中,我们解决了双重目标混合定位对话环境,其中LLM不仅在任意计划上以对话为基础,而且还试图满足程序计划和用户说明。LLM然后负责指导用户完成计划,同时适应新情况,回答问题并在需要时激活安全护栏。我们提出了一个新颖的LLM,该LLM以程序计划为基础,可以采取Di-Alogue倡议,并对系统的行为执行护栏,同时也改善了LLM对意外用户行为的响应。在受控设置中进行的实验,并且使用真实用户表明,我们称之为Planllm的表现最佳模型在强大的基准上实现了2.1倍的进步。此外,实验还显示出对看不见的域的良好概括。1
投资组合优化可能是具有挑战性的。随着机器学习的最新发展,可以将可用的重要预测工具应用于投资组合选择。金融市场既动态又复杂,但算法旨在捕获数据中的模式。在本文中,七个机器学习技术用于股票价格预测:局部回归,支持向量机,随机森林,经常性神经网络,长期短期记忆,双向长期短期记忆和LightGBM。此外,将两种混合机器学习方法用于预测:CNN-LSTM和Bilstmbo-lightGBM。训练模型后,该算法在模拟的交易中创建了最佳资产投资组合。在看不见的数据上,算法的对称平均绝对百分比误差评估了预测能力。生成的alpha和Sharpe比率评估了在均值方差优化下构建的最佳投资组合的质量。使用2019年1月2日至2023年12月29日美国50个美国公司的数据,结果表明,混合模型的性能优于各个模型,而CNN-LSTM模型的表现优于基准市场指数。
摘要:随着沉浸式计算设备的出现,自我中心感知迅速发展。人类注视预测是分析自我中心视频的一个重要问题,主要通过基于显着性的建模或高度监督的学习来解决。我们定量分析了监督深度学习模型在看不见的域外数据的自我中心注视预测任务中的泛化能力。我们发现它们的性能高度依赖于训练数据,并且仅限于训练注释中指定的域。在这项工作中,我们解决了在不使用任何训练数据的情况下联合预测人类注视点和自我中心视频时间分割的问题。我们引入了一个无监督的计算模型,该模型汲取了事件感知的认知心理学模型的灵感。我们使用 Grenander 的模式理论形式来表示时空特征,并将惊讶建模为预测注视点的机制。对两个公开数据集(GTEA 和 GTEA+ 数据集)的广泛评估表明,所提出的模型可以显著超越所有无监督基线和一些监督凝视预测基线。最后,我们表明该模型还可以对以自我为中心的视频进行时间分割,其性能可与更复杂、完全监督的深度学习基线相媲美。