Fine-Tuning BERT for Text Classification
一个带有 Python 代码的可破解示例尽管当今的 100B+ 参数转换器模型是 AI 领域最先进的模型，但我们仍然可以使用较小的（<1B 参数）模型完成很多工作。在本文中，我将介绍一个这样的示例，即微调 BERT（1.1 亿个参数）以对网络钓鱼 URL 进行分类。我将首先介绍关键概念，然后分享示例 Python 代码。图片来自 Canva。微调微调涉及通过额外的训练将预训练模型调整到特定用例。预训练模型是通过无监督学习开发的，从而无需大规模标记数据集。然后，与从头开始训练相比，经过微调的模型可以利用预先训练的模型表示来显着降低训练成本并提高模型性能 [1]。微调大型语言模型 (LLM)将训练
Generalizable Autoregressive Modeling of Time Series Through Functional Narratives
时间序列数据本质上是时间的函数，但当前的 Transformer 通常通过将时间序列建模为时间段的简单连接来学习时间序列，而忽略了它们的功能属性。在这项工作中，我们为 Transformer 提出了一个新的目标，即通过将时间序列重新解释为时间函数来学习时间序列。我们通过在功能空间中构建不同强度的退化算子来构建时间序列的替代序列，从而创建原始样本的增强变体，这些变体被抽象或简化到不同的程度。基于新的...
Bursting the AI Hype Bubble Once and for All
错误信息和不良研究：案例研究人们不能忽视这样一个事实：ChatGPT 等人工智能模型已经占领了互联网，并进入了互联网的每个角落。大多数人工智能应用程序对于广泛的任务（医疗保健、工程、计算机视觉、教育等）都非常有用和有益，我们没有理由不投入时间和金钱来开发它们。但生成式人工智能 (GenAI) 的情况并非如此，我将在本文中特别提到它。这包括 LLM 和 RAG，例如 ChatGPT、Claude、Gemini、Llama 和其他模型。对于我们所说的人工智能、我们使用的模型及其环境影响，必须非常具体。[1]：人们对“AI”和“ChatGPT”一词的兴趣随时间变化（过去四年）。截图由我拍摄。来源：G
我上周在 Twitter 上发布的一些有趣的链接（我也在 Mastodon、Threads、Newsmast 和 Bluesky 上发布了这些链接）：使用 AI 避免碰撞的自动驾驶船：https://www.stuff.co.nz/nz-news/350423932/unmanned-vessel-makes-waves-science-minister 帮助研究文献和引用的 AI：https://dataconomy.com/2024/09/27/scite-ai-review-can-it-research-well/ 微软纠正生成性 AI 幻觉的方法：https://www.comput
IEEE Transactions on Artificial Intelligence, Volume 5, Issue 9, September 2024
1) 社论：从可解释的人工智能 (xAI) 到可理解的人工智能 (uAI)作者：Hussein Abbass、Keeley Crockett、Jonathan Garibaldi、Alexander Gegov、Uzay Kaymak、Joao Miguel C. Sousa页数：4310 - 43142) 通过部分图卷积网络进行不完全图学习作者：Ziyan Zhang、Bo Jiang、Jin Tang、Jinhui Tang、Bin Luo页数：4315 - 43213) 用于社会公益的对抗性机器学习：将对手重新定义为盟友作者：Shawqi Al-Maliki、Adnan Qayyum、H
Topic Modelling Your Personal Data
使用传统和 Transformer 模型探索经纪人存储的个人数据继续阅读 Towards Data Science »
IEEE Transactions on Cognitive and Developmental Systems, Volume 16, Issue 4, August 2024
1) 基于多模态生理信号的用户感知多层级认知工作量估计作者：Pierluigi Vito Amadori、Yiannis Demiris页数：1212 - 12222) TR-TransGAN：用于纵向 MRI 数据集扩展的时间递归 Transformer 生成对抗网络作者：Chen-Chen Fan、Hongjun Yang、Liang Peng、Xiao-Hu Zhou、Shiqi Liu、Sheng Chen、Zeng-Guang Hou页数：1223 - 12323) 基于多标准 TD3 的深度强化学习用于分散式多机器人路径规划作者：Heqing Yin、Chang Wang、Chao
Unlocking the Power of Hugging Face for NLP Tasks
近年来，自然语言处理 (NLP) 领域取得了重大进展，这在很大程度上得益于能够理解和生成人类语言的复杂模型的发展。这场革命的关键参与者之一是 Hugging Face，这是一家开源 AI 公司，为各种 NLP 任务提供最先进的模型。Hugging Face 的 Transformers 库已成为希望实现强大 NLP 解决方案的开发人员和研究人员的首选资源。Inbound-leads-automatically-with-ai。这些模型在大量数据上进行训练，并经过微调以在特定任务上实现出色的性能。该平台还提供工具和资源，帮助用户在自己的数据集上微调这些模型，使其具有高度的通用性和用户友好性。在这
Complex & Intelligent Systems, Volume 10, Issue 4, August 2024
1) 一种用于动作识别的人体骨骼关键帧选择优化方法作者：陈浩，潘悦凯，王晨武页数：4659 - 46732) 城市轨道交通网络短期起讫点流量预测：基于多源大数据的深度学习方法作者：崔红萌，司冰峰……潘伟婷页数：4675 - 46963) 用于社区检测的多约束非负矩阵分解：正交正则稀疏约束非负矩阵分解作者：陈子刚，肖奇……李晓勇页数：4697 - 47124) 使用多层时间图神经网络预测社交媒体网络中的流行趋势作者：金瑞东，刘欣，村田刚页数：4713 - 47295) 受全变分和深度去噪先验启发的混合正则化用于图像恢复作者：Hu Liang, Jiahao Zhang...Jinbo Zhu页数
Flash Attention: Revolutionizing Transformer Efficiency
随着 Transformer 模型的规模和复杂性不断增长，它们在计算效率和内存使用方面面临着重大挑战，尤其是在处理长序列时。Flash Attention 是一种优化技术，有望彻底改变我们在 Transformer 模型中实现和扩展注意力机制的方式。在本综合指南中，我们将深入探讨 […]The post Flash Attention：革命性地改变 Transformer 效率首先出现在 Unite.AI 上。
将基于 Transformer 的模型扩展到超过 1000 亿个参数已在自然语言处理中取得突破性成果。这些大型语言模型在各种应用中都表现出色，但由于生成推理的顺序性，有效部署它们带来了挑战，其中每个标记的计算都依赖于前面的标记。这需要细致的并行布局和内存帖子《大规模 Transformer 模型的有效部署：可扩展和低延迟推理策略》首先出现在 AI Quantum Intelligence 上。
自注意力和掩蔽自注意力是 Transformers 取得巨大成功的核心。然而，我们对注意力的数学理解，特别是对其 Lipschitz 属性的理解（这是分析鲁棒性和表达能力的关键）并不完整。我们在几个实际场景中对自注意力的 Lipschitz 常数进行了详细研究，讨论了序列长度和层规范化对未掩蔽和掩蔽自注意力的局部 Lipschitz 常数的影响。特别是，我们表明，对于任何紧凑的 n 的输入...
On the Minimal Degree Bias in Generalization on the Unseen for non-Boolean Functions
我们研究了随机特征 (RF) 模型和 Transformer 的域外泛化。我们首先证明，在“在看不见的 (GOTU) 上泛化”设置中，训练数据在域的某些部分完全可见，但在另一部分进行测试，对于小特征范围内的 RF 模型，收敛发生在最小程度的插值器上，就像布尔情况一样 (Abbe 等人，2023)。然后，我们考虑稀疏目标范围，并解释该范围与小特征范围的关系，但使用不同的正则化项，可以改变图片……
Optimizing Large Language Models (LLMs) on CPUs: Techniques for Enhanced Inference and Efficiency
基于 Transformer 架构构建的大型语言模型 (LLM) 最近取得了重要的技术里程碑。这些模型在理解和生成类似于人类的写作方面的卓越技能对各种人工智能 (AI) 应用产生了重大影响。尽管这些模型运行良好，但文章《在 CPU 上优化大型语言模型 (LLM)：增强推理和效率的技术》首先出现在 AI Quantum Intelligence 上。
Enhancing CTC-based Speech Recognition with Diverse Modeling Units
近年来，端到端 (E2E) 自动语音识别 (ASR) 模型的发展令人瞩目，这在很大程度上要归功于 Transformer 等深度学习架构的进步。在 E2E 系统的基础上，研究人员通过使用基于音素的模型重新评分 E2E 模型的 N 个最佳假设，实现了显着的准确性提升。这提出了一个有趣的问题，即除了系统组合效应之外，改进还来自哪里。我们研究了推动这些收益的潜在机制，并提出了一种有效的联合训练方法，其中 E2E 模型进行联合训练……
Argentina opens up aviation market in approved new policy
阿根廷政府发布了第 599/2024 号法令，该法令规范了该国商业航空市场的准入、新运营商的进入（包括希望在阿根廷境内运营第九航权航班的外国航空公司）以及机场服务的优化。由 Federico Sturzenegger 领导的放松管制和国家转型部 (Ministerio de Desregulación y Transformación del Estado) 推动的政策变化包括：...
Improve RAG accuracy with fine-tuned embedding models on Amazon SageMaker
这篇文章演示了如何使用 Amazon SageMaker 微调 Sentence Transformer 嵌入模型并将其部署到 Amazon SageMaker Endpoint。本文中的代码和更多示例可在 GitHub 存储库中找到。
Europe’s Banking union at ten: unfinished yet transformative
欧洲银行业联盟成立十周年：未完成但具有变革性Yuyun ZhanTue, 06/25/2024 - 00:11欧洲银行业联盟是一个在欧盟层面上共同承担审慎政策责任的项目，2014 年随着欧洲中央银行被赋予银行监管机构的权力而成为现实。十年过去了，该项目仍未完成，因为欧洲国家仍然可以利用其国内银行业来服务于其特殊利益，而银行业危机干预框架仍然是国家和欧盟权力与工具的尴尬组合。但即使是这个不完整的银行业联盟所取得的成就也令人印象深刻。欧洲央行于 2012 年年中做出的银行监管决定对于最终解决欧元区危机至关重要。随后十年的监管实践似乎非常成功，实现了银行系统安全和稳健的目标。然而，欧洲为不愿完成这项
