XiaoMi-AI文件搜索系统
World File Search SystemBERT
人工智能可以从数据中学习。但它能学会推理吗？
定理 1：对于一个具有 n 层和 12 个注意力头的 BERT 模型，通过构造，存在一组参数，使得该模型可以正确解决 SimpleLogic 中任何最多需要 n-2 步推理的推理问题。
文章 使用可解释人工智能 (XAI) 检测社交媒体仇恨言论
摘要：可解释人工智能 (XAI) 特性在深度学习模型的仇恨言论检测中具有灵活和多方面的潜力。本研究的目的是解释和说明复杂人工智能 (AI) 模型做出的决策，以了解这些模型的决策过程。作为本研究的一部分，我们采用了两个数据集来演示使用 XAI 进行仇恨言论检测。我们进行了数据预处理，以清除数据中的任何不一致之处、清理推文文本、对文本进行标记和词形还原等。我们还简化了分类变量，以便生成干净的数据集用于训练目的。我们对数据集进行了探索性数据分析，以发现各种模式和见解。我们将各种预先存在的模型应用于 Google Jigsaw 数据集，例如决策树、k-最近邻、多项朴素贝叶斯、随机森林、逻辑回归和长短期记忆 (LSTM)，其中 LSTM 的准确率达到 97.6%。将 LIME（局部可解释模型 - 不可知解释）等可解释方法应用于 HateXplain 数据集。创建了 BERT（来自 Transformer 的双向编码器表示）模型的变体，例如准确率为 93.55% 的 BERT + ANN（人工神经网络）和准确率为 93.67% 的 BERT + MLP（多层感知器），以在使用 ERASER（评估基本原理和简单英语推理）基准的可解释性方面取得良好的表现。
Visa Research Genai研讨会
定理：对于具有n层和12个注意力头的BERT模型，通过构造存在一组参数，以便该模型可以正确地以SimpleLogic中的任何推理问题正确解决，最多需要N - 2步的推理。
一种生成AI作者身份验证的模型融合方法
摘要本文旨在概述我们的方法，以区分人类生成的文本和具有模型融合方法的生成AI模型。我们的方法包括三个步骤：首先，我们将PAN的竞争数据集扩展到Clef 2024的竞争数据集，其中包括来自著名的数据科学和机器学习竞赛平台Kaggle的外部数据集，并应用Levenshtein距离算法算法纠正拼写错误的单词。然后，基于共享主题并将培训，验证和测试数据集形成文本对的数据集。第二，我们训练一个微调的BERT作为基本模型和使用R-Drop方法的BERT来减轻过度拟合问题。最后，这两个模型是使用合奏学习技术和投票策略组合的。我们的实验结果表明，融合模型的ROC-AUC度量为0.932，比基线模型Fast-DetectGpt（Mistral）提高了5.6％。
Zhanyu Wang-普渡大学统计局
亚马逊，美国西雅图的应用科学家实习生，美国05/2021-08/2021•我们提出了一个基于相互信息共同培训（MICO）的选择性搜索框架（通过相似性将文档聚集到群体，并仅在其最相关的组中搜索每个查询）。与搜索所有文档相比，我们将搜索成本降低到5％，达到99％的准确性。•MICO是端到端的学习模型。其目标函数是查询的两个组索引及其相关文档之间的共同信息，这两者都是可训练的神经网络的输出。•在我的实施中，该模型将BERT表示为输入（查询或文档标题）作为输入，并且可以在巨大的数据集（数百GB）上有效培训，并且BERT也可以进行列出。•MICO的论文被Coling 2022接受为口头呈现（10％）。
ConBERT：用于电子病历手术报告标准化的双向变压器的连接
摘要：本手术报告记录了手术的细节。对以自由文本编写的手术报告的医学术语进行标准化对于开展医学研究和建立保险系统具有重要意义，因为它可以准确地共享治疗信息。但是，手术报告的标准化是一项劳动密集型任务，存在导致错误的风险。我们提出了一种来自 Transformer 的双向编码器表示的连接 (ConBERT) 模型，用于使用自由文本中记录的手术报告和诊断来预测国际疾病分类 9 代码，以自动标准化手术报告。我们比较了 BERT 和字符 BERT 的预训练模型，并通过连接每个模型的组合创建了一个新模型。所提出的 ConBERT 模型的微 AP 得分为 0.7672、F1 得分为 0.7415、AUC 为 0.9842。此外，我们还开发了一个基于 Web 的应用程序来展示我们模型的性能并使其可供公众访问。
WorthShop 2024
国家MDR指导活动在德国克里斯托弗·伯特（Christoph Bert），德国国家MDR指导活动演讲者：安东曼斯（Anton Mans），荷兰医疗设备分类简介雅各布·约翰森（Jacob Johansen），丹麦互动小组辩论有关医疗设备的分类
不是可爱的中风：对规则和神经网络的分析 -
我们介绍了三个临床信息提取（IE）系统的深入比较，这些系统在大脑成像报告上进行了实体识别和否定检测：Edie-R，一个基于定制的基于规则的系统，以及两个Neu-Ral网络模型，Edie-Bilstm和Edie-Bert，Edie-Bilstm和Edie-Bert，均与BiLILSTM和BILSSTM的多人兼而有多元表的学习模型。我们将模型在样本外和样本外数据集上进行了比较，其中包含中风发现的情况，并利用我们的错误分析，以提出改进新域的临床NLP模型时有效的nlp。我们的分析发现我们的基于规则的系统在两个数据集上的表现都优于神经模型，并且似乎概括到样本外数据集。另一方面，尽管在样本内数据集中指标建议其他指标，但神经模型并未将否定为样本外数据集。