XiaoMi-AI文件搜索系统
World File Search SystemFastText
比较医学概念表示和患者轨迹预测的神经语言模型
医学概念的有效表示对于电子健康记录的次要分析至关重要。神经语言模型在自动从临床数据中得出医学概念表示方面已显示出希望。但是，尚未对不同语言模型的比较性能，用于创建这些经验表示形式及其编码医学语义的程度，尚未得到广泛的研究。本研究旨在通过评估三种流行语言模型的有效性 - word2vec，fastText和手套 - 在创建捕获其语义含义的医学概念嵌入中的有效性。通过使用大量的数字健康记录数据集，我们创建了患者轨迹，并用它们来训练语言模型。然后，我们通过与生物医学术语进行明确比较来评估学到的嵌入式编码语义的能力，并通过预测具有不同级别可用信息的患者结果和轨迹来隐含。我们的定性分析表明，FastText学到的嵌入的经验簇与从生物医学术语获得的理论聚类模式表现出最高的相似性，分别在0.88、0.80和0.92的经验簇和0.92之间的诊断，过程和医疗代码分别为0.88、0.80和0.92之间。相反，为了预测，Word2Vec和Glove倾向于优于快速文本，而前者的AUROC分别高达0.78、0.62和0.85，分别用于现场长度，再入院和死亡率预测。在预测患者轨迹中的医疗法规时，手套在诊断和药物代码（分别为0.45和0.81）的最高级别上达到了语义层次结构的最高性能（AUPRC分别为0.45和0.81），而FastText优于其他模型的过程代码（AUPRC为0.66）。我们的研究表明，子词信息对于学习医学概念表示至关重要，但是全球嵌入向量更适合于更高级别的下游任务，例如轨迹预测。因此，可以利用这些模型来学习传达临床意义的表示形式，而我们的见解突出了使用机器学习技术来编码医学数据的潜力。
社交媒体上的深泡探测：利用深...
摘要：DeepFake技术的扩散引起了人们对社交媒体平台上错误信息传播的关注。在本文中，我们提出了一种基于深度学习的方法，用于检测DeepFake推文，特别是由机器生成的推文，以帮助减轻在线错误信息的影响。我们的方法利用FastText嵌入来表示推文文本，并将其与深度学习模型相结合。我们首先预处理文本，然后使用FastText嵌入将它们转换为密集的向量表示。这些嵌入式捕获有关推文内容的语义信息，这对于区分真实和机器生成的推文至关重要。然后，我们将这些嵌入将这些嵌入给深度学习模型，例如卷积神经网络（CNN）或长期短期内存（LSTM）网络，以将推文归类为真实或机器生成的推文。该模型是在标有标记的Tweet数据集上训练的，在该数据集中，使用最先进的文本生成模型合成机器生成的推文。对推文的现实世界数据集的实验结果证明了我们方法在检测机器生成的推文中的有效性。我们的方法实现了很高的准确性，并且优于在社交媒体上进行深层检测的现有方法。总的来说，我们提出的方法为检测机器生成的推文并遏制整个社交媒体平台上的错误信息的扩散提供了强大而有效的解决方案。
JIOS Vol44 No2.indd
测量文本的语义相似度在自然语言处理领域的各种任务中起着至关重要的作用。在本文中，我们描述了一组我们进行的实验，以评估和比较用于测量短文本语义相似度的不同方法的性能。我们对四种基于词向量的模型进行了比较：Word2Vec 的两个变体（一个基于在特定数据集上训练的 Word2Vec，另一个使用词义的嵌入对其进行扩展）、FastText 和 TF-IDF。由于这些模型提供了词向量，我们尝试了各种基于词向量计算短文本语义相似度的方法。更准确地说，对于这些模型中的每一个，我们测试了五种将词向量聚合到文本嵌入中的方法。我们通过对两种常用的相似度测量进行变体引入了三种方法。一种方法是基于质心的余弦相似度的扩展，另外两种方法是 Okapi BM25 函数的变体。我们在两个公开可用的数据集 SICK 和 Lee 上根据 Pearson 和 Spearman 相关性对所有方法进行了评估。结果表明，在大多数情况下，扩展方法的表现优于原始方法。关键词：语义相似度、短文本相似度、词嵌入、Word2Vec、FastText、TF-IDF
Rajkumar P1，G。Tanmai2，K。Ankitha2，M。Srilekha2（2024）。社交媒体上的深泡沫检测：利用深度学习和快速文本嵌入
DeepFake Technology使用AI来创建操纵媒体，对社交媒体平台上的信息完整性构成了重大威胁。在印度，Deepfake内容的兴起呈指数增长，尤其是在政治和娱乐领域，假新闻和AI生成的视频已经风靡一时，导致了错误的信息。主要目的是开发一个可靠的AI模型，该模型可以准确地检测到社交媒体平台上的深击内容，重点是使用FastText Embeddings识别机器生成的推文。传统方法涉及根据预定义的规则和关键字匹配的社交媒体帖子的人类审核，事实检查机构以及手动过滤。这些方法是耗时的，而且通常不准确，缺乏管理大量在线内容的可扩展性。手动检测深摄影和AI-AI-I-Actuct含量非常低效，容易出现错误，并且无法实时处理大量社交媒体数据。因此，在被识别或删除之前，有害和误导性信息可能会广泛传播。随着社交媒体在塑造公众舆论的日益影响，这项研究背后的动机是打击错误信息和维护在线话语的完整性。特别是深度学习模型可以通过自动化社交媒体内容的分析来显着改善对深击的检测。fastText嵌入将将推文转换为有意义的单词向量，而深度学习模型可以应用于对推文是人类生成还是AI生成的推文。与传统方法相比，这种方法提供了实时检测，提高准确性和可伸缩性。
![arxiv：2007.15681v2 [CS.CL] 2020年11月9日](/simg/g:\will\search\icon\source\9\9e0bc0f86b7d2a68cf961febf4a48c77eae810a3.webp)
arxiv：2007.15681v2 [CS.CL] 2020年11月9日
摘要。与广泛的共同证据相关的大量文献大流行是对单个专家的手动检查。能够自动处理成千上万的科学出版物的系统的开发，目的是通过基于文学的关联丰富现有的经验证据是具有挑战性且相关的。我们提出了一个通过实体之间的近似关系来对经验表达数据进行上下文化的系统，为此，从最大的COVID-19与19与COVID相关的文献中学到的表示形式。为了通过转移学习来利用更大的科学环境，我们提出了一种新颖的嵌入生成技术，该技术利用Scibert语言模型在大型的多域科学出版物中预测，并为域上的域上的域适应在山脉19个数据集中适应。由医学专家进行的手动评估以及基于相关工作中确定的治疗靶标的定量评估表明，可以成功地用于COVID-19治疗目标发现，并以大量的利润来超过基线快速文本方法。
新兴技术和自动事实...
Dharma，Eddy Muntina，F。LumbanGaol，H。Leslie，H。S。Warnars和B. Soewito。“ Word2Vec，Glove和FastText之间的准确性比较涉及卷积神经网络（CNN）文本分类。” J理论Appl Inf Technol 100，No。2（2022）：349-359。Wang，Jie，Bingxin Xu和Yujie Zu。 “基于方面的情感分析的深度学习”。在2021年国际机器学习与智能系统工程会议（MLISE），pp。 267-271。 IEEE，2021。 Zadeh，Amir，Minghai Chen，Soujanya Poria，Erik Cambria和Louis-Philippe Morency。 “用于多模式分析的张量融合网络。” Arxiv预印型ARXIV：1707.07250（2017）。 al Amrani，Yassine，Mohamed Lazaar和Kamal Eddine El Kadiri。 “基于情感分析的基于媒介的随机森林和支持媒介的混合方法。” Procedia计算机科学127（2018）：511-520。 santos，法蒂玛·C·卡里利奥。 2023。 “虚假发现自动检测中的人工智能：主题分析”新闻和媒体4，第1期。 2：679-687。 https://doi.org/10.3390/journalmedia4020043 Siddiqua，Umme Aymun，Abu Nowshed Chy和Masaki Aono。 “使用基于注意力的神经集成模型进行推文立场检测。”在计算语言学协会北美分会2019年会议论文集：人类语言技术，第1卷（长篇小说），第1卷， 1868-1873。 2019。Wang，Jie，Bingxin Xu和Yujie Zu。“基于方面的情感分析的深度学习”。在2021年国际机器学习与智能系统工程会议（MLISE），pp。267-271。IEEE，2021。Zadeh，Amir，Minghai Chen，Soujanya Poria，Erik Cambria和Louis-Philippe Morency。“用于多模式分析的张量融合网络。” Arxiv预印型ARXIV：1707.07250（2017）。al Amrani，Yassine，Mohamed Lazaar和Kamal Eddine El Kadiri。“基于情感分析的基于媒介的随机森林和支持媒介的混合方法。” Procedia计算机科学127（2018）：511-520。santos，法蒂玛·C·卡里利奥。2023。“虚假发现自动检测中的人工智能：主题分析”新闻和媒体4，第1期。2：679-687。 https://doi.org/10.3390/journalmedia4020043 Siddiqua，Umme Aymun，Abu Nowshed Chy和Masaki Aono。 “使用基于注意力的神经集成模型进行推文立场检测。”在计算语言学协会北美分会2019年会议论文集：人类语言技术，第1卷（长篇小说），第1卷， 1868-1873。 2019。2：679-687。 https://doi.org/10.3390/journalmedia4020043 Siddiqua，Umme Aymun，Abu Nowshed Chy和Masaki Aono。“使用基于注意力的神经集成模型进行推文立场检测。”在计算语言学协会北美分会2019年会议论文集：人类语言技术，第1卷（长篇小说），第1卷，1868-1873。2019。
人口普查中用于编码职业的机器学习
职业分类是统计学家，经济学家，社会学家使用的有用工具，可以为工作任务和内容的相似之处提供描述者，以及经济和机构背景下的相似之处。要提供现实的社会或经济分析，必须定期更新职业分类词典。在2020年，散布了法国职业分类的新词典（PCS 2020），并配有一种自动完成工具，该工具将5,000个工作的列表完美地链接到其分类类别。只有此列表中的响应仍有待编码。insee选择不将其基于规则的自动编码系统设置为上一个词典中的代码（PCS 2003）中的代码，以适应新词典。Insee而不是选择使用机器学习技术来执行这种类型的分类任务，期望它们的表现良好。在2021年，进行了大型的手动标签活动：在2020年PCS中标记了大约100,000个人口普查工作答案，每两次由两个不同的手动编码器进行标记，并在需要时进行第三次套装，以确保培训/测试集的质量培训/测试设置。最终选择了一种两层神经网络算法（N-gram和分类器的FastText嵌入）。该实验表明，两种自动编码模式（非上市的列表和监督学习）的组合允许在当前职业中达到甚至超过上一个系统的准确率，但对于先前的职业（退休和失业）而言，它具有更多的纸张滑倒。与发送到手动工作的零件的组合可以获得一些准确性。基于这些结果，在2022年研究了预测和培训工具到人口普查生产链中的集成，目的是在PCS 2020中编码2024年的人口普查活动。这涵盖了评估（一部分）在实验过程中开发的（一部分）集成的成本和收益。这涵盖了定义与职业编码相对于职业编码的新组织，定义了通过算法评估和控制编码质量的不同角色和策略。这还涵盖了另一个最佳目标，更雄心勃勃的挑战是构建完全互惠的工具，以从不同来源和不同参与者中编码PCS 2020数据中编码。
机器学习方法的类型
机器学习在研究和行业中正在迅速发展，新方法不断出现。这种速度甚至使专家要对新移民保持艰巨和艰巨。为了使机器学习神秘，本文将探讨十种关键方法，包括解释，可视化和示例，以提供对核心概念的基本理解。我曾经依靠多变量的线性回归来预测特定建筑物中的能源使用（以kWh），通过结合建筑年龄，故事数量，平方英尺和插入电器等因素。由于我有多个输入，因此我采用了多变量方法，而不是简单的一对一线性回归。该概念保持不变，但根据变量数量将其应用于多维空间。下图说明了该模型与建筑物中实际能耗匹配的程度。想象一下可以访问建筑物的特征（年龄，平方英尺等），但缺乏有关其能源使用的信息。在这种情况下，我可以利用拟合线来估计该特定建筑物的能源消耗。另外，线性回归使您能够衡量每个促成最终能量预测因素的重要性。例如，一旦建立了一个公式，就可以确定哪些因素（年龄，大小或身高）对能耗的影响最大。分类是一个基本的概念，然后再继续采用更复杂的技术，例如决策树，随机森林，支持向量机和神经网。1。2。随着机器学习的进展（ML），您将遇到非线性分类器，从而实现更复杂的模式识别。聚类方法属于无监督的ML类别，重点是将具有相似特征的观测值分组而无需使用输出信息进行培训。而不是预定义的输出，聚集算法根据数据相似性定义了自己的输出。一种流行的聚类方法是K-均值，其中“ K”代表用户为群集创建的数字。该过程工作如下：数据中的随机选择“ K”中心；将每个点分配到其最接近的中心；重新计算新的集群中心；并迭代直至达到收敛或最大迭代限制。例如，在建筑物的数据集中，应用K = 2的K均值，可以根据空调效率等因素将建筑物分为高效（绿色）和低效率（红色）组。聚类具有自己的一系列有用算法，例如DBSCAN和平均移位群集。降低性降低是另一种基本技术，用于管理具有许多与分析不相关的列或功能的数据集。主组件分析（PCA）是一种广泛使用的维度缩减方法，它通过找到最大化数据线性变化的新向量来降低特征空间，从而使其成为将大型数据集减少到可管理大小的有效工具。在具有较强线性相关性的数据集上应用维度降低技术时，可以通过选择适当的方法来最大程度地减少信息丢失。例如，T-Stochastic邻居嵌入（T-SNE）是一种流行的非线性方法，可用于数据可视化以及在机器学习任务中的特征空间降低和聚类。手写数字的MNIST数据库是分析高维数据的主要示例。此数据集包含数千个图像，每个图像都标记为0到9。使用T-SNE将这些复杂数据点投影到两个维度上，研究人员可以在原始784维空间中可视化复杂的模式。类似于通过选择最佳组件并将它们组装在一起以获得最佳性能，类似于构建自定义自行车，Ensemble方法结合了多个预测模型，以实现比单个模型本身所能实现的更高质量预测。诸如随机森林算法之类的技术（汇总在不同数据子集训练的决策树上）就是组合模型如何平衡差异和偏见的示例。在Kaggle比赛中表现最好的人经常利用集合方法，其中包括随机森林，Xgboost和LightGBM在内的流行算法。与线性模型（例如回归和逻辑回归）相比，神经网络旨在通过添加参数层来捕获非线性模式。这种灵活性允许在更复杂的神经网络体系结构中构建更简单的模型，例如线性和逻辑回归。深度学习，其特征是具有多个隐藏层的神经网络，包括广泛的架构，使得与其连续演变保持同步是一项挑战。深度学习在研究和行业社区中变得越来越普遍，每天引起新的方法论。为了实现最佳性能，深度学习技术需要大量数据和计算能力，因为它们的自我调整性质和大型体系结构。使用GPU对于从业者来说是必不可少的，因为它使该方法的许多参数能够在巨大的体系结构中进行优化。深度学习已在视觉，文本，音频和视频等各个领域中取得了非凡的成功。TensorFlow和Pytorch是该领域最常见的软件包之一。考虑一位从事零售工作的数据科学家，其任务是将衣服的图像分类为牛仔裤，货物，休闲或衣服裤。可以使用转移学习对训练衬衫进行分类的初始模型。这涉及重复一部分预训练的神经网络，并为新任务进行微调。转移学习的主要好处是，训练神经网络所需的数据较少，鉴于所需的大量计算资源以及获取足够标记的数据的困难，这一点尤为重要。在行动中的强化学习：最大化奖励和推动AI边界RL可以在设定的环境中最大化累积奖励，从而使其非常适合具有有限数据的复杂问题。在我们的示例中，一只鼠标会导航迷宫，从反复试验中学习并获得奶酪奖励。rl在游戏中具有完美的信息，例如国际象棋和GO，反馈快速有效。但是，必须确认RL的局限性。像Dota 2这样的游戏对传统的机器学习方法具有挑战性，但RL表现出了成功。OpenAI五支球队在2019年击败了世界冠军E-Sport球队，同时还开发了可以重新定位的机器人手。世界上绝大多数数据都是人类语言，计算机很难完全理解。NLP技术通过过滤错误并创建数值表示来准备用于机器学习的文本。一种常用方法是术语频率矩阵（TFM），其中每个单词频率均可在文档中计算和比较。此方法已被广泛使用，NLTK是用于处理文本的流行软件包。尽管取得了这些进步，但在将RL与自然语言理解相结合，确保AI可以真正理解人类文本并解锁其巨大潜力时仍将取得重大进展。TF-IDF通常优于机器学习任务的其他技术。TFM和TFIDF是仅考虑单词频率和权重的数值文本文档表示。单词嵌入，通过捕获文档中的单词上下文，将此步骤进一步。这可以用单词进行算术操作，从而使我们可以表示单词相似性。Word2Vec是一种基于神经网络的方法，它将大型语料库中的单词映射到数值向量。这些向量可用于各种任务，例如查找同义词或表示文本文档。单词嵌入还通过计算其向量表示之间的余弦相似性来启用单词之间的相似性计算。例如，如果我们有“国王”的向量，我们可以通过使用其他单词向量进行算术操作来计算“女人”的向量：vector（'queen''）= vector（'king''） + vector（'king'） + vector（'woman''） - vector（'男人'）。我们使用机器学习方法来计算这些嵌入，这些方法通常是应用更复杂的机器学习算法的预步骤。要预测Twitter用户是否会根据其推文和其他用户的购买历史来购买房屋，我们可以将Word2Vec与Logistic回归相结合。可以通过FastText获得157种语言的预训练词向量，使我们可以跳过自己的培训。本文涵盖了十种基本的机器学习方法，为进一步研究更高级算法提供了一个可靠的起点。但是，还有很多值得覆盖的地方，包括质量指标，交叉验证和避免模型过度拟合。此博客中的所有可视化均使用Watson Studio Desktop创建。机器学习是一个AI分支，算法在其中识别数据中的模式，在没有明确编程的情况下进行预测。这些算法是通过试验，错误和反馈进行了优化的，类似于人类的学习过程。机器学习及其算法可以分为四种主要类型：监督学习，无监督学习，半监督学习和增强学习。这是每种类型及其应用程序的细分。**监督学习**：此方法涉及使用人类指导的标记数据集的培训机器。无监督学习的两种主要类型是群集和降低性。它需要大量的人类干预才能在分类，回归或预测等任务中实现准确的预测。标记的数据分为特征（输入）和标签（输出），教机教学机构要识别哪些元素以及如何从原始数据中识别它们。监督学习的示例包括：***分类**：用于分类数据，算法，诸如K-Neartem邻居，天真的贝叶斯分类器，支持向量机，决策树，随机森林模型排序和隐藏数据。***回归**：经常用于预测趋势，线性回归，逻辑回归，山脊回归和LASSO回归等算法，以确定结果与自变量之间的关系，以做出准确的预测。**无监督的学习**：在这种方法中，机器在没有人类指导的情况下处理原始的，未标记的数据，减少工作量。无监督的学习算法在大型数据集中发现隐藏的模式或异常，这些模式可能未被人类发现，使其适用于聚类和降低任务。通过分析数据并分组相似的信息，无监督的学习可以在数据点之间建立关系。无监督学习的示例包括自动化客户细分，计算机视觉和违规检测。基于相似性的聚类算法组原始数据，为数据提供结构。这通常用于营销以获取见解或检测欺诈。一些流行的聚类算法包括层次结构和K-均值聚类。此迭代过程随着时间的推移增强了模型的准确性。维度降低在保留重要属性的同时减少数据集中的功能数量，使其可用于减少处理时间，存储空间，复杂性和过度拟合。特征选择和特征提取是使用两种主要方法，其中包括PCA，NMF，LDA和GDA在内的流行算法。半监督学习通过将少量标记的数据与较大的原始数据结合在一起，在受监督和无监督学习之间取得了平衡。与无监督学习相比，这种方法在识别模式和做出预测方面具有优势。半监督学习通常依赖于针对两种数据类型培训的修改后的无监督和监督算法。半监督学习的示例包括欺诈检测，语音识别和文本文档分类。半监督学习：通过伪标记和传播自训练算法增强模型的准确性：这种方法利用了称为伪标记的现有的，有监督的分类器模型来微调数据集中的较小的标记数据集。伪标记器然后在未标记的部分上生成预测，然后将其添加回数据集中，并具有准确的标签。标签传播算法：在标签传播中，未标记的观测值通过图神经网络中的动态分配机制接收其分配的标签。数据集通常以一个已经包含标签的子集开始，并标识数据点之间的连接以传播这些标签。概率：IB（增加爆发）-30％此方法可以快速识别社区，发现异常行为或加速营销活动。强化学习：强化学习使嵌入在AI驱动软件计划中的智能代理能力独立响应其环境，并做出旨在实现预期结果的决策。这些药物是通过反复试验的自我训练，获得了理想的行为和对不良行为的惩罚，最终通过积极的加强来达到最佳水平。强化学习算法的示例包括Q学习和深度强化学习，这些学习通常依赖大量的数据和高级计算功能。基于神经网络和深度学习模型领域内的基于变压器的体系结构，Chatgpt利用机器学习能力来掌握和制作模仿人类之间的对话互动。