XiaoMi-AI文件搜索系统
World File Search SystemDistilBERT
使用 Transformer 进行情绪分析
本研究探讨了如何使用基于 Transformer 的模型（例如 BERT 和 DistilBERT）对 IMDb 电影评论进行情感分析。实验的目的是找到准确率和计算效率之间的平衡，评估两种模型在不同训练参数下的表现。BERT 在三个时期内达到了 91.39% 的峰值准确率，总共需要 54 分钟进行训练。另一方面，DistilBERT 仅用 38 分 25 秒就达到了 91.80% 的类似准确率。尽管准确率略有差异，但 DistilBERT 被证明是一种更高效的训练选择，因此成为资源有限环境的可行替代品。该研究结果与 R. Talibzade (2023) 的研究形成了对比，后者使用 BERT 获得了 98% 的准确率，但需要 12 小时的训练，说明了准确率和训练时间之间的平衡。未来可能的任务包括进一步完善、使用更大的数据集进行测试、研究替代的 Transformer 模型，以及利用更高效的训练方法来提高性能而不牺牲效率。这是一篇 CC BY-NC 许可下的开放获取文章
从深度神经语言模型到LLMS
此定义直接遵循了第一个介绍“大语言模型”概念的论文：[1，2]，并代表了LLMS功能平稳缩放的规模，因为它们的大小从100m增加到1000b参数[3，4]。此定义意味着虽然原始变压器不是LLM，但基于RNN的Elmo是。同样，通常用于文本分类而不是生成的BERT模型是LLM，就像翻译调节的T5一样。在LLM系列中包括较小的模型，我们还可以将历史上视为LLM的模型包括在内，例如具有6600万参数的Distilbert，甚至具有12M参数的Codex模型。同样，这意味着我并没有区分LLM与生成代码，二进制，通过搜索引擎请求或接受图像作为输入的文本的文本。
在线多模式转向三方对话的预测
预测多方对话中的转变对于提高口语对话系统的可用性和自然流程至关重要，从而为对话剂提供了实质性的增强。我们提出了一种基于窗口的新方法，可以通过利用尖端预训练的语言模型（PLM）和经常性的神经网络（RNN）的能力来实时进行实时的转变末端。我们的方法将Distilbert语言模型与封闭式复发单元（GRU）融合在一起，以在线方式准确预测转弯点。我们的AP-PRACH可以显着胜过基于常规的临时单元（IPU）的预测方法，这些方法通常忽略了在动态对话中重叠和中断的细微差别。这项研究的潜在应用很重要，尤其是在虚拟药物和人类机器人相互作用的领域。我们可以促进我们准确的在线预测模型，以增强这些应用程序中的用户体验，从而使它们更自然，无缝整合到现实世界中的对话中。
对早期认知能力下降的自动远程评估...
摘要 - 认知能力下降的早期迹象通常在会话言语中是不可或缺的，并且识别这些迹象对于处理神经退行性疾病的晚期和更严重的阶段至关重要。临床检测是昂贵且耗时的，尽管在自动检测基于语音的提示方面取得了最新进展，但这些系统在相对较小的数据库上进行了培训，缺乏详细的元数据和人口统计信息。本文介绍了CognoSceak及其相关的数据收集工作。CognoSpeak询问内存的长期和短期问题，并管理标准认知任务，例如口头和语义流利度以及使用移动或Web平台上虚拟代理的图片描述。此外，它还收集了多模式数据，例如音频和视频，以及来自初级和二级护理，记忆诊所以及人们之类的远程设置的丰富元数据。在这里，我们提供了126个主题的结果，他们的音频是手动转录的。已经对不同类型的提示进行了调查和评估，几个经典分类器以及大型基于语言模型的分类器。我们表现出高度的性能；特别是，我们使用Distilbert模型获得了0.873的F 1次，以区分患有认知障碍的人（痴呆症和轻度认知障碍者（MCI）），使用健康志愿者使用记忆响应，流利的任务和Cookie Teaft Teaft图片描述。CognoSpeak是一种自动，远程，低成本，可重复，无创和压力较小的替代品，可替代现有的临床认知评估。索引术语 - dentia，MCI，计算副语言学，认知能力下降，病理言语
聊天机器人与人工智能的互动：使用 T5 和语言转换器集成进行文本分类的人类数据增强
摘要 在本研究中，我们提出了聊天机器人与人工智能交互 (CI-AI) 框架，作为一种训练基于转换器的聊天机器人类架构的方法，用于任务分类，重点是人与机器的自然交互，而不是界面、代码或正式命令。智能系统通过人工释义来增强人类来源的数据，以便为自然语言处理 (NLP) 的进一步经典、注意力和基于语言转换的学习方法生成大量训练数据。要求人类释义命令和问题以进行任务识别，从而进一步执行算法作为技能。命令和问题分为训练集和验证集。共记录了 483 个回复。其次，训练集由 T5 模型释义，以便用进一步的数据进行扩充。在对训练数据进行两个时期的微调后，对七种最先进的基于 Transformer 的文本分类算法（BERT、DistilBERT、RoBERTa、DistilRoBERTa、XLM、XLM-RoBERTa 和 XLNet）进行了基准测试。我们发现，当训练数据通过 T5 模型增强时，所有模型都得到了改进，分类准确率平均提高了 4.01%。最好的结果是在 T5 增强数据上训练的 RoBERTa 模型，其分类准确率达到了 98.96%。最后，我们发现，通过输出标签预测的逻辑回归，五个表现最佳的 Transformer 模型的集合在人类反应数据集上的准确率达到了 99.59%。高性能模型允许智能系统通过类似聊天机器人的界面在社交互动层面解释人类命令（例如“机器人，我们可以聊天吗？”），并允许非技术用户更好地访问人工智能。