XiaoMi-AI文件搜索系统
World File Search SystemBERT
“BIG IRON” AI 系统 MIKE HOUSTON，AI 系统副总裁兼首席架构师 | 2022 年 2 月 28 日
BERT 使用 Pytorch 进行预训练吞吐量，包括（2/3）第 1 阶段和（1/3）第 2 阶段 | 第 1 阶段 Seq Len = 128，第 2 阶段 Seq Len = 512 V100：使用 FP32 精度的 8xV100 的 DGX-1 服务器 A100：使用 TF32 精度的 8xA100 的 DGX A100 服务器 |
与学习有关的认知和情感因素
05 社论：与学习有关的认知和情感因素 Mikaela Nyroos、Johan Korhonen 和 Riikka Mononen 08 将明确的自我效能干预与计算策略训练相结合对成绩较差的小学生的好处 Tuire Koponen、Tuija Aro、Pilvi Peura、Markku Leskinen、Helena Viholainen 和 Mikko Aro 25 理解心理认知过程对学生学习满意度的影响：社会认知职业理论与 SOR 模型的结合 张桂华、岳晓瑶、叶燕和彭耀平 39 新冠疫情期间的在线实验：测试自主支持对情绪和学业坚持的影响 Yurou Wang、Jihong Zhang 和 Halim Lee 51 家庭学习环境对数学和数学早期认知和非认知结果的作用阅读 Stefanie Vanbecelaere、Kanako Matsuyama、Bert Reynvoet 和 Fien Depaepe 65 认知与学业成绩：人格特征与心理健康的中介作用 Yueqi Shi 和 Shaowei Qu 78 创造性数学推理：认知的需要重要吗？ Bert Jonsson、Julia Mossegård、Johan Lithner 和 Linnea Karlsson Wirebring 88 工作记忆及其在数学焦虑与数学成绩关系中的中介作用：一项荟萃分析 Jonatan Finell、Ellen Sammallahti、Johan Korhonen、Hanna Eklöf 和 Bert Jonsson 102 降低在校儿童的数学焦虑：干预研究的系统评价 Miriam Balt、Moritz Börnert-Ringleb 和 Lars Orbach 117 无论自我报告的认知需求如何，检索练习都是有效的——行为和大脑成像证据 Carola Wiklund-Hörnqvist、Sara Stillesjö、Micael Andersson、Bert Jonsson 和 Lars Nyberg 127 课堂竞争与小学生学业成绩的关系：学习焦虑和学习投入作为中介因素 国强Li, Zhiyuan Li, Xinyue Wu 和 Rui Zhen 137 数学成绩与数学态度之间的关系：性别、考试焦虑和工作记忆的影响 Ann Dowker 和 Hannah Sheridan
NLU-STR在Semeval-2024任务1：基于生成的增强和基于编码器的语义文本相关性评分
语义文本相关性是语义相似性的更广泛的影响。它衡量了两个文本传达相似含义或主题或共享相关概念或上下文的范围。这种相关性概念可以在各种应用中（例如文档聚类和汇总）中提出。SEMREL-2024是Semeval-2024中的共享任务，旨在通过为包括阿拉伯语在内的14种语言和方言提供数据集来减少语义相关性任务中的差距。本文介绍了我们参与轨道A（阿尔及利亚和摩洛哥方言）和轨道B（现代标准阿拉伯语）的参与。在监督轨道（a）中对基于BERT的模型进行了精心调整，而基于BERT的CONINE相似性则用于无监督的轨道（B）。我们的系统在Semrel-2024中对MSA排名第1，Spearman相关得分为0.49。，我们为摩洛哥排名第5位，而阿尔及利亚的排名分别为0.83和0.53。
ct-lvi：一个朝着连续的激光 - 视觉的框架...
现有的先验使用预先训练的重量作为中心，这可能会构成对目标数据适应不足的严重风险。在[ICML2020-LI]中，我们提出了一种步枪方法，该方法会积极忘记通过在细调过程中重新定位完全连接的层所学到的东西，以增强目标适应性。学习过程的稳定性主要是由于模型崩溃或信息理论中输入和输出的异常相互信息。模型崩溃可以通过跨层相互信息的变化来检测。在[ICASSP 2023-LI]中，我们基于信息的感应偏见补充了现有的先验，以偏爱具有稳定信息传播的网络，以降低模型崩溃率并提高模型稳定性。我们进一步开发了具有可牵引概括的新先验，以鼓励微调模型对输入噪声不敏感[NAACL2021-LI]。（用于bert微调的噪声稳定性正则化）
微调在LLMS中提示的功效
本文介绍了我们参加FinCausal 2025 Compeition的方法和发现（Moreno-Sandoval等人。，2025），解决了从财务文件中得出的因果问题，特别是英语和西班牙年度报告。与基于BERT的代币分类（例如基于BERT的提取方法）相比，我们研究了生成模型（例如Llama）的有效性。虽然迅速的优化和很少的学习提供了一些改进，但它们不适合持续超过Fincausal的提取方法，并且患有hAlu take。相比之下，微调生成模型被证明对于最小化的幻觉和实现了卓越的表现至关重要。使用我们的微调多语言模型完成这两个任务，我们的表现要优于我们的外来和单语言方法，在比赛中获得了西班牙语的最高成果，而在比赛中获得了第二好的结果。我们的发现表明，微调的大语言模型非常适合复杂的财务叙事中的因果问答，提供了强大的多语言帽子，并有效地减轻了幻觉。
天然和工程梭菌对生物量生物量的潜力
摘要。本文研究了两种大语模型（LLMS）的性能-GPT-3.5-Turbo和Llama-2-13b-以及一个小型语言模型（SLM） - Gemma-2b，在气候变化（CC）和环境领域内的三个不同的分类任务。将基于BERT的模型作为基准，我们将它们的功效与这些基于变压器的模型进行了比较。此外，我们通过分析这些文本分类任务中语言置信分数的校准来评估模式的自我评估能力。我们的发现表明，尽管基于BERT的模型通常均优于LLM和SLM，但大型生成模型的性能仍然值得注意。此外，我们的校准分析表明，尽管Gemma在初始任务中得到了很好的校准，但此后会产生不一致的结果。骆驼经过合理的校准，GPT始终表现出强大的校准。通过这项研究，我们旨在为持续的讨论生成LMS在解决地球上一些最紧迫的问题方面的实用性和有效性的讨论中做出贡献，并在生态学和CC的背景下强调了它们的优势和局限性。
我们真的在文本分类方面取得了很大进展...
我们分析了跨知名数据集的单标签和多标签文本分类的各种方法，将其分类为单词袋，基于序列，基于图和层次结构的方法。尽管基于图的模型，但仅编码的预先训练的语言模型（尤其是BERT）仍然是最先进的方法。然而，最近的发现提出了更简单的模型，例如逻辑回归和基于Trigram的SVM的表现优于新技术。虽然仅解码的生成语言模型在学习有限的数据方面表现出了希望，但它们却落后于仅编码模型的性能。我们强调了歧视语言模型（例如BERT）比生成模型的优越性。此外，我们高度阐明了文献在方法比较中缺乏鲁棒性，尤其是关于基本的超参数优化，例如仅通过编码器的语言模型中的学习率。数据可用性：源代码可在https://github.com/drndr/multilabel-text-clf上找到。除NYT数据集外，用于我们实验的所有数据集均可公开使用。
关于大型结构工程文件的提取问题
我们的项目旨在应对通过冗长的施工文档有效搜索特定信息的挑战，在这种信息中，由于潜在的幻觉，使用典型的生成模型是不可取的。将实现两个部分提取问题答案模型。第一部分将由信息检索（IR）模型组成，例如BM25算法，查询和文档之间的余弦相似性，以及与MUGI（多文本生成集成）的BM25。对于第二部分，我们将仅编码的体系结构用作提取问题答案（EQA）模型，考虑到Bert，Roberta和Longformer之类的模型以获得最佳性能。在一小部分工程文档样本上进行的初步测试显示了基线至末端精度为.18，其中BM25具有K = 1的BM25，并使用了BERT模型。在使用MUGI和Roberta模型进行BM25进行进一步测试后，达到了.2的端到端精度。最终BM25没有Mugi No Reranking提出的结果比基线BM25更好，并且在提取问题回答部分中，Roberta模型表现最好。
用于医学图像处理的稳健且可推广的人工智能
©Emir Konuk©Emir Konuk，Kevin Smith，论文A©Emir Konuk，Christos Matsoukas，Moein Sorkhei，Phitchapha Lertsiravarameth，Kevin Smith，Paper B©Filip Christiansen，Emir Konuk，Emir Konuk，Emithya Raju Ganeshan，Robert welse，rane narane，rane g Bert Fruscio，Adrius Gaurilcikas，Dorella Franchi，Daniela Fischerova，Elisa Mor，Luca Savelli，Maria Angela Pascual，Marek Kudla，Stefano Guerriero，Francesca Buonomo Pangilinan。 24©Emir Konuk©Emir Konuk，Kevin Smith，论文A©Emir Konuk，Christos Matsoukas，Moein Sorkhei，Phitchapha Lertsiravarameth，Kevin Smith，Paper B©Filip Christiansen，Emir Konuk，Emir Konuk，Emithya Raju Ganeshan，Robert welse，rane narane，rane g Bert Fruscio，Adrius Gaurilcikas，Dorella Franchi，Daniela Fischerova，Elisa Mor，Luca Savelli，Maria Angela Pascual，Marek Kudla，Stefano Guerriero，Francesca Buonomo Pangilinan。 24
请引用原文：Zhu, H., Tiwari, P., Ghoneim, A., & Hossain, MS (2022). 一种用于 AIoT 领域问答的协作式 AI 支持预训练语言模型。IEEE 工业信息学学报，18 (5)，3387-3396。https://doi.org/10.1109/TII.2021.3097183
摘要 — 人工智能物联网 (AIoT) 领域的大规模知识迫切需要有效的模型来理解人类语言并自动回答问题。预训练语言模型 (PLM) 在某些问答 (QA) 数据集上取得了最佳性能，但很少有模型能够回答有关 AIoT 领域知识的问题。目前，AIoT 领域缺乏足够的 QA 数据集和大规模预训练语料库。我们提出了 RoBERTa AIoT 来解决缺乏高质量大规模标记的 AIoT QA 数据集的问题。我们构建了一个 AIoT 语料库来进一步预训练 RoBERTa 和 BERT。RoBERTa AIoT 和 BERT AIoT 利用由面向 AIoT 的维基百科网页组成的大型语料库进行无监督预训练，以学习更多特定领域的上下文并提高 AIoT QA 任务的性能。为了微调和评估模型，我们基于社区问答网站构建了 3 个 AIoT 问答数据集。我们在这些数据集上评估了我们的方法，实验结果证明了我们的方法有显著的改进。