XiaoMi-AI文件搜索系统
World File Search SystemBenchmark
基因组的大型语言模型
大语言模型（LLM），例如GPT-3.5 1，GPT-4 2，Gemini 3和Claude 4，是在大型13个数据集中训练的高级模型，能够生成与人类言语非常相似的文本。llms在各种任务中表现出色，例如回答14个问题2，生成编程代码5和分析图像6。最近的研究还强调了它们在基因组研究中的强大能力15。例如，在单细胞RNA-seq数据中，GPT-4可以产生与人类专家提供的细胞类型注释相符的细胞类型注释，仅使用标记基因信息作为输入7。此外，可以利用由GPT-3.5生成的基因嵌入17来创建单细胞嵌入以用于各种下游分析8。18这些研究表明，LLM在基因组学领域具有知识，并且有可能作为基因组研究的知识19基础。这样的基于LLM的基因组知识基础可以通过20减少定位和检索可靠信息所需的时间来显着受益于基因组研究，这一过程通常是跨学科的21个具有有限基因组专业知识的跨学科21研究人员的时间。此外，现代LLMS的先进推理和分析能力22可以有效地综合来自不同来源的信息。但是，LLM是否可以可靠地充当基因组23知识库，尚未系统地研究并保持较低的理解。24基准数据集对于比较和评估LLMS执行特定任务的能力至关重要。这些发现表明39例如，25 mmlu（大量的多任务语言理解）9是一个广泛使用的基准数据集，用于评估LLMS的Interdis-26 cipledine Inswool，而HumaneVal 10评估其生成编程代码的能力。这些基准数据集27提供了一个标准化框架，用于比较不同LLM的性能和随着时间的推移跟踪模型演变。28他们在识别现有模型的弱点并指导未来发展的29 llms方面是关键的。但是，现有的基准数据集不涵盖基因组学，并且仍然缺乏基因组知识的基准。30为此，我们开发了基因研究，这是一个全面的问答（Q＆A）数据库，以基于基因组学中LLM的perfortor-31 Mance进行基准测试。基因研究包括基因组研究的各个方面，例如基因和SNP的基因组位置32，以及基因的功能。我们评估了六个LLM在基因上的性能，包括33 Ing Miogpt 11，BiomedLM 12，GPT-3.5 1，GPT-4O 13，Gemini Advanced 3和Claude 3.5 4。其中，GPT-4O，Gemini 34 Advanced和Claude 3.5是当代LLM，因其在各种任务中的出色表现而广受认可。35我们的分析表明，基于基因组知识的问题在整个LLM中的准确性显着差异。36此外，我们观察到，当LLM可以访问Web浏览功能时，可以进一步提高性能。37然而，即使表现最好的LLM在某些任务中完全失败了，尽管基因组知识被包括在其培训语料库中，但仍无法在38其他其他任务中正确回答所有问题。
利用合成数据来验证基准研究...
引言背景和基本原理{6a}差异丰度（DA）分析元基因组微生物组数据已成为了解各种环境和宿主生物体中微生物群落的复杂动力学的关键工具。3 - 5个微生物组研究对于鉴定特定的微生物至关重要，这些微生物在不同条件之间的丰度显着差异，例如健康和疾病状态，不同的环境条件，或者治疗之前和之后。分析微生物的差异丰度对于了解微生物群落在环境适应，宿主的疾病发展和健康中所起的作用至关重要。6用于鉴定微生物丰度变化的统计方法对于了解这些社区如何影响疾病进展和与宿主的其他相互作用至关重要，然后为治疗干预和诊断分析提供了新的策略。7
mlbench：机器学习基准问题
as.data.frame.mlbench。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。2贝斯班。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 3 Bostonhouse。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。2贝斯班。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。3 Bostonhouse。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。3 Bostonhouse。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。3个破解。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>5 DNA。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 6杯。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div>5 DNA。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>6杯。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div>6杯。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。。。。。。。。。。8 housevotes84。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。9电离层。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 10个字母认可。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。9电离层。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。10个字母认可。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。12 mlbench.2dnormals。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。13 mlbench.cassini。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。14
MSCI气候巴黎对齐基准选择索引方法
1索引由一组方法和政策文档（“方法集”）约束，包括当前的索引方法文档。有关更多详细信息，请参考附录IX。2在2020年12月3日，欧盟委员会在官方杂志（https：//ur- eur- lex.europa.eu/legal-content/en/txt/pdf/？以防欧盟授权的行为发生变化，并且需要对索引方法进行更新，MSCI将在实施该方法的更改之前发布公告。MSCI不会为此更新进行正式咨询。3欧洲议会的2019/2088法规（EU）和2019年11月27日在金融服务领域的可持续性相关披露的理事会，网址为：https：//eur-lex.europa.eu/legal-legal-legal-legal-legal-legle/legal- content/en/en/en/en/en/en/txt/pdf/pdf/pdf/pdf/？
通过患者语音进行人工智能检测喉癌的分类基准
预计未来几年喉癌病例将大幅增加。目前的诊断途径导致许多患者被错误地转诊到紧急疑似癌症途径，给患者和医疗系统带来了过度压力。人工智能提供了一种有希望的解决方案，它能够从患者的言语中非侵入性地检测喉癌，这有助于更有效地确定转诊的优先次序，并减少对非癌症患者的不当转诊。要实现这一潜力，开放科学至关重要。该领域的一个主要障碍是缺乏开源数据集和可重复的基准，迫使研究人员从头开始。我们的工作通过引入一个基准套件来解决这一挑战，该套件包含 36 个在开源数据集上训练和评估的模型。这些模型可以在公共存储库中访问，为未来的研究奠定了基础。他们评估了三种不同的算法和三个音频特征集，提供了一个全面的基准框架。我们提出了标准化的指标和评估方法，以确保未来研究的结果一致且可比。所提出的模型包括纯音频输入和包含人口统计学和症状数据的多模式输入，使其能够应用于具有各种患者信息的数据集。通过提供这些基准，未来的研究人员可以评估他们的数据集，改进模型，并将其用作更高级方法的基础。这项工作
Pharo 中的 AI 有多快？线性回归基准测试
摘要 与许多其他现代编程语言一样，Pharo 将其应用扩展到计算要求高的领域，例如机器学习、大数据、加密货币等。这就需要快速的数值计算库。在这项工作中，我们建议通过外部函数接口 (FFI) 调用高度优化的外部库（例如 LAPACK 或 BLAS）中的例程来加速低级计算。作为概念验证，我们基于 LAPACK 的 DGELSD 例程构建了线性回归的原型实现。使用三个不同大小的基准数据集，我们将我们的算法的执行时间与纯 Pharo 实现和 scikit-learn（一种流行的机器学习 Python 库）进行比较。我们表明 LAPACK&Pharo 比纯 Pharo 快 2103 倍。我们还表明，scikit-learn 比我们的原型快 8-5 倍，具体取决于数据的大小。最后，我们证明纯 Pharo 比纯 Python 中的等效实现快 15 倍。这些发现可以为未来为 Pharo 构建快速数值库并进一步在更高级的库（如 pharo-ai）中使用它们奠定基础。
投资过渡基准（ITB）报告
免责声明本文件不是欧洲委员会的官方文件，也不反映欧洲委员会的官方立场。本文档中没有任何提交欧盟委员会的承诺，也不排除任何政策成果。本报告代表了可持续金融平台成员的整体观点。1然而，尽管它代表了这种共识，但在所有细节上，它不一定代表成员机构或专家的个人观点。本报告所反映的观点仅是专家的观点。本报告没有反映欧洲委员会或其服务的观点。以下考虑因素是根据可持续金融平台的宙斯盾汇编的，不能被欧洲监督当局（ESA）解释为官方指导。因此，观点和建议并不表示代表或预期ESA发出的任何未来的官方指导和可能与本报告内容不同的官方指南。
RAIDEN 基准：使用测量驱动的自定义对话来评估角色扮演对话代理
随着大规模语言模型 (LLM) 的进步，角色扮演对话代理 (RPCA) 的开发也日益受到重视。尽管取得了这些进展，但仍明显缺乏围绕对话而不是问答格式设计的基准，以评估 RPCA 交互的有效性。本文介绍了 RAIDEN 基准，它包含专门为 RPCA 评估开发的综合数据集，包括 135 个字符的 40,000 多个多轮话语。该基准侧重于评估对话不同阶段的特定维度，通过注释者进行的交互来实现。这种方法使评估阶段能够集中在特定的响应维度上，从而降低了对话评估中的主观性。为了进一步增强客观性，评估者会比较两个不同模型的响应，而不是孤立地评估单个响应。此外，我们还推出了 RPCAJudger，这是专为自动 RPCA 评估而量身定制的专业评判 LLM。RPCAJudger 进行的评估与人类判断非常相似，其无 API 方法可防止潜在的数据泄露。所有模型和所有非私有排行榜数据都将公开 1 。
我们站立：基准测试乌尔都语ASR模型
本文介绍了乌尔都语自动语音识别（ASR）模型的全面评估。我们使用单词错误率（WER）分析了三个ASR模型家族的性能：耳语，MMS和无缝M4T，以及对最常见的错误单词和错误类型（包括插入，删除和下限）的详细检查。我们的分析是使用两种类型的数据集进行的，请阅读语音和文章。值得注意的是，我们提供了第一个用于基准乌尔都语ASR模型的对话性语音数据集。我们发现，无缝的大型在读取的语音数据集上的表现优于其他ASR模型，而在对话的语音数据集中，Whisper-Large的表现最佳。此外，这种评估强调了仅使用定量指标来评估乌尔都语（例如乌尔都语）的ASR模型的复杂性，并提出了对强大的乌尔都语文本正常ization系统的需求。我们的发现为乌尔都语等低资源语言开发强大的ASR系统提供了有价值的见解。
信标：全面RNA任务和语言模型的基准
RNA在将遗传指令转化为功能外的功能中起着关键作用，强调了其在生物过程和疾病机构中的重要性。尽管出现了许多深度学习方法，尤其是通用RNA语言模型，但仍缺乏标准化的基准来评估这些方法的有效性。在这项研究中，我们介绍了第一个全面的RNA基准标签（Be NCHM A RK用于任务和语言模型）。首先，Beacon构成了13项不同的任务，这些任务涵盖了结构分析，功能研究和工程应用的广泛工作，从而可以对各种RNA理解任务的方法进行全面评估。第二，我们检查了一系列模型，包括CNN等传统方法以及基于语言模型的高级RNA基础模型，为这些模型的特定任务性能提供了宝贵的见解。第三，我们研究了从令牌和位置编码方面的重要RNA语言模型组件。值得注意的是，我们的发现强调了单个核苷酸令牌化的优势以及与传统位置编码方法相比，用线性偏见（Alibi）抚养的有效性。基于这些见解，提出了一个简单而强大的基线，称为Beacon-B，可以通过有限的数据和计算资源来实现出色的性能。我们的基准标准的数据集和源代码可在https://github.com/terry-r123/rnabchhench上获得。