XiaoMi-AI文件搜索系统
World File Search SystemBenchmarking
基准进行经典分子动力学模拟...
图2：（a）实验离子电导率的奇偶校验图对计算上的相似。红点带有液化石油气电荷，蓝色的指控带有DFT电荷。最左侧的离子电导率，使用nernst-Einstein方法计算。中心，用nernst-Einstein方法计算的离子电导率。用惠勒 - 纽曼方法计算的最直接的离子电导率。（b）实验玻璃传输温度的奇偶校验图针对计算计算的温度。金点是对纯聚合物的模拟，而绿色的聚合物与LITFSI的聚合物。（c）实验离子电导率对计算模拟的奇偶校验图，其中每个聚合物在经过验证测得的玻璃转变温度下模拟，并由玻璃转变偏移温度从纯聚合物（金）或用盐（绿色）计算的聚合物计算出的玻璃过渡偏移温度。（d）Spearman and Pearson等级相关指标，用于t exp的模拟。（e）在实验温度下模拟的最佳结果与离子电导率变化下的结果相比。
台式：基准测试多代理增强学习
多机构增强学习（MARL）的领域目前正面临生产性危机。虽然已经提出了用于解决该问题的标准化报告解决方案，但我们仍然缺乏一个实现标准化和可重复性的基准测试工具，同时利用了尖端的加固学习（RL）实现。在本文中，我们介绍了台式，这是创建的第一个MARL培训库，目的是在不同的al-gorithm，模型和环境中启用标准化的基准测试。Benchmarl使用Torchrl作为后端，授予其高性能并维护最先进的实现，同时解决Marl Pytorch用户的广泛社区。其设计启用系统配置和报告，从而使用户可以通过简单的单行输入创建和运行复杂的基准测试。Benchmarl在github上开源：https：//github.com/facebookresearch/benchmarl。
使用FNIRS的机器学习的基准测试框架
功能性近红外光谱（FNIRS）（Jobis 1977）越来越多地用于认知神经科学和脑部计算机界面（BCIS）（Naseer and Hong 2015）。通常是为了确定受试者正在执行的任务类型或评估任务的强度水平，并且在对精神活动的类型和水平进行分类方面变得越来越流行（Herff等人。2014，Benerradi等。 2019）。 用于分类，可以广泛使用机器学习，无论是使用线性判别分析（LDA）或支持向量机（SVM）等模型的标准机器学习，还是最近深入学习，具有从标准的人工神经网络（ANN）到卷积神经网络（CNNS）和复发性神经网络（RASE NEARER网络（RASE）（RASE）（RASE）（RASE）（RASE）（RASE）（RASE）（NASE）（NASE）（NASE）。 2016，Trakoolwilaiwan等。 2017，Yoo等。 2018）。 与其他已经开发出标准化和可比较的方法来用于生理措施，标准和良好实践的社区不同。 因此，在某些情况下，这些技术似乎是有效的，但是研究人员需要意识到良好的实践，并避免常见的陷阱，从而破坏最终结果的可靠性（Lipton和Steinhardt 2019）。2014，Benerradi等。2019）。用于分类，可以广泛使用机器学习，无论是使用线性判别分析（LDA）或支持向量机（SVM）等模型的标准机器学习，还是最近深入学习，具有从标准的人工神经网络（ANN）到卷积神经网络（CNNS）和复发性神经网络（RASE NEARER网络（RASE）（RASE）（RASE）（RASE）（RASE）（RASE）（RASE）（NASE）（NASE）（NASE）。2016，Trakoolwilaiwan等。 2017，Yoo等。 2018）。 与其他已经开发出标准化和可比较的方法来用于生理措施，标准和良好实践的社区不同。 因此，在某些情况下，这些技术似乎是有效的，但是研究人员需要意识到良好的实践，并避免常见的陷阱，从而破坏最终结果的可靠性（Lipton和Steinhardt 2019）。2016，Trakoolwilaiwan等。2017，Yoo等。 2018）。 与其他已经开发出标准化和可比较的方法来用于生理措施，标准和良好实践的社区不同。 因此，在某些情况下，这些技术似乎是有效的，但是研究人员需要意识到良好的实践，并避免常见的陷阱，从而破坏最终结果的可靠性（Lipton和Steinhardt 2019）。2017，Yoo等。2018）。与其他已经开发出标准化和可比较的方法来用于生理措施，标准和良好实践的社区不同。因此，在某些情况下，这些技术似乎是有效的，但是研究人员需要意识到良好的实践，并避免常见的陷阱，从而破坏最终结果的可靠性（Lipton和Steinhardt 2019）。
在实验室外对脑机接口进行基准测试
本文介绍了一种在实验室外对脑机接口 (BCI) 进行基准测试的新方法。我们创建了一款计算机游戏，模拟辅助 BCI 的实际应用，主要结果指标是完成游戏所需的时间。这种方法在 2016 年 Cybathlon 比赛中使用，这是一项针对使用辅助技术完成任务的残疾人士的比赛。本文总结了 BCI 的技术挑战，描述了基准测试游戏的设计，然后描述了 Cybathlon 的 BCI 比赛中可接受的硬件、软件和人类飞行员的规则。本文介绍了 11 支参赛队伍、他们的方法以及他们在 Cybathlon 比赛中的成绩。虽然基准测试程序有一些局限性（例如，我们无法确定任何明显影响 BCI 性能的因素），但它可以成功地用于分析现实、结构性较差条件下的 BCI 性能。将来，基准测试游戏的参数可以进行修改，以更好地模拟不同的应用（例如，需要比其他命令更频繁地使用某些命令）。此外，Cybathlon 有可能向公众展示此类设备。
对自然语言规划的 llms 进行基准测试
我们引入了 N ATURAL P LAN ，这是一个自然语言中的现实规划基准，包含 3 个关键任务：旅行规划、会议规划和日历安排。我们将评估重点放在 LLM 的规划能力上，并提供关于任务的完整信息，方法是将 Google 航班、Google 地图和 Google 日历等工具的输出作为模型的上下文。这样就无需使用工具使用环境来评估规划上的 LLM。我们观察到 N ATURAL P LAN 是针对最先进模型的具有挑战性的基准。例如，在旅行规划中，GPT-4 和 Gemini 1.5 Pro 分别只能实现 31.1% 和 34.8% 的解决率。我们发现，随着问题复杂性的增加，模型性能急剧下降：当有 10 个城市时，所有模型的性能都低于 5%，这凸显了 SoTA LLM 在自然语言规划方面存在巨大差距。我们还对 N ATURAL P LAN 进行了广泛的消融研究，以进一步阐明自我校正、少量泛化和具有长上下文的上下文规划等方法对改进 LLM 规划的 (不) 有效性。
2024 年保险行业基准报告
总体而言，中介机构对未来充满信心，实力雄厚，约三分之二的受访者报告净利润率达到或超过 30%。有远见的企业主希望投资利润，而不是收获利润，通过有机和无机手段采取额外措施巩固当前地位，为未来的韧性和成功做好准备。他们投资于人才（团队和客户）、流程和平台，从而提高生产力、优化客户服务和加速利润，为增长和规模奠定基础。
卓越之路：五年对标计划
UCF 已经实现了两个相关的卓越指标，非医学科学和工程研究支出达 1.5 亿美元，八个研究学科中的六个在公立和私立机构中支出排名前 100。实现这些指标证明了 UCF 在 STEM 研究支出方面的全国表现。在 2022 财年，UCF 重新分配了 700 万美元的经常性资金和 2600 万美元的非经常性资金用于研究设备、基础设施和旨在产生重大影响的长期创新。传染病和旅行健康、数字孪生、太空教育和工业化、零碳能源、人工智能和下一代计算硬件等领域受益于经常性投资。到 2027 年，科学和工程研究总支出预计为 2.65 亿美元。
由专家精心策划的大型基准文档数据库...
用于查找相关文献的文档推荐系统大多依赖于十年前开发的方法。这主要是因为缺乏一个涵盖各种研究领域的大型离线黄金标准相关文献基准，以便可以比较、改进新开发的文献检索技术并将其转化为实践。为了克服这个瓶颈，我们成立了 RE 相关文献搜索联盟，该联盟由来自 84 个国家的 1500 多名科学家组成，他们共同注释了超过 180,000 篇 PubMed 收录文章与其各自的种子（输入）文章的相关性。大多数注释都是由经验丰富的种子文章原作者提供的。收集到的数据涵盖了 76% 的所有唯一 PubMed 医学主题词描述符。在不同经验水平、研究领域或注释时间所花费的人之间未观察到系统性偏差。更重要的是，不同科学家对相同文档对的注释高度一致。我们进一步表明，用于生成推荐文章以供评估的三种代表性基线方法（Okapi Best Matching 25、词频 - 逆文档频率和 PubMed 相关文章）具有相似的总体性能。此外，我们发现这些方法各自倾向于生成不同的推荐文章集合，这表明可能需要混合方法来进行比较
迈向公开、标准化的诊断基准测试...
陆地表面模型 (LSM) 模拟陆地表面与大气之间的水、热和碳交换，并在气候模型中表示这些过程。气候模型反过来也从用于概念性理解大尺度气候特征（如大陆边界效应（例如 Manabe，1969））的极其简单的工具发展成为更类似于操作天气预报工具的工具。气候预测现在为数百万美元的决策提供信息，这反映在研究科学家面临的压力中，即提供“气候系统四个主要组成部分的全面表示”（Gordon 等人，2002）“以模拟过去、现在和未来的气候”（Collins 等人，2006）。这种焦点的转变推动了模型评估性质从定性到定量分析的相应转变。
基准llms用于具体决策做出
我们旨在评估大型语言模型（LLMS）进行具体的决策。尽管大量的工作一直在利用LLM在体现的环境中进行决策，但我们仍然缺乏对其性能的系统性理解，因为它们通常用于不同的域，用于不同的目的，并基于不同的输入和输出。此外，现有的评估倾向于仅依赖最终的成功率，因此很难确定LLM中缺少什么能力以及问题所在的地方，进而有效地和选择性地利用LLMS的药物。为了解决这些限制，我们提出了一个广义接口（e Mboded a gent i nterface），该界面支持基于LLM的模块的各种任务和输入输出规格的形式化。Specifically, it allows us to unify 1) a broad set of em- bodied decision-making tasks involving both state and temporally extended goals, 2) four commonly-used LLM-based modules for decision making: goal interpre- tation, subgoal decomposition, action sequencing, and transition modeling, and 3) a collection of fine-grained metrics that break down evaluation into error types, such as hallucination errors, affordance errors, and various计划错误的类型。总体而言，我们的基准对LLMS在不同子任务中的性能进行了全面评估，从而指出了LLM驱动的体现体现的AI系统的优势和劣势，并提供了对LLM在体现决策中的有效和选择性使用的见解。