XiaoMi-AI文件搜索系统
World File Search SystemBenchmarking
URC 基准测试报告 2024
17 年来，URC 委托进行仔细的分析，以将其表现与全国最优秀的同类大学进行对比。URC 各大学开展的研究和开发工作支持密歇根州的关键产业，例如人工智能、先进制造、健康和生命科学以及可持续发展。他们正在开发将塑造这些行业的新技术，从传感器和氢能到人工智能和量子计算。对这种生产力进行基准测试提供了识别和量化这种生产力的机会。
用于映射大脑功能连接性的基准测试方法
大脑的联网体系结构促进了神经元种群之间的同步和相干动态的出现。可以使用非侵入性功能成像对这些通信模式进行全面映射，从而导致功能连接性（FC）网络。尽管很受欢迎，但FC还是统计结构，其操作定义是任意的。大多数研究默认情况下使用零滞后皮尔森的相关性，但在更广泛的科学文献中存在数百个成对相互作用统计，可用于估计FC。FC矩阵的组织如何随选择成对统计量的选择而变化，这是一个基本的方法论问题，影响了这个快速增长的领域的所有研究。在这里，我们全面基准了使用239个成对相互作用统计的大型库计算出的FC矩阵的拓扑和地理组织，神经生物学关联以及认知行为相关性。We comprehensively investigate how canonical features of FC networks vary with the choice of pairwise statistic, including (1) hub mapping, (2) weight-distance trade-offs, (3) structure–function coupling, (4) correspondence with other neurophysiological networks, (5) individual fingerprinting, and (6) brain–behavior prediction.我们发现了FC方法之间的实质性定量和定性变化。使用信息流量分解，我们发现FC方法之间的差异可能是由于对区域间通信的潜在机制的不同敏感性引起的，其中一些对冗余更敏感，有些对协同信息流。在整个过程中，我们都观察到，诸如协方差（完全相关），精度（部分相关）和距离之类的措施显示出多种理想的特性，包括与结构连接性的紧密对应，使个人区分的能力和预测行为的个性差异。总而言之，我们的报告强调了对特定神经生理机制和研究问题定制成对统计的重要性，为将来的研究提供了蓝图，以优化其对FC方法的选择。
人机健身房：在人机协作中进行基准测试加强学习
摘要 - 深入强化学习（RL）在人机协作（HRC）中首次尝试在机器人运动计划中显示出令人鼓舞的结果。但是，在保证安全的限制下对HRC的RL方法进行了公平的比较。因此，我们现在是人类机器人体育馆，这是HRC安全RL的基准套件。我们在模块化模拟框架中提供具有挑战性的现实HRC任务。最重要的是，人类机器人健身房是第一间基准套件，其中包括安全盾牌，可证明可以保证人体安全。这弥合了理论RL研究与其现实世界部署之间的关键差距。我们对六项任务的评估导致了三个关键结果：（a）人类机器人体育馆提供的任务的多样性为最先进的RL方法创造了一个具有挑战性的基准，（b）利用采取行动模仿奖励的专家知识，RL代理人可以超越专家，以及（C）我们的Angents超越训练数据。
基准测试信任：可信赖的机器学习的指标
摘要。在机器学习研究的不断发展的景观中，可信赖性的概念受到关注的数据和模型的关键考虑。但是，缺乏普遍同意对可信赖性概念的定义提出了一个巨大的挑战。缺乏这种定义会阻碍有意义的交换和评估信任的比较。使事情变得更糟，目前几乎不可能提出可量化的度量。因此，机器学习社区无法将术语运行，而不是其当前状态，这是一个几乎不可抓的概念。这一贡献是第一个提出评估机器学习模型和数据集的信任度的度量标准。我们的薯条信任得分基于五个关键方面，我们理解是机器学习信任的基础构建基础 - 公平，稳健性，完整性，可解释性和安全性。我们通过三个数据集和三个模型评估了我们的指标，从而探讨了该指标的可靠性，通过吸引了10位机器学习研究人员的专业知识。结果强调了我们方法的有用性和可靠性，看到参与者评级之间的分离重叠。
使用BioMes跨实际元基因组数据进行基准生物信息学识别工具
摘要背景：由于大多数病毒仍然未经培养，宏基因组学目前是病毒发现的主要方法。在宏基因组数据中检测病毒并不是琐碎的。在过去的几年中，为此任务开发了许多生物信息学识别工具，因此选择正确的工具，参数和截止值使其具有挑战性。由于所有这些工具都测量了不同的生物信号，并使用不同的算法以及培训和参考数据库，因此必须进行独立的基准测试以为用户提供客观的指导。结果：我们比较了从三个不同的生物群落中的八个配对病毒和微生物数据集中进行13个模式中的九种最先进的病毒识别工具的性能，包括来自南极沿海水域的新复杂数据集。工具具有高度可变的真实正率（0-97％）和假正率（0-30％）。ppr-meta最好将病毒与微生物重叠群区分开，然后是DeepVirfinder，virSorter2和充满活力的。不同的工具确定基准数据和所有工具的不同子集，除了Sourmash，还可以找到独特的病毒重叠群。使用调整后的参数截止进行了改进的工具性能，表明应考虑使用使用之前的参数截止。结论：我们独立的基准分析有助于选择生物信息学病毒识别工具的选择，并为病毒学研究人员的参数调整提供建议。
sens：可持续供应链分析和基准测试的语义综合综合模型
摘要。供应链（SC）集成建模是对整个SC网络的成员和流程的可见性和主动监控所必需的。最近的工作已经建立了结合核心关系和结构的SC模型。但是，此类模型仍然相当孤立，从而阻止了SC的整体视图。我们确定缺乏端到端（E2E）SC数据，该数据能够对SC进行集成分析。一家公司的现有日志或数据不足以验证E2E SC模型。我们提出Sens，这是一种标准化的集成语义模型，可提供SCOR E2E SC结构和流的整体视图。此词汇用于生成合成的SC数据，以补偿通过Sens-Gen的总体基准数据的稀缺性。评估表明，通过SENS实现的显着改善的模拟和分析功能，促进了抓地力，控制并最终增强SC行为，并在破坏性场景中提高了弹性。
srns供应链领导者与洛斯阿拉莫斯国家实验室分享创新的解决方案，对萨凡纳河网站进行基准测试，以满足PIT生产M
srns供应链领导者与洛斯阿拉莫斯国家实验室共享创新的解决方案，对萨凡纳河网站进行基准测试，以满足萨凡纳河的网站，以满足南卡罗来纳州艾肯的维修生产任务，（2023年11月15日）的代表来自洛斯·阿拉莫斯国家实验室的供应链和物流（SCL）最近访问了Savannah River Site（SCR）的供应链（SRMBRCK SRMBREMS）（SCRS），以达到Savannah River Service（SRSMBRECT）。 p坑生产任务并为武器生产副实验室局（ALDWP）站起来。“我们的目标是确保整个综合大楼的所有供应连锁店都具有最大的潜力，”萨凡纳河核解决方案（SRNS）副总裁杰伊·约翰逊（Jay Johnson）说。“当我们与其他承包商分享我们的最佳实践时，我们可以一起完成能源部（DOE）和国家核安全管理局（NNSA）综合体的关键任务。这个基准测试会议是引发与Los Alamos进行持续合作的第一步。”
用户指南的基准标准表格综合
摘要本文介绍了我们评估表格数据合成（TDS）工具对用例特定要求的适用性的研究。主要目标是开发一个平台，该平台允许用户，例如其他领域的研究人员，为其现实世界应用选择合适的TDS工具。在开发此类平台的过程中，目前计划了三项贡献：首先，通过根据一组功能性和非功能性要求编制报告的领先工具性能的用户决策指南。其次，基于这些已确定要求的TDS工具的基准测试框架。最后是一个可自定义的工具选择平台，它是通过广泛的TDS工具的广泛基准测试而开发的。该平台必须基于特定的用例约束提供许多可能的工具，并允许基于社区的扩展，从而为TDS工具选择提供动态和适应性的解决方案。