XiaoMi-AI文件搜索系统
World File Search System离群
审查参数和非参数测试的文章
参数测试参数测试基于与总体或数据源相关的假设，而非参数测试并不是假设。参数统计量由均值，标准偏差，方差等参数组成。因此，它使用观察到的数据来估计分布的参数。数据通常假定来自具有未知参数的正态分布。参数测试是那些假设样本数据来自遵循概率分布（正态分布）的人群，并具有固定的参数。参数测试对以下人群参数进行了假设。正态性 - 样本数据来自大约遵循正态分布的人群。差异的同质性 - 样本数据来自具有相同差异的人群。独立性 - 样本数据由独立观察结果组成，并随机采样。离群值 - 示例数据不包含任何极端异常值。参数测试类型z测试当您需要将样本的平均值与假设的值进行比较（通常是指种群平均值）时，则使用一个样本z检验。该测试具有很大的要求，例如样本量应超过30，并且应该知道种群的标准偏差。
基于机器学习的糖尿病预测
模型开发：开发一个可靠的机器学习模型，能够使用包含13个相关功能的数据集准确地预测糖尿病风险。准确性增强：实现高预测准确性和验证性能，同时确保模型概括到不同人群和现实世界情景的能力。特征重要性分析：识别和排名糖尿病预测中的影响力特征，阐明了最大程度地影响模型决策的因素。临床相关性：研究预测模型在临床环境中的实际应用，评估其协助医疗保健专业人员进行早期诊断和风险评估的潜力。数据质量和预处理：解决数据质量问题，包括缺失值和离群值，以提高模型预测的可靠性。隐私和道德注意事项：确保在糖尿病预测的个人健康数据收集和使用中可以充分解决数据隐私和道德注意事项。知识贡献：通过解决与模型准确性，特征可解释性和临床适用性相关的挑战，为糖尿病预测领域提供宝贵的见解。
人文地理、自然地理和空间问题
1 人文地理学和自然地理学显然都是“地理学”。它们都关注地球表面的差异。对空间布局的关注是两者的基础，尽管更具体的概念各不相同：气候学中的大陆性和风暴轨迹、地貌学中的流域和离群值以及人文地理学中的中心地带和腹地。在自然地理学中，我们还可以注意到空间概念中更强的垂直成分：空气从山上上升，水从山下流下等等；但这对于下文并不重要。因为无论如何，即使空间关系是自然地理学家工作的核心和他们认为重要的内容，他们也不会像人文地理学家那样痴迷于它并撰写有关它的书籍（Gregory，Urry，1985；Harvey，1982；Massey，2005）。它绝不会被边缘化。比较布莱克威尔的两本词典，即《人文地理词典》和《物理地理百科全书》，你会发现其中的地图非常多，而人文地理词典中的地图却非常少。此外，为了补充其对空间垂直方面的关注，词典中还包含大量框图。空间关系只是假定的，不值得单独研究。探究为什么会出现这种情况，将有助于理解为什么这两个子领域会分化到如此程度。
欧洲地热研讨会2024
Erwandi Yanto使用统计方法和气体地热测定法增强地热储层温度估计：探索阶段的Lumut Balai场的案例研究，通常使用地热测定法估算储层温度。但是，由于地质学家和地球化学家之间的解释和见解，大量的表面表现数据有时可能导致温度估计的差异。此外，井下压力和温度测量值可能显示出轻微的变化。为了应对这些挑战，可以采用基本的统计方法来定量地对数据进行分类并简化温度地热计的确定。通过基于相似特征将数据分组到人群中，并使用直方图和概率图（P-图）分析它们，我们可以更好地理解每个人群的分布。由极值引起的离群数据可以排除在于提高准确性。结果表明，P10值（最乐观）来自直方图与井下温度测量值紧密一致。使用地热计的估计储层温度范围为243°C至273°C，代表最乐观的温度范围。这与几个生产井中从PT数据获得的最高储层温度的范围很好，即221°C至266°C。＃3
使用局部异常因子 (LOF) 进行适应性强且稳健的 EEG 坏通道检测
摘要：脑电图 (EEG) 数据通常会受到伪影的影响。检测和去除坏通道（即信噪比较差的通道）是至关重要的初始步骤。由于数据质量、伪影性质和所采用的实验范式存在内在差异，从不同人群获取的 EEG 数据需要不同的清理策略。为了处理这些差异，我们提出了一种基于局部离群因子 (LOF) 算法的稳健 EEG 坏通道检测方法。与大多数现有的寻找通道全局分布的坏通道检测算法不同，LOF 相对于通道的局部集群来识别坏通道，这使其适用于任何类型的 EEG。为了测试所提算法的性能和多功能性，我们在从三个人群（新生儿、婴儿和成人）获取的 EEG 上进行了验证，并使用了两个实验范式（事件相关和频率标记）。我们发现，在校准其主要超参数（LOF 阈值）后，LOF 可应用于所有类型的 EEG 数据。我们利用现有的最先进 (SoA) 坏通道检测方法对该方法的性能进行了基准测试。我们发现，LOF 通过将 F1 分数（我们选择的性能指标）提高到新生儿和婴儿的约 40%，将成人的 F1 分数提高到 87.5%，从而超越了所有方法。
通过强大的优化，可证明神经网络的强大和合理的反事实解释
反事实解释（CES）已成为解释神经网络分类器的主要方法的越来越多的兴趣。通常，输入输出对的CES定义为具有最小距离的数据点，该数据点与输入分类的输入最小距离，而该输入与输出标签相比。要解决模型参数时很容易无效的确定问题（例如，重新培训）研究提出了方法来证明在模型参数变化下由标准球界定的CES鲁棒性。但是，针对这种鲁棒性形式的现有方法并不完整，它们可能会产生令人难以置信的CES，即离群值WRT WRT训练数据集。实际上，没有现有的方法同时优化邻近性和合理性，同时保留鲁棒性保证。在这项工作中，我们提出了可证明的强大和合理的反事实表达（PREPLACE）1，这是一种利用强大优化技术来促进上述文献中限制的方法。我们制定了一种迭代算法来计算可证明可靠的CES并证明其收敛性，健全性和完整性。通过涉及六个基线的比较实验，其中五个靶向鲁棒性，我们表明，在三个评估方面，预言实现了针对指标的最新表现。关键字：可解释的AI；反事实解释；解释的鲁棒性
通过深度学习驱动的异常检测器进行基于脑电图的心理任务识别
摘要：本文介绍了一种利用脑电信号进行心理任务识别的无监督深度学习驱动方案。为此，首先将多通道维纳滤波器应用于脑电信号，作为一种伪影消除算法，以实现稳健的识别。然后，应用二次时频分布 (QTFD) 提取脑电信号的有效时频信号表示，并捕捉脑电信号随时间变化的频谱变化，以提高对心理任务的识别。QTFD 时频特征被用作所提出的深度信念网络 (DBN) 驱动的孤立森林 (iF) 方案的输入，以对脑电信号进行分类。实际上，基于每个类的训练数据构建单个基于 DBN 的 iF 检测器，以该类的样本为内点，所有其他样本为异常（即一对多）。DBN 被认为可以在不假设数据分布的情况下学习相关信息，而 iF 方案用于数据区分。该方法使用来自格拉茨技术大学公开数据库的包含五项心理任务的实验数据进行评估。与基于 DBN 的椭圆包络、局部离群因子和最先进的基于 EEG 的分类方法相比，所提出的基于 DBN 的 iF 检测器在心理任务的判别性能方面更胜一筹。
基于树的模型需要数据预处理吗？
数据预处理是机器学习管道的重要组成部分（García等，2015; Alasadi和Bhaya，2017;çetinandYıldız，2022），因为它极大地影响了数据质量（Famili等，1997），并发现可以优化机器学习模型的关系，并将其发现。尽管是一个耗时的过程（Anaconda，2022），但这是基本的，尤其是对于大型数据集，降低维度可以在随后的过程中节省时间（García等，2016）。数据预处理不仅包括质量检查，还包括关键元素，例如转换，填充丢失的数据，离群值检测以及模型的变量选择。尽管普遍认为，基于树的模型不需要预处理，因为它们可以在没有任何更改的情况下处理它，但实验表明我们可以通过适当的预处理获得更好的结果（Caruana等，2008； Grinsztajn等，20222）。这种理解可能对自动化机器学习（AUTOML）管道有益，使我们能够优化和实施一个自动化的机器学习过程，该过程可以适当地预处理数据集以获得所选模型以产生更好的结果。本文提出了一个广泛的实验，涉及38个数据预处理策略，用于二进制和多类分类以及回归任务。我们使用五个基于树的模型：决策树，随机森林，XGBOOST，LIGHTGBM和CATBOOST。我们扩展了Forester 1软件，包括更多干扰自动模型学习的预处理。有关该工具的更多信息可在附录A中获得。
电池故障数据库
在相同条件下测试的相同细胞设计中，锂离子细胞的热响应可能会大不相同，而在相同条件下测试的分布对于完全表征实验表征的分布是昂贵的。此处介绍的开源电池故障数据库包含数百种滥用测试的强大，高质量的数据，这些数据涵盖了许多商业单元格设计和测试条件。使用分数热失控的热量计收集数据，并包含弹出的热量和质量的分数分解，以及在热失控过程中细胞内部动态响应的高速同步子X射线照相。在不同的滥用测试条件下比较了热输出，质量射出和商业细胞内部反应的分布，当在每次放大器时进行标准化时，该条件在细胞中的热量输出，从细胞中射出的质量的比例有很强的正相关，其能量和功率密度。弹出的质量表明，比未发射的质量含有每克每克的热量多10×。“离群”热反应和弹出反应的原因，即极端情况，通过高速X射线照相阐明，这表明诸如排气堵塞之类的发生方式如何造成更大的危险条件。高速射线照相还证明了热失去传播和质量射出的时间分辨相互作用如何影响产生的总热量。
在受监督和无监督的学习中挑战
摘要 - 数据科学和机器学习是现代技术进步，有希望的自动见解，预测和决策的最前沿。受到监督和无监督的学习是这种动态景观中的关键范式，每个范式都呈现出其独特的挑战。本文详细概述了受监督和无监督学习所固有的多方面挑战。本文回顾了2019年至2023年之间发表的研究。本文讨论了受监督和无监督学习的挑战。在监督学习中，挑战包括数据标签，过度拟合，有限的概括以及平衡错误等价和决策目标。在无监督的学习中，困难包括诸如过度拟合，选择适当算法和解释结果之类的问题。这包括评估聚类的质量，确定最佳簇数，以及管理噪声和离群值。本文旨在提供对这些挑战的见解，从而增强新手和专家对机器学习的理解。研究人员和从业人员不断发展他们克服这些复杂性的方法和工具。本文是该领域研究人员和专家的宝贵参考，使他们能够自信地应对这些挑战。随着技术的进步，对这些挑战的透彻理解对于释放这些强大工具的全部潜力至关重要。最后，提出了一些建议，以指导未来的研究人员在数据驱动的发现和自动化的旅程中应用机器学习，为那些启动它的人提供挑战和机会。