详细内容或原文请订阅后点击阅览
如何自动化数据验证并找到监控研究完整性的最佳工具
随着人工智能 (AI) 和物联网 (IoT) 加快发现速度，研究团队正在努力应对数据量、速度和复杂性空前激增的问题。曾经可以通过手动检查进行验证的内容现在涵盖数百万条记录、不同的来源和自动化管道。 “风险在于系统性问题可能会传播 [...]如何自动化数据验证并找到监控研究完整性的最佳工具的帖子首先出现在 AiiotTalk - 人工智能 | 机器人 | 技术上。
来源:AIIOT人工智能 | 物联网 | 技术随着人工智能 (AI) 和物联网 (IoT) 加快发现速度，研究团队正在努力应对数据量、速度和复杂性空前激增的问题。曾经可以通过手动检查进行验证的内容现在涵盖数百万条记录、不同的来源和自动化管道。
“风险在于系统性问题可能会在整个研究成果中传播。在这种环境下，保持对研究的信任需要采取随技术驱动而扩展的方法。”
自动化研究完整性验证的可行框架
自动化数据验证和研究完整性监控涉及定义机器驱动的研究管道中的“信任”。成功的实施重点关注自动化环境中完整性风险出现的位置以及如何在不减慢发现速度的情况下检测和审查这些风险。
第 1 步：绘制整个数据生命周期的完整性风险
确定整个研究生命周期（从数据生成和摄取到发布和下游重用）中出现完整性风险的位置。对于人工智能和物联网驱动的研究来说，这些问题往往以容易被忽视的方式出现。
这些可能包括重复记录、跨系统不匹配的元数据、重复使用的图像或与最终出版物不符的资助信息。按研究过程的各个阶段分解这些问题可以更轻松地决定哪些内容可以自动检查，哪些内容仍需要人工审查。
第 2 步：定义验证信号和阈值
当团队清楚系统应该寻找什么以及何时应该提出标志时，自动验证效果最好。常见信号包括文本相似度分数、异常引用活动、重复使用的图像或作者信息不一致。设置明确的阈值可确保网络突出显示需要注意的问题。