监督分类在很大程度上取决于人类注释的数据集。然而,在诸如毒性分类之类的主观任务中,这些注释通常在评估者之间表现出较低的一致性。注释通常是通过采用多数投票来确定单个地面真相标签的方法来汇总的。在主观任务中,汇总标签将导致标签有偏见,并且会导致有偏见的模型,这些模型可以忽略次要意见。先前的研究已经阐明了标签聚合的陷阱,并引入了一些解决这个问题的实用方法。最近提出的多种注释模型,该模型可以预测每个注释者的个体标签,因此很容易受到样本很少的注释者的不良确定。此问题在众包数据集中加剧了。在这项工作中,我们为主观分类任务的文本(AART)提出了注释者意识表示表示。我们的方法涉及注释者的学习表示,允许探索注释行为。我们展示了我们对指标方法的改进,这些指标评估了限制单个注释者观点的绩效。在方面,我们证明了与Others相比,评估环境化注释者的模型公平性的公平指标。1
(其他假设:每张图片一个注释者,注释者没有福利/工资税/众包费用;不考虑为注释者设置任务的时间等。实际成本很容易是这个数字的 3 倍或更多)
在 2022-2023 年,注释者的数量将会增加,因此注释登记册的数量也会增加,其中包括来自 Mémoire des Hommes 网站 [19] 的确认注释者。首先将为注释者制作新的评论,以使他们能够突出自己的工作,同时也将为《人类回忆录》[19]制作包含所有数据的特殊登记或团体评论,而部门或地区评论则不是这样,它们只包含来自目标地理区域的数据。 Mémoire des Hommes [19]、注释者与法国雷恩国立应用科学学院 [16] 之间的合作也将扩大,届时将可以访问该网站某些注释者的数据。新的插图和专门的章节也将丰富今年的杂志内容,以吸引读者。
在 2022-2023 年,注释者的数量将会增加,因此注释寄存器的数量将会增加,并且来自 Mémoire des Hommes 网站的确认注释者 [16]。新的评论将主要为注释者制作,使他们能够突出自己的工作,但也为 Mémoire des Hommes [16] 制作,包含包含所有数据的特殊注册或团评论,而部门或地区期刊中的情况并非如此其中仅包含来自目标地理区域的数据。Mémoire des Hommes [16]、注释者和 INSA Rennes [13] 之间的合作也将随着从上述网站访问某些注释者的数据而增加。吸引读者的新插图和特定章节也将丰富新的一年的杂志。
为了评估我们的管道,我们将专家辅助手动方法与LLM辅助自动方法进行了比较。我们使用“注释者协议(IAA)”测量了它们的一致性,并以Cohen Kappa评分进行了量化(Pedregosa等人。2011),其中更高的分数表示更可靠和一致的产出(1:最大一致,-1:无协议)。人类专家(注释者1和2)中的Kappa得分为0.54(中度一致),而将人类专家与LLM进行比较的分数为0.16和0.12(轻微一致)。差异部分是由于人类注释者比LLM访问更多信息(包括代码,数据集,数据集,表和补充材料),而LLM仅限于文本本身。鉴于这些限制,结果是有希望的,但也表明了通过在LLM输入中添加进一步的方式来改善它们的潜力。
1.Moveworks 的 ML 模型主要基于从生产使用中采样的数据进行训练。使用一种称为集体学习的技术,我们的许多模型都基于从多个客户中提取的匿名数据进行训练,从而使它们能够了解来自具有不同背景和特征的员工的请求的通用结构。2.我们注释这些数据时不会向注释者公开任何用户特征:注释界面中不包含任何姓名、照片或其他类别识别特征。例如,在注释请求的意图时,注释者只能看到消息的文本和组织的名称。3.在训练期间,我们不会在模型学习从中获取信号的输入中包含受保护的属性(例如性别或种族)。4.对于发送给我们机器人的绝大多数请求,人类注释者很难(甚至不可能)从请求文本中猜测知识工作者的任何受保护类别 - 而对于我们的 ML 模型来说则更难。这意味着模型不太可能学习与受保护类相关的中间表示。
2科学技术学院,Qaminis 3高级科学与技术研究院,Alqarayt摘要:人工智能(AI)和机器学习(ML)的迅速采用已经创造了对高质量标记数据的前所未有的需求。大规模数据标记是AI系统开发的关键组成部分,通常涉及来自不同人群的大量数据集,并使用自动化过程和人工劳动的结合进行了注释。但是,与这些实践相关的道德挑战引起了极大的关注。本文探讨了大规模数据标签和用法中的关键道德问题,重点关注四个关键领域:偏见,隐私,劳动实践和透明度。偏见是由注释者的固有主观性和许多数据集的不代表性产生的,这加剧了AI应用程序中不公平或歧视性结果的风险。侵犯隐私性侵犯敏感信息未经适当同意而使用,通常会挑战匿名技术的有效性。此外,对数据注释的众包劳动力的依赖引起了人们对工人剥削,低补偿和标记敏感或明确内容的心理损失的担忧。最后,数据收集和标签过程中缺乏透明度和问责制破坏了公共信任和道德标准。通过对现有实践的全面审查,本文重点介绍了现实世界中的案例研究和争议,包括偏见的数据集和侵犯隐私行为。当前的技术和政策驱动的解决方案(例如隐私的技术,劳动力改革和缓解偏见的算法)都经过了严格的研究。最后,本文讨论了按大规模实施这些解决方案并确定未来研究方向的挑战。通过解决这些问题,这项工作旨在在AI数据管理的生命周期中促进更公平,透明和道德实践。关键字:伦理AI,数据标记,机器学习中的偏见,AI隐私,众包数据注释,数据透明度,算法公平,负责任的AI实践,联邦学习,差异性学习,数据伦理,数据伦理,注释者,注释者,注释者单位,AI政,数据隐私法规,数据隐私规定,可持续的AI开发。
(Gu等人,2020)Modelfinder模型推荐的模型用于基于TTCDS基因串联的数据矩阵的系统发育分析。getorganelle管道用于组装清洁测序中的质体,读取用于验证组件的准确性和注释质体质体基因组注释者(PGA)的精确性,该质子使用了plastome
深度学习已成功应用于 EEG 数据,用于睡眠分期、癫痫发作检测和伪影识别。然而,自动注释的性能还不足以在临床环境中取代经过训练的注释者。因此,我们提出了一个决策支持系统来帮助人类注释者更快、更有效地工作。作为解决这些挑战的第一步,我们在 Python 中开发了 Robin's Viewer (RV),它基于绘图库 Plotly 和流行的 M/EEG 分析工具箱 MNE。目标是创建一个独立于平台的交互式 Web 应用程序,它是开源的,支持许多常见的 EEG 文件格式,以便于与各种 EEG 工具箱轻松集成。RV 包括其他 EEG 查看器的许多常见功能,例如视图滑块、标记坏通道和瞬态伪影以及可自定义的预处理。 RV 与现有 EEG 查看器的主要区别在于,它能够可视化经过训练以识别 EEG 数据中的模式的深度学习模型的输出预测。其结果是为科学家和临床医生提供了一个决策支持系统,他们可以使用 RV 来注释伪影、睡眠阶段、异常和其他分类任务。25