XiaoMi-AI文件搜索系统
World File Search SystemBias
文本到图像生成模型中的开放式偏差检测
文本到图像生成模型正变得越来越流行，公众可以访问。由于这些模型看到大规模的部署，因此有必要深入研究其安全性和公平性，以免消散和永久存在任何形式的偏见。然而，存在的工作重点是检测封闭的偏见集，定义了先验的偏见，将研究限制为众所周知的概念。在本文中，我们解决了出现OpenBias的文本到图像生成模型中开放式偏见检测的挑战，该模型是一条新管道，该管道可识别和量化双质量的严重性，而无需访问任何预编译的集合。OpenBias有三个阶段。在第一阶段，我们利用大型语言模型（LLM）提出偏见，给定一组字幕。其次，目标生成模型使用相同的字幕绘制图像。最后，一个视觉问题回答模型认识到了先前提出的偏见的存在和范围。我们研究了稳定扩散1.5、2和XL强调新偏见的稳定扩散，从未研究过。通过定量实验，我们证明了OpenBias与当前的封闭式偏见检测方法和人类判断一致。
利用虚拟工作环境减少隐性性别偏见
摘要 隐性性别偏见会给职场女性带来代价高昂且复杂的后果，许多女性报告称自己遭受了性别微侵犯，这导致她们被忽视或不尊重。我们呈现了一个在线桌面虚拟环境，从第一人称视角讲述了男性或女性自我形象的故事，他们要么经历积极要么消极的工作场景。消极场景包括许多来自性别微侵犯分类的例子。与拥有男性自我形象的参与者相比，与女性自我形象有过消极职场体验的参与者的隐性性别偏见水平显著降低。有证据表明，在消极条件下，女性自我形象表现出同理心和观点采择。无论自我形象的性别如何，积极的职场场景体验都没有表明隐性性别偏见显著减少。我们讨论了这些发现的含义，并就减少隐性偏见提出了虚拟环境技术和场景的建议。
AI记者和减少感知到的敌对媒体偏见
随着新闻机构在公众不信任的问题上挣扎，人工智能（AI）的记者可能会通过激活机器启发式方法来减少对敌对媒体偏见的看法，这是一种普遍的心理捷径 - 观众将机器视为客观，系统性和准确性。本报告详细介绍了两个实验的结果（分别为n = 235和279，美国成年人）复制了作者以前的工作。与先前的工作一致，目前的研究为AI记者的触发机器神秘主义评估而又减少了对敌对媒体偏见的看法的论点提供了更多支持。延长了过去的工作，目前的研究还表明，偏置缓解过程（如果AI，机器神经疗法激活，因此减少了偏差）会受到源/自我意识到的不一致的调节，尽管在两个问题的覆盖范围内不同（堕胎合法化和共同化疫苗的疫苗授权）。
评估模型中的算法偏见，以预测菲律宾学生的学习成绩
摘要算法偏见是教育环境中机器学习模型中的主要问题。但是，它尚未在亚洲学习环境中进行彻底研究，并且只有有限的工作才考虑了基于区域（亚国家）背景的算法偏见。作为解决这一差距的一步，本文研究了菲律宾一所大型大学的5,986名学生的人口，并根据学生的区域背景调查了算法偏见。大学在广泛领域的在线课程中使用了画布学习管理系统（LMS）。在三个学期的典范上，我们收集了4870万个学生在画布中活动的日志记录。我们使用这些日志来训练从LMS活动中预测学生成绩的二进制分类模型。表现最佳的模型达到0.75，加权F1得分为0.79。随后，我们根据学生区域检查了偏见的数据。使用三个指标进行评估：AUC，加权F1得分和MADD在所有人口组中均显示出一致的结果。因此，在年级预测中对特定学生群体没有观察到不公平。
偏见评估 - 欧洲数据保护委员会
4. 汇总偏差：当数据集来自整个人口时，可能会对个人或小群体得出错误的结论。这种偏差最常见的形式是辛普森悖论（Blyth，1972），当只考虑整个人口的汇总数据时，小群体数据中观察到的模式就会消失。最著名的例子来自 1973 年加州大学伯克利分校的录取（Bickel 等人，1975）。根据汇总数据，女性申请者被拒绝的次数似乎明显多于男性。然而，对部门级数据的分析显示，大多数部门男性的拒绝率更高。汇总数据未能揭示这一点，因为女性申请总体录取率低的部门的比例高于申请录取率高的部门的比例。
多模态人工智能中的偏见：公平自动招聘的试验台
决策算法在社会中的存在感如今正在迅速增加，同时人们也开始担心其透明度以及这些算法可能成为新的歧视来源。事实上，许多相关的自动化系统已被证明会根据敏感信息做出决策或歧视某些社会群体（例如，某些用于人员识别的生物特征识别系统）。为了研究当前基于异构信息源的多模态算法如何受到数据中的敏感元素和内部偏见的影响，我们提出了一个虚构的自动招聘测试平台：FairCVtest。我们使用一组有意识地以性别和种族偏见进行评分的多模态合成档案来训练自动招聘算法。FairCVtest 展示了此类招聘工具背后的人工智能（AI）从非结构化数据中提取敏感信息并以不良（不公平）的方式将其与数据偏见结合起来的能力。最后，我们列出了最近开发能够从深度学习架构的决策过程中删除敏感信息的技术的列表。我们使用其中一种算法（SensitiveNets）来实验歧视感知学习，以消除我们多模态 AI 框架中的敏感信息。我们的方法和结果展示了如何生成更公平的基于 AI 的工具，特别是更公平的自动招聘系统。
深层生成模型会扩大未来模型中的偏见吗？
我们研究了深层生成模型对即将到来的计算机视觉模型中潜在社会偏见的影响。互联网目睹了a-a-a-a-aford图像的涌入，因此对可能伴随的固有偏见产生了担忧，这可能导致有害内容的分离。本文探讨了如果将生成的图像用作未来模型的训练数据，是否会发生有害的反馈回路，导致偏差。我们通过逐步将可可和CC3M数据集中的原始图像替换为通过稳定的差异生成的图像来进行模拟。修改后的数据集用于训练OpenCLIP和图像字幕模型，我们根据质量和偏差进行评估。与期望相反，我们的发现表明，在训练期间引入产生的图像并不能统一扩大偏见。相反，观察到跨特定任务的偏置缓解实例。我们进一步阐述了可能影响这些现象的因素，例如图像生成中的伪像（例如，模糊的面孔）或原始数据集中的预先偏见。
人工智能/机器学习在医疗健康领域的挑战：偏见、普遍性、隐私
另请参阅：可穿戴传感器在 SARS-CoV-2 感染检测中的表现：系统评价，Mitratza 和 Goodale 等人。《柳叶刀数字健康》