随着生成AI(Genai)的兴起,大量多样化的用户群在AI评估和审计中的参与需要。Genai开发人员越来越多地采用众包方法来测试和审核其AI产品和服务。但是,它仍然是一个空旷的问题,如何设计和部署负责任的有效众包管道来进行AI审核和评估。这个研讨会旨在迈出弥合这一差距。Our interdisciplinary team of organizers will work with workshop participants to explore several key questions, such as how to improve the output quality and workers' productivity for GenAI evaluation crowdsourcing tasks compared to discrim- inative AI systems, how to guide crowds in auditing problem- atic AI-generated content while managing their psychological impact, ensuring marginalized voices are heard, and setting up responsible and effective crowdsourcing pipelines for real-世界Genai评估。我们希望该研讨会能够制定研究议程和最佳实践,以设计基于人群的AI审计和评估方法。
摘要 — 在本文中,我们建议设计一个自动化的服务发现流程,以允许移动众包任务请求者从大规模物联网 (IoT) 网络中选择一小组设备来执行他们的任务。为此,我们将大规模物联网网络划分为几个虚拟社区,这些社区的成员之间有着强大的社会物联网关系。研究了两种社区检测算法,即 Louvain 和顺序统计局部方法 (OSLOM) 算法,并将其应用于现实世界的物联网数据集,以形成不重叠和重叠的物联网设备组。之后,执行基于自然语言处理 (NLP) 的方法来处理众包文本请求,并相应地找到能够有效完成任务的物联网设备列表。这是通过将 NLP 输出(例如应用程序类型、位置、所需的可信度级别)与不同的检测到的社区进行匹配来执行的。所提出的方法有效地帮助自动化和减少移动众包应用程序的服务发现程序和招聘流程。
(其他假设:每张图片一个注释者,注释者没有福利/工资税/众包费用;不考虑为注释者设置任务的时间等。实际成本很容易是这个数字的 3 倍或更多)
今天,在欧洲,前后和勘探活动主要是通过现场检查,亲自或无人机进行的,或委托的航空摄影检查。LIDAR也长期以来一直被视为“黄金标准”。但是,这些原位方法既是劳动和时间密集的,但对于大型,危险且难以进入地区也很昂贵且不合适。这要归功于地球观察方法,这种观察方法越来越多地进入主流考古学,并能够有效,精确地涵盖大型,以前无法接近的地区。自1980年代以来,已经探索了使用合成孔径雷达(SAR)数据的使用,以识别干旱沙漠地区埋藏的考古特征。目前,在使用地球观测(EO)进行海洋,沿海和淡水考古遗址的使用中已经看到了不断上升的兴趣。要处理和分析空间衍生的数据,专家团队的使用已建立。此外,基于人工智能(AI)的众包或自动化现场检测和变化检测等新方法也已成为基础。众包被特别由
同理心是实现亲社会行为的基石,可以通过在故事中分享个人经历来唤起。虽然同理心受到叙事内容的影响,但直觉上,人们也会通过叙事风格对故事的讲述方式做出反应。然而,同理心和叙事风格之间的关系尚未完全了解。在这项工作中,我们使用 LLM 和大规模众包研究,对风格和同理心之间的关系进行了实证检验和量化。我们引入了一种基于理论的新颖分类法 H EART(人类同理心和叙事分类法),它描述了可以与故事叙述者产生同理心的叙事风格元素。我们确定了 LLM 在从 H EART 中提取叙事元素方面的表现,表明使用我们的分类法进行提示可以产生合理的、人类级别的注释,超出了以前基于词典的方法所能达到的范围。为了展示我们分类法的实证应用,我们通过一项大规模众包研究收集了故事共情判断数据集,参与者人数为 N = 2,624 人。1 我们表明,通过 LLM 提取的叙事元素(尤其是情感生动性和情节量)可以阐明叙事风格培养对个人故事的共情的途径。我们的工作表明,此类模型可用于叙事分析,从而获得以人为本的社会和行为洞察。
寻找社交影响者是许多在线应用(从品牌营销到意见挖掘)的一项基本任务。现有方法严重依赖专家标签的可用性,而专家标签的收集通常是一个费力的过程,即使对于领域专家也是如此。使用开放式问题,众包提供了一种经济有效的方式,可以在短时间内找到大量社交影响者。然而,个体众包工作者只拥有碎片化的知识,而且这些知识通常质量较低。为了解决这些问题,我们提出了 OpenCrowd,这是一个统一的贝叶斯框架,它无缝地结合了机器学习和众包,可以有效地找到社交影响者。为了推断一组影响者,OpenCrowd 使用少量专家标签引导学习过程,然后联合学习基于特征的答案质量模型和工作者的可靠性。模型参数和工作者可靠性会迭代更新,从而使他们的学习过程相互受益,直到就答案的质量达成一致。我们基于变分推理推导出一种原则性优化算法,该算法具有用于学习 OpenCrowd 参数的有效更新规则。在不同领域寻找社交影响者的实验结果表明,我们的方法将 AUC 提高了 11.5%,比现有技术水平有了显著提高。此外,我们通过经验表明,我们的方法在寻找与较小受众直接互动的微影响者方面特别有用。
研究生研究助理(部分时间为10小时/周)2018年9月10日— 2019年12月•与Python,HTML/CSS,JavaScript,JavaScript和AWS机械库开发了自动众包管道Spectrum•在2020年联合IEEE第10届国际开发与学习与表观遗传机器人技术(ICDL- ePirob)上发表的工作
针对参加学生的样本测试问题1 - 战略管理和SWOT分析根据“五个竞争力量模型”问题2讨论新参与者的威胁 - 业务级策略描述了什么是“重点”策略,然后突出显示其风险问题3 - 公司级别的策略评论相关多元化策略问题4 - 功能策略和控制功能策略和控制策略和控制性策略和控制性策略和控制性策略和控制性策略和控制性策略和控制性策略和控制性策略和控制性策略和控制性策略和控制。问题5 - 开放创新策略描述了众包策略问题6-数字转换策略的主要特征 - 简要描述创新和交易平台之间的差异