Research Design.......................................................................................................................17 Sample Size..............................................................................................................................17 Data Analysis...........................................................................................................................18 Ethical Considerations............................................................................................................. 19 Limitations...............................................................................................................................19 Conclusion.................................................................................................................................... 19参考.................................................................................................................................................................................................................................................................................................
社区组织在利用定性数据分析或意义建构的力量来理解其选民提出的不同观点和需求方面面临挑战。意义建构最耗时且乏味的部分之一是定性编码,即在大量非结构化的社区输入语料库中识别主题的过程。定性编码的挑战是实现高编码者之间的可靠性,尤其是在专家和初学者意义建构者之间。在这项工作中,我们介绍了 SenseMate,这是一种旨在帮助定性编码的新型人机交互系统。SenseMate 利用理性提取模型,这是一种新的机器学习策略来半自动化意义建构,它可以产生主题建议和人类可解释的解释。这些模型是在波士顿人生活经历的数据集上进行训练的,该数据集由专家意义建构者对主题进行了注释。我们通过一个以人为本的迭代设计过程将理性提取模型集成到 SenseMate 中,该过程围绕从广泛的文献综述中得出的四个关键设计原则展开。设计过程包括三次迭代,并不断得到来自社区组织的七名人员的反馈。通过一项涉及 180 名新手感知者的在线实验,我们旨在确定人工智能生成的建议和原理是否会减少编码时间、提高编码者之间的可靠性(即 Cohen 的 kappa 值),并尽量减少新手和专家编码决策之间的差异(即参与者答案的 F 分数与专家金标签的比较)。我们发现,虽然模型建议和解释使每个分析单位的编码时间增加了 49 秒,但它们使编码者之间的可靠性提高了 29%,编码 F 分数提高了 10%。关于 SenseMate 设计的有效性,参与者报告说该平台通常易于使用。总之,Sensemate (1) 是为没有技术背景的初学者感知者构建的,这是先前工作不关注的用户群,(2) 实现原理提取模型来推荐主题并生成解释,这比大型语言模型更具优势