方法:总共 10 名受训人员,每人连续进行 6 例腹腔镜胆囊切除术。60 例手术被录像。(1) 打开腹膜;(2) 解剖 Calot 三角区并获得关键安全视图;(3) 从肝床解剖胆囊的视频片段被盲法、随机化,并由 2 名顾问外科医生使用 GOALS 进行评分。此外,还对整体能力给予评分。计算了 GOALS 与现场观察客观结构化技术技能评估 (OSATS) 分数的相关性。使用 Friedman 双向秩和检验和 Wilcoxon 符号秩检验评估结构效度。使用绝对和一致性双向随机效应模型组内相关系数计算评分者间信度。
O-04研究中AI驱动的手动分析,以区分新手和医学教育专家技能Jafar Arash Mehr博士;医学博士Eric S. Hungness; Amy L. Halverson,医学博士,FACS;以及伊利诺伊州芝加哥的西北大学杰弗里·H·巴尔苏克(Jeffrey H.西北医学 - 西北大学,伊利诺伊州芝加哥,简介:人工智能(AI)可以增强教师教育者对学习者任务绩效的评估。 我们旨在开发一种创新的工具,可以使用计算机视觉和AI在缝合任务过程中跟踪和分析手动运动,以区分新手和专家表现。 方法:我们对一位作者(JAM)进行了视频记录的简单中断缝合任务,该任务(JAM)在缝合板上模拟了专家和新手表演。 使用深度摄像头和开源机器学习和计算机视觉工具(图)记录了每个任务的视频。 使用OpenCV库检索视频帧,然后传递到Google MediaPipe库,该库在每只手上都跟踪21个地标。 intel pyrealsense2每0.1秒钟在3D空间中提取地标的坐标。 总共定义了16个指标,以表征手提动作。 来自这些指标的汇总组数据用于训练多层感知神经网络,以区分专家和新手。 构建了一个评分系统,用于定量评估。 16个指标中有14个可以区分新手和专家组(p值<0.05)。 评分系统已在另外10个专家和10个新手视频上进行了验证。O-04研究中AI驱动的手动分析,以区分新手和医学教育专家技能Jafar Arash Mehr博士;医学博士Eric S. Hungness; Amy L. Halverson,医学博士,FACS;以及伊利诺伊州芝加哥的西北大学杰弗里·H·巴尔苏克(Jeffrey H.西北医学 - 西北大学,伊利诺伊州芝加哥,简介:人工智能(AI)可以增强教师教育者对学习者任务绩效的评估。我们旨在开发一种创新的工具,可以使用计算机视觉和AI在缝合任务过程中跟踪和分析手动运动,以区分新手和专家表现。方法:我们对一位作者(JAM)进行了视频记录的简单中断缝合任务,该任务(JAM)在缝合板上模拟了专家和新手表演。使用深度摄像头和开源机器学习和计算机视觉工具(图)记录了每个任务的视频。使用OpenCV库检索视频帧,然后传递到Google MediaPipe库,该库在每只手上都跟踪21个地标。intel pyrealsense2每0.1秒钟在3D空间中提取地标的坐标。总共定义了16个指标,以表征手提动作。来自这些指标的汇总组数据用于训练多层感知神经网络,以区分专家和新手。构建了一个评分系统,用于定量评估。16个指标中有14个可以区分新手和专家组(p值<0.05)。评分系统已在另外10个专家和10个新手视频上进行了验证。创建工具后,同一位作者将模拟更多的专家和新手表演,并允许该工具根据评分系统预测性能水平:初步结果:使用50个模拟专家和50个新手视频对神经网络进行了培训。分别发现评分的准确性和精度分别为85%和90%。下一步:我们开发了一个创新的基于AI的视频分析框架,能够区分专家和新手的基本缝合技能。该工具有可能通过减少教师培训和评估学习者的需求,在其他医疗任务中使用有意义的医学教育贡献。
定性数据收集和分析方法,例如采用访谈和焦点小组的方法,为客户态度,情感和行为提供了丰富的见解。但是,手动定性数据需要大量的时间和精力来确定相关主题和主题见解。这项研究提出了一种新的方法来解决这一挑战,通过利用基于Aug的Generative Auged Generation(RAG)大型语言模型(LLMS)来分析访谈成绩单。这项工作的新颖性在于制定研究探究作为新手研究助理的LLM增强的研究。本研究探讨了LLM的心理模型,以作为人才管理领域研究人员的新手定性研究助理。扩展了一种基于抹布的LLM方法,以启用半结构化访谈数据的主题建模,展示了这些模型在信息检索和搜索中的传统用途之外的多功能性。我们的发现表明,与手动生成的主题相比,LLM-EAGMAIN-augment的破布方法可以成功提取感兴趣的主题,并具有明显的覆盖范围。这确立了使用LLM作为新手定性研究助理的生存能力。此外,该研究建议研究人员利用这种模型在传统定性研究中使用的质量标准,以确保其方法的严格性和可信度。最后,本文为寻求调和LLM与既定的定性研究范式调和使用LLM的行业从业人员提出了关键建议,为在人才管理研究中分析定性数据集的分析时,为有效整合了这些功能强大的新手工具提供了路线图。
从历史上看,初级专业人员已经指导了新技术的高级专业人员,因为大三学生通常比老年人更愿意执行低级任务以学习新技能,这比老年人更有能力,可以比老年人进行接近工作本身的实时实验,并且比老年人更愿意学习与传统身份和规范冲突的创新方法。但是,我们对新兴技术的使用量很高的不确定性,因为它们具有广泛的功能,并且在变化中发生了变化时,我们一无所知。随着人工智能的兴起,特别是学习算法和LLM,这种情况可能越来越普遍。在我们的研究中,我们的研究是全球管理咨询公司波士顿咨询集团(Boston Consulting Group)进行的,我们在7月 - 78名初级顾问(Au-Gust 2023)进行了采访,他们最近参加了一次实地实验,该实验使他们首次访问了Generative AI(GPT-4)(GPT-4),以解决一项战略业务问题解决任务。实验后不久,我们发现初级专业人员可能无法围绕不确定的新兴技术来管理风险,因为大三学生可能会建议三种新手风险工作策略:1)基于缺乏深度不存在的技术,而不是在不确定的范围内,而是不确定范围的范围,而不是范围内的范围,而不是范围范围的范围。 3)专注于项目级的干预措施,而不是系统部位或生态系统级别。新手风险工作的含义是,当预计初级专业人员成为不确定,新兴技术的专业知识的来源时,这可能导致学习失败。这项研究有助于我们理解围绕新兴技术,组织中的风险工作以及人为计算机互动的理解。
不到三分之一的新手教师认为自己已经做好了充分准备来使用学习管理系统,这是发布作业、跟踪成绩以及与学生和家长沟通的常用方式。只有 41% 的新手教师认为自己已经做好了充分准备来创建、评估和获取开放教育资源,而开放教育资源一直被吹捧为提供更公平的教学资源和课程获取机会 (Ossiannilsson, 2019)。尽管数字工具是学校与家庭沟通的主要形式,但只有 46% 的新手教师认为自己已经做好了充分准备来利用数字工具进行有效的学校与家庭沟通。
目的:本研究的目的是根据脑电图 (EEG) 评估专家外科医生和新手住院医师之间的大脑活动差异。第一个子目标是评估 Microstate EEGlab 工具箱和 BCIlab 工具箱,用于数据分析和对基于微状态的公共空间模式 (CSP) 分析的地形特征进行分类。然后,第二个子目标是将基于微状态的 CSP 与传统的正则化 CSP 方法进行比较。方法:经 IRB 批准后,在布法罗大学招募了 10 名专家外科医生和 13 名新手住院医师。知情同意后,受试者进行了三次腹腔镜缝合和打结试验,任务试验之间有休息时间。在任务执行期间进行了 32 通道 EEG,用于分析 8 名专家外科医生(2 名因数据质量原因退出)和 13 名新手住院医师的大脑活动空间模式。在 CSP 分析之前,微状态分析被用作预处理以提高信噪比,从而区分专家外科医生和新手住院医生的大脑活动。结果:基于微状态的 CSP 分析根据头皮上的最大空间模式向量确定了重要通道。虽然新手主要涉及额叶皮层以获得头皮上的最大空间模式向量,但专家的空间模式向量热点在额叶和顶叶皮层上。使用基于微状态的 CSP,具有 10 倍交叉验证的简单线性判别分析实现了 90% 以上的分类准确率,而传统的正则化 CSP 可以达到 80% 左右的分类准确率。结论和讨论:基于微状态的 CSP 分析可以确定一组最佳通道,以评估专家外科医生和新手住院医生之间的大脑活动差异。未来的研究可以应用基于微状态的大脑行为时间动态监测,以实现个性化的自适应 VR 训练范式。
本文介绍了一项探索性研究的结果,该研究调查了使用 AI 文本生成工具来支持新手设计师创建人物角色的情况。我们为 22 名参加人机交互入门课程的本科生举办了一个研讨会,他们被要求使用 GPT-3 创建人物角色。这些新手设计师能够使用 GPT-3 进行迭代以制作出令人满意的人物角色,尤其是在提供详细提示时。我们的研究结果表明,在 GPT-3 的帮助下创建的角色大多与手动创建的角色相当,但在某些评估维度上的评分较低。该研究还揭示了使用 GPT-3 进行人物角色创建的优点和问题。根据我们的研究结果,我们为新手设计师提出了如何使用文本生成 AI 有效且负责任地创建人物角色的建议。
摘要 低成本移动设备热像仪的出现为用户提供了新的实用和创意前景。虽然最近的研究已经调查了新手如何在结构化活动中使用热像仪进行能源审计任务,但关于“野外”使用及其挑战或机遇的问题仍然存在。为了研究这些问题,我们分析了 1,000 个 YouTube 视频,这些视频描述了非专业新手用户对热像仪的日常使用。我们按内容领域对视频进行编码,确定是否存在有关热成像的常见误解,并分析了评论主题中的问题。为了补充这一分析,我们对 YouTube 内容创建者进行了在线调查,以更好地了解用户的行为和动机。我们的研究结果描述了常见的热成像用例,扩展了围绕新手遇到的挑战的讨论,并对未来热成像系统和工具的设计产生了影响。
扩展高质量的辅导仍然是教育中的主要挑战。由于不断增长,许多平台雇用了新手教师,这些新手与经验丰富的教育者不同,他们难以解决学生的错误,因此未能抓住主要的学习机会。我们的工作探讨了大型语言模式(LLMS)在修复数学错误时缩小新手 - 专家知识差距的潜力。我们贡献了桥梁,这种方法使用认知任务分析将专家的思维过程转化为一个决策模型进行补救。这涉及识别(a)学生错误,(b)修复策略的例外,以及(c)在产生响应之前的进程。我们结构了一个由700个实际辅导转换的数据集,由专家及其决定的专家注释。我们在数据集中评估了最新的LLMS,并发现专家的决策模型对于LLMS缩小差距至关重要:与专家决策(例如,“简化问题”)的GPT4响应是 +76%的首选。补充,上下文敏感的决策对于缩小教学差距至关重要:随机决策与专家决策相比,GPT4的响应质量降低-97%。我们的工作表明了嵌入专家思维过程的潜力,以增强他们的帽子,以弥合新手 - 专家知识差距。我们的数据集和代码可以在以下网址找到:https://github.com/rosewang2008/bridge。