标准验证研究 2013 年,Biddle Consulting Group, Inc. (BCG) 促成了一项标准相关验证研究,该研究旨在解决联邦《员工选拔程序统一指南》第 15B 条的规定,以确定佛罗里达公路巡警队 (FHP) 的整体 CritiCall 测试表现和整体调度员工作表现之间的关联强度。在该研究期间,收集了位于佛罗里达州杰克逊维尔的佛罗里达公路巡警队地区办事处的 62 名现任调度员的测试分数。还收集了主管对这些员工工作表现的评分,并将两者关联起来,以揭示他们之间存在的关系强度。 工作信息审查 2010 年,Biddle Consulting Group, Inc. 进行了一项全国性的调度员工作分析研究,收集了来自美国和加拿大各地 75 多个 PSAP 的数据。对 FHP 调度员的审查显示,他们执行的主要工作行为与美国和加拿大其他 PSAP 员工执行的主要工作行为极为相似。
Alyssa M. Jacobs 沟通障碍系 理学硕士 多年来,语音识别阈值 (SRT) 测试一直被用作听力健康的指标。然而,随着方法和技术的变化,重测信度尚未得到广泛审查,新的数字记录的扬抑格词符合已发布的听众熟悉度标准。本研究检查了 33 个高频使用和心理测量等同扬抑格词的重测信度。美国言语-语言-听力协会推荐的方法(2-dB 减量)用于测量 40 名参与者的左右 SRT,使用男性和女性说话者录音。对于每个参与者,在测试条件下发现四个 SRT,在重测条件下发现四个 SRT。分析了所有 SRT 分数,使用男性说话者录音得出的平均 SRT 值导致平均重测 SRT 比平均测试 SRT 高 1.4 dB。使用女性说话者录音得出的平均 SRT 值导致平均重测 SRT 比平均测试 SRT 高 1.2 dB。与每个参与者的纯音平均值 (PTA) 相比,SRT 分数也表现出较高的有效性。这项研究还发现,在使用数字记录和心理测量等同的扬抑格词时,使用男性说话者与使用女性说话者之间没有显著的相互作用。关键词:语音识别阈值、重测信度、数字记录材料
Vyesi001@odu.edu ____________________________________________________________________________________________ 摘要 评分者间信度可以看作是评分者对给定项目或情况的一致程度。已采取多种方法来估计和提高受过训练的事故调查员使用的美国国防部人为因素分析和分类系统的评分者间信度。在本研究中,三名受过训练的教练飞行员使用 DoD-HFACS 对 2000 年至 2013 年之间的 347 份美国空军事故调查委员会 (AIB) A 级报告进行分类。总体方法包括四个步骤:(1) 根据 HFACS 定义进行训练,(2) 验证评级可靠性,(3) 评估 HFACS 报告,以及 (4) 随机抽样以验证评级可靠性。属性一致性分析被用作评估评分者间信度的方法。在最后的训练验证轮中,评估员内部一致性范围为 85.28% 至 93.25%,每个评估员与标准的一致性范围为 77.91% 至 82.82%,评估员之间的一致性为 72.39%,所有评估员与标准的一致性为 67.48%。HFACS 评级摘要随机样本的相应一致性为评估员内部 78.89% 至 92.78%,评估员之间的一致性为 53.33%,这与之前的研究一致。这项试点研究表明,训练-验证-评级-确认属性一致性分析方法有可能有助于提高 HFACS 评级的可靠性,并有助于准确捕捉人为因素对飞机事故的影响。需要进行额外的全面研究来验证和充分开发所提出的方法。关键词 事故调查,HFACS,内部评估者信度 简介 Reason (1990) 事故因果模型,也称为瑞士奶酪模型,是一种理论模型,旨在解释事故如何在组织层面上表现出来。该模型的主要假设是,事故发生的方式使得原因在组织层面上具有关系。第二个假设是,至少组织层面需要共同努力以防止事故发生。根据这些假设,Reason 理论认为,大多数事故都可以追溯到先前组织层面的潜在人为失误导致的主动和潜在人为失误。自 2005 年以来,美国国防部 (DoD) 一直使用 HFACS (DOD, 2005) 作为 DOD HFACS,特别是在不安全行为前提条件和不安全行为层面进行了一些更改。.人为因素分析和分类系统 (HFACS) 最初由 Wiegmann 和 Shappell (2003) 根据 Reason 模型改编而成,适用于航空领域,该系统确定了组织内可能发生人为错误的四个层级:组织影响、不安全监督、不安全行为的先决条件和不安全行为。DOD HFACS (2005) 由 4 个主要层级、14 个子类别(在 Wiegmann 和 Shappell 的研究中称为类别)和 147 个纳代码组成,用于对导致飞机事故的组织人为错误进行详细分类。
I II III 因素 1 (H1):不信任他人的自我中心主义 (α=.79) 12. 人们可能会说好话,但最终他们最关心的是自己的幸福。 5.03 (1.12) .65 -.05 .00 16. 人们更有可能维护自己的权利,而不是承认他人的权利。 4.70 (1.06) .64 -.04 .00 2. 人们会做一些轻微的错事来获得自己的利益。 4.48 (1.11) .60 .08 .09 17. 人们撒谎是为了避免麻烦。 4.61 (1.08) .60 .01 .07 6. 人们撒谎是为了出人头地。 4.35 (1.21) .54 .13 .16因素 2 (H2):相信人们的诚实 (α=.70) 5. 人们通常过着诚实正直的生活 4.16 (1.17) -.11 -.70 .14 8. 人们通常诚实地与他人打交道 4.55 (1.03) .13 -.65 -.15 1. 人们基本上是诚实的 4.36 (1.19) .08 -.61 -.15 14. 人们说到做到 4.00 (1.08) -.11 -.50 .16 因素 3 (H3):不相信人们的谨慎 (α=.67) 4. 人们怀疑别人对自己很友善,因此很谨慎 3.90 (1.09) .05 -.07 .64 10. 人们认为不信任他人更安全4.03 (1.14) .13 .03 .54 13. 人们内心不愿意帮助别人 3.53 (1.10) .00 .11 .53 9. 人们很谨慎,因为他们认为有人会利用他们 4.38 (1.08) .20 -.15 .43 最大似然法,Promax 旋转 特征值 3.93 1.90 1.16 贡献率 30.3% 14.6% 8.9% 累积贡献率 30.3% 44.8% 53.7% 因子间相关性 I - 0.25 0.55 II - - 0.31
手对手生物电阻抗 (HH BIA) 是一种低成本的估算体脂百分比 (%BF) 的方法。BIA 方法始终可靠,但其有效性仍存在疑问。我们观察到,在使用 HH BIA 时,肘部位置会导致 %BF 测量值始终不同,因此引发了一个问题:肘部角度是否会影响使用 HH BIA 得出的测量值的有效性?本研究旨在评估肘部位置(即 IN=弯曲至 90° 对比 OUT=完全伸展)对 44 名男性和 24 名女性健康成年人(年龄 = 21±2 岁,BMI = 23±3)的 HH BIA 可靠性的影响。另一个目的是使用空气置换体积描记法 (BOD POD ® ) 作为标准测量,评估 HH BIA %BF 对一组受试者(n=12)的有效性。对于 HH BIA,IN 位置比 OUT 位置低 ~4%BF(p=0.05,效应大小 =0.67)。在 IN [组内相关系数 (ICC)=0.99,变异系数 (CV)=2.99%] 和 OUT(ICC=0.99,CV=1.48%)条件下两次试验的 %BF 测量值均高度可靠。在子样本中,OUT(18.3±6.7 %BF)位置超过了 IN(14.5±7.4 %BF)和 BOD POD ®(16.1±7.8 %BF)测量值(p<0.05);但是,IN 和 BOD POD ® 的 %BF 测量值没有差异(p=0.21)。这些发现支持了 HH BIA 在两个肘部位置都是可靠的测量方法;然而,根据肘部位置的不同,%BF 估计值与标准测量值存在很大差异(~4%)。我们发现 OUT 位置会高估标准 %BF。进一步的研究可能会揭示 HH BIA 估计 %BF 的最佳肘部角度位置。
用于 HFACS 评分者间信度评估的属性一致性分析方法 T. Steven Cotter 老道明大学 tcotter@odu.edu Veysel Yesilbas,博士。 Vyesi001@odu.edu ____________________________________________________________________________________________ 摘要 评分者间信度可以看作是评分者对给定项目或情况的一致程度。已经采取了多种方法来估计和提高受过培训的事故调查员使用的美国国防部人为因素分析和分类系统的评分者间信度。在本研究中,三名经过培训的教练飞行员使用 DoD-HFACS 对 2000 年至 2013 年期间的 347 份美国空军事故调查委员会 (AIB) A 级报告进行分类。总体方法包括四个步骤:(1) 训练 HFACS 定义,(2) 验证评级可靠性,(3) 评级 HFACS 报告,以及 (4) 随机抽样以验证评级可靠性。属性一致性分析被用作评估评级者间信度的方法。在最后的训练验证轮中,评估者内部一致性范围为 85.28% 至 93.25%,每个评估者与标准的一致性范围为 77.91% 至 82.82%,评估者之间一致性范围为 72.39%,所有评估者与标准的一致性为 67.48%。HFACS 评分摘要随机样本的相应一致性在评估员内部为 78.89% 到 92.78%,在评估员之间为 53.33%,这与之前的研究一致。这项初步研究表明,训练-验证-评级-确认属性一致性分析方法有可能帮助提高 HFACS 评级的可靠性,并有助于准确捕捉人为因素对飞机事故的影响。需要进行额外的全面研究来验证和充分开发所提出的方法。关键词 事故调查、HFACS、内部评估者可靠性 介绍 原因 (1990) 事故因果模型,也称为瑞士奶酪模型,是一种理论模型,旨在解释事故如何在组织层面上表现出来。该模型的主要假设是事故发生的方式使得原因在组织层面上存在关系。第二个假设是,至少组织层面需要共同努力来防止事故发生。根据这些假设,Reason 理论认为,大多数事故都可以追溯到先前组织层面的潜在人为失误导致的主动和潜在人为失误。.人为因素分析和分类系统 (HFACS) 最初由 Wiegmann 和 Shappell (2003) 根据 Reason 模型改编而成,适用于航空领域,该系统确定了组织内可能发生人为错误的四个层级:组织影响、不安全监督、不安全行为的前提条件和不安全行为。自 2005 年以来,美国国防部 (DoD) 一直使用 HFACS (DOD, 2005) 作为 DOD HFACS,但在不安全行为前提条件和不安全行为层面上进行了一些更改。DOD HFACS (2005) 由 4 个主要层级、14 个子类别(在 Wiegmann 和 Shappell 的研究中称为类别)和 147 个纳代码组成,用于对导致飞机事故的组织人为错误进行详细分类。
信度是指测量结果可重复的程度。换言之,它不仅反映相关程度,也反映测量结果之间的一致性。信度有三种类型,即评分者间信度、评分者内信度和重测信度。评分者间信度反映两个或两个以上评分者对同一组受试者进行测量时的变异。评分者内信度反映1名评分者在2次或2次以上试验中测得的数据的变异,而重测信度反映仪器在相同条件下对同一受试者进行的测量的变异。重测信度通常表示在没有评分者参与或评分者效应可忽略不计的情况下的信度,例如自我报告调查工具 3 。
摘要 语音识别阈值材料对听力损失程度广泛的个体的重测信度 Karin L. Caswell 杨百翰大学 沟通障碍系 理学硕士 本研究的目的是评估一份最新的数字记录的语音识别阈值 (SRT) 材料列表的重测信度。Chipman (2003) 确定了 33 个心理测量等同的扬抑格词,这些词在当今英语中经常出现。这些数字记录的单词用于根据美国言语-语言听力协会的指导方针确定 40 名参与者的 SRT。参与者的年龄在 19 至 83 岁之间,听力障碍从正常到严重不等。个人的纯音平均值将 16 名听力正常至轻度听力损失的参与者、12 名轻度听力损失的参与者和 12 名中度至重度听力损失的参与者分类。语音材料通过随机选择的一只耳朵呈现给参与者。在测试和重测条件下对同一只耳朵进行 SRT 测量。测试条件下的平均 SRT 为 22.7 dB HL,重测条件下的平均 SRT 为 22.8 dB HL,重测条件下的改进为 0.1 dB,但没有发现显着差异。使用修改后的方差方程确定重测信度,结果为 0.98,表明信度几乎完美。因此,对于新的 SRT 词,重测信度被确定为非常出色。
前庭诱发肌源性电位 (VEMP) 通常用于评估前庭神经和耳石器官的两个部分 (1–5)。在成人中,可以通过气导或骨导刺激可靠地诱发 VEMP (6);然而,尚未发表评估儿童 VEMP 可靠性的类似研究。VEMP 是对高强度刺激作出反应而诱发的肌肉电位 (1)。颈部 VEMP (cVEMP) 是从收缩的胸锁乳突肌 (SCM) 同侧记录的短潜伏期抑制反应,可提供有关囊和下前庭神经功能的信息 (1)。眼部 VEMP (oVEMP) 是从下斜肌对侧记录的兴奋反应,可提供有关椭圆囊和上前庭神经功能的信息 (7)。
目的:研究改良血压计测试(MST)对慢性卒中患者上肢肌肉力量评估的信度(重测信度和评分者间信度)和效标关联效度,并确定结果是否受试验次数的影响。患者与方法:使用便携式测力计和MST(以mmHg为单位)对57位卒中患者的11个上肢肌肉群进行双侧肌力测量。为了研究试验次数是否会影响结果,采用了单因素方差分析。对于MST的重测信度/评分者间信度和效标关联效度,计算了组内相关系数(ICC)、Pearson相关系数和判定系数。结果:不同次数的试验为所有评估的肌肉提供了相似的值(0.01 ≤ F ≤ 0.18;0.83 ≤ p ≤ 0.99),并具有足够的重测(0.83 ≤ ICC ≤ 0.97;p < 0.0001)和评分者间信度(0.79 ≤ ICC ≤ 0.97;p < 0.0001)和效度(0.61 ≤ r ≤ 0.95;p < 0.0001)。除了捏力(0.39 ≤ r ≤ 0.54)外,使用 MST 获得的值可以很好地预测使用便携式测力计获得的值(0.60 ≤ r 2 ≤ 0.86)。结论:MST 显示出足够的测量特性,可用于评估慢性中风患者上肢肌肉的强度。熟悉后,一次试验即可提供足够的强度值。