儿童急性后视力评分的发展和初步心理测量评估

摘要

儿童急性后视力评估(PAARC)是第一个已知的以年龄、入院原因、诊断、日常生活活动依赖和技术依赖为基础的医疗严重程度评估。内容效度采用专家小组对内容效度指数(CVI)进行评分。使用临床医生对入院时视力、复杂性指数和所有患者细化诊断相关组(APR-DRG)代码进行并发效度检验。预测效度检测在30天内急性护理再入院。使用闭合病例的入院记录评估评估者之间的可靠性。建立了内容效度，同时效度为中到高，与临床医生意见(rho = .76，)，复杂度指数(rho = .76，)和APR-DRGs (rho = .349，）.预测效度为中等(rho = .504，)，并在30天内返回紧急护理。评价者间信度良好(ICC = 0.97;95% ci = 0.92-0.90，）.专家们一致认为，pararc的内容是相关的，简单的，具有代表性的人群。PAARC对儿科门诊护理和病历编码的医疗复杂性指标测量良好，在评分者之间是可靠的。这项工作支持了pararc的进一步开发和有效性测试。

1.介绍

儿童最常在急性护理住院后被送入儿科急性护理后康复医院，但没有共同的医疗诊断、相互类型的技术依赖或医疗护理需求的量化[1]。不同级别的医院护理有不同的锐度分级，包括急性[2]及紧急护理[3.，并提供病人严重程度的指示。患者的敏锐度评级有助于医院界定护理提供者的角色，采用循证实践，提高效率，并评估效果[2- - - - - -7]。儿科急性后康复医院护理缺乏针对性措施，难以准确评估临床实践和研究的有效性。

儿童的急性敏锐度评级（PAARC）是一个新的11级敏锐度评级，旨在为入住后急性护理康复医院录取的儿童提供简单，统一的措施。Poarc最初被呈现为“临床计划团体”（非复杂婴儿，医学上复杂的婴儿和儿童，积极的康复和呼吸机（非侵入性和侵入性）），并且在试点工作中，有人指出，这些临床计划组的年龄差异不同，入场号，卸料处理和总入学报销[1]。在额外的工作中，这些临床计划组与年龄(较年轻)和急性护理后住院时间(<30天)一起被确定为预测意外再次入院急性护理的主要因素[8]。这些研究证实，需要进一步开发一种严重程度评分量表，为儿科急性后康复医院护理的临床文件、交流和研究提供一个共同的衡量标准。

Poarc的评级选项基于年龄，急性护理医院入院，诊断和技术依赖的原因反映了儿童的医学严重程度。PAARC的水平是有意的广泛的，而不是为了描述个体儿童的护理和/或功能的所有方面。儿童的敏锐度被评为规模上描述的最高级别，并且儿童可以在级别之间移动，因为PAARC目前旨在测量敏锐度。PAARC不识别疾病的原因，个体儿童的临床预后，估计的住院时间长，或直接护理。

像PAARC这样的新量表需要对其心理测量特性进行检查，包括有效性和可靠性，以确保临床医生和研究人员对其效用和有效性的信心[9]。本研究的目的是检验PAARC的内容、并行效度和预测效度，以及评估者之间的信度。

2.方法

Franciscan Hospital（FHC）的临床和研究人员（FHC），波士顿，MA，急性护理康复医院，基于文献综述，临床经验以及对现有的儿科和成人敏锐度措施进行审查，开发了Poarc [2，3.，6，7，10]及儿童功能分类系统，例如大运动功能分类系统(GMFCS) [11]和手动分类能力分类系统（Mac）[12]。FHC的机构审查委员会审查并批准了这项研究。

2.1。内容有效性

采用内容效度指数(CVI)进行专家评审，分2个阶段评估PAARC的内容效度[13)(表1）.CVI通过使用内容专家的相关性，准确性，简单性和清晰度的评级计算分数来提供内容有效性的证据[13，14]。在第一阶段(2014年1 - 2月刊),电子邮件被送到5专家(医生和儿科护士)为儿童提供医疗保健的复杂性和小儿急性住院治疗已知研究作者通过之前的研究合作,介绍了研究目的和要求协助审查,打分，并通过一个在线调查链接在pararc上发表评论。除了CVI评分外，专家们还被要求回答一个关于pararc在急性护理后康复医院儿科人群中的代表性的问题(“这个视力评级是否代表急性护理后医院儿科人群?”)，回答是/否。两周后，通过电子邮件发送提醒，鼓励参与。调查结果没有公布。5位专家中有3位(67%)完成了CVI并提供了意见，1位未完成CVI的专家通过电子邮件提供了书面意见。pararc根据第一阶段的反馈进行了修订。修订包括增加3个视力等级，包括额外的具体条件、技术和护理需求的例子，以及微小的措辞变化。

在第二阶段(2014年3月)，修订后的PAARC通过电子邮件发送给8位专家，这些专家是通过之前与研究作者的合作确定的，他们被要求对CVI评分，并使用一个在线调查的链接对PAARC进行评论。除了CVI评分外，PAARC的急性护理后医院儿科人群的代表性问题也被保留。第二阶段的专家包括来自第一阶段的5名专家和另外3名专家，还有医生、医生助理和/或护士从业人员，他们在医疗复杂性儿童的护理和儿科急性后医院护理方面具有专业知识。两周后，我们会以电子邮件的方式提醒所有可能的受访者，以鼓励那些没有回复的人参与，这样回复就可以保持匿名。6位专家(75%)完成了第二阶段的CVI并提供了意见。

2.2。并发有效性 - 临床医生意见，复杂性指数和APR-DRG

评估新开发的pararc的并行效度(表3.)，从2014年7月至2014年10月，一名入院医务人员(医生(MD)、医生助理(PA)或执业护士(NP))完成了对圣方济各儿童医院(一所儿科急性后康复医院)连续44名入院患者的PAARC。此外，临床医生完成了以下工作:(1)李克特5分量表(从非常不同意到非常同意)对他们对患儿入院时的视力感知进行评分;(2)复杂性指数[10，初级保健提供者在医疗家庭模式中使用的一项10级措施，根据儿童的病情严重程度和社会或家庭复杂性对有特殊保健需求的儿童和青年进行分类(见附录)。

为了进一步检验PAARC的并发效度，研究人员将PAARC评分与所有患者细化诊断相关组(All Patient Refined Diagnosis Related Groups, APR-DRGs)评分进行了比较，该评分系统是美国医院用于调整患者病情严重程度和死亡风险的计算机评分系统。3M APR-DRGs软件根据患者的年龄、医疗程序和主要诊断将患者划分为严重程度和死亡率亚类。有315个基本的APR-DRG(27.0版本)，每个APR-DRG细分为4个疾病严重程度亚类和4个死亡风险亚类[15]。研究作者使用FHC住院史和电子病历中的身体资料对从2013年10月1日至2014年3月31日连续出院的82名儿童进行PAARC评分。

2．3.预测效度

为了确定PAARC预测儿童在入院后急性护理30天内重返急性护理的预测效度，主治医生使用孩子的入院史和身体状况(如前所述)完成了pararc，并回答了5点李克特量表中的一个问题，以评估他们在入院后急性护理医院30天内再次接受急性护理的可能性(极有可能或极有可能)。然后，临床医生还从每个儿童再入院的潜在临床原因列表中选择(见附录)。一旦孩子出院，研究作者将从孩子的电子医疗记录中收集额外的人口统计数据，包括出生日期、性别、入院诊断和出院处置。

2．4．评分者间信度

6名医务人员(2名MDs、1名PA和3名NPs;(1男5女))来自圣方济各儿童医院，使用PAARC对10例病例进行评估。6名医务人员由提交人选择性地招聘并介绍给pararc，获得了参与的书面同意，并作为一个小组完成了2个实习案例。在每个参与者从儿科急性护理后康复医院住院患者的入院史和体检报告中对10例出院病例(确定为儿童并记录临床医生)进行评级之前，对每2例实践病例进行评级的基本原理进行了分组讨论。指导临床医生回顾每个病例的入院历史和身体状况，而不是互相咨询，并在提供者评分表上提供评分。每个工作人员都被分配了一个评分号，并收集了评分表供作者分析。

2例实践病例和10例分析病例的记录儿童年龄6 ~ 14岁，其中女性7例，男性5例。PAARC评级跨越了PAARC级别1-5。这些病例的急性护理后住院诊断包括新生儿禁欲综合征;多发性先天性异常(进食耐受差、体重增加、s/p胃造瘘管放置);获得脑损伤;伴有慢性肺病和肺动脉高压的早产儿;退行性神经肌肉障碍伴新的呼吸机依赖。

2．5．统计分析

内容效度是通过计算PAARC的相关性、清晰度、简洁性和模糊性的CVI来评估的。CVI是计算给予“正面”评分(在1至4分制中为“3”或“4”)、CVI评分为1.00分的总项目所占的比例[14]和0.8或更高的人认为可接受> 3受访者[16]。

采用李克特量表(Likert scale)评分、复杂性指数[10得分，以及APR-DRG [15使用Spearman相关性来估计和检测显著关联。PAARC的预测效度是通过使用Spearman相关性将PAARC评分与出院处置(在家/计划转入急性护理vs非计划转入急性护理)相关联来评估的。如果rho = 0.3到0.5，相关性被认为是中度的，如果>为0.5，相关性是强烈的。评估评估者之间的信度，类内相关系数ICC_2,1生成，并计算评分者对10个案例与预先设定的密钥的一致百分比。

3.结果

３．１．PAARC的内容效度

在第1阶段评估内容有效期，评估PAACC的评估者的百分比仅为相关性达到1.00。评论包括（1）修改规模描述的建议，包括指令，以便在最高级别评估每个孩子;（2）进一步分解水平以区分儿童的数量和需求;（3）添加医疗条件，诊断和技术使用的实例;（4）区分婴儿来自儿童和青少年的各级。在第2阶段，判断PAARC的评估者的比例超过了有效的相关性和简单性的80％。如果随着时间的推移发生变化，多个专家们是否质疑儿童是否可以分配不同的级别，并进行了其他建议，以进一步澄清规模的目标及指示。桌子1显示阶段1和阶段2的每个CVI的比例。对于急性护理后医院儿科人群的代表性问题，无论是第一阶段还是第二阶段，专家评分者之间的一致性都是100%。

３．２．与临床医师意见、复杂性指数和APR-DRGs并行效度

并发效度和预测效度分析的每个样本的特征和评估者之间的信度分析如表所示2．统计学上显著相关(rho = .76，)和PAARC与临床医生对视力的看法之间以及PAARC与复杂性指数之间的差异[10(rho = .78，）从2014年7月至2014年12月的44名后急性护理医院入学的样本。一个温和但重要的相关性（Rho = .349，)在2013年10月至2013年3月的82例出院患者的PAARC和APR-DRG评分之间存在差异。

3．3．PAARC的预测效度

研究完成时(2014年12月)，有14名儿童仍在急性期后护理医院接受治疗，对30名婴儿和儿童的入院和出院数据进行预测效度分析。15名儿童计划出院(在家或计划出院接受紧急治疗)，15名儿童因紧急医疗需要(例如呼吸或心脏不稳定)而意外出院接受紧急治疗。在入院时，临床医生预测，30名出院儿童中有15人很可能或极有可能意外再次入院接受急性护理。预测计划外再入院可能性的原因包括以下原因之一或组合:技术依赖、药物数量和/或类型、日常生活活动(如进食和活动)的依赖、心脏不稳定、感染和/或胃肠道问题。在15例意外出院的儿童中，临床医生正确预测了11例(73%)，未决定2例(13%)，错误预测了2例(13%)。PAARC与出院处置(计划或非计划出院)之间的相关性是中度且显著的(rho = .504，）.

3.4。仓库的Interrater可靠性

优秀的评估者间信度(类内相关系数[ICC]， 0.97;95%置信区间[CI]， 0.92-0.90，)了。对于个别案例，10个案例中的每一个，评分者之间的一致性百分比从67%到100%不等。

4.讨论

目前，儿科急性后康复医院护理的敏锐度没有衡量标准。本研究的目的是介绍和报道新开发的儿童急性后视力评分(PAARC)的效度和信度。在本研究中，PAARC被确定为儿童急性护理后康复医院人群的代表，相关且简单，但需要修改以明确和明确。PAARC显示了中度到高度的并行效度和评分者之间的高度一致性。

量表内容效度的确定必须表明该量表正在为其预期目的服务。内容效度是衡量量表在多大程度上代表了一个概念的适当的可操作定义[17，18]，通常是通过对现有文献的回顾和专家评估建立的，通常是根据相关性、清晰度、简单性和模糊性来评估[9，13]。内容效度要求量表开发人员审慎地选择专家来提供评级，而众所周知，可能需要征求一轮以上的反馈[16]。本研究的过程遵循了这些原则，因为PAARC是基于临床经验、目前(尽管有限)的研究证据和初步研究确定儿童急性期后护理临床分组的量表水平差异而制定的[1]。本研究的专家小组有来自多个儿科急性和急性后护理康复医院的代表，他们来自不同的职业，并代表了具有管理、临床和研究目标人群经验的工作人员。

本研究尝试用CVI来加强和评价内容效度的建立。然而，由于CVI只关注被审查项目的项目相关性，且无法捕捉一个量表是否包括一组全面的项目，以充分衡量兴趣的构建，因此受到了批评[17，18]。通过征求开放式的评论和反馈以及CVI评级，这一问题得到了解决。

可以计算使用个别项目评级的项目cvi (I-CVI)，也可以计算比额表cvi (S-CVI)。尽管PAARC有多个水平，但它本质上是一个1项量表(临床医生为孩子选择1个“水平”)。因此，只有一个项目，在本研究中没有区别。已经建议3到6专家用于CVI和建议当6个或更多专家用于评估CVI,最低I-CVI 0.78是必需的,和S-CVI / Ave 0.90应该是最小值保留项目和支持量表的内容效度(14，16]。虽然在第二阶段中，仅为了相关性和简单性，建议的比例达到了0.8，但我们选择了建议的修订，并继续进行评价者之间的信度和效度测试，因为这些建议被认为是次要的，很容易解决。当我们选择检查相关性、清晰度、简洁性和模糊性时，也注意到只有相关性和清晰度可以被评估，而其他人只评估相关性[16- - - - - -18]。

同时效度是通过检查量表或测试的分数在多大程度上预测了一个完善的标准测量的分数来确定的。检查并发效度是具有挑战性的，因为没有“黄金标准”来比较PAARC。我们将临床医生的感知作为一种并行测量正如之前临床医生评级在并行效度的测量验证研究中使用的一样[19]。我们还使用了复杂性指数[10]，它是为初级保健提供者在医疗家庭模式中使用而开发的，用于根据儿童的病情严重程度和社会或家庭复杂性对有特殊保健需求的儿童和青年进行分类。最后，我们研究了PAARC和apr - drg之间的关系，这在之前没有已知的报道。

作为严重程度的衡量标准，预测未来发生的情况(如住院时间和/或再次接受急性护理)的效度是极其重要的。当新测验的分数与将来某一时刻的结果相比较时，预测效度被检验。在本研究中，PAARC的预测效度较高，具有统计学意义。值得注意的是，临床医生在预测意外再次入院到急症治疗的准确率接近75%。

评判者之间的可靠性代表了不同评判者对其评级的一致程度，并可能通过明确的指导方针和指示得到加强[20.]。本研究中评分者的评分具有高度的可靠性，提示不同的评分者有可能一致使用PAARC来评估急性期后医院收治的婴儿和儿童的视力水平。这些评分也表明，用于向临床医生介绍和解释pararc的指导和指南是成功的。

本研究有局限性，降低了结果的通用性。例如，虽然征求专家反馈是建立内容效度的常见策略，但反馈是主观的，可能会根据以往的专业经验、当前的临床环境和评分者的期望表现出偏见(有意或无意的)。此外，只有1个机构的临床医生可能倾向于“想法相似”，从而达到了良好的评价者间的可靠性。每个阶段的PAARC的心理测量性评估的样本量都很小;然而，得到了统计上显著的结果。

结论

pararc是第一个已知的儿童急性期后护理的敏锐度测量。在急性期后儿童康复医院设置中建立了PAARC的效度和信度。鉴于这些结果，我们应该进一步评估PAARC的临床可行性、在临床实践中的有用性，并进一步评估其心理测量特性，因为PAARC有潜力在儿童急性期后护理急需的多位点研究中作为儿童的通用描述符。

附录

临床医生对锐度李克特量表、复杂性指数和重新接受急症护理的临床医生意见

李克特量表:临床医生对视力的评价．在您看来，在录取Franciscan时，这个孩子有一个高水平的敏锐度．(请圈)强烈反对不同意犹豫不决同意强烈同意

请分配一个复杂指数．(在适当的方格内打勾)。□好了孩子□没有身体上的问题，但有复杂的社会或家庭问题□一个涉及一个器官系统的中度医疗问题□一个中度或严重的医疗问题，涉及一个具有复杂的社会或家庭问题的器官系统□并发症，并发症涉及一个器官系统的中度或严重的疾病□一个中度或严重的医疗问题，涉及一个器官系统的并发症和复杂的社会或家庭问题□两种或两种以上的中度或重度疾病，涉及两个或两个以上的器官系统□两个或两个以上的中度或重度疾病，涉及两个或两个以上的器官系统，并伴有复杂的社会或家庭问题□两种或两种以上中度或严重的疾病，涉及两个或两个以上有并发症的器官系统□两种或两种以上的中度或重度疾病，涉及两个或两个以上的有并发症的器官系统和复杂的社会或家庭问题

Likert Scale：临床医生意见意见无计划入住的急性护理．在你看来，这个孩子有多大可能在30天内意外进入急性护理方济会的录取通知书?(请圈)不太可能不太可能犹豫不决可能很有可能

缩写

PAARC：	儿童急性后视力评级
CVI:	内容效度指数
APR-DRGs:	所有患者细化诊断相关组。

利益冲突

作者声明他们没有利益冲突。

作者的贡献

Jane E. O 'Brien和Helene M. Dumas参与了研究设计、数据收集、数据分析和论文撰写。所有作者阅读并批准了最终论文。

致谢

作者感谢并感谢圣方济各儿童医院的住院医务人员参与了效度和interrater信度测试，以及圣方济各儿童医院临床信息服务部在APR-DRG信息方面提供的帮助。这项研究由马萨诸塞州南汉密尔顿的Perkin基金和马萨诸塞州联邦卫生与公共服务执行办公室资助，波士顿，马萨诸塞州(参考编号no. 2)。bd - 14 - 1039 - ehs02 - 00000000260)。

参考文献

1. J. E. O . brien和H. M. Dumas，《儿科急性后康复临床项目组的住院时间、出院处置和报销》，儿科康复医学杂志，第6卷，第2期1，页29-34,2013。查看：出版商的网站|谷歌学术搜索
2. D. P. Edelson, E. Retzer, E. K. Weidman等，“病人的视力评级:关于住院病人稳定性的量化临床判断，”医院医学杂志，第6卷，第2期8, pp. 475-479, 2011。查看：出版商的网站|谷歌学术搜索
3. M. H. Gorelick, E. a . Alessandrini, K. Cronan，和J. Shults，“修订的儿科紧急情况评估工具(重复):儿科紧急护理的严重程度指数”，学术急诊医学第14卷第2期4，页316 - 3232,2007。查看：出版商的网站|谷歌学术搜索
4. D. Olson, N. L. Davis, R. Milazi等人，“为发展中国家资源有限的医院开发疾病严重程度评分系统(住院病人分诊、评估和治疗)”，热带医学和国际卫生第18卷第2期7, pp. 871-878, 2013。查看：出版商的网站|谷歌学术搜索
5. M. J. Rothman，S. I. Rothman和J. Beals，“使用电子医疗记录的持续衡量患者状况的开发和验证”，“生物医学信息学杂志第46卷，第46期5, pp. 837-848, 2013。查看：出版商的网站|谷歌学术搜索
6. N. a . Green, Y. Durani, D. Brecher, a . Depiero, J. Loiselle，和M. Attia，“紧急程度指数版本4:儿科急诊分诊有效和可靠的工具，”儿科急救护理第28卷第2期8，第753-757页，2012。查看：出版商的网站|谷歌学术搜索
7. J. Gralvel，E. Fitzpatrick，S. Gouin等，“儿童加拿大分类和敏锐度规模的表现：多中心数据库研究”急诊医学年鉴，卷。61，没有。1，pp。27-32.E3，2013。查看：出版商的网站|谷歌学术搜索
8. J. E. O . brien, H. M. Dumas, C. M. Nash, R. Mekary，“儿童急性护理后医院意外再次入院的急性护理:发生率、临床原因和预测因素”，医院儿科，第5卷，第5期。3, pp. 134-140, 2014。查看：出版商的网站|谷歌学术搜索
9. F. Yaghmale，“内容有效性及其估算”医学教育杂志，第3卷，第2期。1，页25-27,2003。查看：谷歌学术搜索
10. d·赫希复杂性指数，医疗家居改善中心，2001年，http://illinoisaap.org/wp-content/uploads/02-Hirsch-Complexity-Index1.pdf．
11. R. Palisano, P. Rosenbaum, S. Walter, D. Russell, E. Wood, and B. Galuppi，“大肌肉运动功能分类系统(GMFCS)”，发育医学与儿童神经学，第39卷，第214-223页，1997。查看：谷歌学术搜索
12. A. Eliasson, L. Krumlinde-Sundholm, B. Rösblad等，“脑性瘫痪儿童的手动能力分类系统(MACS):量表的发展和效度和信度的证据，”发育医学与儿童神经学，第48卷，第48期7，页549-554,2006。查看：谷歌学术搜索
13. c。f。华尔兹和r。b。包塞尔，护理研究:设计、统计和计算机分析美国宾夕法尼亚州费城的f.a.戴维斯公司，1981年。
14. 林恩先生，“内容效度的确定与量化”，护理研究第35期6，第382-385页，1986。查看：谷歌学术搜索
15. APR DRG软件3M解决方案，http://solutions.3m.com/wps/portal/3M/en_US/Health-Information-Systems/HIS/Products-and-Services/Products-List-A-Z/APR-DRG-Software/．
16. c·f·华尔兹，o·l·思特里克兰德和e·r·伦茨，护理和健康研究中的测量，施普林格，纽约，纽约，美国，第三版，2005。
17. d·f·波利特和c·t·贝克，“内容效度指数:你确定你知道报告的内容吗?批评和建议。”护理与健康研究，第29卷，第2期5，页489-497,2006。查看：出版商的网站|谷歌学术搜索
18. D. M. Rubio, M. Berg-Weger, S. S. Tebb, E. S. Lee和S. Rauch，“客观化内容效度:在社会工作研究中进行内容效度研究”，社会工作研究第27卷第2期2，页94-104,2003。查看：出版商的网站|谷歌学术搜索
19. H. Sandvik, M. Espuna，和S. Hunskaar，“失禁严重指数的有效性:与垫重试验的比较，”国际泌尿妇科杂志与盆底功能障碍，卷。17，不。5，pp。520-524,2006。查看：出版商的网站|谷歌学术搜索
20. K. A. Hallgren，“计算观察数据的评估者之间的可靠性:概述和指南，”心理学定量方法教程，第8卷，第2期1，页23-34,2012。查看：谷歌学术搜索

版权

版权所有©2015 Jane E. O 'Brien和Helene M. Dumas。这是一篇发布在知识共享署名许可协议如果正确引用了原始工作，则允许在任何媒体中进行无限制使用，分发和再现。