建议和改进综合评估全社区的干预方法

文摘

背景。实现集成全社区干预方法(ICIAs),以防止儿童肥胖。这些ICIAs项目评估改善,但专业人士参与常常纠结于性能。评估工具已经开发支持荷兰专业人士参与ICIAs。目前尚不清楚如何有用的这些工具是面向的用户。因此,我们研究的主持人和ICIA障碍项目评估被评估工具的专业人士和他们的经验。方法。焦点小组和采访33公共卫生专业人员。数据分析使用一个主题内容的方法。发现。评价受到足够的时间、预算和ICIAs和经验,缺乏领导能力,倡导评价有限。流行病学家被视为负责评估,但感觉无能进行评估或主张其需要在政治环境中。经理没有优先评估过程,利益相关者的参与和能力建设。评估工具被视为有价值的但也全面考虑有限的资源。结论。评估ICIAs很重要,但大多数专家不熟悉它和管理不优先考虑过程评价和激励专家评估。优化项目评估,更多的资源和指导必须提高专业人员的评价功能和具体的使用评价。

1。介绍

在世界范围内,儿童肥胖率增加了在过去的几十年里(1]。儿童肥胖与广泛的社会心理和生理问题导致更大的医疗费用(2,3]。因为肥胖,连接建立后,很难治疗,预防是主要的优先级,因此得到越来越多的关注。

传统上,超重和肥胖的预防和治疗都集中在刺激改变个体的行为(4]。证据显示,增加消费等行为的高能量密度饮料和食物,低消费的蔬菜和水果,少运动,更久坐不动的闲暇时间活动导致超重和肥胖(5- - - - - -7]。然而,超重和肥胖发展在社会文化和自然环境这些行为成为可能,有时甚至刺激(8,9]。目前肥胖预防措施针对个人行为(10)(如教育、治疗和改善技能)有不幸的影响有限11,12]。因此,上级干预是必要的(13- - - - - -15]。因为超重和肥胖是由多个相互作用的决定因素,重要的是地址远端和近端(肥胖的决定因素,16- - - - - -18)使用一个“综合全社区干预方法”(ICIA)。这种方法的目的是进行多种干预措施,在一个有多个利益相关者的共同努力,彼此一起工作在多个设置和指向多个目标群体在一个社区12,18- - - - - -23]。这种方法被认为是更有效,因为他们的目标的多个个体和环境因素肥胖。

一个模范ICIA法国EPODE计划(“合奏Prevenons l 'Obesite De登峰造极”或“在一起让我们预防儿童肥胖”)。EPODE旨在防止超重和肥胖一直岁儿童和他们的家人通过multiactivity多重集,和多方参与的方法24,25]。这种综合方法是在中央水平协调。重点是促进健康行为与超重和肥胖有关,例如,健康的饮食和有规律的体育活动通过多种有组织的活动,孩子们,他们的家庭,和中介机构24- - - - - -26]。在社区范围内,项目经理是由地方当局提名。这个项目经理由中央协调不仅是训练有素的团队也提供了工具和手段使便利的地方实现(24,25]。

在荷兰,在全国范围内协调ICIA“青春健康体重”(在荷兰:Jongeren Op Gezond重量,与首字母缩写“JOGG”)自2010年以来已经在超过100个城市实施。这种方法是基于EPODE计划。JOGG-approach基于五个关键组件或“支柱”:(1)政治承诺,(2)公私伙伴关系,(3)使用社交营销原则,科学评价和传播,(4)和(5)连接预防和保健25,27,28]。

改善ICIA如JOGG-approach,评估是必不可少的。本文项目评估的定义指的是系统的和客观的评估,分析和报告的信息在一个正在进行的项目。它从设计开始,遵循计划的实施为了理解的过程和影响干预,使它能适应临时结果和给出的项目决策提供信息。开始同时ICIA的实现时,评估可以提高利益相关者和社区参与和提供信息允许项目经理改善项目(29日]。此外,它可以增加问责,以及战略和金融支持,增强资源的可持续性(30.]。此外,项目评估可能有助于知识的传播计划和元素证明成功的其他领域和专业人员(11,30.]。虽然重要的计划成功,ICIAs的评价是具有挑战性的。ICIAs是复杂的干预,因此他们的评价也是复杂的31日- - - - - -34]。这种复杂性要求评价者超越传统观念的评价研究和实验设计(35- - - - - -38]。它也要求评估是根据特定ICIA的特点,评估用户的需要和利益相关者,预期的结果(39- - - - - -41]。

专业人士负责的项目评估ICIA常常难以进行这样的评价满意(42- - - - - -44]。JOGG-approach内,这些专业人士是项目经理(通常是当地政府的政策制定者)或流行病学家(受雇于该地区公共卫生服务(气道))。为了帮助他们JOGG-approach与项目评估,评估支持工具已经传播的国家协调办公室JOGG-approach (JOGG-office)。这些评估工具包括一个评价手册和额外的评估培训45]。项目的评价手册描述了六步评价过程评价ICIAs,类似于CDC评估框架(46)和大纲由堪萨斯大学评估一项社区工具箱47]。评价手册的设计是基于现有的评价框架的综合评价的结果(48]。JOGG-approach它还提供了一个逻辑模型(JOGG-model),能力建设的练习,一个评估规划矩阵,清单,评价实践的例子。评估培训后由四个模块中描述的评价方法评价手册。

本研究结果的原因pretraining评估形式和讨论与项目经理和流行病学家参与到当地JOGG-approaches在2012年和2013年期间评价培训。这些表明评估预算对于大多数新JOGG-municipalities是零。此外,项目经理和流行病学家参与评估培训报告要不断应付他们希望定制评估当地的背景下,需求,和资产,这一定成本,努力,和金钱一方面,他们需要标准化评估使用现有的数据集,显示器,和标准评估工具(因为几乎没有或者没有评估预算可用)另一方面。因此,只有6个60当地JOGG-approaches开发评价计划到2013年底。我们的结论是,尽管支持(即。,Evaluation Manual and evaluation training), there were a lot of barriers to programme evaluation of the local JOGG-approach. The aim of our study was therefore twofold: (1) to explore barriers to and facilitators of programme evaluation of ICIAs and (2) to understand the experiences of programme managers and epidemiologists regarding the offered evaluation tools.

2。方法

2.1。研究设计

定性研究是使用一个框架方法进行本研究的目的是收集数据。探索壁垒和主持人的节目评估ICIAs,就是“行为改变轮”米奇et al。49)是用于指导半结构式访谈和分析。第二目标,评估工具的经验,我们使用的创新特征“创新扩散”理论,罗杰斯(50,51指导小组讨论和分析我们的调查结果。

2.2。招聘和抽样

有目的的采样技术被用来招募参与者的半结构式访谈和焦点小组(52]。

2.2.1。半结构式访谈

半结构式访谈,参与者招募从市政府曾参与至少一年JOGG-approach ()(图1)。之所以选择这一标准,以确保他们有足够的经验与JOGG-approach希望参与者提供经验知识。参与者被项目经理和流行病学家参与JOGG-approach。由于已经复杂的干预方法,我们选择包括代表JOGG-municipalities参与一个项目经理和一个流行病学家。这个决定被因为责任是那么清晰。参与者通过电子邮件邀请和安排进行电话面试。最后的样品由八个项目经理和七个流行病学家从九个不同的城市。

2.2.2。焦点小组

两个焦点小组举行(图1)。一个由项目经理和流行病学家参与JOGG-approaches开始至少一年前(FG1)。另一个焦点小组由该领域的专家组成的社区健康促进和评估(FG2)。为FG1招募参与者,一个邀请函发送给项目经理和流行病学家参与JOGG-approaches。此外,JOGG-office发出公告邮件与参与JOGG-municipalities请求。参与者FG2是从网络的研究小组和招募只包括如果他们不负责当地JOGG-approaches的评价。焦点小组参与者给予出差补贴和€10礼品卡。如果参与者没有回应,我们称之为一个星期后邀请她。如果参与者未能回应三提醒电话,之后我们将他们排除在这项研究。当参与者不能参加焦点小组(例如,由于时间限制),我们建议面试()。最终样本由十FG1和额外的采访专业人士(即,three programme managers and five epidemiologists) and seven experts for FG2 and the additional interviews.

2.3。面试指南和主题列表

2.3.1。半结构式访谈

第一作者(MVK)和两个助理研究人员(RH和EB)一起开发出半结构式访谈的访谈指南(见补充数据1在网上补充材料http://dx.doi.org/10.1155/2016/2385698)。这次面试指南是基于“行为改变轮”[49)和扩展了“改进建议”和“问题需要对项目评估。”的核心组件“行为改变轮”是“COM-B”系统:能力、机会、动机和行为。启用说明、评估(行为)如果目标人群(例如,项目经理)有足够的理解如何应用评价手册(能力);有足够的时间和金钱来应用评价手册(机会);和有积极的态度使用评价手册(动机)。

2.3.2。焦点小组

第一作者(MVK)和一个助理研究员(ES)一起开发主题列表的焦点小组和额外的采访(补充数据2)。罗杰斯的理论,“创新扩散”,是作为初始组织框架生成主题(50,51,53]。罗杰斯(2002)假设创新(例如,评估手册)更有可能使用如果(1)他们可以很容易地尝试(在这种情况下,如果评估可以使用手册没有重大变化或后果的组织);(2)创新高的相对优势(如果使用JOGG评价手册需要更少的时间比当前过程或评估手册);(3)创新是与用户的日常实践(即兼容。那些负责评估);(4)创新并不复杂(如果评价手册被认为是易于使用);和(5)可以观察到使用创新的结果(如果评价手册的使用会导致更好的目标设定或涉众需求对齐)(50,53]。自评估的专家没有工作手册,他们小组讨论的焦点不是基于自己的经验,但是感知评价手册的使用项目经理和流行病学家。

2.4。数据收集

2.4.1。半结构式访谈

的半结构式访谈进行了RH(项目经理)和EB(流行病学家)2014年3月和6月之间由受访者在方便的时候确认。开放式提问是用来让参与者有机会分享他们的经验在设计和实现的评价自己的话(54]。数据收集之前,所有受访者被要求签署一份知情同意书。面试持续了平均53分钟(范围在27 - 68分钟),并录音。为了检查我们的解释的半结构式访谈,受访者收到的摘要采访,被问及他们是否同意我们的解释或想要改变或添加任何(检查)。

2.4.2。焦点小组

焦点小组和额外的采访发生在2014年1月和2月之间。焦点小组在一个中央位置和额外的采访发生在一个方便的时间和地点了。前两周的焦点小组和采访中,所有的参与者收到评价手册和数据收集前签署知情同意书。焦点小组是由一个有经验的独立的主持人(可)和助理主持人(ES)。每个焦点小组花了120分钟,是录音。四个专业人士不能参加焦点小组随后采访。面试持续了平均67分钟(53 - 120分钟内范围),受到面试官的录音和转录逐字(ES)。

2.5。数据分析

成绩单的半结构式访谈,焦点小组,和额外的访谈主题分析使用开放和轴向编码分为主题从各自的理论框架。这有助于结构和识别重复的主题(55]。这个单独的数据分析后,数据合并,它提供了额外的信息或重叠的数据在其他框架中(即。,focus group data regarding “feasibility of use of the evaluation manual” was merged with “perceived opportunities to conduct programme evaluation” within the Michie theme “Opportunity”; focus group data regarding “complexity of the evaluation manual” was merged with “perceived barriers and facilitators to evaluate” within the Michie theme “Motivation”).

2.5.1。半结构式访谈

分裂和开放编码的最早的记录是由面试官(RH;和EB)和讨论与第一作者(MVK)和第五作者(MW)。随后,轴向编码被用来在子类或主要类别代码片段。确定的类别划分为主题的“行为改变轮”[49]。这个过程导致了树,然后用于代码另面试(补充数据3)。主题是描述壁垒和主持人的基础,项目经理和流行病学家有经验的项目评估和评估工具的使用。

2.5.2。焦点小组

在开放的编码阶段,两位研究人员(ES和MVK)独立阅读焦点小组访谈和编码的记录片段。这导致备忘录和归纳代码与体内代码列表随后讨论。轴向编码被用来在子任务或主要类别代码片段(ES)(补充数据4)。在这个迭代过程,新的相关主题被添加到代码列表。最后,研究人员进行了选择性编码通过总结焦点小组和额外的采访。这让更多的洞察在数据解释和因果关系。

3所示。发现

3.1。样本的描述

2009年和2013年之间的城市开始了JOGG-approach。五个项目经理和四个JOGG-approaches流行病学家从一开始就参与。采访了项目经理的,只有一个有ICIAs经验和没有参与的评价ICIA(表1)。两个七流行病学家和ICIA评估经验。大约65%的项目经理参加小于2在评估和培训没有参加所有四个会话。原因为这个有限的人数是有限的可用小时JOGG-approach除了其他责任。项目经理有大约16个就业JOGG-approach每周可用的时间,在这些时间评估并不是一个优先级和训练花了太多的时间在一个星期。超过一半的项目经理有其他的职责,如体育或卫生部门的决策者在市政当局在气道或作为一个公共卫生专业。流行病学家在评价培训,更好的代表超过70%参加了超过三(四)培训课程,虽然大多数每周少小时可用JOGG-approach比项目经理。他们觉得负责评估JOGG-approach或被项目经理。两名流行病学家为多个JOGG-municipalities工作。

焦点小组1中的流行病学家都受雇于气道,项目经理在直辖市内。焦点小组2中的专家是三名高级研究人员从三所大学在公共卫生领域,两位企业家在战略层面公共卫生研究所的高级研究员专门超重,和项目评估专家在一所大学工作。

3.2。在JOGG-Municipalities评估性能

项目评估是“系统收集的信息活动,特点,和项目的结果判断该项目,提高项目效率,和/或通知决策对未来项目的发展”(56]。一般来说,它包括的过程和效果评估评估计划必须写。自从JOGG-approach需要适应当地环境和利益相关者的需求,和可用资源,设计和实现之间的JOGG-approach不同市、项目评估。

大多数的受访者提到四种类型的评估,他们进行JOGG-approach: (1)过程评价专注于组织活动,(2)过程评价专注于质量与实施合作伙伴,(3)一个中级评价儿童行为改变的,(4)效果评价超重的孩子。除了一个项目经理和流行病学家之一或两者结合进行评估。在一个直辖市,JOGG-approach综合方法之前,在2008年开始。受访者来自本市显示更多的能力,进行了多个评价类型,更多的资源比其他城市开始JOGG-approach同年。理想情况下,项目经理应该参与评估,以确保一个共同的目的和范围的理解,正确评估活动的预算,明确的角色和职责分配给项目的利益相关者(45]。尽管大多数项目经理参与评估的发展计划和一些参与数据分析,他们从来没有参与数据收集。经常项目经理不考虑他们的任务协调评价(更不用说评价自己),并没有实现这些角色的强烈冲动。例如,一个项目经理完全委托评估气道和大学学生;她不知道那些参与“她”项目的评估,他们的任务是什么,他们打算测量什么,如果他们一致评价项目:

“她(流行病学家的名字)负责研究[…]。此外,我相信项目经理不应该了解所有这些研究和评估”(RI21)

“我需要结合研究者了解我们要使用它的建立影响评估,因为她比我更参与它。”(RI27)

责任的认知评价和缺乏角色实现可以解释为什么项目经理通常不参与评估培训和为什么一名流行病学家(RI9)表示,评估工作“小组”由一个人(自己)。结果没有共同责任评价和激励评价下降:

“这依然有点棘手时没有人对此负责监测和评价。所以,要完成活动监视器是谁?然后他确保所有的数据将被收集并插入吗?”(RI29)

流行病学家主要是参与一个中间的评价行为改变或影响评估的超重儿童进行基线测量,后续的数据收集和数据分析。

3.3。障碍和主持人的项目评估

3.3.1。知识和技能

大多数流行病学家和项目经理在挣扎时试图ICIAs内进行项目评估,因为他们只熟悉结果评价:

“这(评估JOGG-approach)是一种不同的比我用来评价和研究,我没有经验,但我觉得我真的错过这个专业。”(RI26)

评价进一步复杂,因为实现ICIA最喜欢JOGG-approach本身是新的项目经理和流行病学家(表1)。因此一些受访者表示,他们需要不同的或更具体的评估支持(如测量仪器,指标概述、预算计算,信息如何进行定性研究,以及如何建立一个社区干预试验):

“我希望更多的JOGG评估培训[…],这就是评价的样子,这是您需要收集的数据,这就是我们要做的”(RI29)

大多数流行病学家知道设定具体评价目标ICIA很重要。然而,大多数认为这是困难的,因为他们不想负责特定的和难以实现的目标:

“我们还设置里程碑,像孩子的比例应该锻炼,或10%的小学今年将有一个健康的政策。这是我们衡量的。”(RI21)

“[…]我们仍然没有制定一个具体的目标 它仍然是真正的困难为目标,提出一项法案似乎并不是可行的。”(RI31)

一些项目经理显然利用了评价手册;他们涉及外部各方(例如,小学和一个健康中心)设定这样的目标和协议关于谁会实现,发展,和行为这些目标的评价:

“我们开始会议对所有利益相关者评估计划创建支持。在这个会议上我们设定目标和目标…流程、行为和结果…人们可以突出那些他们认为是最重要的。”[RI25]。

符合这几个项目经理强调,清晰的沟通关于评价对利益相关者(如气道,流行病学家、体育中心的员工,管理,和学校董事)(表很重要2)。他们说,清楚地解释评价和调整评价的相关性和目标努力是最重要的。然而,一些项目经理承认他们并不总是在这样的沟通导致更少的投资项目评价的各个方面,例如,过程评估:

“我不得不说,这个过程评估受到了越来越少的关注。尽管我们做了很明确的安排和活动我们要做什么。现在,这个过程评价已成背景。”(RI26)

3.3.2。支持和金融项目评估

项目经理说机会评估改进如果可以与一群讨论评估或感觉的人负责评估。他们在承担责任开始评估。这种恐惧使他们考虑与流行病学家合作,研究员,或者评估工作小组。项目经理觉得这种合作是至关重要的项目评估ICIAs(表的性能2)。此外,可用性的学生志愿者,活动协调员,和公私合作伙伴被认为是重要的,因为他们经常收集数据的评估。通过这种方式,项目经理可能节省时间和金融资源:

“大学已经表示,希望有助于评估JOGG与X的学生人数。当然,这包括一些大学的支持。”(RI23)

受访者提到金融资源常常强加一个障碍自市刚刚面临大幅削减预算和权力下放任务直辖市。此外,时间是一个障碍当项目经理需要投资新的活动和解释利益相关者的集成方法(即。,when the JOGG-approach was not based on an existing ICIA), when limited professionals were available for the JOGG-approach at local level, when no time was allocated for evaluation (i.e., some epidemiologists were employed for the JOGG-approach for 2 hours a week), or when time was used inefficiently due to lack of professionals with experience in the evaluation of ICIAs. One programme manager (RI23) (who was employed for 18 hours a week to the JOGG-approach) explained this was insufficient to manage such a comprehensive programme with high expectations:

“JOGG本身,项目经理的FTE一半就足够了。我有疑问。”(RI23)

因此大多数流行病学家认为它重要显示所需的时间是一个合适的评价:

“特别是进行评价之前,你应该花时间和彼此谈论的我们跟踪信息做什么?”,“我们想要注册吗?”、“谁负责?”和“谁来做?这都需要很长一段时间。”(RI29)

此外,一名流行病学家称,尽管10小时可用于评估,他觉得这些都是使用效率低下由于缺乏经验;需要更多的时间来熟悉这个项目评估过程。特别是在小城市,足够的时间进行各种评估被认为是不可行的。流行病学家认为项目经理负责获取更多的金融资源进行评价的可行性和补充说,当一个直辖市认为它重要的评估,预算是可用的。与之相反,一些项目经理说这是很难影响什么级别的资源将提供从市政预算和分配过程的评估。使评价更可行的,从中小城市规划管理人员建议组织项目评估区域水平和收集数据的对齐。以这种方式评估专业知识、资源和工具(如问卷调查)可以共享:

” 我知道(样本组的基线)远比组数据(整个人口),但我们没有时间。所以,我们会说,“现在N %的目标群体喝水的,明年“太多的百分比会喝水”。这是足够的对于我们和当地政府。”(RI33)

刺激分享评估责任,它被认为是重要的评估,外部合作伙伴的股份。例如,教师和小学的董事通常是感兴趣的饮食和身体活动和超重的“他们”的孩子,因此经常同意参与评估。一些项目经理表示这种利益相关者是困难JOGG-approach知之甚少时:

“有时候,一分钱(知道JOGG-approach]只是还没有下降 我不是JOGG-approach,但它们!涉众,终极的目标群体,社区,他们是JOGG-approach !”(RI22)

此外,收集数据在12 - 18岁被认为是困难的因为这些年轻人被调查,和学校有时关心他们的隐私。同样,私人合作伙伴并不总是愿意提供资金评估或参与进行项目评估。此外,学生或私人合作伙伴有时收集评估数据质量不足:

“经常喋喋不休我得到了碎片,显然缺乏动力。”(RI21)

3.3.3。动机的项目经理和流行病学家进行项目评估

项目经理的主要动机和流行病学家进行评估如下:儿童肥胖的预防和ICIA兴趣;看到评价作为自然的一部分的工作过程;增加问责的JOGG-approach向市参议员委员会;理解为什么JOGG-approach是有效的;利益相关者参与JOGG-approach动机;JOGG-approach获取的资源;和机会的结果在国家层面上与其他市(表和比较他们的进展2):

“…这是很有趣的工作项目是做好事,一个国家的声誉。如果结果被称为国家JOGG-conference比很高兴听到我们的JOGG-approach做得那么好。通常是非常艰苦的工作,我们艰难但它仍然非常刺激(RI22)。”

” 他们(战略和战术经理)偶尔要数字,他们想表明,该计划是如何工作的,以及他们想知道它是否有效。”(RI19)

项目经理和流行病学家灰心丧气,缺乏必要的知识和技能进行评估:

“过程评价,我发现它非常困难 这实际上是一种延迟虽然我发现很重要。”(RI26)

另一方面会导致缺乏动机的评价是战术管理(即的强烈兴趣。、市参议员)和战略管理(即。,department or sector manager) in the implementation rather than the evaluation of the ICIAs. Especially in smaller municipalities, interviewees considered it not worth their while to shift scarce resources away from implementation to conduct process, intermediate, or effect evaluations. Also programme managers explained that it did not make sense to start evaluation if activities had not yet been implemented, which epitomises their (lack of) understanding of the importance of programme evaluation to the optimisation of programme:

“我非常原因我的人民的利益和我的人没有兴趣这样的监控,他们有兴趣的政策措施,活动,激励,无论…这是我优先考虑的事情。”(RI28)

“我现在可以重点关注评价,但是如果我们不做任何事情,然后我实际上不需要评估,所以重点是执行和做的事情。”(RI23)

尽管如此,在许多情况下,没有任何形式的预算分配给评价,市政当局感兴趣的地方,他们倾向于优先效应评价。

“…我们注意到他们(经理和市参议员)偶尔要数字,他们想表明,该计划是如何工作的,以及他们想知道它是否有效。”(RI29)

因此,项目经理不那么积极地执行其他类型的评价:

” 所以该组件(影响)我可以测量 ,我们报告,这就是为什么我们决定这我们的首要任务。”(RI21)

3.4。使用和预期的评价手册

大多数项目经理和流行病学家知道评价手册,但没有一个人的受访者使用了它。尽管这有限的使用,大多数受访者积极评价手册的存在;它被认为是相关的和有价值的创新支持计划和ICIA项目评估的性能。专家表示,评估手册有关,因为他们看到项目经理和流行病学家斗争ICIAs的评价。几个原因有限使用的评价手册提到的:几乎所有的受访者表示评估手册太全面了;详细步骤后肯定会超过提出评价预算所评价手册(规划预算总额的10 - 15%)或可用的时间;大多数项目经理和流行病学家甚至说他们的财力不足以实现ICIA,因此他们无法找到所需的时间评价或不能使用他们的时间评价目的:

“我有3个小时一个星期两市。”(RF1)

“如果一个直辖市不承认它的重要性(进行评价后评价手册)就不会发生。”(RI32)

然而,专家还认为,评价预算可以很容易地获得资助者(即。,municipality, grants), if programme evaluation had been included in the initial planning of the ICIA and requesting funding for it.

提供有限的使用评价手册的另一个原因是,一些地区被认为是比其他的更有用,但这种不同意见。一些关于图形说明受访者积极增长和实现项目目标在时间线上说它帮助他们管理利益相关者的期望。其他人则表示,评估手册中给出的指导笔记本帮助他们处理理论付诸实践。一些项目经理和流行病学家发现JOGG逻辑模型特别相关,而另一些人则说,这是更使便利的开发自己的逻辑模型。此外,专家建议的逻辑模型可以作为一个指导规划项目的评价除了六步评价路线图:

“我建议使用后评估计划通过六步路线图JOGG-model也许没有那么严格。从目标和确定评价类型在不同的水平,并提供让这个具体例子。”(RF9)

所有受访者说,只使用部分的主要原因评价手册,阅读专业人士评价手册太费时间的操作水平。提到这个有限使用的另一个原因是,很难在一次ICIA使用建议的评估方法,已经开始在实现阶段。自评估手册开始通过定义利益相关者和协作设定目标和目标的受访者觉得好像回到绘图板,如果他们必须遵循评价手册。他们想要进步,没有看到一个新的方法的优势项目,已经批准的资助者和管理。有限使用的另一个原因是,评估方法很难结合重点委员会或管理效果评估:

“镇委员会希望看到以任何价格降低BMI[…]市议员的头块。”(RF1)

虽然段开放讨论,喜欢有期望,

“他想知道利益相关者参与的正确方法,这些利益相关者对他是重要的和计划。”(RF2)

所有受访者表示评估手册可能是非常有用的,但评价方法提出了评价手册太线性,理论和全面的日常实践。改善评估手册,专家建议强调利益相关者参与项目设计和评价,强调同步抱负和期望的重要性的几个社区的利益相关者和表达自底向上的策略与例子涉及社区。

4所示。讨论

我们的主要结果表明,那些负责项目评估,项目经理和流行病学家,往往缺乏具体知识和技能进行项目评估(能力)在其充分,感知有限的时间和财力(机会)进行全面计划评估,和很少内部或外部动机(缺乏激励)进行项目评估。我们还发现,专业人士参与ICIAs不经常使用评价手册,提供评价参加训练是糟糕,特别是项目经理。现在我们将讨论这些研究结果和建议的方法来提高项目的评估。

首先,尽管项目经理理解评估的重要性,他们没有投资于其管理。一个缺乏时间和角色相关的预期或许可以解释这一点。项目经理常常被迫投入时间在实现或评价,通常优先考虑实现。如果他们花时间在评估,他们专注于评估结果而不是过程。项目经理没有看到反射和适应,作为评价过程的一部分,作为其ICIA持续改善的方法。项目评估知识和技能不足似乎解释有限参与的项目经理(41,42,57]。除了技能不足,角色相关的预期似乎解释这些经理的有限的参与。流行病学家常常被视为评审专家,因此认为负责评估。不幸的是,流行病学家感到无法履行这个角色因为项目评估ICIAs是新的。尽管他们熟悉定量评估结果和影响,他们需要新的技能和支持(例如,指导和管理)进行过程评估(项目评估的一部分)。这需要更多的技术评估支持也觉得被别人(30.,42,57- - - - - -59]。

其次,时间、人力、金钱不够分配给评价和产生资金(即。、预算)进行评估是十分困难的。贫穷的一个重要原因生成和评价资源配置相关知识不足;专业人士,特别是项目经理,经常不知道什么和如何他们必须评估和似乎没有意识到评估需要管理和指导。此外,一些专业人士没有看到项目评估的好处;他们认为缺点大于优点(例如,把太多的钱和工作)。这是符合托雷斯和Preskill(2001)发现,专业人士担心,评估将导致不良的结果(例如,不满的能力),因此降低动机参与或管理评估。相反,我们也发现了一些专业人士,尤其是流行病学家、动机的评价;这些大多是流行病学家喜欢这个想法,这是“新”ICIA内工作,他认为评估是重要的ICIA或个人兴趣(减少)儿童肥胖的预防。不幸的是,这些动力专业人士经常灰心丧气的战略和战术经理分配稀缺资源的综合全社区的干预比评价方法和实现更感兴趣。这个认知兴趣的实现而不是评估是由其他人也支持(42]。有限的评价资源的另一个原因是缺乏公私合作在当地的水平。当私人派对金融活动,市政预算可以分配给项目管理和评估。当私人派对不参与,ICIA预算主要是分配给活动的实现。

第三,缺乏时间、角色相关的期望,和穷人的分配评估预算还导致了有限的使用评价手册和可以解释为什么项目经理几乎访问评估培训。虽然评估手册被认为是一个有用的工具更具体和实际项目评估,也被认为是全面的(即。占用太多的时间)和线性为实际使用。此外,利益相关者项目责任视为通过评估影响在健康结果的层面上,而不是一个完整的项目评估。这也可能解释为什么只有部分的综合评价手册。

4.1。对实践的建议

首先,我们建议增加项目经理和流行病学家的技能和知识。他们需要学习如何计划、实施和提倡项目评估和整个评估过程涉及利益相关者。学习这些新技能可以通过提供技术支持来刺激的设计和实现与多个分层评价,评价手册版本以及更加强调利益相关者参与。评估培训应该强制性的项目经理和流行病学家和提供支持的直辖市和自治区的战略和战术管理。评价手册可以提供方向评价培训期间或结构。

其次,我们建议明确协议,利益相关者之间的角色和职责ICIA评估。项目经理应该意识到评估需要他们的指导和管理,他们应该负责规划和计划的性能评估。流行病学家应该结果评价,建立评价方法和测量仪器,包括利益相关者(例如,定义需求和资源)。政策制定者可以参与城市结构和组织的评估并指定市评估预算。因此,增加所有利益相关者之间的沟通至关重要。

第三,我们建议投资于说服战略和战术经理评估的结果或收益超过成本。项目经理和流行病学家可以,例如,强调评价有助于改善项目和计划延续,这些积极的影响大于成本计划和执行项目评估(49,60]。

第四,我们建议确保恰当地分配了资源评价。这可以通过涉及私人利益相关者,使一个显式的生成和分配评估资源的决定之前设计评估(61年]。因此,我们建议,项目经理沟通评估计划和项目评价的必要性所有利益相关者和确保角色显然是它们之间的分裂。当多个利益相关者参与计划和执行项目评估,更有可能是资源和项目评估的必要先决条件将到位。

第五,市政组织建议增加对话的评估。这可能是通过标准化项目评价的政策文件和建立评价工作组。JOGG-office可以刺激这对话通过请求特定的评估预算附加到市政府的ICIA项目描述。他们还应该讨论成功的项目评价的相关性之间的第一次试探性会谈JOGG-approach JOGG-office和战术的JOGG客户经理经理将决定是否直辖市参与JOGG-approach。

4.2。优势和局限性

本研究的优点是开放的采访中,成员检查,和异构的数据。尽管受访者知道他们将采访JOGG的评价,和一些收到面试问题之前,他们似乎适应提供敏感数据,并不倾向于给社会理想的答案52]。此外,由于在ICIAs受访者有不同的角色和代表都相对较小,大直辖市和五个不同的省份,我们获得全景在主持人和障碍。这项研究的一个限制是,理论还没有达到饱和由于小数量的受访者和上下文的项目经理和流行病学家没有明确考虑工作。另外,不是一个的被调查者使用了有限的评价手册按预期他们全面了解其使用时进行项目评估。

5。结论

项目评价是一个重要的元素等ICIAs JOGG但常常是省略了在当前复杂的政策和政治环境。评估通常被视为太全面的或纯粹的关注结果评估。此外,实现而不是评价吸收大部分资源。此外,评估ICIAs是许多专业人士和新不管理。在这种背景下,一个评估手册似乎不足以刺激计划评估。实用性评估手册可能改善的优先评估,提供评价激励机制,鼓励市调整组织的先决条件。此外,自底向上的策略,如社区的参与和同步的抱负和期望的利益相关者是必要的。分配一个教练当地ICIA组织可能是一个有价值的方法来实现这些自底向上的策略。这个教练应该支持项目经理评估和流行病学家在涉及社区(目标群体和利益相关者),提高认识的重要性评价在操作,战术,尤其是战略层面(获取资源)和支持通过应用评价手册在本地上下文特定的可用资源。

相互竞争的利益

作者宣称没有利益冲突有关的出版。

作者的贡献

这项研究是由泰m . van Koperen和m .呈现。进行了焦点小组和preanalysed Eline j . m . Spierings。额外的编码和分析由泰m . van Koperen也给了实质性的整个研究和方法论支持。Marjan j·威斯曼建议的定性研究方法。两人都参与了分析过程。安娜玛丽•帮助合并的两项研究的数据,导致了写作的手稿。艾伯丁j . Schuit雅各c Seidell促成了这篇科学论文的写作。

确认

作者要感谢罗伯特Hengeveld (RH)和(EB)协助开展他Eline preanalysing半结构式访谈。我们应感谢Maarten角(可)是我们的焦点小组主持人。此外,他们必须表达自己的感谢所有的专业人员,项目经理、流行病学家和专家花费了大量的时间和精力参与这项研究。这项研究是由荷兰的资助卫生研究与发展组织(ZonMW)这个研究项目和荷兰心脏基金会。

补充材料

引用

1. 谁,2014年全球非传染性疾病现状报告瑞士日内瓦,世界卫生组织,2014年。
2. 肥胖和超重,简报。311年,字幕新闻全球超重和肥胖的流行,2014年8月,http://www.who.int/mediacentre/factsheets/fs311/en/。
3. m·利文斯通”在欧洲儿童肥胖:不断增长的担忧,”公共健康营养,4卷,不。1,第116 - 109页,2001。视图:谷歌学术搜索
4. m·a·t·弗林·d·a·麦克尼尔公司b Maloff et al .,“减少儿童和青少年肥胖和相关的慢性疾病风险:合成证据与“最佳实践”的建议,“肥胖评论补充1卷。7日,7 - 66年,2006页。视图:出版商的网站|谷歌学术搜索
5. k·l·兰尼·l·约翰逊,美国杰布,“肥胖、行为因素”最佳实践和研究:临床内分泌学和代谢,19卷,不。3、343 - 358年,2005页。视图:出版商的网站|谷歌学术搜索
6. m·a·佩雷拉,”加糖和人工甜味饮料与肥胖的风险,”营养的进步,5卷,不。6,797 - 808年,2014页。视图:出版商的网站|谷歌学术搜索
7. r·布洛斯·e·k . Vikre奥本海默,h . Chang下来r·b·卡娜里克,“ObesiTV:电视是如何影响肥胖的流行,“生理和行为,卷107,不。1,第153 - 146页,2012。视图:出版商的网站|谷歌学术搜索
8. b . a . Swinburn g .麻袋,k·d·霍尔et al .,“全球肥胖流行病:由全球司机和当地环境,”《柳叶刀》,卷378,不。9793年,第814 - 804页,2011年。视图:出版商的网站|谷歌学术搜索
9. b . Swinburn和g .症”,对体重增加和肥胖预防策略,”肥胖评论,3卷,不。4、289 - 301年,2002页。视图:出版商的网站|谷歌学术搜索
10. i . De Bourdeaudhuij e . Van Cauwenberghe h . Spittaels et al .,“以学校为基础的干预促进身体活动和健康饮食在欧洲:系统回顾在希望工程”肥胖评论,12卷,不。3、205 - 216年,2011页。视图:出版商的网站|谷歌学术搜索
11. j·s·古f . k . s . Mathisen o . Samdal et al .,“评估正在进行的以社区为基础的干预措施来预防肥胖:经验教训,”BMC公共卫生第216条,卷。15日,2015年。视图:出版商的网站|谷歌学术搜索
12. c . Thury和c·德·马托斯诉“预防儿童肥胖:审查目前的指导方针和支持的证据,”南达科塔州医学,18 - 23,2015页。视图:谷歌学术搜索
13. g .麻袋,b . Swinburn和m .劳伦斯“肥胖政策行动框架和分析电网综合政策的方法来减少肥胖,”肥胖评论,10卷,不。1,第86 - 76页,2009。视图:出版商的网站|谷歌学术搜索
14. 世界卫生组织,委员会的报告结束儿童肥胖瑞士日内瓦,世界卫生组织,2016年。
15. 大肠的水域,a . de Silva-Sanigorski b . j .大厅et al .,“预防儿童肥胖干预措施,”Cochrane系统评价的数据库文章ID CD001871卷。12日,2011年。视图:谷歌学术搜索
16. a m。•j·s·古,n . k . De Vries j . c . Seidell s p . j .克雷默和m . w . j .詹森”干预促进一个公共卫生问题的综合方法:应用儿童肥胖,”环境和公共卫生杂志》上ID 913236条,卷。2012年,14页,2012。视图:出版商的网站|谷歌学术搜索
17. j . Seidell和j·哈尔伯施塔特Tegenwicht普罗米修斯Uitgeverij, 2011。
18. j . c . Seidell和j·哈尔伯施塔特的全球负担肥胖和预防的挑战,”年报的营养和新陈代谢补充2卷。66年,广州2015页。视图:出版商的网站|谷歌学术搜索
19. 布莱西、j·西格尔,y, r·威尔逊和y王,“以社区为基础的预防儿童肥胖研究的系统评价,“儿科,卷132,不。1,pp. e201-e210, 2013年。视图:出版商的网站|谷歌学术搜索
20. l·米勒·克雷默a de Silva-Sanigorski et al .,“减少超重和肥胖从3年在澳大利亚以社区为基础的干预:“这是你的行动。“项目”肥胖评论补充2卷。12日,精神分裂症一般,2011页。视图:出版商的网站|谷歌学术搜索
21. d . Stein s . l . Weinberger-Litman y .莱兹,“社会心理视角和预防儿童肥胖的问题,“公共卫生领域前沿,2卷,第104条,2014年。视图:出版商的网站|谷歌学术搜索
22. a . m . De Silva-Sanigorski a·c·贝尔·p·克雷默et al .,“减少肥胖儿童早期:结果的闹剧& Chomp澳大利亚全社区干预programustralian全社区干预项目,“美国临床营养学杂志》上,卷91,不。4、831 - 840年,2010页。视图:出版商的网站|谷歌学术搜索
23. 黄t . t . A . Drewnosksi s Kumanyika和t . A .玻璃,“系统多层次框架,以应对肥胖在21世纪,”预防慢性疾病》第六卷,没有。2009年3 p。偶。视图:谷歌学术搜索
24. j . m . Borys y s勒博多,洛杉矶De Henauw m·莫雷诺j . c .二甚至学习小组,防止儿童肥胖,Epode欧洲网络的建议卷。265年,面向Cedex法国:拉瓦锡,2011年。
25. t·m·范·Koperen s a·杰布c d Summerbell et al .,”描述EPODE逻辑模型:瓦解过去,告诉未来,”肥胖评论,14卷,不。2、162 - 170年,2013页。视图:出版商的网站|谷歌学术搜索
26. m .二a . Lommez m . Tafflet et al .,“在儿童期体重过重的患病率下降趋势12年学校的设置,以社区为基础的项目,“公共健康营养,12卷,不。10日,1735 - 1742年,2009页。视图:出版商的网站|谷歌学术搜索
27. t . m . Van Koperen和j . c . Seidell Overgewichtpreventie,即使lokale aanpak naar Frans voorbeeld,”Praktische Pediatrie,卷2,不。4、10 - 14,2010页。视图:谷歌学术搜索
28. 人类。Borys y勒博多,s . a·杰布et al .,“EPODE儿童肥胖的预防方法:方法、进展和国际发展,”肥胖评论,13卷,不。4、299 - 315年,2012页。视图:出版商的网站|谷歌学术搜索
29. a·卡伦·t·贾尔斯,j .罗森塔尔评估社区儿童健康促进计划:一个快照的策略和方法,2006年。
30. m·班贝克,j·卢伊和l . Mabry现实世界的评价。工作在预算、时间、数据和政治约束美国加州、鼠尾草、千奥克斯,第二版,2012年版。
31. 答:a . Atienza以及国王,“社区卫生干预试验:方法论的问题,概述”流行病学评论,24卷,不。1,第79 - 72页,2002。视图:出版商的网站|谷歌学术搜索
32. a·海恩斯·m·坎贝尔,r . Fitzpatrick et al .,”框架的设计和评价复杂干预措施改善健康状况,“英国医学杂志,卷321,不。7262年,第696 - 694页,2000年。视图:出版商的网站|谷歌学术搜索
33. b . k . Nastasi和j·希区柯克多层次评价干预措施的挑战。”美国社会心理学杂志》上,43卷,不。3 - 4、360 - 376年,2009页。视图:出版商的网站|谷歌学术搜索
34. d Stokols”,将社会生态理论转化为社区健康促进,指南”美国《健康促进,10卷,不。4、282 - 298年,1996页。视图:出版商的网站|谷歌学术搜索
35. d . Nutbeam“评估健康promotion-progress、问题和解决方案”健康促进国际,13卷,不。1,27-44,1998页。视图:出版商的网站|谷歌学术搜索
36. g·麦克唐纳,c . Veen和k .音调,“健康促进成功的证据:建议改进,”健康教育研究,11卷,不。3、367 - 376年,1996页。视图:出版商的网站|谷歌学术搜索
37. t·l·怀特黑德,“传统方法基于社区干预措施的评价:优点和局限性,”健康和文化生态的变化(CEHC)工作底稿系列,工作论文p。11日,马里兰大学的人类学,大学公园,医学博士,美国,2002年。视图:谷歌学术搜索
38. r·w·Sanson-Fisher b . Bonevski l·w·格林和c D·德,”限制的随机对照试验评估基于人群的卫生干预措施,”美国预防医学杂志》上,33卷,不。2、155 - 161年,2007页。视图:出版商的网站|谷歌学术搜索
39. p•克雷格·迪耶普麦金太尔,米奇,我拿撒勒,和m . Petticrew”开发和评估复杂干预措施:新的医学研究委员会的指导,”《英国医学杂志》文章ID a1655卷。337年,2008年。视图:谷歌学术搜索
40. l . w .绿色、l . Sim和h . Breiner”评估肥胖预防工作:一个计划来衡量进步,”委员会评估肥胖预防努力进步,食品和营养委员会和医学研究所美国国家科学院出版社,华盛顿特区,2013年。视图:谷歌学术搜索
41. r·t·托雷斯和h . Preskill”评价和组织学习:过去、现在和未来,“美国杂志》的评价,22卷,不。3、387 - 395年,2001页。视图:出版商的网站|谷歌学术搜索
42. s·m·凯格尔、通用Rebchook和s . Tebbetts“挑战和主持人在社区组织建设项目评估能力,”艾滋病预防教育,17卷,不。4、284 - 299年,2005页。视图:出版商的网站|谷歌学术搜索
43. j .德国哈丁和p . Van Assema探索项目理论在荷兰社区项目的概念化:多个案例研究中,“健康促进国际,26卷,不。1,23-36,2011页。视图:出版商的网站|谷歌学术搜索
44. h·彼得斯,“即使onderzoek naar de integrale aanpak van overgewicht bij kinderen。德特文特在De praktijk EPODE方法”沟通研究特文特大学,67年,页恩斯赫德,荷兰,2010年。视图:谷歌学术搜索
45. t·m·范·Koperen e . f . Spierings f . Van de, d . Ketelaars和h . AkkermansHandboek Evaluatie Integrale Aanpak范Overgewicht,卷1,sccp,阿姆斯特丹,荷兰,2014年。
46. 疾病控制和预防中心(CDC),公共卫生项目评价的框架疾病控制和预防中心(CDC),亚特兰大,乔治亚州,美国,1999年。
47. 社区卫生与发展工作组,U.o.K。概述评估2011年倡议社区工具箱,http://ctb.ku.edu/en/dothework/tools_tk_content_page_83.aspx。
48. t·m·范·Koperen c . m .呈现a . j . Schuit和j·c . Seidell”找到一个评估框架,整合全社区干预方法:说起来容易做起来难,”评估集成全社区干预方法防止儿童超重。支持工具和关键成功因素项目评估性能(论文)96年,页73 - m . van Koperen【荷兰,2016年,http://www.my-thesis.nl/completepageturn.html。视图:谷歌学术搜索
49. s .米奇·m·m·范Stralen, r·西”行为改变轮:一个新的方法来描述和设计行为改变干预,”实现科学》第六卷,没有。1,第四十二条,2011。视图:出版商的网站|谷歌学术搜索
50. e·m·罗杰斯“预防创新扩散,”成瘾行为,27卷,不。6,989 - 993年,2002页。视图:出版商的网站|谷歌学术搜索
51. 即,“详细审查罗杰斯的创新扩散理论和教育技术相关研究基于罗杰斯,”土耳其在线教育技术杂志》上,5卷,不。2,p。2006。视图:谷歌学术搜索
52. c .教皇和n·梅斯”,达到其他方法所不能:介绍定性方法在健康和卫生服务的研究中,“英国医学杂志,卷311,不。6996年,使,1995页。视图:出版商的网站|谷歌学术搜索
53. e·m·罗杰斯创新的扩散,自由出版社,纽约,纽约,美国第五版,2003年版。
54. h·j·鲁宾和鲁宾,数据定性访谈:听觉的艺术美国,鼠尾草,加州千橡市,2005年。
55. 绿色和n . Thorogood j .卫生研究定性方法,鼠尾草,伦敦,英国,第3版,2014年版。
56. m .问:巴顿Utilization-Focused评价吉尔福德,纽约,纽约,美国第四版,2008年版。
57. k·约翰逊,l . o . Greenseid s . a . Toal j·a·王,f . Lawrenz b·沃尔科夫,”研究评估使用:实证文献的回顾从1986年到2005年,“美国杂志》的评价,30卷,不。3、377 - 410年,2009页。视图:出版商的网站|谷歌学术搜索
58. 凑说,“Mayberry r·m·p·丹尼尔斯,t·h·Akintobi e . m .燕西j·贝瑞和n·克拉克,“以社区为基础的组织计划能力、实现和评价成功,”社区健康杂志,33卷,不。5,285 - 292年,2008页。视图:出版商的网站|谷歌学术搜索
59. 凑说,“Mayberry r·m·p·丹尼尔斯,e . m .燕西et al .,“加强以社区为基础的组织的艾滋病预防教育和能力。”评估和方案规划,32卷,不。3、213 - 220年,2009页。视图:出版商的网站|谷歌学术搜索
60. s .米奇·m·约翰斯顿c·亚伯拉罕,r·劳顿·d·帕克和a·沃克”使心理学理论用于实现基于证据的实践:共识,”在医疗质量和安全,14卷,不。1,26-33,2005页。视图:出版商的网站|谷歌学术搜索
61. m . Laubli大声和j·梅恩,Eds。加强评估使用。从内部评估单位美国,鼠尾草,加州千橡市,2013年。

版权

版权©2016泰m . van Koperen等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。