TEACH项目的评估方法基于Moore等人和Kirkpatrick的框架来评估持续专业发展(CPD)教育[ 5， 7， 9， 10］．摩尔等人的评估框架包含七个层次的培训影响进行评估，是评估CPD教育的金标准。Moore等人的框架是衡量CPD教育结果的理想方法，通过关注培训的目标结果来评估影响，并迭代修改培训以达到预期的结果(即，评估者必须问自己 我该怎么做呢?） ［ 5， 10］．此外，我们选择了柯克帕特里克(Kirkpatrick)的评估框架，该框架通过跟踪参与者的反应、学习、行为和结果(即评估者必须问自己)的改善，概述了培训有效性的四个级别 我怎么知道我做了?)．此框架是评估培训及学习成效的最知名及广泛使用的评估模式之一[ 9］．然而，我们决定加入Fitzpatrick的方法[ 11]创建一个聚合模型，以便讨论、识别和证明指导或指导我们的评估方法的主要因素，包括范式、理论、方法和方法工具(即，评估者必须问自己 我在做什么，为什么要这么做?） ［ 11］．Fitzpatrick等人将评估分为四种核心方法:(1)对培训质量的综合判断，包括专门知识和面向消费者/学习者的评估;(2)培训的特征，包括面向目标的评估;(3)对项目的决策，包括面向管理的评估;(4)项目的利益相关者(包括患者、管理者、HCPs和资助者)的参与。这四个Fitzpatrick类别可以在多个环境下响应受评估影响的利益相关者的不同需求，并且可以很容易地沿House的维度分布[ 12从功利主义到直觉主义的方案评估方法。体现批判现实主义视角的[ 6， 13通过House的维度可以支持这一概念，即定量和定性方法在充分理解培训的成功和影响方面都是同样有保障的。

我们制定了一个综合评估框架( 图1)，采用了三个概念框架，Fitzpatrick等[ 11，摩尔等[ 5]，以及柯克帕特里克[ 9]，评估CPD计划(TEACH项目)，以便通过House的功利(客观主义本体论)到直觉主义(主观主义本体论)的维度，以批判现实主义的视角专注于实现预期的结果[ 4］．

综合起来，这个综合评估模型可以引出以下主要因素:(1)指导教育规划、组织、实施和评估期间的教学设计策略，(2)确定HCPs如何学习，(3)确定如何以及在哪里使用评估来衡量项目的进展，(4)确定告知决策者评估结果的方法。

我们通过评估2015年10月TEACH基于web的核心课程的一个队列(共48名参与者)收集的数据来检验聚合模型的可行性。我们通过以下四种基于聚合模型的评估方法来衡量培训效果:

混合方法设计采用了通过在每个基于web的模块和总结性评价管理后课程收集的数据，收集了定量和定性的反馈，知识和技能的前和后课程评估，能力为基础的考试管理后课程，3个月和6个月跟踪调查测量自我报告的实践变化。因此，我们能够试验我们的聚合模型的方法1到3。采用IBM SPSS统计24将数值数据汇总为描述性统计进行分析。计算了简单频率和百分比;此外，获得了课程前和课程后评估的均值和标准差。配对 t计算检验、方差分析(ANOVA)和CI，以检验组间和组内的差异，概率水平为.05。对于连续和分类变量，缺失数据用大平均值或模态响应代替。为了收集定性数据，形成性和总结性问卷和广泛的定性评论使用专题分析来呈现参与者的课程评价。采用SPSS 24和NVivo 11 (QSR International)对定量和定性数据进行分析。在本研究设计之时，CAMH研究伦理委员会认为该研究不需要正式的审查和批准。

遵循专业导向的方法，TEACH获得了多伦多大学医学院CPD项目、加拿大家庭医生学院、加拿大皇家内科和外科医生学院、加拿大成瘾咨询师认证联合会和安大略省皇家牙科外科医生学院的认证。共有59名学员注册了该课程，其中48名学员(81%)完成了所有课程要求。 表142%(20/48)的参与者是护士(注册护士、执业护士和病例管理护士)。使用功利主义视角和以消费者/学习者为导向的方法，课程的总体满意度评分为4.55/5(其中5=最佳/优秀)。

课程前和课程后评估由29个与课程能力相关的封闭式问题组成，用于收集定量数据，并配对样本 t测试。 表2对每门课程能力的自我感知知识进行了定量分析，展示了一种目标导向的方法。采用Wilcoxon检验，结果表明，在TEACH核心课程期间，自我报告的所有课程能力的知识前和后排名之间存在显著差异， Z= 6.03, P< .005。

此外，我们通过12个封闭式问题来衡量参与者应用课程能力领域的可行性、重要性和信心。对于每个域，使用0-10李克特量表(10为最高评级)。通过Kolmogorov-Sminrov & Lilliefors检验(95% CI)进行可行性和置信度分析，可以观察到数据的正态性。然而，数据并未正常( P<.001)为重要性变量。采用非参数方法支持李克特量表对可行性、置信度和重要性( 表3)．Wilcoxon检验的反应表现陈述的可行性，重要性和信心显示，自我报告在学习前和学习后的显著差异 P˂措施。

为了衡量参与者的纪律是否对他们自我报告的知识和技能后课程的影响，进行了组间和组内的方差分析。采用Shapiro-Wilk检验在5%显著性水平上评估正态性假设。我们发现的证据表明，HCPs自我报告的知识和技能课程后评估分数呈正态分布， W= .96点, P=。3.8，而且for Allied HCPs, W=点, P= . 21。然而，此外，我们发现的证据表明，自我报告的知识和技能课程后评估分数并不正常分布于卫生支持/研究服务部门， W=主板, P= .002。

以能力为基础的考试的百分比分布表明成功实现了预期的结果，48名参与者中有47人获得了及格分数(n=10在80%-90%之间，n=37在90%-100%之间)，只有一名参与者获得了低于70%的不及格分数。最后，对形成性评价(34条评价)参与者提供的与三个主题相关的定性评价进行专题内容分析:(1) 知识获取, (2) 加强未来参加者学习的建议和(3) 实践变更计划（ 表4)．为了通过直觉主义的评价概念来遵循主观主义认识论，在课程结束时进行的总结性评价中，从61个定性评论中产生了以下五个主题: 学习目标, (2) interprofessional协作, （3） 未来的相关话题(4) 整体改造,和(5) 整体满意度。

采用管理导向的方法对培训后3个月和6个月进行的随访调查进行分析。我们评估了参与者自我报告的戒烟知识和技能的实施情况、看到的客户数量、项目材料向其他提供者的传播情况、改变的障碍以及未来将知识和技能付诸实践的意愿。随访3个月的平均回复率为27.08%，随访6个月的平均回复率为29.17%。回应表明，在3个月的随访中，76.9%的参与者为客户提供了单独的戒烟课程，而在6个月的随访中，这一比例上升到了85.7%。与会者提供了信息，说明他们认为改变自己的做法和实施新的戒烟方案编制岗位课程的障碍是什么。的必要性 更多的练习在3个月随访时被确定为主要障碍。在6个月的随访中，64%的受访者仍然认为需要更多的练习是一个障碍。在6个月的随访中发现了另外3个障碍 发现的时间提供戒烟咨询(平均71%)，与 病人的动机参加戒烟会议和 想要更多的经济支持戒烟计划和服务(各占50%)。通过面向管理的方法使用功利主义视角的另一个重要成果涉及向其他提供者传播戒烟知识和技能。在两个随访时间点，参与者都被问及他们在完成课程后是否将所学到的知识或技能与同事交流过。在6个月的随访时间点，78.90%的参与者表示他们曾与同事进行非正式讨论/信息共享;32.90%的受访者表示曾与同事作简短的汇报(最多1小时);8.11%的人表示曾写过文章或报告与同事分享。

此前，TEACH项目被介绍为加拿大第一个大学认可的继续教育证书项目，该项目专注于强化戒烟培训的循证研究，从而增强系统能力。研究结果表明，证书项目影响了临床实践，突出了从研究到实践的成功知识转移[ 7］．我们开发了一个聚合的评估模型，在这个模型中，不同的评估模型根据它们的价值观、哲学和方法的相似性被分组。本研究通过从功利主义到直觉主义的评价维度，论证了体现批判现实主义视角的可行性，并使用混合方法设计Fitzpatrick、Moore和Kirkpatrick的综合模型，以提高质量和实现评价目标。然后我们应用这个模型来评估TEACH网络核心课程的有效性，从方法1到3的结果表明TEACH在以下方面是成功的:为不同学科的HCPs提供基于网络的戒烟咨询培训;教学内容和总体满意度(专业知识和以消费者为导向的方法)的高评级;显著提高参与者的知识和技能(面向目标的方法);有强烈的改变和维持实践改变的动机(管理导向的方法)。该模型还帮助我们(1)确定指导计划评估的主要因素，(2)平衡功利主义和直觉主义哲学在指导方法方法和工具方面的重要性，(3)鼓励多个利益相关者参与CPD计划评估。我们的聚合模型对受本体论和认识论不同观点影响的不同评估方法进行了分类，也根据我们认为的进行评估背后的驱动力，以及影响研究内容选择和研究方式的因素，对获取有效信息的方法进行了分类[ 14］．

我们的评价模型的方法1引导我们对节目质量进行综合判断，其中包括以专家为导向的评价和以消费者为导向的评价。它们是最古老的评估方法，指导评估者专注于评估或判断他们所评估项目的质量。 15， 16］．Scriven [ 16]认为，以消费者/学习者为导向的评价因素，如参与和满意度，可以作为评估项目的关键标准。参与可以引出培训是否具有竞争性(面向消费者/学习者)，特别是培训是否经过认证(面向专业知识)。方法1中的消费者/学习者导向的方法与House的[ 12的功利评价概念，以使参与者的满意度最大化。因此，评估者可以通过使用结果评分(如满意度数据)来关注整个群体的收益。以专门知识为导向的通过认证进行评价的方法是向学术界、一般公众、儿童保健中心和其他有关机构保证，培训是根据适当的教育目标设计的，并具有促进参与者取得成就的既定基础设施。这一发现与柯克伍德此前发表的一项研究一致，后者强调课程认证对项目评估的影响[ 17］．

我们的评估模型的方法2帮助我们确定我们的培训目标实现的程度。布鲁姆等人[ 18]，不仅强调在培训发展中确定适当目标的重要性，而且强调发展和衡量参与者实现这些目标的重要性。克伦巴赫( 19， 20.]还开发了一种方法，使用一种客观的和相关的测量技术，以提高培训内容的质量，与我们的目标导向的评估方法一致，其重点是指定目标和确定这些目标达到的程度(即，测量知识的变化，可行性，重要性和对课程能力的信心)。与直觉主义哲学一致，收集定性反馈也可以引出培训目标达到的程度。例如，这个试验中的定性反馈说明了未来技能发展的潜在领域和改进意见。

方法3面向决策制定，关注评估结果如何支持决策者(例如，经理和资助者)对项目改进和继续做出判断。基于对(可预测实践中实际变化的)变革承诺研究的回顾[ 21， 22]，我们在培训后进行了3个月和6个月的随访调查，以评估实践变化。尽管通过我们当前的定量方法收集自我报告的实践更改数据有助于确定知识和技能岗位课程的实施，但它并没有提供指导具体项目改进所需的信息[ 5］．因此，我们未来的评估设计，根据直觉主义的哲学，将在3个月和6个月的随访调查中纳入定性问题，以支持决策者对项目改进做出判断的能力(管理导向的方法)。

通过方法4对整个聚合模型的应用有可能涉及到不同的利益相关者，包括那些直接受培训影响的人(例如，患者)，而不是把项目变更和实施的决策留给培训参与者和项目经理。我们的项目评估的未来方向将包括对TEACH的长期评估，通过对以前的参与者、他们的患者和他们的管理人员进行深度访谈，以充分捕捉项目评估的直观方法。该评估还将参与者以往的评估数据与患者健康结果联系起来，以确定培训对参与者以外的影响[ 12］．这种聚合模型有许多局限性。在不同的时候，政策制定者、资助机构、规划者、管理者或HCPs需要区分有价值的培训项目和无效的培训项目，并修改现有的培训项目，以达到理想的效果。为了全面做到这一点，评价方法需要包括成本效益分析措施。通过在形成性或总结性评价中增加一个与完成课程所花时间有关的问题，综合模型方法有可能客观地衡量培训的效果和效率。

本研究的另一个局限性是，我们在2015年通过基于网络的TEACH课程进行了试点研究，参与者为48人。这样做是为了评估需要重新设计评价问题和方法的新的评价模式的可行性。因此，我们无法利用我们之前研究中可用的大规模数据[ 7，因为之前的评估数据与我们新试点的问题不匹配。此外，我们在本研究中没有使用样本量计算。2015年，我们对一组首次体验新评估模型的参与者进行了综合评估模型的测试。试点研究的目的是测试解决新聚合模型和我们的设计的四种方法的可行性。一般来说，一些试点研究可能不需要样本量计算[ 23］．此外，正如康纳利所论证的[ 24,山 25], Julious [ 26和范·贝尔[ 27]， 10至30名参与者是一个足够的样本量的试点研究。这个48个参与者的试点研究是排除我们开发的聚合模型故障的好方法，使团队熟悉程序，并测试模型和实验设计中的潜在缺陷。

聚合模型的另一个局限性是它的整体应用(例如，包括方法4)-评估可能是复杂的和资源密集型的。为了解决这一限制，评价人员需要考虑他们所拥有的资源和时间，以及方法4是否适合可行的工作范围。此外，我们在3个月和6个月的基于网络的后续调查中获得了27%和29%的回复率，尽管后续会向非受访者发送邮件提醒。尽管我们希望得到更好的回应，但其他针对HCPs的调查也往往得到较低的回应率[ 28， 29］．

使用混合方法，平衡定量和定性数据，使其在评估中具有同等价值，这与使用现实主义方法来确定成功培训项目的背景因素是一致的，因为这些因素与培训的成败密切相关[ 6］．我们评估的量化结果与评估数值结果的客观主义认识论一致，以明确定义不同时间点的项目结果，并展示培训项目的整体影响。与许多其他评估方法类似，量化结果可用于指导评估者、管理人员、计划人员和参与者区分有价值的培训项目[ 30.从无效的。我们的评估目标之一将是提高这些调查执行后课程的回复率。TEACH项目评估方法的定性结果与主观主义认识论一致，即评估参与者的反馈以决定项目的成功和影响。定性结果也可以用来区分有价值的培训项目和无效的培训项目，并有助于指导项目修改。我们未来的研究将通过在3个月和6个月的随访调查中纳入定性问题，并通过对HCPs、他们的管理人员和培训后患者的半结构化深入访谈，更充分地结合这一点。

动态人类行为(即实践变化)的实现模型，如KTA周期，需要一个具有不同方法的综合评估框架，可以为未来的决策提供信息。一些评估者对评估模型的泛滥表示遗憾，并敦促努力综合现有的模型[ 31］．相反，一些研究表明，如果不过早地抑制评价领域的关键发展，就无法实现实现评价方法和措施的一致性的目标[ 32］．

在这项评估研究中，不同的方法帮助我们理解与评估基于网络的TEACH核心课程相关的广泛需求。我们在哲学和方法论维度上的倾向和偏好导致我们选择了不同的模型、方法、数据收集工具、分析方法和解释技术。当我们继续前进时，我们必须确定在面对特定的评估需求时，每种方法中什么是有用的。这项研究还有助于证明聚合模型可以检测基于web的课程的效果和影响，因为每种方法都收集了影响不同利益相关者的丰富数据。这种综合评估方法似乎可以兼容并适用于基于实施框架的其他项目(如KTA)。聚合模型的一些主要特征和主要特征如下: