保密培训效果评估应从满意度反应、知识掌握、行为改变和业务结果四个层级逐层递进评估,完整衡量培训的真实投入产出。
企业每年在保密培训上投入了大量的人力、时间和资金预算,但有一个问题很少有企业能够准确回答:投入的这些培训到底产生了多少实际效果?这个问题之所以难以回答,是因为培训效果评估本身就是一项专业性很强的管理活动,它的难度远高于组织一场培训课程或制作一套培训课件。培训效果评估需要从多个维度、在多个时间点进行数据采集和分析,才能真正描绘出培训从投入到产出之间的因果链条。
培训效果评估的理论基础可以参考国际通行的四级评估模型,将培训效果划分为四个由浅到深的层级。第一层是学员的反应层,衡量的是学员对培训内容和教学过程的满意程度。第二层是学习层,衡量的是学员通过培训学到了多少知识、提升了多少技能、改变了多少态度。第三层是行为层,衡量的是学员将培训所学应用到实际工作中的程度,即培训迁移的效果。第四层是结果层,衡量的是培训对企业整体绩效指标的实际影响。四个层级由浅入深、由表及里,构成一个完整的评估体系。
反应层的评估是最基础也是最容易实施的一层评估,通常在培训课程结束后马上进行。评估工具通常采用满意度调查问卷,问卷内容应当覆盖培训内容的相关性和实用性评价、讲师的专业水平和授课技巧评价、培训组织服务评价、培训环境和后勤保障评价和学员的整体满意度评分和意见建议等。满意度问卷的设计应当简洁明了,填写时间控制在三到五分钟之间,采用五级或七级李克特量表打分格式,配合开放性问题收集文字建议。满意度调查的结果可以作为培训课程改善的直接依据,但不能作为衡量培训效果的最终标准。一门课程即使学员满意度很高,如果学员在工作中没有做出任何行为改变,培训的实际效果也仍然是有限的。
学习层的评估需要在培训前后分别进行一次测试,通过对比两次测试的成绩来量化学习效果。前测可以在培训开始前进行,用于了解学员在该主题上的初始知识水平。后测在培训结束后进行,用于了解学员在培训后的知识水平。前后测成绩的差值即为学习成绩的提升值。学习层的评估能够比反应层更有力地证明培训确实带来了知识和技能的提升,但还不能保证这些知识被应用到实际工作中。学习层测试的题目设计应当注重知识应用能力的测量,而非简单记忆的考察。题目类型建议多使用案例分析和情景判断题,测试学员在面对实际工作场景时能否做出正确的判断和决策。
行为层的评估是整个培训效果评估中最困难但也最有价值的一层,它直接衡量培训内容是否真正迁移到了日常工作中。行为层评估的核心方法是工作行为观察和对比,观察的时机应当在培训结束后二到三个月的期间内进行,因为新行为的固化需要时日,过早观察学员可能还没有养成新的工作习惯,过晚观察则可能培训效果已经衰退。行为层评估的方法包括直接上级的观察评价、同事的工作协作互评、涉密管理人员的日常操作检查和涉密信息系统操作日志的数据分析等。评估的内容应当聚焦于学员在培训中学习到的具体行为是否有在后续工作中得到体现,例如培训后员工在发送涉密邮件时是否更加注意密级标注、处理涉密文件后是否及时归档锁柜、离席时是否及时锁屏电脑等。
结果层的评估是培训效果评估的最高层级,衡量培训对企业整体绩效指标的实际贡献。保密培训的结果层指标主要包括企业涉密事件的数量变化趋势、保密检查中的问题整改率变化、员工保密违规行为的发生频次变化和员工主动举报保密隐患的积极性变化等。结果层评估的难点在于如何排除其他因素的干扰,将结果的变化合理地归因于培训的效果。企业业务规模扩大可能导致涉密事件数量的自然增长,制度和流程的完善也可能导致保密检查整改率的变化。结果层评估更多地是提供一个长期的趋势观察框架,不宜过度追求精确的归因分析,而是关注整体趋势是否向好。
培训效果评估的分层实施需要投入的管理成本与评估层级的深度成正比。反应层评估成本最低,可以在每次培训后常规化执行。学习层评估需要组织前測和后测,也属于中等成本可以在重点培训项目中实施。行为层评估需要投入更多的人力和时间进行数据采集分析,建议每季度或每半年选取一到两个重点培训项目进行深度行为层评估。结果层评估需要建立长期的量化指标监测体系,每个年度或半年度进行一次数据汇总和分析,与培训投入进行关联分析。
培训效果评估最大的实践难题往往不是评估方法本身,而是评估数据的采集连续性和质量保障。很多企业做了一次培训评估后没有形成常态化的数据采集机制,等到需要对比分析时发现上次的数据已经找不到了或者上次的数据格式与本次不兼容。企业应当建立培训效果评估的数据管理系统,对每次评估的数据进行标准化的存储和管理,包括学员信息、培训项目信息、前测成绩、后测成绩、满意度评分、行为评估结果和业务指标数据等。数据管理系统的建设可以从简单易行的开始,先使用电子表格模板进行数据规范化记录,条件成熟后再升级为专用培训管理信息系统。
培训效果评估的目的不是为了证明培训做得好或者证明培训投入值得投入,而是为了持续改进培训的内容、方法和策略,让未来的培训做得更好。企业保密管理部门应当每年至少编制一次培训效果评估年度报告,将各层级评估的数据进行汇总分析,找出培训工作中的薄弱环节和改进机会,形成下年度保密培训计划制定的重要参考依据。
北京企密安信息安全技术有限公司 010-63711822 jess@baomiwang.com






