作者：张毅
文中在分析安全生产标准化评审发展瓶颈的基础上，提出应用元评估于安全生产标准化评审的构想。通过对安全生产标准化评审方案的设计、评审过程的实施，以及评审结果的使用等评审活动要素进行评估，建立安全生产标准化元评估标准和元评估指标；并以2014年上海市交通运输企业水路运输行业安全生产标准化试点工作为例，探讨了安全生产标准化元评估的实施过程。理论和实践研究结果表明元评估可以规范安全生产标准化评审体系，为安全生产标准化评审实践的改进和完善提供依据，促进安全生产标准化评审单位专业化发展。
1 安全生产标准化元评估理论
1.1 安全生产标准化元评估的提出
安全生产标准化评审是以安全生产标准化活动为评估对象，对其进行价值判断。在安全生产标准化评审活动中，从建立评审制度，构建评审的组织体系，建设评审专业队伍，到确立评审目标，制订评审方案，研制评审指标体系，明确评审标准和信息采集分析方法，产生和使用评审结果，都显示出安全生产标准化评审是一个多层次、多环节、非线性的系统．并且与安全生产监督决策者、评审组织单位、评审单位、从业单位、从业人员和社会各界都存在各种程度的关联。
安全生产标准化评审作为一项多因素、多变量、非线性的复杂系统，系统论为安全生产标准化评审的研究提供了方法论的依据。从控制论的角度出发，安全生产标准化评审需要获得全面、系统的反馈信息，经过科学的汇总分析，与所要达成的安全生产标准化评审目标进行比较，促使安全生产标准化评审向着预先设定的目标不断改进，由此也引发了开展安全生产标准化元评估的思考。
然而在我国安全生产标准化评审业已广泛应用的今天，安全生产标准化元评估的缺失已经成为安全生产标准化评审事业发展的羁绊。建立一整套适合我国国情的安全生产标准化元评估制度和体系，是我国安全生产标准化评审迈向专业化发展的必经之路。
1.2安全生产标准化元评估的内涵
元评估就是所谓“第二级评估”，即对评估的评估。安全生产标准化元评估可以理解为：对于安全生产标准化评审活动、评审系统和评审机制的评估。即元评估是对正在实施或已经完成的安全生产标准化评审进行评估，将原评审作为评估对象，对原评审活动及评审人员的表现，进行价值判断，以期提升原评审的品质。安全生产标准化元评估在整个安全生产标准化评审系统中的作用，主要体现在控制安全生产标准化评审系统的有效性、可靠性、可行性和精确性中。
安全生产标准化元评估的主体不同，其关注点和作用也有所差异，安全生产标准化元评估的主体可以分为两类，一类是安全生产标准化评审实施者，即为了优化安全生产标准化评审过程，提升安全生产标准化评审质量，评审实施者可以在安全生产标准化评审过程中或者完成后，实施形成性元评估或总结性元评估，关注的是具体的安全生产标准化评审实施程序；另一类安全生产标准化元评估的主体是评审结果的使用者，如政府部门、评审组织者或研究人员，这类元评估更关注安全生产标准化评审的规划、设计、组织和绩效，这类安全生产标准化元评估的一个重要目标是保证安全生产标准化评审符合一定的评审目标、专业标准和基本原则，提升安全生产标准化评审的规范化和专业化。
2 安全生产标准化元评估标准和元评估指标
安全生产标准化评审活动的规范化、专业化、标准化的标志是建立适合我国的安全生产标准化元评估标准，这同时也是实施安全生产标准化元评估的关键。安全生产标准化元评估标准就是一套安全生产标准化评审行业或专业人员及研究者普遍认同的，在实施安全生产标准化评审时必须遵守的基本规范和要求，其对象是评审工作的所有过程，最主要的功能是指引及改进评审规划、评审设计和评审实施，并用于判断评审方案的品质与价值。同时，安全生产标准化元评估标准也是安全生产标准化元评估实践过程中制订指标的重要依据，是开展安全生产标准化元评估活动时不可或缺的重要工具。在安全生产标准化元评估活动中，就是依据安全生产标准化元评估标准的要求来衡量安全生产标准化评审的优缺点，继而评判安全生产标准化评审的质量优劣。
安全生产标准化评审应具有的以下5点特性：相关性，信息、资料和证据应与评审目的直接相关；可靠性，证据必须是能够证明和可信的；充分性，必须有足够的证据得出结论，其风险控制在可接受的范围内；代表性，所收集的信息和资料必须代表整个评审对象；及时性，必须衡量成本和时间。根据安全生产标准化评审特性，借鉴其他行业的元评估理论，安全生产标准化元评估标准应包含4类属性：适切性、效用性、可行性和精确性。适切性是要确保评审的恰当、公正和适切；效用性的目的是使评审过程和评审结果最大程度地满足利益相关方的诉求；可行性是期望提高评审的效率和效益；精确性是要旨在提高评审表述、建议和发现的可靠性和可信度，尤其是那些做出质量判断的评审结果的可靠性。
安全生产标准化元评估理论研究和实践探索的重中之重是依据安全生产标准化元评估标准，确定安全生产标准化元评估指标。元评估指标就是指，从评审活动的各个环节人手，依据元评估的目标，分解出反映评审活动品质优劣的具体、可操作的要素，体现评审活动本质特征的细化的、可测的主要因素，即对评审活动进行价值判断的依据。在制定元评估指标过程中，借鉴了美国的《教育方案、计划及教材评估标准》，该评估标准在评估专业学术界具有很高的权威性，各个行业在制订相关的评估标准时，也大多借鉴了这一指标框架，该框架已经成为世界各地的模版和范本。
安全生产标准化元评估指标共设有四个一级指标：目标适切性、方案可行性、过程精确性、结果有效性。各项一级指标又分解为不同数量的二级和三级指标，共有20个三级指标，见表1。
3 安全生产标准化元评估实践研究
安全生产标准化元评估理论适用于改进和完善安全生产标准化评审，不同行业的安全生产标准化评审活动在实施过程、操作程序和标准规范方面存在诸多相似的环节，基于这一理念，元评估实践研究对象的选取，更关注元评估意向的大小、评审利益相关者的关注度、以及评审项目的时效性、评审项目资料的丰富性和信息采集的可行性，而评审项目涉及的行业并不是重点。
2012年4月23日，国家交通运输部颁布了《交通运输部关于印发交通运输企业安全生产标准化考评管理办法和达标考评指标的通知》，规范交通运输企业安全生产标准化考评活动。元评估对象即选择2014年上海市交通运输企业水路运输行业安全生产标准化试点工作，通过安全生产标准化元评估的实践研究，从元评估的方案设计，到组织实施、结果应用，探究了安全生产标准化元评估的实施过程。
3.1 元评估方案
在元评估规划设计阶段，元评估实施者与委托单位共同商议元评估的目标定位，确立元评估所要解决的主要问题，以及识别元评估的各利益相关者。并在实施元评估之前，明确了元评估模式、元评估指标依据、相关的元评估工具表册、以及元评估的组织形式和人员安排。
在元评估实施阶段，元评估实施者与委托单位共同协商确定元评估的指标内涵、评定标准、实施准则或具体要求、信息收集等。
在元评估结果的产生和使用阶段，元评估实施者在汇总了元评估实施过程中所获得的相关信息之后，将对评审的各环节实施质量和总体的优劣做出评判，通过协商认可的方式，呈现元评估的发现和结论，并向委托方提供相应的改进建议和意见。
3.2 元评估方法及实施
元评估的信息采集方法采取内容分析法和问卷调查法。通过对评审文献资料重新分析的基础上，解释相关事物之间的关系和变化趋势；同时运用概率抽样方法抽取有代表性的样本或者总体，采用开放或封闭式的问卷，多方面采集被调查对象的主观评价和价值判断，据此分析或推断整个总体的态度倾向或主观感受，本次元评估问卷调查的对象包括评审对象（企业）的管理者和标准化工作人员，以及参与评审活动的评审人员和评审专家。评审对象的元评估调查问卷共有34个题目，涉及了自评工作、评审方案和指标、评审员和评审专家、评审实施过程和评审结果等5个方面；评审员和评审专家的元评估调查问卷共有40个题目，涉及了评审方案和指标、评审员和评审专家、评审实施和评审结果等4个方面。
由于安全生产标准化元评估是涉及各类人员，同时受众多因素影响的复杂活动，采用量化方法往往难以对安全生产标准化评审活动进行准确的价值判断，因此元评估的综合判断方法是对末级元评估指标（三级指标）采用定性分析法。在定性分析时，元评估者通过前述内容分析法，对安全生产标准化评审的工作方案、会议记录、评审文件等原始材料进行文本核对，系统分析评审是否依据评审目标，明确厘清评审依据、评审性质、评审对象、评审内容、评审周期、评审范围和评审结论型式等；同时通过问卷调查了解评审人员、评审专家、被评审对象对上述问题的认识和理解。在此基础上，综合有关信息对该三级指标的达成度进行定性评定，对安全生产标准化评审的优缺点进行分析描述。
元评估量化统计方法采用量表方法，汇总三级指标进行综合判断。具体地，对三级指标进行五等级定性评定和量化赋值，即达成度非常高计4分、达成度较高计3分、达成度一般计2分、达成度较低计1分和达成度很低计O分5个等级；并通过统计汇总、加权求和得到一级指标的量化分数；在此基础上通过参考Stufflebeam，D，L．在1999年编制的元评估检核表中的统计方法和引入百分位数的概念，按照百分位数进行等级划分(百分位数的划分点为93%、68%、50%、25%)，得到一级指标的元评估指标达成度和标准分，再将所有一级指标的标准分求平均数，同样通过百分位数划分为不同的达成度等级。
3.3 元评估结果及使用
通过对2014年上海市交通运输企业水路运输行业安全生产标准化试点工作进行系统分析，得到元评估结果如表2，综合4个A级指标的达成度，此次元评估指标达成度较高（标准分值74分）。归纳本次试点工作标准化评审存在的不足之处和改进建议，整个评审工作的实施具有较高的精确性，评审组织单位和评审单位能够通过有效的工作机制和技术方法，客观精确地对评审对象的情况进行评判，是评审工作中最有成效的部分。相对而言，目标的适切性是评审工作中的弱项，同时在评审方案的可行性和评审结果的有效性方面，也存在需要进一步改进问题。
需要指出的是，前述许多问题其实也是当前安全生产标准化评审实践过程中普遍存在的问题，而不仅仅是本次评审特有的不足，为此，诸如此类的质疑和困难还有待后续深入探究和解决。但是元评估结果验证了一点，元评估为发现和解决标准化评审问题提供了行之有效的工具和手段，安全生产标准化评审可以借助元评估的反馈不断改进和完善。
4结论
在安全生产标准化评审实践中，虽然主管部门始终强调规范安全生产标准化评审工作，提高安全生产标准化评审质量，但是认为标准化评审一定程度上缺乏科学性、规范性和专业性的负面观点也渐渐浮现，这也促使安全生产标准化评审领域对安全生产标准化评审活动本身的科学性、权威性和合目的性的深刻反省。本文从理论和实践的角度，系统地对安全生产标准化元评估进行分析。通过元评估，从管理角度主管部门可以实现从集中控制到“元评估”角色的转变，提升评审服务的公信力；从专业性角度评审组织单位和评审单位可以不断完善标准化评审，研究开发评审方法、工具和模式。但安全生产标准化元评估也存在其局限性，主要表现为有效的元评估需要建立在科学的元评估标准和元评估指标的基础上，而安全生产标准化元评估指标及其权重的选择需要专业学术机构或组织的权威支撑，需要安全生产标准化评审专家的智慧，有待通过Delphi法采集专家的代表性意见。
5摘要：安全生产标准化评审是评判安全生产标准化质量的重要手段，为了维护安全生产标准化评审活动的科学性、权威性和合目的性，需要对安全生产标准化评审活动本身进行评估。针对安全生产标准化评审工作，提出应用元评估方法，从目标适切性、方案可行性、过程精确性和结果有效性4项基本要素的角度，对安全生产标准化评审进行价值判断；并通过实践研究，从元评估的方案设计、组织实施到结果应用，全面探究安全生产标准化元评估的实现方式。结果表明，安全生产标准化元评估可以为安全生产标准化评审体系和实践的完善和改进提供依据。
