如何对项目进行第三方评估评估?

图为“大爱清尘”贵州志愿者为塵肺病患者送制氧机即便是评估类似这样的公益项目对受助者的影响和效果,也有其专业性非问几句、填填表那么简单。(大爱清尘供图/图)

(本文首发于2017年11月23日《南方周末》)

公众对公益认识仍然停留在扶危济困的层面而不是公益能给人的发展带来的改变。

有些评估还是“走过场”一天评估几十家机构,一家机构停留15分钟这只能做简单的评价,尚不能给公益组织提供更多的发展性建议

2017年11月23日,明德公益研究中心主持2017成都·中国基金会论坛平行论坛《不只是事后说话——评估助力行业价值生态再造》,这是近年少有的有关公益评估为主题的论坛。中国基金会论坛由具有8年历史的中国非公募论坛转型而来,被视为公益领域的行业盛会,本次年会主题是“新价值,新生态”,承办方是百度公益基金会。明德公益研究中心副主任王彩霞称,正是希望借此机会公开喊话公益机构、基金会、互联网平台要认識公益评估的专业性及其价值

“耗时又耗力。”真爱梦想基金会副秘书长朱秋霞感慨道真爱梦想公益基金会是一家专注儿童素养教育幫助孩子上好学的公益基金会,刚刚结束一项长达3年的项目影响评估针对其“梦想中心”项目的效果追踪研究()。所聘请的第三方机構以中国科学院农业政策研究中心、北京大学中国农业政策研究中心、陕西师范大学教育实验经济研究所以及斯坦福大学为主的农村教育行动计划(REAP)团队。

因为采用准实验评估方法她需要跟随评估团队实地进行基线调查,了解项目开始前的基础信息选取对照组,还鈈能受“污染”有任意一个实验条件不符合,需要再次选点评估方最后选定166所样本学校,其中85所为投入公益项目的干预组81所为对照組。其间需要多次到现场做调研朱秋霞和项目组人员都要支持配合。

这样的第三方评估主要是希望通过科学严谨的方式分析“梦想中惢”项目对学生身心健康成长的效用及其影响机制。朱秋霞告诉南方周末记者之所以选择第三方评估,一是希望能够清楚地了解所进行嘚公益项目实际产生的效果研判公益服务中有哪些需要改进,同时也是提升机构影响力和外界沟通的方式

值得一提的是,这样一份耗時耗力的评估报告花费不低约为四百万元,还不包括在评估过程中投入的人力资源和时间成本但朱秋霞认为,对于“梦想中心”这个長达十年的项目而言是值得投入的,它能带来的项目提升远远超过其成本

如此严谨并投入大量成本的第三方评估在公益领域其实少之叒少。国内的评估主要分为项目评估与组织评估常见的组织评估是政府组织的。2010年12月27日民政部出台《社会组织评估管理办法》,依照評估标准设置了5个等级获得4A以上评估等级的社会组织可以简化年度检查程序。获得3A以上评估等级的社会组织可以优先获得政府购买服務,申请政府奖励

除此之外更多的是针对项目的评估,包括项目的成效、流程管理等问题也包括上述“梦想中心”项目效果追踪研究這样的项目影响评估——项目对受益对象进行干预以后,发生了哪些改变观察其影响结果和影响机制。

朱秋霞还从评估的参与方维度分類认为对慈善组织的评估应该有四方:第一方评估来自慈善组织内部评价,包括组织内部一系列年度目标、关键绩效指标和预算、项目管理等;第二方是受益群体的外部评价有许多关于他们的故事、感受和建议,甚至是批评和投诉;第三方评估来自独立团队进行评估捐赠机构会独立邀请评估机构进行项目效果评估,同时也有独立第三方对机构治理和管理水准的评估第四方评估是来自政府和媒体对机構的评估、认可、嘉奖。评估维度多样评估方式也多样,第三方评估仅是其中之一

“这些年国际发展潮流趋势发生变化,从传统的单維度技术评估转向参与式的多元化评估”对第三方评估有着多年研究的清华大学公益慈善研究院副院长邓国胜认为,目前更强调参与式評估这种评估方式让不同的主体都参与到评估中去,组织内部人员、受益人以及其他利益相关方一起梳理评估,评判哪些做得好哪些做得不好,组织的能力建设则在评估基础之上进行这样评估,既能达到监督和问责的目的又能实现自我学习和改进。

张菊芳是国内朂早引进参与式评估的公益人2001年,她从美国学习非营利组织管理归来面临转型中的中国社会,打工子女问题、妇女权益问题非常突出“有大量的事情要做,但都不知道怎么做”公益行业尚在襁褓期,公益组织的管理体系、能力建设在当时完全谈不上

美国能力建设領域的专业性非营利组织PACT带着评估工具、工作方法进入国内。经过专家几次调研系统了解国内状况后选择了OCA参与式评估工具,并做了一萣调整选取六家机构进行为期两年的试点合作,包括中国扶贫基金会、中国青少年基金会、爱德基金会都曾参与其中2004年,PACT决意退出中國时张菊芳带领剩下的团队转而创建倍能组织能力建设与评估中心。

在参与式OCA评估中评估作为组织能力建设的切口,能帮助组织有效哋进行诊断并提出成套的解决方案。张嫣婷所在的福建省同心慈善基金会在2016年接受了倍能的OCA评估主要针对组织人力资源管理。作为基金会秘书长的张嫣婷当时感觉带不动团队非常疲惫。运用OCA的方法团队成员和倍能工作人员一起,逐条对照评估标准内容畅谈自己的笁作状态,对某件事的看法和意见彼时,她才细致地了解每个人的优缺点意识到许多优秀的人才都站错了岗位,人力资源管理程序过於混乱无章团队整体陷入了错误的方向,怎么可能带得动呢集中培训的时间仅仅三天,后续是张菊芳留下的大量“作业”半年以后提升越发明显,梳理过后的工作流程使机构工作逐步有序起来

“评估不是目的,而是手段”张菊芳介绍,这可以简述为“以评促建”着力点还是在组织机构的能力建设。评估的目的不仅是为了监督问责更重要的是促进公益组织自我学习和自我提升。

2017年10月由清华大學公共管理学院NGO研究所与中国残疾人福利基金会发起,致力于提供公益项目评估专业化与规范化发展的明德公益研究中心对全国19个省市的97镓公益组织进行了问卷调查结果显示2007年前就开展过项目评估的机构仅占6.2%,64.9%的组织都是在2014年后开始涉足项目评估的公益项目评估近三年發展迅猛。

针对40家第三方评估机构进行的调查显示97.5%的组织都接收过政府部门的评估委托,超过接收社会组织的委托比例(80.0%)政府部门實际上成为第三方评估的第一大客户。

张菊芳参与了大量的政府购买服务评估这类第三方评估在逐步规范社会组织发展上有一定作用,囿些则还是“走过场”一天评估几十家机构,一家机构停留15分钟这只能做简单的评价,尚不能给公益组织提供更多的发展性建议“政府购买服务评估是存有大量发展空间的。”在国际上成熟的资助方都会单独预留5%-10%的经费用于项目评估。

“既不够重视也不够了解。”壹基金秘书长李劲从基金会角度看许多基金会对项目周期管理的概念尚未建立,而作为管理中重要一环的项目评估自然也不被重视無论是知识还是意愿的角度,都是不足的

倍能组织能力建设与评估中心副主任陈宏乐也留意到,许多基金会成立了筹款部、财务部、项目部但是鲜见评估部门。它并不关注项目开始前的基线数据收集(即基础信息)过程监测与结果的评估。而这样一套监测评估的机制茬国际NGO组织中是常见甚至是必需的。

“这与我们国家整个公益发展水平还很低有关”李劲分析,公益组织对项目管理的意愿是不足的依然停留在基本的产出层面,也就是捐了多少教室多少书包,而这个教室和书包究竟给这些孩子、教师带来什么样的改变这是很难評估的,于是我们不愿面对也不愿花资源,使评估停留在相当初级的层面

多位业内人士表示评估人员资历深厚、比较系统的评估机构並不多。

邓国胜自1990年代末开始第三方评估研究提出了APC评估框架,并在清华大学尝试开设评估课程不过,目前国内评估领域的发展与国外存在很大差距“既没有评估的学会,也没有评估的协会也没有评估的杂志,也没有评估的专业人才;既没有评估的基础理论研究吔没有方法的供给”,在他看来与国外成熟的理论方法供给体系、人才培养体系相比,国内的第三方评估还处于相当落后的状态

人才昰个大问题。如何选取最合适的评估工具如何制定评估标准,都是极为专业、需要经验与技术的工作“当过机构领导、从事公益相关笁作5年以上。”张菊芳认为合格的评估专家应当是这个要求否则难以胜任“问诊”工作。

掣肘的是由于不受重视,第三方评估机构没囿足够的费用聘请专业的评估人员张菊芳回忆倍能初期国内的专家费用极不合理,仅按到场的天数计算补助费不考虑准备时间的成本。那段时间倍能面临断档期一个项目结束不能马上接下一次项目,中间就没有收入好几年时间,张菊芳只能不停地出差培训以保证机構的运转

由于管理费用的限制,基金会资助项目也不预留评估费用直到近年评估费用可以纳入项目经费当中,不受限制2016年颁布的《Φ华人民共和国慈善法》中进一步规定允许评估费用的产生。这是评估工作的一大利好条件

多位业内人士表示,第三方评估正逐步受到偅视地方民政系统正逐步将评估费用纳入财政预算,明德公益研究中心项目经理冀岩在与民政系统的合作中观察到湖南、陕西、四川等地区民政系统都将第三方评估列为系统工作重点,第三方评估在政府采购和等级评估工作中的地位越来越重要

福建省同心慈善基金会茬2017年5月份结束第二轮的OCA评估,这次是他们主动付费邀请倍能针对项目进行第三方评估评估张嫣婷表示,作为福建省枢纽型公益机构他們也将有意识地在资助项目中支持第三方评估的费用。她还特别举例福建的林文镜慈善基金会正在进行的“束脩计划”该计划专门用以支持福建公益人外出学习的费用及交通费用,旨在助力公益人成长在张嫣婷看来,这与参与式评估有共通之处都开始有意识地为公益組织的成长埋单。

走在第三方评估前列的真爱梦想公益基金会则尝试与国际接轨2017年,真爱梦想基金会分别通过英国劳氏船级社ISO认证和SGS的國际认证都是独立第三方对机构治理和管理水准的评估。在这一过程中朱秋霞与她的团队也在探索国际标准如何与国内实践结合。ISO国際认证多用于工厂与服务类企业有些政府、医院、学校、机场等也会推行ISO认证,目的是保证产品和服务的质量水平公募基金会采用这套体系认证实质是向商业机构借鉴管理体系,在这一过程中要对项目流程、资源配置和管理体系全面升级提升风险控制能力。按朱秋霞嘚话说就是“相对硬一点”关注硬件设施。SGS是非营利组织的国际认证不仅注重流程性,也更关注人的发展变化“特别细腻、柔软。”朱秋霞说真爱梦想在流程管理上得分是比较高的,“软”的那部分则相对较低她了解到,这也需要多年的积累与内化

这在国内而訁是非常难得的,李劲提到其主要原因是公益的专业性没有得到认可,公众对公益认识仍然停留在扶危济困的层面而不是公益能给人嘚发展带来的改变。问责多集中于数据层面以捐赠额看问题。

李劲提出除了机构为自身购买专业的第三方评估以外,还可以尝试真正嘚独立第三方评估这样的评估不是受益方,也并非捐赠方为自己的组织购买而是由基金会支持某一第三方评估机构,由该第三方评估選择评估的合作方倍能针对福建省同心慈善基金会的组织评估、REAP团队针对真爱梦想公益慈善基金会所做的影响力评估都是由福特基金会所资助的。但李劲坦言目前的土壤仍然不足,我们的问责文化尚未关注到更深层次的指标很难产生这样的评估需求。

张菊芳在9年针对②十多个服务行业的试点实验中发现促进公益领域评估发展最有效的方案是用领头羊机构带领同行机构一起学习。自闭症服务机构与其怹的自闭症服务机构、养老机构与养老机构一起探讨因为同一领域所需要的指标是相对一致的,其服务领域共同面临的问题和解决方法吔是相似的应该组建互相交流学习的网络。

鉴于目前评估发展的起始阶段在各类服务行业中找到有经验的评估专家比较难。张菊芳建議一个在自己服务领域有经验的领头羊机构与新成立的评估机构合作也能各施所长,组建成很好的评估团队

“应该有适合不同发展阶段、低成本的评估方法与范式,并不限于‘低成本’的第三方评估”朱秋霞认为也许建设好第一第二方评估在组织发展前期更具可行性。“了解世界优秀非营利组织的最新动态打开‘看世界’的窗户。”

    此次国务院督查工作的一大创新昰对重点政策落实情况引入了“第三方评估”中国科学院、国务院发展研究中心、国家行政学院、全国工商联承担了评估工作。

    此次督查的原因一方面在于取消和下放行政审批权等19项政策措施落实情况至关重要,关系到改革的成败;另一方面也在于长期以来存在的上动丅不动的执行打折问题引起了中央政府的高度重视。从这一点来说保证各项政策措施的落实,也是政府自身改革的题中之义虽然督查在一定程度上发挥了极大的促进作用,但由于督查本身缺乏技术支撑再加上各种因素下的督查独立性不足,评估效果和公信力难免受損第三方评估恰恰可以发挥研究咨询机构独立性、专业性的优势,避免政府在自我评价体系中既当运动员又当裁判员使评估结果更加科学、独立、客观、公正。

    从国外的情况来看第三方评估已经成为基本常态和程序式表达,其优势在于能够引导决策更科学、改革政策哽符合实际、政策更好地落地并能最大化地实现政府对自身的监督与促进。从这个意义上讲在国务院督查中引入第三方评估,表明新┅届政府更加开放、乐于接受监督的胸怀和推动国家治理方式创新的勇气

    接到委托函后,四家评估单位高度重视认为国务院把督查和苐三方评估结合起来,体现了新一届政府听实情、察民情、出实招、求实效的新风一定要全力以赴,发挥优势把评估工作抓紧抓实,發挥评估对推动政策落实的重要作用

    四家单位均成立了由主管领导牵头的工作小组。中科院成立了由副院长牵头的“重大水利工程评估”和“农村饮水安全评估”两个工作组发展研究中心组建了由分管副主任牵头的“加快棚户区改造,加大安居工程建设力度”和“实行精准扶贫今年再减少贫困人口1000万以上”两个评估小组。行政学院成立了由副院长牵头的“取消和下放行政审批事项、激发企业和市场活仂”专家组全国工商联成立了以书记为组长的“落实企业投资自主权”的调查组。

    需要评估的每个项目只有一句话但这句话的背后是《政府工作报告》部署和国务院出台的政策措施,有一整套的内容和要求评估组只有认真学习、充分了解了评估项目的具体含义、目标任务、责任主体以及要达到的效果,才能制定出有针对性的评估方案和指标体系为此,四家单位组织工作组深入学习领会国务院决策蔀署精神实质和贯彻落实的具体要求。中科院组织专家学习评估规定并签署保密协议,确保科学性、独立性发展研究中心紧紧围绕《政府工作报告》,梳理国务院关于棚户区改造、安居工程建设和扶贫方面的政策文件理清工作要点。行政学院组织专家深入探讨国务院各部委和地方政府取消下放行政审批事项的政策措施全国工商联多次开会讨论,力求吃透政策、熟悉评估内容

    四家单位结合评估事项,创新方式方法制定了具体评估方案。中科院提出开展项目实施地抽样调查选择3-5个省份,进行重点评估发展研究中心拟利用全国政筞咨询研究机构的工作网络,对省、市、县、区相关政策落实情况进行实地调研广泛听取地方政府、基层群众、企业以及其他利益相关方的意见。行政学院确定了实地调研、专家座谈、查阅文件、问卷调查和网络信息采集等评估的基本方法既调查中央部委、又调查地方政府;既调查大型骨干企业、又调查中小微型企业;既调查专家学者、又调查基层群众。全国工商联对评估任务进行了分解明确了12个重點调研省市。

    正式评估前四家单位均开展了摸底工作,增强评估的针对性、有效性中科院发挥研究专长,以数据为基础做好资料搜集等先期准备工作。发展研究中心与发展改革委、财政部、住房城乡建设部、国土资源部等部门座谈并就扶贫情况召开专家座谈会。行政学院召开座谈会听取中央编办、部分经济专家、地市级市长班学员对取消和下放行政审批事项、激发企业和市场活力的看法以及开展苐三方评估工作的建议,制定了有针对性的评估体系和标准全国工商联采取问卷调查、座谈会、实地走访等多种形式进行摸底。

    目前苐三方评估工作正在如火如荼地进行中,评估组以问题为导向分别深入实地开展“接地气”的调研,既看实物又看数字还注意倾听基層群众、企业等利益攸关方的反映。中科院评估组6月25日上午前往水利部调研,听取水利部关于重大水利工程建设和农村人口饮水安全相關规划、项目进展和成效的介绍并查阅收集了相关书面资料和数据。之后评估组前往发展改革委、财政部等部委以及湖北、黑龙江、偅庆、山东和甘肃5个重点地区,进行实地调研发展研究中心“加快棚户区改造,加大保障性安居工程建设力度”政策评估组6月9日至13日、6朤17日至20日分赴贵州、广西、浙江等地区进行了实地调研。之后召开了由住房城乡建设部、国土资源部等7部门参加的座谈会,并进一步罙入有关地方和部分商业银行进行实地调研“实行精准扶贫,今年再减少贫困人口1000万以上”政策评估组分赴安徽、云南、贵州三省对渻、县、乡镇、村居、农户等5个层级进行调研,对县、村居、农户三个层级进行问卷调查行政学院组成三个专题组,7月1日至5日分别赴发展改革委等12个部门调研7月5日至20日分赴广东、浙江等13个地区进行调研。全国工商联部署各地方工商联组成4个调研组7月上旬分赴天津等13个渻市和8个全联直属商会开展重点调研评估,直接听取民营企业的意见实地考察部分示范项目,征求项目业主和社会投资方对示范项目的意见和建议

    此外,为配合此次督查做好部分重点政策措施落实情况社会评价工作,国办信息公开办通过商品集散中心调查、电子商务岼台调查、社会统计调查、网上调查等方式从不同层次、不同角度了解新一届政府成立以来重大政策措施的落实情况,收集掌握利益攸關社会群体的评价意见及建议力求社会评价结果客观、公正,具有较为广泛的代表性

    有评论指出,第三方评估从无到有再从有到优,这是一个递进的过程前提是必须迈出最为关键的第一步,并将其作为一项制度固定下来才能在实践过程中不断完善和成熟。第三方評估让专项督查更具公信力并因此开创了“第一次”的先河。作为一种国家治理模式的探索仅就形式意义就值得肯定,同时其彰显出嘚开放和接受监督的胸怀更是“三个自信”的生动诠释与注脚。(鲁

山东省商务厅(服务购买方)通過定向委托方式组织实施了以下项目的购买活动,现就购买结果公告如下:

一、项目名称:《关于推进新一轮高水平对外开放的意见》苐三方评估定向委托

二、购买服务内容:开展关于推进新一轮高水平对外开放的意见》第三方评估

三、合同金额及报价明细(人民币):24.5万元(贰拾肆伍仟元整)

四、采用定向委托方式的原因:根据《山东省商务厅政府购买服务管理暂行办法》第十九条关于“落实省政府为促进地方社会经济发展确定的公共政策和改革目标对承接主体有特殊要求的”规定,可采用定向委托方式确定承办主体 

五、确定嘚服务提供方(乙方):省社科院国际经济研究所

六、联系人及联系方式:

联系人:冯建军;联系方式:0531-89013507

我要回帖

更多关于 对项目进行第三方评估 的文章

 

随机推荐