《财政支出方案绩效评价操作指南.pdf》由会员分享,可在线阅读,更多相关《财政支出方案绩效评价操作指南.pdf(64页珍藏版)》请在三一文库上搜索。
1、i 财政支出项目绩效评价操作指南 (试行) 海南省财政厅 2010 年 8 月 I 目录 1引言 1 II III 表 20 图 图 2-1 项目逻辑模型. 6 IV 专栏 1 1引言 1.1背景 2009 年 6 月 22 日,财政部发布了财政支出绩效评价管理暂行办法(财 预 200976 号) (以下简称办法) 。财政支出绩效评价自此有了统一的部门规 章。 办法对绩效评价的实施和管理提出了明确要求,对绩效评价涉及的各方 职责、评价内容、评价指标的确定、评价方法、实施程序、报告撰写和评价结果 应用作出了原则性的规定。 办法同时指出,各地可据此办法制定切合本 地实际的管理办法和实施细则。 为此
2、, 海南省财政厅参照财政部 国际金融组织贷款项目绩效评价操作指南 并在开展绩效评价试点的基础上, 组织编写了财政支出项目绩效评价操作指南 (以下简称指南) ,用以指导全省各级政府部门开展绩效评价工作。 1.2目的 本指南旨在向全省各级政府部门和评价人员开展财政支出项目绩效评价 (简称绩效评价 1) ,提供具体操作指导,从而帮助他们更好地理解、管理和实施 评价活动,并提高评价的规范性和质量。本指南有3 个主要目的: 帮助各级政府部门管理人员、项目实施人员和评价人员更好地理解并掌 握财政支出项目绩效评价的基本概念、一般准则、方法及其他相关知识; 帮助各级政府部门有效地开展绩效评价管理工作,并对绩效
3、评价进行质 量控制; 指导评价人员规范地实施绩效评价任务,从而提高绩效评价的质量。 此外,本指南还可以作为各级政府部门建立适合本地、本部门实际的绩 效目标管理系统的重要参考。 1.3内容 本指南包括 9 章内容。第 1 章是引言,主要说明指南编写的背景、 目的、内容及其使用。第2 章是绩效评价的基本概念,主要介绍本指南涉及 1 以下如无特殊说明,绩效评价均指的是财政支出项目绩效评价。 2 的定义、评价原则、准则、评价步骤等。第3、4 章是绩效评价管理,主要阐述 评价任务的组织和评价任务大纲的设计与编写。第 5-7 章是绩效评价的设计与实 施,重点介绍绩效评价的设计、 实施和评价报告编写。 第
4、8 章是评价结果的使用 与扩散,介绍如何使用评价结果, 如何进行评价结果的扩散。 第 9 章是绩效评价 的质量控制。 质量控制对于绩效评价非常关键,是评价管理者重要工作之一。质 量控制贯穿于绩效评价从设计、实施到撰写报告的全过程。 3 图 1-1 财政支出项目绩效评价操作指南框架 前期准备 (准备阶段) 确定评价任务 确定评价任务的实施模式(第3 章) 编制评价任务大纲(第4 章) 评价设计 (设计阶段) (第 5 章) 前期准备 开发绩效评价框架(核心) 形成评价实施方案 质 量 控 制 ( 第 9 章 ) 评价实施 (实施阶段) (第 6 章) 证据收集 质 量 控 制 ( 第 9 章 )
5、 证据整理 证据分析 绩效评级 形成评估结论、 经验教训和建议 报告结果 (报告阶段) (第章) 编写报告正文、摘要、附件初稿 绩效评价初稿 与利益相关者沟通 修改形成绩效评价终稿 结果使用和扩散 (使用和扩散阶段) (第 8 章) 质 量 控 制 ( 第 9 章 ) 4 1.4使用 本指南适用于办法中涉及的财政性资金安排的支出项目(以下简称 项目 2) 。本指南的使用者包括各级财政部门及其他政府部门中负责绩效评价 管理的人员、参与财政支出项目绩效评价的评价人员、咨询专家及其他相关人员。 本指南的内容针对不同使用者的需求进行了编排。第1、2、8 章适用于所有 使用者阅读和使用,第3、4、9 章
6、主要供绩效评价管理者阅读和使用,第5、6、 7 章则主要供评价人员、 咨询专家阅读和使用。 当然,我们鼓励使用者阅读完 指 南的全部内容,以便更好地理解并开展绩效评价工作。 2 如无特殊说明,以下“项目”均指财政性资金安排的项目。 5 2项目绩效评价的基本概念 2.1 绩效评价的定义 绩效评价的定义是开展项目绩效评价相关各方相互沟通和理解的一个基础。 本指南所称的绩效评级,是指财政部门和预算部门(单位)根据设定的 绩效目标,运用科学、合理的评价方法、指标体系和评价标准,对财政支 出产出和效果进行客观、公正的评价。 2.2 绩效评价的原则 客观、公正原则。应当依据绩效评价准则、关键评价问题等开展
7、评价活 动,确保评价结果的真实性。 科学、规范原则。绩效评价的设计应当具有科学性和可操作性,评价的 实施应该遵循规范的程序和方法。 可靠性原则。绩效评价应该既要报告项目成功的方面,也要报告项目失 败的方面。 目标导向原则。绩效评价以项目目标为导向,重点评价项目目标的相关 性、目标实现程度、相对于目标实现程度的效率、以及项目成效的可持 续性。 参与性原则。项目各利益相关者,包括项目管理方、项目实施单位、项 目受益群体、有关专家等,要尽可能地以适当方式参与到考评过程中来。 2.3 项目的逻辑模型 财政支出项目的设计都应使用逻辑模型。项目逻辑模型是一种理解从投 入到结果之间的因果关系的有效工具。项目
8、逻辑模型包括投入、活动、产出、成 效、影响 5 个关键要素。其背后的逻辑是:对一个项目投入一定的资源,以便其 开展必要的活动; 至少有一些活动会获得一些产出,比如产品和服务; 通过使用 这些产出应该会带来某种变化。 投入( Inputs ) :指用于项目实施的各种资源,包括人力、资金、实物、时 间和专业技能等资源。 6 活动( Activities) :我们所做的。指为实现项目目标而调动和使用各种资 源的各项行动和工作,活动可以使用动词来表述(开展、建设、培训、调研等)。 产出 (Outputs ) : 我们所生产的。指通过实施各项活动而产生的产品和服务, 是有形的, 可计算的。 比如为 50
9、 个人提供了医疗服务, 培训了 100 名小学教师, 修建了 100 公里公路。 成效( Outcomes ) :我们为何做。指通过使用项目的产出而带来的短期或中 期的直接效果,成效能够被增加、减少、增强、改善或维持。比如新修公路使通 行时间缩短, 提高了运输效率。 设定清晰的成效对于设计和构建结果导向的监测 与评价体系至关重要, 成效不能直接考核, 它必须转化为一组关键指标,这些指 标能够提供关于成效是否得以实现的信息。 影响(Impacts ) :指由成效累积导致的长期的或全面的变化,类似于战略目 标。比如运输效率提高降低了运输成本(成效) ,从而促进了当地经济的发展 (影 响) 。 图
10、2-1 以某培训项目为例,解释项目逻辑模型。 图 2-1 项目逻辑模型以某培训项目为例 2.4 绩效评价的准则 本指南采用以下4 个评价准则,即相关性、效率、效果和可持续性。 2.4.1相关性 相关性是指项目目标与政府的发展政策和优先重点、部门/行业发展规划以 及受益群体的需求的相符程度。 通过对相关性的评价, 可以检查项目设计和项目 投入活动产出成效影响 1. 资金 2. 人员 3. 物料供应 1. 培训 2. 教育 3. 咨询服务 1. 服务时数 2. 完成课程 的参加者人 数 1. 技能提升 2. 态度改变 3. 新的就业 机会 1. 培训者在5 年 内比那些没有接 受培训的人挣得 更多
11、 2. 接受培训的人 的生活水平高于 控制组 7 实施是否针对当地的实际需求,解决当地的实际问题。 2.4.2效率 效率是指资源 /投入转化为结果的经济性。效率评价的内容包括项目实施的 时间效率、资金使用、在使用既定资源下的产出情况、项目的经济内部收益率 (EIRR) 。 项目实施的时间效率考察项目是否按计划的时间开工、是否在计划实施周期 内完工。资金使用考察项目资金的使用是否按照预算执行。在使用既定资源下的 产出情况是指项目是否实现了所有的预计产出。项目经济内部收益率是指项目周 期内经济净现值累计等于零的折现率,是反映项目对国民经济和社会贡献的相对 指标。 2.4.3效果 效果是指项目目标的
12、实现程度, 它也表现为目标群体的受益情况。效果从项 目目标实现程度和项目瞄准度两方面进行评价。项目目标是在项目设计时的预计 成效,指通过一系列项目活动而要实现的结果,通常表现为对社会、 经济、社区、 目标人群所产生的积极作用。 项目瞄准度是指考察项目成果是否真正地被目标群 体享有。也就是说, 项目效果的评价不仅取决于项目实现预期目标的程度,也要 考察其成果(一般表现为项目提供的产品或服务)是否使目标人群受益。 2.4.4可持续性 可持续性是指项目完工后持续运行和发挥成效的可能性。它针对保障项目持 续运行并发挥成效的各方面因素进行评价,这些因素包括项目管理或运行机构的 持续性、项目产出的维护和利
13、用、制度保障等。此外,由于财政部门对项目还款 十分关注,可持续性还对项目还款能力进行评价。 2.5 绩效评价的步骤 绩效评价一般包括以下几个步骤, 每个步骤的详细内容和做法将在以后各章 进行阐述。 第 1 步:前期准备 前期准备包括确定绩效评价任务和评价组织实施模式(见第3 章) 、编制评 8 价任务大纲(见第4 章)等。 第 2 步:评价设计 根据评价任务大纲设计详细的评价实施方案,包括开发绩效评价框架、 选择 证据收集方法、设计面访、座谈会和实地调研等的问题清单、进行人员、时间和 经费安排等(见第5 章) 。 第 3 步:评价实施 按照设计的方案开展绩效评价,包括证据收集整理、 证据分析、
14、 形成评价结 论、经验教训和建议等(见第6 章) 。 第 4 步:报告评价结果 按照本指南附件 3 的格式编写绩效评价报告, 在此过程中要与利益相关 者进行沟通,并将他们的观点和意见吸收到评价报告中来(见第7 章) 。 第 5 步:评价结果使用和扩散 项目管理部门利用评价结果,用于解决问题、改进管理或为决策提供依据。 财政部门将评价结果与以后年度的预算安排进行挂钩(见第8 章) 。 9 3评价任务的组织 具体评价任务由财政部门以文件形式下达的年度评价计划确定。 3.1评价任务的组织模式 评价任务可以由管理部门 (各级财政部门和预算部门)组织实施, 也可根据 需要委托外部专业机构或专家进行,并与
15、其签订委托合同。无论采取哪种方式, 管理部门都应指派一名评价管理者,并要组建合格的评价小组实施绩效评价。 3.2评价管理者的职责 评价管理者应为熟悉被评项目的管理人员,应履行以下职责: 编写绩效评价任务大纲; 与评价小组进行充分沟通,使其完全理解评价任务大纲的每一项内容; 为评价活动提供必要的支持和及时的反馈; 监督评价活动的进展并进行质量控制; 对评价活动中出现的情况及时做出决策; 如委托合同需要变更,应与评价小组进行协商; 检查评价报告初稿是否符合合同和指南的要求; 对评价报告初稿提出反馈意见; 确保各利益相关者有机会对评价报告初稿提出意见和建议,并保证这些 意见和建议反映在评价报告终稿中
16、; 促进评价结果的使用和扩散。 3.3绩效评价小组 3.3.1评价小组应具备的知识和技能 不管是管理部门自己评价, 还是委托外部专业机构或专家评价,都需要成立 绩效评价小组。 评价小组是进行绩效评价的设计、实施和报告编写的团队。 评价 小组对于绩效评价尤为重要。 它是评价任务能否成功实施的关键因素。虽然绩效 评价需要的知识和技能因不同项目而异,但以下列出的知识和专业技能是评价小 组必须具备的: 10 绩效评价知识和技能:这是一种综合的能力,包括绩效评价理论知识、 方法和其他技能,如经济分析、统计分析、社会调查等。 沟通能力:沟通能力十分重要,它有利于与利益相关者进行友好沟通, 促进利益相关者参
17、与绩效评价并提供必要协助,并向不同用户有效地报 告评价结果。 组织协调能力:组织协调能力是保证绩效评价顺利实施的关键,包括组 织和调动各种资源、协调评价中不同任务的进展、控制评价任务在规定 的时间内完成。 行业知识:评价小组要熟悉项目所在的行业背景、发展状况、相关政策、 专业知识等。 了解当地情况:因为项目实施的成功与否有时取决于当地因素,所以了 解当地社会和文化背景很重要。评价小组还需要了解当地的发展政策、 优先重点、以及面临的主要发展问题。如果项目的目标群体还涉及少数 民族,还应该了解并尊重他们的生活习俗,以便更好地与他们进行沟通。 3.3.2评价小组的构成 评价小组由若干名评价人员组成。
18、评价小组成员不得与项目管理、实施、运 行等有利益冲突。 并不要求评价小组的每名成员都具备上述知识和能力,允许评 价人员各具专长, 通过互相补充、 互相学习而使整个评价小组具备上述知识和技 能,从而胜任评价任务。 评价小组必须指定一名评价组长。组长应该具备以下条件: 具有较为深厚的绩效评价知识和技能; 熟悉被评项目所在领域的相关政策、技术、管理等知识; 具有较强责任心。 评价组长应履行以下职责: 负责与管理部门沟通; 督促并协调评价小组成员的工作并管理日常工作; 在评价小组出现不同意见时充当协调人; 确保评价小组按照评价任务大纲实施评价; 编写评价报告并负责报告最终定稿。 11 4 编制评价任务
19、大纲 评价任务大纲( Terms of Reference ,TOR)是一个书面文件,它载明评价的 目的和范围、评价使用的方法、绩效评价或分析针对的标准、需要的资源、时间 安排和评价报告要求。每个项目绩效评价都必须编写一个评价任务大纲。 4.1 功能 评价任务大纲体现了管理部门对绩效评价的要求,是从评价任务组织到评价 结果使用与扩散的整个评价活动必须遵循的核心文件。评价任务大纲对于绩效评 价至关重要,主要发挥以下4 个方面的作用: 将年度评价计划中的任务转化成可操作的评价工作; 为评价小组进行具体评价设计和实施提供基础; 为各利益相关方对评价任务形成共识提供基础; 为评价管理者进行绩效评价质量
20、控制、核查评价小组任务完成情况提供依 据。 4.2 编写步骤 评价任务大纲由评价管理者根据确定的评价任务进行编写,编写评价任务大 纲一般包括 4 个步骤:前期准备、起草评价任务大纲初稿、与利益相关者沟通、 形成最终评价任务大纲。 4.2.1前期准备 编写之前要对项目进行必要的研究和分析,要明确评价目的,熟悉项目目标、 特点、实施和完成情况, 了解项目实施的社会经济背景,掌握项目现有数据信息 情况。 4.2.2 起草评价任务大纲初稿 在前期准备和估算用于评价的资源(包括经费、人员和时间)等基础上,编 写评价任务大纲初稿。 12 4.2.3 与利益相关者沟通 评价任务大纲初稿要与项目主管部门、项目
21、实施及运行机构、 行业专家等主 要利益相关者进行沟通,听取他们的意见和建议。 4.2.4 形成最终评价任务大纲 在考虑利益相关者的建议和意见基础上,修订完善评价任务大纲初稿,形成 最终评价任务大纲。 4.3 内容 高质量的评价任务大纲应该包括以下几部分内容:评价目的、 项目描述、 评 价范围、涉及的利益相关者、关键评价问题、方法、预期成果、评价小组、实施 计划、费用与支付、管理部门责任等。 4.3.1评价目的 评价任务大纲的第一部分要明确评价目的。评价目的要具体写明为什么要开 展此项评价,评价结果将如何使用,以及由谁使用。 4.3.2项目描述 对项目背景、项目目标、项目投入与活动、实施情况等方
22、面进行简要描述, 以便评价人员能够迅速了解项目基本情况。 项目背景:项目实施的国家层面和地方层面的社会经济发展状况,项目 所属的领域,所要解决的主要问题,如基本医疗卫生服务不足问题、城 市交通发展瓶颈问题、环境污染问题等。 项目目标:项目的预期产出和成效,如果项目设定了具体目标,还应描 述其具体目标。 项目投入与活动:项目投入金额和构成,为了实现项目目标而设置的项 目组成( Components )及其开展的活动( Activities ) 。 实施情况: 项目的实施周期 (从开工到完工),实施地点, 实施组织情况。 4.3.3评价范围 评价范围确定了绩效评价的广度和深度,包括时间范围、 地域
23、范围和收益群 体范围。评价范围往往与评价目的有关。 13 4.3.4涉及的利益相关者 项目往往涉及多个利益相关者,包括管理部门、 项目实施机构、 项目运行机 构、目标群体、社区等。要说明希望他们参与绩效评价的形式。上述描述是为了 使评价人员了解项目的利益相关者, 并尽可能从他们那里收集到绩效评价的有用 信息。 4.3.5关键评价问题 这部分要列出绩效评价想要回答的关键问题。关键评价问题是针对评价目 的,在评价准则基础上进行开发的。本指南列出了12 个必须回答的关键评 价问题(见第 5.2.1 节) 。管理部门根据需要,可以突出其中若干个问题,或补充 其他问题。 4.3.6方法 描述证据收集可能
24、用到的方法, 比如案卷研究、 面访、实地调研、问卷调查、 座谈会等。不同方法的成本不同, 在选择使用何种方法时要考虑绩效评价的预算。 具体方法由评价小组进行开发。 4.3.7预期成果 通过绩效评价管理部门想要获得的成果,如绩效评价报告、 评价进展报告及 其提交时间。如果评价成果要用于扩散(如研讨会),那么这部分还要描述评价 人员在成果扩散中应发挥哪些作用。 4.3.8评价小组 这部分要描述评价小组所需要的知识、能力和经验, 以及其他相关能力, 如 语言能力;还要描述建议的评价小组人数。 4.3.9实施计划 这部分说明评价任务将要开展的活动及时间安排,尤其是评价成果的提交时 间节点。这里主要列出
25、评价任务实施的关键时间节点和任务负责人,详细的实施 计划由评价小组开发。实施计划模板(见表4-1) 。 14 表 4-1 评价任务大纲评价任务实施计划模板 序号活动描述时间安排负责人 1 签订任务合同XX 年 XX 月XX 管理部门、评价小组 2 开发绩效评价框架XX 年 XX 月评价小组 3 形成评价方案XX 年 XX-XX月评价小组 4 评价实施XX 年 XX-XX月评价小组 5 提交报告初稿XX 年 XX 月评价小组 6 利益相关者反馈XX 年 XX 月XX 管理部门及其他利益相关者 7 评价报告终稿XX 年 XX 月评价小组 注:如果由财政部门自己开展绩效评价,这个步骤则省略。 4.3
26、.10费用与支付 这部分说明评价任务的预算费用和支付方式。 4.3.11管理部门责任 评价任务大纲要写明管理部门在绩效评价中的责任,包括管理部门要提供相 关项目文档,为评价小组提供必要的协调, 参与绩效评价实施过程中的某些活动, 如实地调研、座谈会和讨论,对绩效评价进行质量控制等。 由于评价任务大纲对绩效评价的成功实施至关重要,因此在公布最终评价任 务大纲之前,管理部门要对其质量进行检查(见专栏4-1) 。 专栏4-1 高质量评价任务大纲的核查问题清单 为什么要开展此项评价? 评价涉及了哪些利益相关者? 所提出的评价问题是否明确?是否所有问题都能被回答? 评价任务大纲是否提出了关于评价方法或评
27、价程序的硬性要求?这些要求是否合理? 是否有足够的资源和时间来完成评价任务? 在评价实施过程中,管理部门和其他利益相关者将为评价小组提供哪些必要支持? 管理部门对于评价报告的要求是否清晰? 评价小组能否根据评价任务大纲深化评价设计和实施评价任务? 评价任务大纲格式见附件1。 15 5 绩效评价设计 仅仅有高质量的评价任务大纲还不能保证绩效评价的成功实施。因为评价任 务大纲由评价管理者负责设计, 主要对绩效评价的关键要素进行说明,是绩效评 价实施的纲领性文件。 但是,绩效评价任务由评价小组负责具体实施,这就要求 评价小组要在对评价任务理解的基础上,将评价任务大纲转化为可操作的实施方 案,这才能保
28、证绩效评价的成功实施。因此,绩效评价的设计要基于评价任务大 纲,并主要满足评价任务大纲的要求。绩效评价设计的主要产出就是绩效评价框 架和绩效评价实施方案 。绩效评价设计流程见图5-1。在绩效评价设计的每 个步骤中,评价小组都要与管理部门进行沟通。 图 5-1 绩效评价设计流程 5.1 前期准备 前期准备包括尽量收集并熟悉现有的项目文件,与管理部门 (或委托方) 进 行沟通,了解他们的意图并理解评价任务大纲的内容。前期准备要查阅的项目文 件包括项目立项文件、项目实施计划、项目进展报告、项目中期检查报告、项目 完工报告、 项目工作总结等。 前期准备要形成绩效评价过程文件之一项目基础 信息表 (见表
29、 5-1) 。 前期准备开发绩效评价框架完成评价实施方案 熟悉项目文件 与管理部门沟通 理解评价任务大纲 内容 完成项目基础信息 表 开发评价指标 选择证据收集方法 形成绩效评价框架 评价任务分解 评价小组分工 实施时间安排 设计面访、座谈会、 实地调研问题清 单、调查问卷等 形成评价实施方案 16 表 5-1 项目基础信息表 一、项目概况 项目名称 项目类型根据项目预算管理办法对项目的分类填写 投资金额 其中:中央财政 省级财政 地方配套 金额以人民币为单位 实施周期按项目完工报告中实施周期填写 实施地点按 XX 省 XX 市 XX 县的格式填写 项目发展目标按项目立项文件中的目标填写,若项
30、目目标经过调整 且经过财政部门同意,还应填写调整后的目标 项目组成按项目立项文件中的项目组成简要填写 项目实施单位 二、项目背景 重点从以下几方面描述项目的背景,但不限于这几点,注意提取关键数据和事实: -项目的提出针对国家社会经济发展的哪些特定需求?(例如:与相关战略、政策或其 他重大项目的关系等) -项目的提出针对所在行业的哪些关键问题?(例如:解决空白问题、瓶颈问题、还是 在现有条件下改进提高) - 确定项目的具体内容以及选择项目实施地点的理由,或有哪些考虑? (例如: 该地区最 贫困,或具备实施条件,或估计影响较大等) 三、项目目标和活动内容 分别简述每一个项目组成部分的目标、投入、产
31、出和实施地点。 5.2 开发绩效评价框架 绩效评价框架是开展绩效评价的核心。绩效评价框架包括评价准则、 关键评 价问题、评价指标、证据、证据来源、证据收集方法等(见表5-2) 。 17 表 5-2 绩效评价框架结构 评价准则关键评价问题评价指标证据证据来源证据收集方法 相关性 效率 效果 可持续性 绩效评价框架中的术语解释如下: 评价准则:即第2 章第 2.3 节提到的相关性、效率、效果和可持续性4 个评价准则。 关键评价问题:用来将绩效评价聚焦于若干有限的关键方面,进而分析 和评判准则的工具,一个评价准则下可以有多个关键问题。 评价指标:定量或定性的因素或变量,是用来衡量成果、反映变化的手
32、段;这里,评价指标是用来回答关键问题的一种工具,一个关键问题下 可能有多个评价指标。 证据:用来对评价指标进行评判的各种信息,包括项目数据、事实、利 益相关者观点等。 证据来源:说明证据的出处,以便评价人员能够收集到所要的证据。 证据收集方法:绩效评价中用于收集各种证据的手段,如案卷研究、实 地调研、面访、问卷调查等。 本指南的宗旨是既要为评价人员提供操作性的指导,又要发挥评价人员 的积极性和专业技能,根据不同项目特点开发合适的评价框架。基于这种考虑, 指南根据 4 个评价准则设计出12 个关键评价问题。 这 12个关键评价问题是 每个项目绩效评价的共性问题,而评价指标留待评价人员根据不同项目
33、具体开 发。这样,统一的关键评价问题保证了不同评价都涉及了共同的关键绩效内容, 而个性的评价指标则体现了不同项目的特点。 如果管理部门还提出了其他的关键评价问题,评价小组可以根据问题的性质 18 归入评价准则当中; 如果不能归入, 可以放在评价报告第4 章需要说明的事项中 进行说明。 以下按照图5-2 的流程一步一步介绍如何开发绩效评价框架。 图 5-2 设计阶段绩效评价框架开发流程 5.2.1关键评价问题 本指南针对每个评价准则共设计出12 个关键评价问题,具体如下: 相关性 相关性包括 2 个关键评价问题: 问题 1.1:在评价之时,项目是否符合政府的发展规划、优先发展重点? 问题 1.2
34、:项目是否针对某一实际问题和需求? 问题 1.1 是评价项目的政策相关性。 即项目与当前国家、 行业发展战略、 优先重点的相符程度。 问题 1.2是评价项目与面临的问题和需求的相关性。它考察两方面内容。 首先, 在设计之时项目活动是否针对当时的实际问题。比如某农业发展项目, 当时当地农业发展面临的主要问题是农业用水严重缺乏(水源性缺水) 需要 引水灌溉,那么要评价这个项目设计的活动(比如建设水渠和水库) 是否针 对了上述问题。 其次,在进行绩效评价之时, 项目完工后提供的产出是否能 够满足当前的需求。 仍然以上述项目为例, 如果当地农业灌溉问题已经由水 源性缺水变成水质性缺水(即引过来的水严重
35、污染而无法用于灌溉),那么 项目建设的水渠和水库仍然无法满足当地农业用水需求。这说明项目与当前 当地的问题相关性不强。 效率 效率包括 4 个关键评价问题: 问题 2.1:项目是否按照计划的资金预算实施? 问题 2.2:项目是否按照计划的时间周期实施并完工? 问题 2.3:项目是否实现了所有的预期产出? 问题 2.4:项目完工后是否达到预期的经济内部收益率? 理解关键 评价问题 前期 准备 设计评 价指标 明确证据 及来源 选择证据 收集方法 19 问题 2.1 是评价项目的资金使用情况。它考察项目资金是否按照预算使 用,使用是否节约。对于完工项目,实际投入以项目完工报告中的为准;对 于正在实
36、施的项目,实际投入以项目年度进展报告中的为准。 问题 2.2 是评价项目实施的时间效率。它考察两方面内容,一是项目是 否按预期的开工时间开工, 二是项目是否在计划的时间周期内完工。项目的 预计开工时间和预计实施周期以项目评估文件/设计文件或项目实施计划中 的时间为准,实际时间以项目完工报告中的为准。 问题 2.3 评价项目产出的实现情况。一般项目会分成若干个组成部分, 每个组成部分包括一些具体活动。通过实施这些活动, 才能保证项目实现预 期产出(如产品、服务、设施等) ,而通过产出的使用,实现预期目标。这 里要评价项目是否按质按量实现了所有预期产出。 问题 2.4 考察项目的经济内部收益率。该
37、问题并非对所有项目都适用。 如果项目评估文件或项目完工报告中写明经济内部收益率对该项目不适用, 那么绩效评价就不对其进行评价。 效果 效果包括 2 个关键评价问题: 问题 3.1:项目是否实现了预期目标? 问题 3.2:项目的实际受益者是否是项目的目标受益群体? 问题 3.1 是评价效果最核心的内容。 如果项目目标经过修改并且获得财政部 门的批准,则应采用修改后的目标。 问题 3.2 是评价项目瞄准度问题, 只有项目的实际受益群体是项目计划的目 标受益群体,项目的效果才能充分体现出来,也才能说项目实施是成功的。 可持续性 可持续性包括 4 个关键评价问题: 问题 4.1:项目的管理和 /或运行
38、机构的设置、人力资源、技术能否满足项目 持续运行的需要? 问题 4.2:项目的产出能否得到持续地提供、维护和利用? 问题 4.3:项目运行所依赖的政策、制度能否得到持续地实施? 问题 4.4:项目财务是否可持续? 20 问题 4.1 考察的是项目完工后, 项目的管理机构和 /或运行机构能否保证项目 的持续运行。 问题 4.2 中的产出是指通过项目实施获得的基础设施、设备、教室、医院等 实物产出,以及培训、服务、技术支持等软产出。这个问题考察的是项目产出能 否持续地提供、维护和利用,以保障项目持续发挥作用。 问题 4.3 是考察制度或政策对项目持续性的保障程度,比如用水制度对水资 源保护和利用项
39、目十分重要, 如果用水制度没有得到持续地执行,那么项目的效 果也就无法持续。 问题 4.4 是考察项目投入运行后的收支情况或经费保障情况。 上述 12 个关键评价问题是针对一个完工项目而设计的;而对于正在实施的 项目有些问题不适用。 当然,对正在实施项目的评价, 评价小组也可以对其中一 些问题进行预测性回答, 并说明预测的理由, 以提醒管理者注意, 采取必要措施 保证项目的成功实施。表5-3列出了所有关键评价问题,并说明其适用的项目类型。 表 5-3 关键评价问题的适用性 关键评价问题 适用的项目 完工 项目 正在实 施项目 相关性 1.1 在评价之时,项目是否符合政府的发展规划、优先发展重点
40、? 1.2 项目是否针对某一实际问题和需求? 效率 2.1 项目是否按照计划的资金预算实施? 2.2 项目是否按照计划的时间周期实施并完工? 2.3 项目是否实现了所有的预期产出? 2.4 项目完工后是否达到预期的经济内部收益率? * * * 效果 3.1 项目是否实现了预期目标? 3.2 项目的实际受益者是否项目的目标受益群体? * * 可持续性 4.1 项目的管理和/或运行机构的设置、人力资源、 技术能否满足项目持 续运行的需要? 4.2 项目的产出能否得到持续地提供、维护和利用? 4.3 项目运行所依赖的政策、制度能否得到持续地实施? 4.4 项目财务是否可持续? * * * * 注:带
41、“”的问题对完工项目和正在实施的项目都适合,带“*”的问题表示对于正在实施的项目可以通 过现有的事实和利益相关者的观点进行预测评价,带“* ”的问题表示如果项目设计之时对经济内部收益 率没有计算,则对该项目不适用。 21 5.2.2开发评价指标 评价指标是针对关键评价问题而开发的,评价指标是回答关键评价问题的工 具。二者的关系如下:(1)有的关键评价问题包含了多项评价内容,需要用不同 的指标加以区分, 所以有的关键评价问题会包含若干个评价指标;(2)通过指标 收集回答关键评价问题的相关证据,避免收集过多的无关证据; (3)通过指标可 以体现具体项目的特点;(4)通过指标能够直观地对关键评价问题
42、进行分析,从 而得出关键评价问题的评价结果。 评价指标的开发至关重要, 它影响到其后证据及其来源的确定、证据收集方 法的选择和评价分析等活动。 专栏 5-1 列出了评价指标开发要遵循的原则。如果 评价指标没有满足这些原则, 将会影响到绩效评价的质量, 进而评价结果的应用 也将大打折扣。 专栏 5-1 开发评价指标的原则 开发评价指标的SMART 原则: 具体的( Specific) :指标定义清晰,不产生歧义; 可衡量的( M easurable) :有确定的评价基准对其进行衡量和分析; 可实现的( Achievable) :在现实条件下可以收集到相关证据; 相关的( Relevant) :指
43、标与对应的关键评价问题要相关,能够为管理提供有用的信息; 时限的( Time-bound) :具有确定的时间范围。 下面以辽宁城市交通项目(见专栏5-2)为例介绍评价指标的开发。 3 专栏 5-2 辽宁城市交通项目简介 辽宁城市交通项目的发展目标是提高城市交通系统的生产力,促进辽宁省沈阳市、抚顺 市和鞍山市的经济和社会发展。具体目标包括: (1)通过扩展高等级道路设施、改善次干道 和铁路交叉口、 打通断头路和道路拓宽,来改善道路基础设施瓶颈路段;(2)通过建设公交 走廊和乘客设施、引进先进公交维护设备,提高公交服务的效率和效果;(3)通过开发先进 的、可持续的路面管理系统,改进道路维修养护的投
44、资状况;(4)通过制定机动车尾气排放 控制策略( MVECS ) ,持续改善项目的投资环境;(5)通过交通示范项目的渠化、修建非机 动车设施、 设置信号和其他交通管理措施,改善道路系统的运营效率和安全性;( 6)通过考 察、技术援助和有针对性的培训,加强城市交通系统管理能力。 3 在本征求意见稿中使用的案例,将随着研究和试点评价的深入开展而进行完善。考虑到指南的权威 性和指导性,最终的指南可能会对案例进行修改,甚至采用新的更加完善和适合的案例。此处仅仅为 开发评价指标提供示例。 22 项目从 1999 年 12 月 28 日开始生效,于2005 年 12 月 31 日结束。项目总投入33795
45、 万美元,其中世行实际贷款金额14760 万美元。项目包括4 个分项目( component) :沈阳分 项目、抚顺分项目、鞍山分项目和技术援助(TA)分项目。沈阳、抚顺、鞍山分项目都包 含公共交通、交通管理、道路基础设计和道路养护4 个分子项目(subcomponent) 。具体资 金使用如下表所示。 项目实际使用经费统计表单位:百万美元 分项沈阳鞍山抚顺小计 公共交通2.31 8.00 1.98 12.29 交通管理18.03 5.51 5.97 29.51 道路基础设施33.21 97.92 64.12 195.25 道路维修养护49.63 24.06 21.72 95.41 技术援助1
46、.57 1.17 1.25 3.99 先征费0.65 0.45 0.40 1.50 合计105.40 137.11 95.44 337.95 注:截止到 2005 年 12 月的项目经费实际使用情况 数据来源:项目完工报告 相关性 开发相关性的评价指标之前, 要检查项目目标是否经过修改, 修改后的目标 是否得到批准。 如果项目目标经过修改且获得批准,那么应以修改后的项目目标 来开发评价指标。 表 5-4 相关性评价指标开发 -以辽宁城市交通项目为例 准则关键评价问题评价指标 相关性 1.1 在评价之时,项目是否符合政府发展 政策或优先发展重点? 项目与当前城市交通发展政策的相符程度 1.2 项
47、目是否针对当地的实际问题和需 求? 项目与当时项目市城市交通发展问题的针 对程度 项目对当前项目市城市交通发展需求的满 足程度 效率 针对效率的 4 个关键评价问题,评价小组首先要明确项目的计划和实际的实 施周期、项目的资金预算及使用情况、项目预期要开展的和实际开展的活动、项 目的预期和实际产出、 项目是否测算其经济内部收益率、如有预期值是多少。 然 后基于这些内容开发评价指标。 23 对于问题 2.3 要尽量使用项目评估文件或设计文件中的产出目标,如果评价 小组认为项目设计的产出目标存在重大缺陷,无法对产出进行客观地衡量, 可以 设计新的产出目标, 但要与管理部门、 项目单位协商, 并考虑证
48、据收集的难度和 成本。同时,要在评价报告第4 章需要说明的事项中加以说明。 表 5-5 效率评价指标开发 -以辽宁城市交通项目为例 准则关键评价问题评价指标 效率 2.1 项目是否按照计划的资金预算实施?项目资金使用与预算的一致性 2.2 项目是否按照计划的时间周期实施并 完工? 项目预期和实际的实施周期相符程度 2.3 项目是否实现了所有的预期产出?项目公共交通部分产出的实现程度 项目交通管理部分产出的实现程度 项目道路基础设施部分产出的实现程度 项目道路维修养护部分产出的实现程度 项目技术援助部分产出的实现程度 2.4 项目完工后是否达到预期的经济内部 收益率? 项目经济内部收益率(EIR
49、R)的实现程 度 注:该项目包括公共交通、交通管理、道路基础设施、道路维修养护和技术援助5 项活动, 因此,针对这5 方面内容设置产出指标。 效果 开发效果评价指标之前,要明确项目目标和目标受益群体是谁。对于问题 3.1 要尽量使用项目评估文件或项目设计文件中的效果目标。如果评价小组认为 项目设计的效果目标存在重大缺陷,无法对目标实现程度进行客观地衡量,可以 设计新的效果目标, 但要与管理部门、 项目单位协商, 并考虑证据收集的难度和 成本。同时,要在评价报告第4 章需要说明的事项中加以说明。 本项目效果目标分为若干个具体目标(Specific Objectives) ,并且每个具体 目标都设有评价指标,那么可以将问题3.1 按具体目标分解成若干个子问题,然 后根据子问题设计效果评价指标。 24 表 5-6 效果评价指标开发 -以辽宁城市交通项目为例 准则关键评价问题评价指标 效果 3.1 项目是否 实现了预期目 标? 3.1.1 项目是否实现 减少基础设施瓶颈 路段的目标? 交通走廊出行时间 3.1.2 项目是否实现 改进道路维修养护 投资状况的目标? 路面状况 维修养护预算 维修养护
链接地址:https://www.31doc.com/p-5099291.html