Оценка программ
Оценка программ (англ. program/policy evaluation) - аналитический инструмент или процедура, предназначенная для измерения прямых эффектов, результативности и долгосрочных последствий реализации государственных программ, отраслевых политик, оценки воздействия, а также программ развития, проектов некоммерческого сектора, корпоративных программ. Соответственно, "оценочное исследование" – междисциплинарное исследование, использующее экономические, социологические, политологические методы в соответствии с признанными открытыми стандартами («руководящими принципами») национальных и международных обществ по оценке.
В последние десятилетия под "зонтичным брендом" оценивания активно развиваются подотрасли, напр., "оценка воздействия" (оценка регулирующего воздействия, оценка воздействия на конкуренцию, оценка воздействия на окружающую среду как направление оценки в области экологии и устойчивого развития, оценка воздействия на бедность), оценка эффективности научных организаций, аудит эффективности и т.д.
Термин "оценка" используется в таких подходах как "политико-управленческий цикл" и "Управление проектным циклом".
Содержание
Основные задачи оценивания
- Спрогнозировать возможные последствия, результаты реализации государственной программы, воздействия законопроекта (на этапе разработки);
- Обеспечить обратную связь (т.н. «сопровождающие исследования»);
- Оценить степень достижения намеченных целей;
- Оценить, как и в какой мере наблюдаемые изменения связаны с проведёнными мероприятиями программы / политики;
- Предоставить в распоряжения заказчика доказательную информацию для усиления «политической поддержки» данной программы/политики.
Основные типологии оценивания
1. Логически-функциональная типология (основная статья):
- Предварительное (прогнозное) оценивание;
- Определение «оцениваемости» программы;
- Сопровождающее оценивание (мониторинг);
- Итоговое (суммирующее) оценивание ;
- Мета-оценивание (оценка проведённых оценочных исследований в данном секторе).
2. Типология по способу организации оценки (основная статья):
- Внутреннее оценивания / само-оценивание;
- Внешнее оценивание.
3. Типология по исполнителю работ (основная статья):
- Академические (научные) оценочные исследования
- Контрактные (коммерческие) оценочные исследования.
Практические этапы и основные методы оценки
- Договориться с сопричастными лицами о целях и выгодах от проведения оценивания;
- Прояснить объект оценки, условия проведения и постановку вопроса;
- Составить план и методический дизайн исследования;
- Осуществить сбор, ввод и измерения релевантных данных;
- Сделать выводы и интерпретировать их;
- Направить заказчику предварительный вариант отчета для комментариев;
- Подготовить финальный вариант отчета с предложениями о применении результатов оценки.
Методы оценки:
- Проведение экспертных и глубинных интервью (основная статья);
- Проведение опросов (основная статья);
- Статистические исследования (основная статья);
- Анализ издержек/выгод (основная статья);
- Эконометрические подходы (основная статья);
- Анализ документации, в том числе финансовой (основная статья).
Методологические сложности оценивания
- Трудности в определении целей, особенно вследствие того, что мероприятия реформ проводятся, как правило, не по отдельности;
- Трудности в переводе целей в измеримые показатели;
- Сложности в получении достоверных эмпирических данных для описания показателей, чем более значим показатель, тем сложнее получить данные;
- Чем более отдалена цель, тем сложнее придать показателям конкретную форму;
- Сложность прогнозирования побочных эффектов и непреднамеренных последствий.
Для преодоления этих сложностей используются следующие ходы:
- Оценка с опорой на факты / сопровождающий мониторинг;
- Использование смешанных методов (количественные, качественные, статистические, peer review, анализ издержек-выгод и т.д.);
- Формирование исследовательской команды из представителей различных секторов (экономисты, социологи, политологи, отраслевые эксперты);
- Адаптация лучшего иностранного опыта к местным реалиям / бенчмаркинг.
Волны внедрения оценивания за рубежом
- «Первая волна» (1960-е гг.) – фокус на итоговое оценивание масштабных национальных приоритетных программ;
- «Вторая волна» (с середины 1970-х) - в результате бюджетного кризиса больший упор делается на сокращение государственных расходов;
- «Третья волна» (с 1990-х) - волна административных реформ, оценка закрепляется законодательно;
В настоящее время за рубежом оценка - сложившаяся индустрия на растущем рынке, с начавшейся специализацией компаний, с профильными кафедрами, магистерскими программами, аспирантурами, профессиональными журналами, издательствами, национальными и международными ассоциациями, создавшими стандарты оценки.
Стандарты и принципы оценивания
- Program Evaluation Standards Объединенного комитета по оцениванию в образовании, США (2007 г.);
- Guiding Principles for Evaluators Американской ассоциации по оцениванию (2004 г.);
- Evaluations-Standards Германского Общества по оцениванию (2004 г.);
- Evaluations-Standards Швейцарского Общества по оцениванию (2000 г.);
- Good Practice Guidelines Общества по оцениванию Великобритании (2003 г.);
- La Charte de l'Evaluation Общества по оцениванию Франции (2006 г.);
- Принципы оценки Международной Сети «Оценка программ» (2000 г.).
Международные и национальные ассоциации оценивания
Сегодня в мире насчитывается около 60 профессиональных сообществ, которые работают в сфере оценки. Их количество и число их членов продолжает с каждым годом увеличиваться. Наиболее быстрое развитие происходило в последние 8-10 лет.
- Американская ассоциация по оцениванию;
- Германское Общество по оцениванию;
- Швейцарское Общество по оцениванию;
- Общество по оцениванию Великобритании;
- Общество по оцениванию Франции;
- Европейское общество по оцениванию;
- Международная сеть "Оценка Программ" (действует в СНГ с 2000 года);
- Австрало-Азиатское общество оценки;
- Африканская ассоциация по оценке;
- Латино-Американская и Карибская сеть по оценке;
- Международная организация по сотрудничеству в области оценки (IOCE), создана в 2003 г.;
- Международная ассоциация оценки развития (IDEAS), создана в 2005 г.
Для обмена опытом оценивания, предоставления широкому кругу заинтересованных в оценке лиц актуальной информации о новых методах, результатах проведения оценок различных программ и политик, международные и национальные ассоциации оценивания выпускают профессиональные журналы по оценке.
Напишите отзыв о статье "Оценка программ"
Литература
- [iopp.ru/a/2008/02/25/245.html Коллоквиум «Оценивание программ и политик: методология и применение»: сборник материалов, Вып. I (2006), Вып. II—III (2007), Вып. IV (2008)].
- Кузьмин А. И. Оценка проектов и программ. М., ПРЕСТО-РК, 2005 г.
- Морс К., Страйк Р., Пузанов А. С. Эффективные решения в экономике переходного периода: Аналитические инструменты разработки и реализации социально-экономической политики. М.: Айрис-пресс, 2007. Часть 3. Мониторинг и оценка программ. С. 190—351.
- International atlas of evaluation. New Brunswick Transaction Publishers, 2002.
- Encyclopedia of evaluation. Sage Publications, 2005.
- M. Q. Patton, Utilization-Focused Evaluation. 4th edition. London: Sage Publications, 2008.
- Оценка программ: методология и практика. /Под ред. А. И. Кузьмина, Р. О’Салливан, Н. А. Кошелевой. — М.: Издательство «Престо-РК», 2009 г.www.eval-net.org/library/Program_Evaluation.pdf
Отрывок, характеризующий Оценка программ
– Andre, si vous avez. la foi, vous vous seriez adresse a Dieu, pour qu'il vous donne l'amour, que vous ne sentez pas et votre priere aurait ete exaucee. [Если бы ты имел веру, то обратился бы к Богу с молитвою, чтоб Он даровал тебе любовь, которую ты не чувствуешь, и молитва твоя была бы услышана.]– Да, разве это! – сказал князь Андрей. – Иди, Маша, я сейчас приду.
По дороге к комнате сестры, в галлерее, соединявшей один дом с другим, князь Андрей встретил мило улыбавшуюся m lle Bourienne, уже в третий раз в этот день с восторженною и наивною улыбкой попадавшуюся ему в уединенных переходах.
– Ah! je vous croyais chez vous, [Ах, я думала, вы у себя,] – сказала она, почему то краснея и опуская глаза.
Князь Андрей строго посмотрел на нее. На лице князя Андрея вдруг выразилось озлобление. Он ничего не сказал ей, но посмотрел на ее лоб и волосы, не глядя в глаза, так презрительно, что француженка покраснела и ушла, ничего не сказав.
Когда он подошел к комнате сестры, княгиня уже проснулась, и ее веселый голосок, торопивший одно слово за другим, послышался из отворенной двери. Она говорила, как будто после долгого воздержания ей хотелось вознаградить потерянное время.
– Non, mais figurez vous, la vieille comtesse Zouboff avec de fausses boucles et la bouche pleine de fausses dents, comme si elle voulait defier les annees… [Нет, представьте себе, старая графиня Зубова, с фальшивыми локонами, с фальшивыми зубами, как будто издеваясь над годами…] Xa, xa, xa, Marieie!
Точно ту же фразу о графине Зубовой и тот же смех уже раз пять слышал при посторонних князь Андрей от своей жены.
Он тихо вошел в комнату. Княгиня, толстенькая, румяная, с работой в руках, сидела на кресле и без умолку говорила, перебирая петербургские воспоминания и даже фразы. Князь Андрей подошел, погладил ее по голове и спросил, отдохнула ли она от дороги. Она ответила и продолжала тот же разговор.
Коляска шестериком стояла у подъезда. На дворе была темная осенняя ночь. Кучер не видел дышла коляски. На крыльце суетились люди с фонарями. Огромный дом горел огнями сквозь свои большие окна. В передней толпились дворовые, желавшие проститься с молодым князем; в зале стояли все домашние: Михаил Иванович, m lle Bourienne, княжна Марья и княгиня.
Князь Андрей был позван в кабинет к отцу, который с глазу на глаз хотел проститься с ним. Все ждали их выхода.
Когда князь Андрей вошел в кабинет, старый князь в стариковских очках и в своем белом халате, в котором он никого не принимал, кроме сына, сидел за столом и писал. Он оглянулся.
– Едешь? – И он опять стал писать.
– Пришел проститься.
– Целуй сюда, – он показал щеку, – спасибо, спасибо!
– За что вы меня благодарите?
– За то, что не просрочиваешь, за бабью юбку не держишься. Служба прежде всего. Спасибо, спасибо! – И он продолжал писать, так что брызги летели с трещавшего пера. – Ежели нужно сказать что, говори. Эти два дела могу делать вместе, – прибавил он.
– О жене… Мне и так совестно, что я вам ее на руки оставляю…
– Что врешь? Говори, что нужно.
– Когда жене будет время родить, пошлите в Москву за акушером… Чтоб он тут был.
Старый князь остановился и, как бы не понимая, уставился строгими глазами на сына.
– Я знаю, что никто помочь не может, коли натура не поможет, – говорил князь Андрей, видимо смущенный. – Я согласен, что и из миллиона случаев один бывает несчастный, но это ее и моя фантазия. Ей наговорили, она во сне видела, и она боится.
– Гм… гм… – проговорил про себя старый князь, продолжая дописывать. – Сделаю.
Он расчеркнул подпись, вдруг быстро повернулся к сыну и засмеялся.
– Плохо дело, а?
– Что плохо, батюшка?
– Жена! – коротко и значительно сказал старый князь.
– Я не понимаю, – сказал князь Андрей.
– Да нечего делать, дружок, – сказал князь, – они все такие, не разженишься. Ты не бойся; никому не скажу; а ты сам знаешь.
Он схватил его за руку своею костлявою маленькою кистью, потряс ее, взглянул прямо в лицо сына своими быстрыми глазами, которые, как казалось, насквозь видели человека, и опять засмеялся своим холодным смехом.
Сын вздохнул, признаваясь этим вздохом в том, что отец понял его. Старик, продолжая складывать и печатать письма, с своею привычною быстротой, схватывал и бросал сургуч, печать и бумагу.
– Что делать? Красива! Я всё сделаю. Ты будь покоен, – говорил он отрывисто во время печатания.
Андрей молчал: ему и приятно и неприятно было, что отец понял его. Старик встал и подал письмо сыну.
– Слушай, – сказал он, – о жене не заботься: что возможно сделать, то будет сделано. Теперь слушай: письмо Михайлу Иларионовичу отдай. Я пишу, чтоб он тебя в хорошие места употреблял и долго адъютантом не держал: скверная должность! Скажи ты ему, что я его помню и люблю. Да напиши, как он тебя примет. Коли хорош будет, служи. Николая Андреича Болконского сын из милости служить ни у кого не будет. Ну, теперь поди сюда.
Он говорил такою скороговоркой, что не доканчивал половины слов, но сын привык понимать его. Он подвел сына к бюро, откинул крышку, выдвинул ящик и вынул исписанную его крупным, длинным и сжатым почерком тетрадь.
– Должно быть, мне прежде тебя умереть. Знай, тут мои записки, их государю передать после моей смерти. Теперь здесь – вот ломбардный билет и письмо: это премия тому, кто напишет историю суворовских войн. Переслать в академию. Здесь мои ремарки, после меня читай для себя, найдешь пользу.
Андрей не сказал отцу, что, верно, он проживет еще долго. Он понимал, что этого говорить не нужно.
– Всё исполню, батюшка, – сказал он.
– Ну, теперь прощай! – Он дал поцеловать сыну свою руку и обнял его. – Помни одно, князь Андрей: коли тебя убьют, мне старику больно будет… – Он неожиданно замолчал и вдруг крикливым голосом продолжал: – а коли узнаю, что ты повел себя не как сын Николая Болконского, мне будет… стыдно! – взвизгнул он.
– Этого вы могли бы не говорить мне, батюшка, – улыбаясь, сказал сын.
Старик замолчал.
– Еще я хотел просить вас, – продолжал князь Андрей, – ежели меня убьют и ежели у меня будет сын, не отпускайте его от себя, как я вам вчера говорил, чтоб он вырос у вас… пожалуйста.
– Жене не отдавать? – сказал старик и засмеялся.
Они молча стояли друг против друга. Быстрые глаза старика прямо были устремлены в глаза сына. Что то дрогнуло в нижней части лица старого князя.
– Простились… ступай! – вдруг сказал он. – Ступай! – закричал он сердитым и громким голосом, отворяя дверь кабинета.
– Что такое, что? – спрашивали княгиня и княжна, увидев князя Андрея и на минуту высунувшуюся фигуру кричавшего сердитым голосом старика в белом халате, без парика и в стариковских очках.
Князь Андрей вздохнул и ничего не ответил.
– Ну, – сказал он, обратившись к жене.
И это «ну» звучало холодною насмешкой, как будто он говорил: «теперь проделывайте вы ваши штуки».
– Andre, deja! [Андрей, уже!] – сказала маленькая княгиня, бледнея и со страхом глядя на мужа.
Он обнял ее. Она вскрикнула и без чувств упала на его плечо.
Он осторожно отвел плечо, на котором она лежала, заглянул в ее лицо и бережно посадил ее на кресло.
– Adieu, Marieie, [Прощай, Маша,] – сказал он тихо сестре, поцеловался с нею рука в руку и скорыми шагами вышел из комнаты.
Княгиня лежала в кресле, m lle Бурьен терла ей виски. Княжна Марья, поддерживая невестку, с заплаканными прекрасными глазами, всё еще смотрела в дверь, в которую вышел князь Андрей, и крестила его. Из кабинета слышны были, как выстрелы, часто повторяемые сердитые звуки стариковского сморкания. Только что князь Андрей вышел, дверь кабинета быстро отворилась и выглянула строгая фигура старика в белом халате.