Мониторинг и оценка как инструменты эффективного управления стали активно развиваться в нашей (и не только) стране именно с приходом различных донорских проектов, т.к. появилась необходимость отслеживания реализации бюджетов, выполнения поставленных задач и достижения целей. Интересно, что первые годы к проведению МиО привлекались в основном иностранные специалисты, т.к. местный потенциал только начал формироваться. Сейчас упрочилась тенденция привлечения местных специалистов, что является показателем возросшего уровня профессионализма кыргызстанских специалистов в этой области. Мониторинг и оценка проектов рассматриваются сегодня как незаменимый инструмент управления проектной деятельностью, их значимость признается все большим количеством управленцев. Мониторинг и оценка важны не только с точки зрения повышения эффективности конкретных уже проводимых проектов, но и с точки зрения важности получаемой информации и выводов для инициирования и организации новых проектов и программ. Кроме того, с возрастанием роли и степени участия в проектах общественных и правительственных структур остро встает вопрос об отчетности перед всеми участниками проекта по результатам проделанной работы (обеспечения прозрачности) и выводам, которые способны обеспечить преемственность проводимой деятельности. Партнеры, работающие в проекте, заинтересованы в получении информации о практических результатах проектной деятельности, позволяющих оценивать работоспособность и продуктивность системы, в которой они работают.

Большинство реализуемых проектов выстраивают для себя систему мониторинга и оценки еще на этапе планирования. На этом этапе, как правило, как правило, разрабатывается система определенных индикаторов (показателей), по которым можно судить о ходе программы или проекта, оценить степень выполнения проекта. Сам мониторинг и оценка начинаются позже и выстраиваются в рамках управленческой системы. Сложность этой системы зависит от сложности деятельности, которую нужно отслеживать.

На "выходе" система мониторинга должна выдавать оперативную информацию о том, как идут дела, есть ли отклонения от плана. Если система мониторинга работает нормально, то это дает возможность руководителю вовремя воздействовать на ход проекта, принимая те или иные решения.

Нужно обратить внимание на тот факт, что если мониторинг выстраивается в каждом проекте как обязательная его часть, по отношению к оценке подход не столь однозначен, особенно для социальных проектов, где эффекты и результаты проекта часто появляются в отсроченном режиме, а сроки проектов не всегда позволяют в полной мере это увидеть. Чаще используются результаты только промежуточных оценок как обзор проделанной работы, для составления прогноза возможных результатов, как способ определения изменений, которые необходимо внести в проект для обеспечения его продуктивности и эффективности. Однако для образовательных проектов (впрочем, так же, как для проектов, например, в области здравоохранения), именно оценка воздействия является чрезвычайно важной задачей, т.к. дает возможность увидеть его влияние на значимую для каждого человека сферу. Учитывая, что эти отрасли развиваются в основном как раз таки за счет донорских средств, оценка (как эффективности уже реализованных проектов, так и оценка нужд) дает возможность планирования действительно релевантных потребностям проектов, с учетом тенденций развития и местного потенциала.

Переходя к опыту построения системы мониторинга и оценки проекта USAID по повышению качества образования, нужно прежде всего сказать, Проект USAID по повышению качества образования (QLP) – пятилетний проект (2007 – 2012), направленный на содействие повышения качества начального и среднего образования в республиках Средней Азии: Кыргызстане, Таджикистане и Туркменистане.

Проект направлен на улучшение качества подготовки, переподготовки и повышения квалификации педагогических кадров и повышение эффективности системы финансирования школ. И хотя основные изменения планируются на системном, институциональном уровне, для оценки эффективности этих воздействий были вовлечены и все другие уровни.

На каждом из них ожидаются определенные результаты, и разработан ряд индикаторов (как процесса, так и результата), запланированы промежуточные (для каждого года реализации проекта) и целевые показатели по каждому из данных индикаторов. В таблице приведены примеры индикаторов¹. Всего для проекта разработано 40 индикаторов, учитывающих все основные запланированные результаты (outcomes) и продукты (outputs) проекта.

Индикаторы процесса отслеживаются на квартальной или ежегодной основе. Эти данные собираются и анализируются в рамках квартальных и годовых отчетов, обсуждаются на встречах сотрудников и руководства. Данные собираются отделом по МиО проекта, вводятся в базу данных, анализируются, обсуждаются и используются при планировании каждого последующего года реализации проекта, корректировки действий и сроков. Таким образом, компонентами системы мониторинга проекта являются:

- индикаторы и планируемые показатели;
- система данных, их ввода и обработки;
- процедуры отчетности и анализа и обсуждения информации для использования для принятия решений;
- структура в рамках проекта (отдел МиО), обеспечивающая этот процесс.

В связи с тем, что основной компонент проекта – тренинговый, была разработана методология оценки ее эффективности. Изучение эффективности обучения основано на модели, разработанной американским ученым Дональдом Киркпатриком². Модель Д. Киркпатрика – это концептуальный подход к оценке тренинговых программ, представляющий собой комплексную систему оценки эффективности тренинга. Данная модель в настоящее время стала классической и используется в практике оценочных исследований.

Модель, адаптированная для Проекта предполагает оценку проведенного обучения на следующих уровнях:

Схема 1: Уровни измерения эффективности обучения (адаптированная модель Киркпатрика)

Для оценки 1, 2 и 3 уровня используется следующий инструментарий:

1. Анкета для участника тренинга. Заполняется каждым участником тренинга и сдается тренеру (тренерам). Анализ анкет проводится тренерами и предоставляется ими в отчете вместе с рекомендациями по улучшению тренинга.
2. Анкета для замера прироста в знаниях и понимании – по целевым группам: пре- и пост- тренинга (тест). Тест используется для некоторых направлений проекта.
3. Программный мониторинг: посещение занятий в школах, университетах, ИПК; беседы и обсуждения с участниками тренингов на местах и др.

Осуществляется программными специалистами в течение всего периода работы.

Обычно охват измерениями зависит от ресурсов и возможностей. Учитывая это, рекомендуется для мониторинга и оценки тренингов в рамках Проекта сделать 100% замер на 1 уровне (для программных целей – выполняется и анализируется тренерами/программными специалистами), и 30-40 % охват для замеров на 2 уровне (то есть проводить анкетирование 30-40% слушателей по каждой целевой группе или в 30% тренингов). Третий уровень является прерогативой программных специалистов и не является формализованным (часть вопросов 3 уровня замеряется во время оценки на четвертом уровне).

При оценке проекта используются индикаторов результата (уровень 4 по модели Киркпатрика), относящихся к уровню целей проекта, и для их измерения был разработан подход к оценке, при котором измерение результативности и воздействия обучения по обновленным программам повышения квалификации на практику учителей в классе и результаты обучения учащихся производится в специально отобранных целевых школах проекта. Данные школы не являются пилотными школами, но именно в этих школах производятся все измерения, поэтому проект гарантирует прохождение учителями целевых предметов и администраторами данных школ курсов повышения квалификации по обновленным программам и получения необходимых учебных материалов для внедрения изменений в практику. Всего в период работы проекта в КР планировалось отобрать 75 целевых школ, в Таджикистане - 86 школ. До начала деятельности в этих школах, в апреле 2009 года в выборке, состоящей из 15-ти целевых школ, а также в пяти контрольных школах был проведен сбор исходных данных: тестирование учащихся, наблюдение уроков и интервьюирование учителей, опросы администраторов школы и родителей. В течение 2009 года учителя начальных классов, родного языка и математики и администраторы этих школ прошли обучение на курсах повышения квалификации, проведенных по программам, разработанным Проектом, в 2010 г. эти школы получили разработанные материалы, наставническую поддержку со стороны проекта. Следующий сбор данных в этих же школах будет проведен в 2011 году (то есть через два года после оценки исходных данных), чтобы оценить воздействие проекта. В 2012 году пройдет последнее исследование, которое покажет, насколько это воздействие имеет продолжительный эффект (устойчивость). Примерно та же последовательность предполагалась для использования на второй выборке школ (еще по 20 школ в каждой республике), работа с которыми начинается на год позднее. Таким образом, предполагалось провести оценку в более чем 45% школ, в которых работает проект.

Таким образом, для оценки проекта была использована квазиэкспериментальная модель, позволяющая наиболее надежным и достоверным способом оценить, насколько проект достиг запланированных результатов на уровне системы повышения квалификации, на уровне практики управления школ, на уровне учительской практики и, наконец, на уровне ученика. Безусловно, эта модель оценки проекта не является идеальной. Основная проблема при ее использовании связана с краткосрочностью периода времени между началом проектных интервенций и оценкой воздействия. То есть достаточно сложно предполагать, что за период в два года могут произойти какие-либо изменения на уровне учащихся. Тем не менее, это специфика любых интервенций в области образования, где эффект от реформы или значимого изменения может быть реально оценен лишь через несколько лет.