Синопсис

Основные компоненты системы

Система мониторинга и оценки предполагает прежде всего ассессмент, мониторинг и оценку.

Ассессмент – это процесс выявления и изучения проблемы, планирования действий, направленных на ее решение. Ассессмент призван: обеспечить информацию для выбора приоритетов и оптимальной стратегии программы; обеспечить базовые данные для мониторинга и оценки; обеспечить прогноз влияния программы (последствий).

Мониторинг - это систематическое отслеживание хода и результатов программы на основании планомерного измерения значений ряда показателей (индикаторов).

Он включает в себя: мониторинг исполнения - измерение хода процесса относительно изначального плана вмешательства в ситуацию и степени достижения конкретных целей; мониторинг ситуации - измерение того, как изменяется либо не изменяется определенный параметр или набор параметров.

Мониторинг призван: обеспечить контроль, чтобы работы выполнялись согласно плану программы; улучшить выполнение программы; определить, когда нужно быстро адаптировать программу, особенно в условиях кризиса и нестабильности; служить источником информации для оценки; обеспечить информацию для обоснования необходимости изменить политику и программы (особенно мониторинг ситуации). Основой для проведения мониторинга является система индикаторов, которые разрабатываются экспертами в той предметной области, в которой реализуется программа. При этом важно, чтобы совокупность индикаторов адекватно отражала все важнейшие рабочие процессы и результаты программы.

Виды индикаторов мониторинга: Мониторинг ресурсов – измерение количества потребляемых ресурсов. Мониторинг продуктов – измерение количества предоставляемых услуг. Мониторинг результатов – измерение результатов от реализации программы для предоставления услуг. Мониторинг эффективности – сопоставление полученных продуктов или результатов и затраченных ресурсов.

Общая схема построения системы мониторинга программы включает в себя семь элементов: определение показателей (индикаторов), на основе которых будет проводиться мониторинг программы; определение источников сбора информации для проведения мониторинга; выбор методики сбора информации; определение периодичности получения информации о программе; стоимость мониторинга; создание группы которая будет получать, поставлять и обрабатывать полученную информацию; определение методики обработки и анализа информации, а также адресатов данной информации.

Структура программы мониторинга зависит от вида услуг, территориального охвата программы и количества участников: Мониторинг отдельных функций или небольших программ (можно проводить по недельным или месячным отчетам менеджеров, содержащих информацию о проведении программы). Мониторинг муниципальных или региональных программ (разрабатываются специальные формы отчетов, основой являются количественные данные). Отраслевой мониторинг (проводится внутри отрасли на базе различных видов отчетов (годовых, квартальных и т.д.).

Оценка рассматривает, что и почему делают программы и организации. Ее главная задача – способствовать извлечению знаний из практического опыта. Выделяют следующие виды оценки: оценка адекватности программы существующей ситуации (логики программы, удовлетворенности заинтересованных сторон, направлений развития в будущем, финансирования); оценка влияния программы (ожидаемые и непредвиденные результаты); оценка операционной результативности (институциональной результативности, результативности процессов, оптимальности использования ресурсов).

Схема. Этапы проведения оценки программы:

Информационные, аналитические и оценочные системы

Функционируют следующие информационно-аналитические системы оценки: ИАС “ОЦЕНКА и ВЫБОР”; система поддержки выбора "Быстрый рейтинг"; система поддержки выбора решения "Метод анализа иерархий"; система обработки и экспертной информации "Выбор проекта"; автоматизированная система экспертного оценивания "Приоритетность финансирования".

ИАС “ОЦЕНКА и ВЫБОР”: Это универсальная информационно-аналитическая система, которая относится к классу систем поддержки принятия решений (DSS - Decision Support Systems). Ее разработчики - независимые консультанты в области экспертного оценивания и поддержки принятия решений Артур Иоффин и Дамир Абдрахимов. Основная функция системы – многокритериальная оценка, сравнение и выбор лучших из возможных вариантов любых решений.

Универсальность ИАС заключается в том, что она по сути является программной “оболочкой”, которую без использования языков программирования можно настроить на любую предметную область, где для анализируемых объектов (для вариантов решений) требуется: дать оценку соответствия предъявляемым требованиям по многим критериям; принять решение альтернативного выбора; принять решение о распределении ресурсов среди группы объектов исходя из их текущей приоритетности. Анализируемыми объектами являются различные инвестиционные проекты, территории, предприятия, подразделения, товары, услуги, люди, партии, варианты управленческих решений и т.д. Для анализируемых объектов вычисляются оценки степени их соответствия требованиям и предпочтениям конкретного руководителя или группы до 10 экспертов.

Результатом работы системы являются ранжировки и рейтинги анализируемых объектов. Для принятия итоговых решений ИАС позволяет наглядно представить положение анализируемых объектов на плоскости типа “Выгоды-издержки” ("Результаты-затраты", “Качество-цена”, “Эффект-затраты”, “Доходность-надежность” и т.д.). Функциональные возможности ИАС позволяют использовать ее в широком диапазоне практических ситуаций: в случаях подготовки решения только самим руководителем при отсутствии объективных данных о характеристиках сравниваемых вариантов; в случаях подготовки решения группой руководителей и специалистов с обработкой больших объемов количественной и качественной информации об анализируемых объектах. Возможна многокритериальная оценка единственного объекта (решения).

Система имеет встроенные средства: создания и ведения баз данных со следующими типами характеристик объектов: числовой, качественный, логический, текстовой, дата, формула, ссылка на другой объект, к каждому объекту может быть “привязан” графический файл bmp-формата; ведения базы методик (моделей) многокритериального анализа; извлечения и формализации мнений экспертов с контролем последовательности их суждений; обобщения и оценки согласованности мнений группы до 10 экспертов; экспорт и импорт данных в форматах Excel; систему помощи на русском языке.

Инструментальные и оценочные панели

Специалисты компании AMR Research считают, что одна инструментальная панель (dashboard) "равносильна" двадцатистраничному отчету, а одна оценочная панель (scorecard) - десяти подробнейшим отчетам. Именно такими словами открывают свое аналитическое обозрение, опубликованное AMR Research в середине сентября, ведущие исследователи Джон Хэйджерти (John Hagerty) и Жаклин Кулидж (Jacqueline Coolidge).

• Инструментальная панель - это мгновенный снимок операций, позволяющий контроли-ровать исполнение бизнес-процессов. Многие инструментальные панели получают информацию из различных источников в режиме реального времени. Операционные инструментальные панели реализуются в системах мониторинга хозяйственной деятельности, средствах мониторинга бизнес-процессов и в транзакционных приложениях, которые поддерживают генерацию отчетов.
• Оценочная панель - это технология, которая реализует методологию, например, сбалансированную систему показателей (Balanced Scorecard) или Six Sigma, и предоставляет бизнес-контекст для ключевых показателей. Оценочные панели обычно реализуются в приложениях, использующих информацию баз данных, и тесно интегрированы с другими аналитическими инструментами и средствами отчетности.

Инструментальные и оценочные панели чрезвычайно "заманчивы" для компаний, которые собираются использовать ключевые показатели эффективности.

Аналитические системы – инструменты оценки бизнеса

Программный продукт «Астра-бизнес» (приложение Microsoft Excel) использует метод оценки опционов нобелевских лауреатов Фишера Блэка – Мирона Шольца. Этот метод удобно использовать для оценки отдельных видов бизнеса (новых компаний, для которых трудно спрогнозировать денежный поток; компаний со значительными нематериальными активами; компаний, добывающих полезные ископаемые, и компаний, по которым затруднительно получение полной информации). Для комплексной оценки стоимости бизнеса такой инструментарий оказывается узким.

Используются система «ИНЭК-Аналитик», содержащая блоки финансового анализа и бизнес-планирования либо комплексы систем «Альт-Финансы» и «Альт-Инвест» или Audit Expert и Project Expert.

Системы компании «Альт», хотя и являются доступными по цене программными продуктами, представляют собой написанные к Excel приложения. Результатом работы программных продуктов «Альт» являются таблицы и диаграммы Microsoft Excel, которые пользователю приходится вставлять в отчет вручную. Системы компании «Альт» могли бы стать удобным средством прове-дения анализа и оценки бизнеса, если бы разрабатывались для конкретных нужд оценщика. Одна-ко это не так. Их перенастройка потребует тех же усилий и повлечет те же проблемы, что и создание модели на основе Excel.

Системы «ИНЭК» – это жесткое, закрытое решение. Любые изменения, связанные с методиками расчета, формами исходных и результирующих данных, могут быть внесены только разработчиками компании. Поэтому оценщик может воспользоваться для решения актуальных задач только уже «вшитыми» в систему возможностями. Именно «закрытость» и некоторая функциональная громоздкость «Аналитика» делает систему малоудобной для применения оценщиком.

В системах «Expert Systems», хотя и являющихся готовым решением, возможна настройка под индивидуальные задачи, причем, на уровне, не требующем знаний языков и принципов про-граммирования. Поэтому оценщик может не только решать ряд задач средствами этих систем (а в этих системах достаточно методик, которые соответствуют требованиям оценщика), но и адаптировать их возможности для других специфических потребностей.

Связи и отношения между компонентами системы
(планированием, мониторингом и оценкой)

Без надлежащего планирования и чёткой формулировки намеченных результатов, очень сложно определить, что и как подлежит мониторингу, следовательно мониторинг не может проводиться правильно. Без эффективного планирования (чётко определённых рамок результатов) база для проведения оценки будет слабой, следовательно, оценка не может быть проведена качественно. Без тщательного мониторинга, невозможно собрать необходимые данные, следовательно оценка так же не может быть проведена качественно. Мониторинг необходим, но не достаточен для оценки. Мониторинг содействует оценке, но оценка также опирается на новые, дополнительно собранные данные и использует различные системы для анализа. M&E (мониторинг&оценка) программы зачастую приводят к изменениям в планах программы. В свою очередь, это может означать дальнейшие изменения или модификации в процессе сбора данных в целях мониторинга.

Порядок разработки систем мониторинга и оценки

1. Планирование оценки. Подготовка к проведению оценки: конкретные инструменты сбора и анализа данных, подробные планы действий.

Шаг 1. Постановка вопросов, на которые надлежит ответить.

Шаг 2. Определить, что нужно узнать для ответа на вопросы задания.

Шаг 3. Определить источники информации.

На этом этапе очень важен принцип триангуляции: использование различных видов источников информации для повышения надежности эмпирических данных. Оптимальное число источников – не менее трех. Другой важный аспект, связанный с определением источников информации, – это стратегия формирования выборки. Существует две стратегии формирования выборки: вероятностная (случайная) и целевая (как в социологии).

Американский исследователь Майкл Пэттон приводит один из наиболее полных перечней возможных стратегий целесообразного формирования выборки. В него входят следующие стратегии: 1. Использование экстремальных или отклоняющихся случаев. 2. Использование случаев, характеризующихся высокой интенсивностью (но не экстремальных). 3. Выборка с максимально возможным разнообразием. 4. Однородная (гомогенная) выборка. 5. Выбор типичных случаев. 6. Стратифицированная целесообразная выборка (не путать со случайной!). 7. Критические случаи (наиболее важные, ярко демонстрирующие какие-то вещи). 8. «Снежный ком» – используется, когда трудно очертить границы генеральной совокупности. 9. Выборка в соответствии с установленными заранее критериями. 10. Выборка, основанная на теории, модели. Выбираются случаи, которые отвечают теоретическим конструктам. 11. Выбор подтверждающих и опровергающих случаев. 12. Выборка, основанная на появляющихся в ходе работы возможностях. 13. Целесообразная случайная выборка. Повышает достоверность, но не репрезентативность, чтобы исключить подозрения в субъективном выборе случаев. 14. Выбор политически значимых случаев. 15. Удобная выборка – выбираем то, что наиболее доступно (не от хорошей жизни, но лучше чем ничего).

Шаг 4. Определить методы сбора данных. Здесь также применим принцип триангуляции, но уже по другому основанию. Речь идет о методологической триангуляции – использовании разных методов для повышения надежности эмпирических данных.

Шаг 5. Разработать инструменты для сбора данных. Продумать технологию обработки и анализа данных.

Шаг 6. На этом этапе определяется подробный график проведения оценки и назначаются ответственные за выполнение всех работ.

Шаг 7. Уточняется, что нужно для проведения оценки с организационно-технической точки зрения.

2. Методы сбора данных

Для получения эмпирических данных при проведении оценки используются четыре группы методов: анкетирование, интервью, наблюдение и изучение документации.

Преимущества и ограничения различных методов

3. Анализ данных

Общая схема анализа при проведении оценки программы выглядит следующим образом: излагаются факты, эмпирические данные; факты и взаимосвязи между ними обсуждаются, интерпретируются; на основании интерпретации делаются выводы, выносятся суждения; на основании выводов даются рекомендации.

Подходы к анализу количественных данных:

Целью анализа количественных данных является сведение массива полученной информации к относительно небольшому числу значимых для исследователя результатов. Самый простой подход к анализу количественных данных - описательный анализ. К нему относятся: создание частотной таблицы; вычисление статистических характеристик; графическое представление данных.

Другая группа методов анализа количественных данных - аналитическая статистика. Эти методы позволяют: оценить вероятность ошибки; выявить связи между двумя переменными (корреляционный анализ); спрогнозировать значение одной переменной в зависимости от значения другой переменной (регрессионный анализ); объединить заданные наблюдения в группы со схожими проявлениями переменных (кластерный анализ); свести большое число переменных к меньшему числу независимых факторов влияния (факторный анализ).

Во всех случаях анализ количественных данных включает две фазы: математическую обработку и смысловую интерпретацию полученных результатов.

Подходы к анализу качественных данных:

Общая направленность анализа качественных данных - от большого количества фактов к обобщениям, моделям, теориям. Стратегия качественного анализа связана с классификацией данных, объединением их в группы (категоризацией), установлением взаимосвязей (в том числе причинно–следственных) между отдельными фактами и группами данных. Конечной целью всегда являются ответы на вопросы задания.

4. Отчет о результатах оценки

Следуя принципам оценки, ориентированной на практическое использование получаемых ею результатов, и опираясь на собственный опыт (как положительный, так и отрицательный), мы предлагаем при написании отчетов руководствоваться следующими принципами:

• Отчет должен быть ориентирован на конкретного пользователя. Главная функция отчета – предоставление нужной пользователю информации в удобном для него формате.
• Основная часть отчета – аргументированные, основанные на эмпирических данных ответы на вопросы задания.
• При изложении результатов оценки должна соблюдаться логическая цепочка «факты – интерпретации – выводы – рекомендации».
• Отчет должен быть написан и оформлен так, чтобы пользователь мог легко в нем ориентироваться и быстро находить нужную информацию.

Структура и оформление отчета должны, в первую очередь, соответствовать условиям контракта на проведение оценки. Требования к отчету чаще всего указываются в задании на проведение оценки и обязательно обсуждаются исполнителем и заказчиком на этапе постановки задачи.

«Обратная связь» по результатам оценки

Этот этап завершает проведение оценки. Именно поэтому он исключительно важен как переход от формального письменного отчета к решениям, влияющим на программу. Вероятно, одно из самых подробных и практически полезных описаний этой фазы взаимодействия между исполнителем и заказчиком дается в книге Питера Блока «Безупречный консалтинг».

Кто должен принимать участие в этой работе?

Кто должен быть вовлечен? - Практически все сотрудники организации или участники проекта должны быть вовлечены в некотором роде в процесс сбора информации, которая может быть использована в мониторинге или оценке. Работа включает в себя наличие: руководителя программы; исполнителей; бухгалтера, который будет вести записи о доходах и расходах.

Кто должен принимать участие в этой работе? - Эксперты-специалисты, имеющие глубокие познания в предметной области. В зависимости от особенностей программы в число экспертов могут быть включены и теоретики, и практики. Менеджеры всех уровней. Независимые оценочные подразделения и операционные подразделения.

Пользователи результатов оценки – лица, принимающие решения, то есть руководители программ и проектов, руководители организаций, выполняющих программы, представители финансирующих организаций. Именно у них время от времени возникает потребность в получении дополнительной информации о программах.

Кто будет проводить оценку?

Существуют четыре варианта: 1. Оценку проводят сами участники программы (самооценивание). 2. Оценку проводят сотрудники организации, которая выполняет программу. При этом те, кто проводит оценку, в программе не участвуют (внутренняя оценка). 3. Оценку проводят внешние по отношению к организации-исполнителю программы специалисты (внешняя оценка). 4. Комбинированный вариант, который в той или иной мере включает элементы трех предыдущих.

Не существует единственно правильного ответа на вопрос о том, кому следует проводить оценку. Практика показывает, что одним из основных факторов при принятии соответствующего решения является доступность ресурсов. В крупных проектах и программах средства на внешнюю оценку заранее закладываются в бюджет. Для них более актуальным оказывается вопрос выбора внешнего консультанта. Независимость оценки предполагает, что выполняющий ее оценщик свободен от какого-либо влияния и способен дать объективные и прозрачные результаты. Чтобы оценка была независимой, должны соблюдаться принципы выбора методов оценки, определения квалификации оценщиков, выбора оценщиков, построения отношений между менеджерами и оценщиками, предоставления отчетов, распространения информации и исполнения рекомендаций, полученных в результате оценки.