Экспертная оценка проекта пример. Экспертная оценка целей проектов

Под экспертизой в широком смысле понимается:

» анализ, исследование, проводимое привлеченными специалистами (экспертами), экспертной комиссией, завершаемые выпуском акта, заключения, в отдельных случаях – сертификата качества, соответствия;

» проверка качества товаров, работ, услуг.

Экспертиза (проверка, оценка) является обязательным этапом практически любой деятельности, поскольку призвана оценить соответствие результата деятельности запланированным показателям. Экспертиза, как правило, осуществляется на основе определенных правил, зафиксированных документально в виде ведомственных, нормативных, законодательных актов.

Все инвестиционные проекты независимо от источников финансирования и форм собственности объектов капитальных вложений до их утверждения подлежат экспертизе в соответствии с законодательством Украины.

Экспертиза проектов проводится в целях предотвращения создания объектов, использование которых нарушает права физических и юридических лиц и интересы государства или не отвечает требованиям утвержденных в установленном порядке стандартов (норм и правил), а также для оценки эффективности осуществляемых капитальных вложений.

Первый шаг реализации данной методики – определение факторов, которые могут в значительной степени повлиять на успешность выполнения проекта. Среди факторов, оказывающих первостепенное влияние на эффективность инвестиционного проекта, могут быть характеристики, представленные выше.

Второй шаг – факторы располагаются в порядке убывания приоритетности. Для этого определяется, какой из них в наибольшей степени повлияет на ход реализации проекта. Далее устанавливается наиболее существенный фактор из оставшихся, и т.д. Получившаяся последовательность заносится в таблицу 1.

Третий шаг – оценка весомости (ранга) каждого из перечисленных факторов. Сумма рангов всех факторов должна быть равна единице. Иначе говоря, сумма по столбцу 3 таблицы 1 должна быть равна единице.

Четвертый шаг – проект(-ы) или варианты одного проекта необходимо оценить по каждому из факторов (критериев) оценки.

Максимальный балл по любому из факторов для проекта равен 100, минимальный – 0. Например, если эксперты признают, что спрос на продукцию проекта будет неограниченным, то значение фактора «спрос на продукцию (услуги) проекта» для данного варианта проекта равен 100 баллов.

Пятый шаг – экспертная оценка влияния каждого фактора (графы 9–13) получается путем перемножения веса каждого фактора на оценку этого фактора для каждого варианта (графа 3 умножается на графы с 4 по 8 соответственно). Интегральная экспертная оценка приоритетности вариантов проекта определяется как сумма по графам 9–13.

Таблица 1 – Форма для экспертной оценки альтернативных проектов

Данная методика может применяться как для предварительного отбора наиболее перспективных вариантов осуществления проекта, так и для предварительного определения осуществимости проекта. В первом случае для дальнейшего рассмотрения остаются альтернативы, получившие наивысшие результаты, во втором - полученная интегральная экспертная оценка проекта сравнивается с определенным заранее «ограничением снизу». Если полученное экспертным путем значение выше установленного предела, проект признается осуществимым.

Если проект достоин дальнейшего рассмотрения, определяют состав сведений, которые потребуются для его разработки, включая:

» детальный маркетинг;

» инженерно-геологические изыскания;

» оценку окружающей среды и местных источников сырья;

» политическую обстановку в регионе, республике, стране;

» социокультурную характеристику населения.

Читатель, привыкший иметь дело с критериальными таблицами, обычно сразу же припоминает нехитрый способ упорядочения альтернатив. В подавляющем большинстве случаев это – так называемая "линейная свертка" (взвешенная сумма) – любимый всеми народами и во все времена способ обработки критериальной таблицы. Суть его проста. Сначала некоторым образом выбираются весовые коэффициенты критериев. Обозначим их вектором (w1 , w2 ,... , wm). Затем, для каждой альтернативы (каждой i-ой строки таблицы) рассчитывается следующая величина
si = ∑ xijwj (сумма берется для всех j от 1 до m). Наконец, принимается правило: чем больше значение si , тем лучше альтернатива ai. Вот и все!

К сожалению, эта схема, не всегда дает верный результат! Неискушенного читателя это утверждение всегда приводит в недоумение. Следуют заявления типа того, что приведенная схема "соответствует здравому смыслу", или "отвечает интуитивному представлению о сравнительном качестве альтернатив" и т.п. Здесь мы сталкиваемся с типичной ситуацией, которая удачно выражается известной фразой "наука начинается там, где кончается здравый смысл". Увы, это так! В конце ХХ-го века математика достигла такого уровня абстрактности, что здравый смысл отступил на второй план. В одной из классических книг по методам ППР, а именно, в книге американских математиков Р.Л. Кини и Х. Райфа "Принятие решений при многих критериях: предпочтения и замещения" (Москва, изд-во "Радио и связь", 1981) строго доказано, что линейная свертка корректна только тогда, когда все критерии попарно независимы по предпочтению. Что такое "зависимость" критериев, какие виды зависимости бывают, и что из этого следует – все это выходит за рамки нашего краткого введения.

Идем дальше. Оказывается, линейная свертка основана на неявном постулате: "низкая оценка по одному критерию может быть компенсирована высокой оценкой по другому". Однако, этот постулат верен отнюдь не для всех моделей сравнительной оценки "качества". Простейший пример – ухудшение качества изображения телевизора не может быть компенсировано улучшением качества его звука.

Но и это еще не все. Серьезные проблемы связаны с критериями. Прежде всего, не всегда удается обосновать тот набор критериев, который необходим и достаточен для решения ЗПР. Может показаться, что набор критериев "естественно" возникает в каждой конкретной задаче. Но, увы, это далеко не так.

Еще сложнее обстоит дело с весами критериев. Можно даже сказать, что веса критериев – самое тонкое место в проблеме критериального упорядочения альтернатив. Чаще всего веса назначают, исходя из интуитивного представления о сравнительной важности критериев. Однако исследования показывают, что человек (эксперт, ЛПР) не способен непосредственно назначать критериям корректные численные веса. Более того, есть данные, (они еще не опубликованы) которые свидетельствуют о том, что человек не может корректно назначать веса даже на базе нечисловых шкал. Почему же люди так часто и так охотно манипулируют взвешенной суммой? По этому поводу не могу удержаться от искушения процитировать отрывок из великолепной книги Елены Сергеевны Вентцель "Исследование операций (задачи, принципы, методология)". В следующем отрывке веса критериев называются "коэффициентами", альтернативы – "решениями".

"Здесь мы встречаемся с очень типичным для подобных ситуаций приемом – "переносом произвола из одной инстанции в другую". Простой выбор компромиссного решения на основе мысленного сопоставления всех "за" и "против" каждого решения кажется слишком произвольным, недостаточно "научным". А вот маневрирование с формулой, включающей (пусть столь же произвольно назначенные) коэффициенты – совсем другое дело. Это уже "наука"! По существу же никакой науки тут нет, и нечего обманывать самих себя".

Книга была написана в конце 70-х годов. Интересно, что примерно в это же время зародился научный подход к проблеме весов критериев. Его автор – замечательный математик Владислав Владимирович Подиновский.
В книге Е.С.Вентцель есть ссылка на одну из ранних работ Подиновского, написанную им в соавторстве с В.М. Гавриловым: "Оптимизация по последовательно применяемым критериям", -Москва, "Советское радио", 1975. Любопытно, что анализ всего лишь одного подхода (последовательного рассмотрения упорядоченных по важности критериев) занял около 8 печатных листов! В дальнейшем, Подиновскому удалось дать строгое определение понятию "важность критерия" и опубликовать в этой области прикладной математики несколько монографий и множество статей. Владислав Владимирович по праву может считаться основоположником научного подхода к проблеме важности критериев. По сей день он остается признанным авторитетом №1 в мире по этой проблеме. Но вернемся к существу вопроса.

Если все так сложно, то как все же взяться за структурирование альтернатив, представленных в виде критериальной таблицы? Этим мы сейчас и займемся. Прежде всего, заметим, что в таблице могут оказаться альтернативы, которые имеют оценки по всем критериям хуже, чем другие альтернативы. Сразу ясно, что такие альтернативы неконкурентоспособны. Их можно смело вычеркивать из таблицы. После вычеркивания заведомо наихудших альтернатив, в таблице остаются только такие альтернативы, которые хотя бы по одному критерию, не хуже, чем другие. Множество таких альтернатив получило название "множество недоминируемых альтернатив", или "множество Парето".

1.2 Ходатайство (Декларация) о намерениях

Замысел инвестора реализуется в форме Декларации о намерениях, а также задания (исходных данных) на разработку предпроектных обоснований инвестиций.

Указанные документы подготавливаются, помимо заказчика, консультантами в области управления проектами, а также экспертами по специальным вопросам. Одновременно подготавливается ходатайство о предварительном согласовании места размещения объекта.

Этап, помимо заказчика, подготавливается проектным институтом (по договору), заинтересованными юридическими и физическими лицами (определяются заказчиком), а также специалистами из консалтинговой фирмы.

Примерный состав Ходатайства (Декларации) о намерениях, на примере строительного проекта:

1. Инвестор (заказчик) - адрес.

2. Местоположение (район, пункт) намечаемого к строительству предприятия, сооружения.

3. Наименование предприятия, его технические и технологические данные:

· объем производства промышленной продукции (оказания услуг) в стоимостном выражении в целом и по основным видам в натуральном выражении;

· срок строительства и ввода объекта в эксплуатацию.

4. Обоснование социально-экономической необходимости намечаемой деятельности.

5. Примерная численность рабочих и служащих, источники удовлетворения потребности в рабочей силе.

6. Потребность предприятия в сырье и материалах (в соответствующих единицах).

7. Потребность предприятия в водных ресурсах (объем, количество, источник водообеспечения).

8. Потребность предприятия в энергоресурсах (электроэнергия, тепло, пар, топливо), источник снабжения.

9. Транспортное обеспечение.

10. Обеспечение работников и их семей объектами жилищно-коммунального и социально-бытового назначения.

11. Потребность предприятия в земельных ресурсах.

12. Водоотведение стоков. Методы очистки, качество сточных вод, условия сброса, использование существующих или строительство новых очистных сооружений.

13. Возможное влияние предприятия, сооружения на окружающую среду:

· виды воздействия на компоненты природной среды (типы нарушений, наименование и количество ингредиентов-загрязнителей);

· возможность аварийных ситуаций (вероятность, масштаб, продолжительность воздействия);

· отходы производства (виды, объемы, токсичность), способы утилизации.

14. Источники финансирования намечаемой деятельности, учредители, пайщики, финансовые институты, правительство, коммерческие банки, кредиты поставщиков.

15. Использование готовой продукции (распределение).

1.3 Разработка обоснования инвестиций

Примерный состав обоснования инвестиций:

1.Резюме проекта

2.Общая характеристика отрасли и предприятия

3.Исходные данные и условия, в том числе:

3.1.Цели и задачи проекта

3.2.Характеристика объектов и сооружений, в том числе:

3.2.1.Мощность предприятия, номенклатура продукции

3.2.2.Основные технологические решения

3.2.3.Основные строительные решения

3.2.4.Место размещения предприятия

3.2.5.Обеспечение предприятия ресурсами

3.3.Окружение проекта

3.4.Оценка воздействия на окружающую среду

3.5.Текущее (исходное) состояние проекта

3.6.Кадры и социальное развитие

4.Анализ рынка, в том числе:

4.1.Характеристика рынка продукции проекта

4.2.Оценка конкурентоспособности продукции проекта

4.3.Прогноз развития рынка продукции проекта

4.4.Прогноз спроса на продукцию проекта

5.Управление проектом, в том числе:

5.1.Укрупненная структура работ

5.2.План проекта

5.3.Структура управления проектом

5.4.Команда проекта

6.Оценка эффективности проекта, в том числе:

6.1.Исходные данные и результаты расчета

6.2.Финансовый план

6.3.Анализ рисков

7.Приложения

Окончательным итогом предынвестиционных исследований является задание на разработку ТЭО. Примерный перечень исходных данных для его разработки приведен в раздаточном материале.

Примерный перечень исходных данных для составления ТЭО строительства

1.Материалы прогнозов экономического и социального развития целевых научно-технических и комплексных программ Украины, в том числе межотраслевых программы.

2.Копии решений государственных и местных органов.

3.Сведения о состоянии ресурсов, вовлекаемых в хозяйственную деятельность будущего объекта (предприятия), окружающей природной среды об инфраструктуре, о рекреационных и особо охраняемых территориях.

4.Сведения о возможности применения на объекте (предприятии) импортного оборудования.

5.Примерная производственная программа в денежном и натуральном выражении, номенклатура основной и попутной продукции, требования к ее качеству и конкурентоспособности.

6.Общая характеристика объекта строительства (предприятия), сведения для определения его оптимальной мощности.

7.Заключение Антимонопольного комитета о невозможности или нецелесообразности увеличения производства на существующих предприятиях.

8.Результаты выполненных ранее научно-исследовательских и опытно-конструкторских работ по технологическим процессам, оборудованию, исследованиям существующего рынка и тенденций его развития и т. д.

9. Копии из утверждений в установленном порядке проектно-планировочной документации с указанием предполагаемой площадки (площадок) строительства и возможных мест при соединения к сетям и коммуникациям.

10.Данные о подлежащих сносу при строительстве объекта зданиях и сооружениях, примерное число переселяемых граждан.

11.Другие данные, характеризующие особенности реализуемого проекта.

Если вы доверяете себе больше, чем другим, то этот способ вам подходит.

Пример

Допустим, что проект-менеджер описал следующий список характеристик для назначения члена команды проекта:

1.Возраст.

2.Здоровье.

3.Способность генерировать идеи и варианты.

4.Способность к развитию.

5.Умение предвидеть события.

6.Финансовая жесткость.

7.Критическое отношение к законам.

8.Корректность по отношению к партнерам.

9.Хитрость.

10.Быстрота принятия решений.

Всего 10характеристик. Составляем ряд приоритетов: способность генерировать идеи и варианты >здоровье >умение предвидеть события >финансовая жесткость >корректность по отношению к партнерам >критическое отношение к законам >хитрость >быстрота решений >способность к развитию >возраст.

Теперь, когда определилось, что важнее, расставим баллы, оценивающие важность характеристик. Наиболее важной будем считать характеристику, получившую 10баллов: способность генерировать идеи и варианты – 10; здоровье – 9; умение предвидеть события - 8; финансовая жесткость – 7; корректность по отношению к партнерам– 6; критическое отношение к законам – 6; хитрость – 5; быстрота решений – 5; способность к развитию – 5; возраст – 5.

Сумма расставленных баллов равна 66.Разделив выставленные оценки в баллах на их сумму и округлив результаты, получаем вектор коэффициентов приоритета: 0,15; 0,14; 0,12; 0,11; 0,11; 0,1; 0,09; 0,09; 0,09; 0,09.

Сложив коэффициенты вектора приоритета, получаем 1.Значит, расчет выполнен правильно.

2.Групповая экспертиза

Как правило, при определении коэффициентов приоритета для важного решения возникают разногласия. Одним из признанных способов их устранения является статистический подход к получения оценок, для чего самым простым приемом служит усреднение результатов, полученных разными экспертами в группе. Все пункты от 1.1до 1.4при оценках одного эксперта должны быть выполнены каждым экспертом группы независимо друг от друга. Величины вектора коэффициентов приоритета по каждой характеристике, полученные каждым экспертом, нужно сложить и разделить на число экспертов. Таким образом, получим средние оценки коэффициентов приоритета, а истина, как известно, лежит посредине.

Экспертная оценка проектных альтернатив

Первым шагом реализации данной методики является определение критериев эффективности или факторов, которые могут в значительной степени повлиять на успешность выполнения проекта.

Второй шаг - факторы располагаются в порядке убывания приоритетности.

Третий шаг - оценка весомости (ранга) каждого из перечисленных факторов.

Четвертый шаг -проект(-ы) или варианты одного проекта необходимо оценить по каждому из факторов (критериев) оценки.

Пятый шаг -экспертная оценка влияния каждого фактора.

Таблица 3.1

Экспертная оценка вариантов реализации проекта

Полученные на этапе формирования идеи проекта результаты оформляют в виде т.н. резюме проекта -аналитической записки, излагающей суть проекта по следующим аспектам:

цель проекта,

основные особенности и альтернативы проекта,

организационные, финансовые, политические и другие проблемы, которые нужно в дальнейшем учитывать,

необходимые мероприятия по разработке проекта.

Для своего описать процесс выбора проекта.

1. Определить основные ограничения в проекте.

2. Сформировать множество вариантов проекта.

3. Использование метода экспертных оценок.

4. Произвести анализ выгод/затрат.

Пример использования метода экспертных оценок.

Рассматривались следующие варианты проекта.

Основными критериями выбора проекта являлись: стоимость; длительность проекта; сложность проекта; размещение; наличие альтернативных технических решений; исходно-разрешительная документация по проекту.

Далее факторы располагаются в порядке убывания приоритетности. Для этого определяется, какой из них в наибольшей степени повлияет на ход реализации проекта. Производится оценка весомости (ранга) каждого из перечисленных факторов. Сумма рангов факторов должна быть равна единице.

Вариант проекта оцениваются по каждому из факторов (критериев) оценки. Максимальный балл по любому из факторов для проекта равен 100, минимальный – 0. Экспертная оценка влияния каждого фактора получается путем перемножения веса каждого фактора на оценку этого фактора для каждого варианта.

Экспертная оценка вариантов проектов экспертом № 1

Экспертная оценка вариантов проектов экспертом № 2

Экспертная оценка вариантов проектов экспертом № 3

Экспертная оценка вариантов проектов экспертом № 4

Экспертная оценка вариантов проектов экспертом № 5

Определение интегральной оценки

Наибольшая интегральная оценка соответствует проекту Е – строительство гипермаркета в пос. Кулиничи.

«Методология управления проектами»

Лабораторная работа № 4 Иерархия работ. Фазы.

Иерархия работ

Служит для отображения текущей структуры работ.

Внешний вид окна иерархии работ зависит от того, какой Вид иерархии задан в диалоговом окне настройки иерархической диаграммы, которое открывается из меню Диаграмма–>Настройка или нажатием на кнопку на панели инструментов.

Если выбран вид Иерархия, то фазы в окне располагаются в виде вертикальной иерархии. Информация о фазе (ее Название и Код) отображается справа от графического изображения фаз.

Если выбран вид Дерево, то фазы изображаются в виде прямоугольников. На прямоугольнике помещается информация о фазе, задаваемая в диалоговом окне шаблона.

Фазы отображаются согласно уровню иерархии: верхний уровень – фаза проекта, ниже – фазы второго уровня и т.д.

Каждый уровень иерархии имеет свой фоновый цвет, который можно изменить из главного окна программы, нажав на кнопку на панели инструментов. В открывшемся диалоговом окне настройки цветов можно менять цвета фаз соответствующего уровня.

На иерархии работ можно отображать фазы до какого-либо уровня включительно (например, только фазы первого и второго уровня). Настройка уровня отображения производится в диалоговом окне настройки.

Двойной щелчок левой клавишей мыши на фазе вызывает диалоговое окно свойств фазы, в котором задаются ее основные характеристики.

Нажав правую клавишу мыши на изображении фазы, можно вызвать всплывающее меню фазы иерархии работ, позволяющее производить следующие действия: редактировать свойства фазы, создавать общие отчеты по выбранной фазе, создавать и удалять фазы.

Иерархия работ редактируется при помощи мыши.

Если перемещать мышь с нажатой на фазе левой клавишей, то можно менять местами фазы внутри каждого уровня.

При перемещении фазы на уровень ниже следует держать нажатой клавишу Shift, а при перемещении на тот же уровень – клавишу Alt.

Фазы

Диалоговое окно свойств фазы

Представляет собой диалоговое окно со следующими страницами: Исходные и расчетные данные, Операции, Подфазы, стандартная страница Комментарий и стандартная страница OLE-документы и папка.

Страница Исходные и расчетные данные

Название – название фазы.

Код – уникальный код фазы.

Тип – тип фазы для связи со справочниками.

Краткое название – краткое наименование фазы (обычно более короткое, чем основное).

Приоритет – приоритет фазы.

Календарь – календарь, по которому будет рассчитываться длительность фазы в днях. Для изменения

календаря нажмите на кнопку Выбрать, выберите в открывшемся окне календарь из списка и нажмите ОК.

В полях, расположенных ниже, отображаются расчетные значения:

Начало (КМР) – самая ранняя дата начала КМР операции, входящей в фазу.

Окончание (КМР) – самая поздняя дата окончания КМР операции, входящей в фазу - Начало (КМП) – самая ранняя дата начала КМП операции, входящей в фазу.

Окончание (КМП) – самая поздняя дата окончания КМП операции, входящей в фазу - Уровень – уровень фазы в иерархической структуре работ.

Суммировать объемы – позволяет суммировать объемы операций, входящих в состав данной фазы. Суммарный объем будет отображен на строке с фазой после проведения расчета затрат.

Цвет на диаграмме изменяет цвет изображения данной фазы на графической части диаграммы Гантта работ (при этом открывается диалоговое окно цвета объекта).

В рамке Менеджеры содержится список менеджеров, которым будет отправлена фаза при выполнении рассылки подпроектов.

Для добавления в список менеджера нажмите кнопку Добавить и выберите нужного менеджера в открывшемся списке пользователей, нажав затем кнопку ОК.

Кнопка Удалить служит для удаления выбранного менеджера из списка.

Для выбора ответственного менеджера служит кнопка Ответственный. Ответственный менеджер располагается первым в списке, его имя помечается звездочкой, и при сборке обновляемые подпроекты считываются из его папки Подготовленные для сборки [Исходящие], путь к которой задается в таблице пользователей. Остальные менеджеры при сборке подпроектов игнорируются и требуются только для рассылки подпроектов.

Страница Операции

Включенные операции – список операций, входящих в фазу.

Создать – кнопка для добавления в фазу новой операции.

Свойства кнопка для вызова диалогового окна свойств выбранной операции.

Удалить – кнопка для удаления выбранной операции из проекта.

Исключить – кнопка для переноса выбранной операции в список исключенных объектов структуры работ.

Исключенные операции – список исключенных операций.

Включить – кнопка, вставляющая исключенную операцию в список включенных операций.

Свойства – кнопка, вызывающая диалоговое окно свойств выбранной операции.

Удалить – кнопка для удаления выбранной исключенной операции из проекта.

Страница Подфазы

В поле содержится список с подфазами, входящими в данную фазу.

Создать – кнопка для добавления в фазу новой подфазы.

Удалить – кнопка для удаления выбранной подфазы из проекта.

Исключить – кнопка для исключения подфазы из структуры работ (фазы не могут быть исключены из структуры ответственности, поскольку она должна быть полной). При исключении подфаз из текущей структуры, объекты нижнего уровня иерархии (операции) исключаются, а пустые подфазы могут быть удалены из структуры. Исключенные объекты могут быть впоследствии включены в текущую структуру.

После подготовки заявки перед ее отправкой в грантодающую организацию следует соотнести ее содержание с предполагаемыми критериями ее экспертной оценки. Напомним, что любой эксперт, оценивая проект, одновременно оценивает и риск, связанный с его реализацией (или отказом от его нее). Ставя высокий балл, эксперт берет на себя часть ответственности, а ошибаться, как известно, никто не хочет. Этим объясняется, почему эксперт всегда старается понять несколько «простых» вещей:

• ? является ли заявитель профессионалом;
• ? разбирается ли он в предмете, о котором идет речь;
• ? знает ли он, что именно будет делать и в какой последовательности;
• ? есть ли у него опыт подобной работы, т.е. способен ли он выполнить предлагаемый проект;
• ? не навредит ли положительное решение по его заявке репутации эксперта.

Как отмечал В.В. Радаев: «Любая заявка - своего рода кот в мешке. А эксперт - существо изнеженное и к тому же занятое. И если мешок туго перевязан, эксперт не станет ломать себе пальцы, чтобы его развязать. Мы сами должны приоткрыть мешок и дать взглянуть на содержимое. Иначе, скорее всего, эксперт с тихим вздохом отложит нашу заявку и, забыв о ней, перейдет к следующей» .

Ниже приведен список «контрольных вопросов», которым явно или неявно руководствуется эксперт при оценке предлагаемого проекта. Заявителю перед отправкой заявки имеет смысл проверить ее на соответствие пунктам этого списка.

Проблема, на решение которой направлен проект:

• ? присутствует ли хорошо представленное и проанализированное изложение проблемы;
• ? соответствует ли описанная проблема задачам организации, которую вы представляете;
• ? насколько тщательно и убедительно проведен анализ для четкого понимания основных причинных факторов, вызвавших проявление проблемы;
• ? представлены ли в изложении проблемы количественные данные или другие измерители, с помощью которых возможно определить начальные показатели;
• ? основано ли изложение проблемы на уже проводимых ранее исследованиях и практике;
• ? цитируются ли в изложении проблемы достоверные источники, использованные для описания и анализа.

Цель проекта и ее раскрытие в задачах:

• ? реалистична ли цель проекта;
• ? являются ли задачи точными, обозреваемыми и измеряемыми;
• ? связаны ли задачи логически и эмпирически с достижением цели;
• ? представлены ли измеряемые показатели, с помощью которых возможно будет оценить степень выполнения задач при завершении проекта;
• ? вытекают ли логически и эмпирически задачи проекта из описания и анализа проблемы;
• ? определены ли четко бенефициары (благополучатели) проекта, их категории и количество;
• ? можно ли будет оценить и измерить результаты проекта для бенефициаров;
• ? реалистичны ли задачи, учитывая время и финансовые ограничения проекта;
• ? если сформулировано более одной задачи, связаны ли задачи друг с другом логически и расположены ли они в приоритетном порядке;
• ? связаны ли задачи между собой логически и эмпирически для достижения синергии и большего суммарного воздействия.

Методы (виды) деятельности. Направленность проекта и логика его реализации:

• ? связаны ли виды деятельности логически и эмпирически с задачами;
• ? есть ли «разрывы в логике» осуществления проекта;
• ? есть ли какие-то инновационные аспекты в разработке и осуществлении видов деятельности;
• ? реалистичны ли масштаб и объем деятельности, учитывая бюджетные и временные рамки;
• ? есть ли положения и терминологические обороты, которые могут быть непонятны для профессионального сообщества.

Риски:

• ? четко ли высказаны предположения насчет успешности проекта;
• ? какие риски реализации проекта возможны;
• ? существуют ли потенциальные угрозы в социальной и политической среде проекта, которые не отражены, но которые могут свести на нет весь проект;
• ? не слишком ли оптимистичны предположения по проекту; нет ли переоценки позитивных факторов в среде, где будет работать проект.

Опыт/соответствие/репутация:

• ? соответствуют ли предлагаемые виды деятельности имеющемуся управленческому опыту и возможностям заявителя;
• ? имеется ли у заявителя опыт управления финансовыми средствами; каким образом ведется управление финансами; раздельны ли счета по проекту с общим счетом организации;
• ? имеется ли система финансового контроля; подготавливаются ли финансовые отчеты для других грантодателей своевременно и аккуратно;
• ? возможно ли осуществить проект указанными исполнителями; достаточна ли высока их квалификация для осуществления проекта;
• ? есть ли у заявителя свидетельства положительных достижений, которые отмечены через проведение независимых и объективных оценок; какова репутация заявителя среди других грантодателей.

Мониторинг осуществления проекта:

• ? представлены ли в проекте взаимосвязанные начальные показатели, мониторинг и план проведения оценки;
• ? полноценно ли разработан план оценки, чтобы измерять результаты проекта, или он в основном нацелен на оценку отдельных мероприятий по плану действий;
• ? существует ли в организации практика проведения оценок независимыми экспертами или же она препятствует вмешательству в свою деятельность.

Бюджет проекта:

• ? отражают ли позиции бюджета реальные затраты по ведению деятельности, предлагаемой в документации по проекту;
• ? кажутся ли позиции бюджета по проекту чрезмерно «раздутыми», т.е. завышенными для большей гибкости в использовании гранта;
• ? точно ли грантополучатель распределил предлагаемые расходы на прямые и косвенные издержки и на накладные расходы;
• ? обоснованна ли смета проекта с точки зрения его предполагаемых результатов; эффективен ли данный проект с точки зрения расходования финансовых средств, например нанимаются ли дорогие иностранные представители для выполнения заданий, которые могут быть выполнены местным персоналом;
• ? аккуратно ли рассчитаны расходы на поездки и суточные;
• ? достаточно ли детализирован общий бюджет.

• Радаев В. В. Как организовать и представить исследовательский проект: 75 простыхправил. М.: ГУ-ВШЭ: Инфра-М, 2001.

Как понять, есть ли эффект от реализации некоего социального проекта? В чем такой эффект может быть измерен и кем? В НИУ ВШЭ прошел научный семинар «Оценка в социальном проектировании - проблемы развития, профессионализации и обучения социально ориентированных НКО».

Участники семинара, теоретики и практики, обсудили не только основные проблемы и перспективы развития оценочной деятельности в социально-проектной работе российских социально ориентированных НКО (далее - СО НКО), но и результаты учебного курса по оценке социальных проектов, который был проведен Национальной ассоциацией благотворительных организаций при финансовой поддержке Минэкономразвития России и организационно-методическом содействии ВШЭ.

Открывая семинар, который состоялся 18 февраля, директор Центра исследований гражданского общества и некоммерческого сектора НИУ ВШЭ Ирина Мерсиянова отметила, что экспертиза социальных программ и проектов в настоящее время остается одной из наиболее актуальных тем и элементов современной социальной политики в России: «Возможно, мы стоим на пороге нового явления. Стремление к обеспечению роста эффективности проектов свидетельствует о возможности формирования сплоченной группы специалистов, готовых стать центром консолидации усилий активистов гражданского общества в создании нового для страны социального сообщества оценщиков подобного рода проектов. В 2014 году более чем 100 представителей социально ориентированных НКО из 44 субъектов РФ смогли повысить уровень своей проектной культуры в социальной сфере и подняться на новую профессиональную ступень в оценочной деятельности».

По теме семинара с докладами выступили директор НИУ ВШЭ Алексей Автономов и вице-президент Национальной ассоциации благотворительных организаций Нодари Хананашвили. На семинаре также было представлено авторское методическое пособие «Оценка социальных проектов», которое стало результатом более чем пятнадцатилетних теоретических изысканий, преподавания и практической деятельности докладчиков в сфере оценки социальных проектов.

В своем выступлении Алексей Автономов, в частности, подчеркнул, что оценка проектов - не новое явление для России. Еще в 1920-е годы государство было нацелено на решение не только экономических проблем. Скажем, ликвидация неграмотности может рассматриваться как один из наиболее масштабных проектов, реализованных в социальной сфере. Конечно же, все крупные начинания в экономической и социальной областях сопровождались планированием и оценкой. Периодом становления оценки проектов в стране можно считать время с начала 1920-х до середины 1930-х, когда вырабатывались методы оценки, внедрения их в практику, в связи с чем появилось и первое их теоретическое осмысление.

Середина 1950-х - середина 1970-х годов - это период активизации теоретических исследований в сфере оценки, выработки новых методов и инструментов оценки и попыток внедрения их в практику. Однако со временем планирование постепенно стало превращаться в начетничество, и если в Государственном комитете по планированию, возможно, и относились к планированию серьезно, то на местах старались иногда завысить план, но чаще занизить, причем «задним числом». В начале 1990-х от планирования вообще было решено отказаться, как от не отвечающего потребностям и реалиям, и к середине 1990-х оценочная деятельность, в которой нуждались и публичное управление, и развитие экономики, и некоммерческая деятельность - для того, чтобы быть эффективными - оказалась фактически заброшенной.

Первыми почувствовали потребность в освоении оценочной деятельности активисты неправительственных некоммерческих организаций, которые получали гранты от международных и западных организаций, готовые давать финансирование только под настоящие проекты, что, естественно, потребовало освоения проектного подхода, предполагающего также и соответствующую оценку проектов. С конца 1990-х годов начинается новый этап развития оценочной деятельности: периодически организуются обучающие семинары по оценке социальных проектов, в том числе два семинара состоялись по заказу правительства Москвы (в 2004 и 2009 годы). В 2004 году была издана монография «Социальные технологии межсекторного взаимодействия в современной России», в которой была глава, посвященная и оценке социальных проектов (Автономов А.С., Виноградова Т.И., Замятина М.Ф., Хананашвили Н.Л. Социальные технологии межсекторного взаимодействия в современной России. Учебник. Под общей редакцией А.С.Автономова. М.: Фонд «НАН», 2003. - с.с. 274-287). «Тот путь, который мы прошли, во многом был подкреплен сотрудничеством с Высшей школой экономики. Однако пока развитие оценочной деятельности в социальном проектировании в России идет весьма медленно», - заметил Алексей Автономов.

Оценка является одним из важнейших и обеспечивающих качество компонентов управления вообще и управления проектами в частности. Особенно заметен дефицит качества управления в периоды кризисов и экономической неустойчивости, когда управленческие недостатки оказывается затруднительным компенсировать «вливанием» дополнительных ресурсов. Необходимость комплексного подхода к решению социальных задач, сложность управления процессами в социальной сфере, разнообразие факторов, порождающих социальные проблемы, неоднозначность и трудная предсказуемость их последствий свидетельствуют о том, что многие ранее сформулированные и долгое время применявшиеся модели управления по каким-то причинам не срабатывают.

Значимость технологии оценки одновременно сопряжена с целым комплексом проблем на пути ее полномасштабного внедрения. Необходимо отметить, что «чаще всего социальные проекты оценивают на стадии заявки, а судить о достоинствах и недостатках такого проекта, делать выводы о степени годности для его реализации можно и в ходе его выполнения, и особенно важно - оценить эффективность проекта по его завершении». «Вместе с тем, - подчеркнул Алексей Автономов, - нельзя путать мониторинг с оценкой. При проведении мониторинга не выносится суждения о достоинствах и недостатках соответствующего проекта с выводом о ходе его реализации, о достигнутом результате, о полученном эффекте, хотя и собираются, и исследуются необходимые для этого данные».

Докладчик выразил уверенность, что сотрудничество Национальной ассоциации благотворительный организаций и Высшей школы экономики в образовательно-просветительской деятельности отразится на восполнении дефицита знаний, практических умений и навыков сотрудников СО НКО в социальном проектировании и приведет в итоге к более эффективному расходованию бюджетных средств, к конструктивному действию по планомерному улучшению ситуации.

В своем выступлении Нодари Хананашвили отметил, что проектная культура как один из инструментов культуры управления является чрезвычайно важной для страны, и выразил убеждение, что внедрение основ проектной культуры должно начинаться еще в школе. Необходимо преодолевать сложившиеся стереотипы сознания. В подавляющем большинстве отчеты о проделанной работе содержат сведения о затраченных средствах, количестве проведенных мероприятий, числе участников, но эти данные, формально-валовые показатели, далеко не всегда связаны с эффективностью проекта. В случае бизнес-проекта очевидно, что независимой оценкой эффективности может служить норма прибыли. По каким показателям можно судить об эффективности социального проекта? С учетом того, что проекты реализуются в социальной сфере, необходимо суметь оценить и происходящие в результате реализации проекта изменения; они могут иметь различные «единицы измерения»: снижение остроты проблемы, повышение способности целевой группы к самостоятельному решению своих проблем. Поскольку направлений для социальных инвестиций может быть очень много, как и нуждающихся в помощи групп населения, то и единиц измерения эффективности может быть очень много. Еще одна проблема, с которой сталкивается оценщик социальных проектов, заключается в периоде «окупаемости» таких социальных инвестиций. Например, меры по профилактике асоциального поведения детей и подростков могут принести результаты через несколько десятков лет. Докладчик более подробно остановился на реализации социального проекта «Формирование экспертно-аналитической гражданской сети», поддержанного субсидией Министерства экономического развития РФ.

Участники семинара обратили внимание, что для России проектов подобного масштаба по данной теме до настоящего времени не было. Базовый и системообразующий элемент проекта - 72-часовой очно-заочный обучающий курс по основам оценочной деятельности для представителей СО НКО, имеющих существенный практический опыт составления и выполнения (а иногда - и оценки) социальных проектов из восьми федеральных округов РФ.

Оценщики социальных проектов - не прокуроры и не судьи, в их задачу входит выявить факты, провести всесторонний анализ и в конечном итоге не огласить приговор, а сформулировать совокупность рекомендаций

Нодари Хананашвили
вице-президент Национальной ассоциации благотворительных организаций

Девятимесячный курс (с 1 марта по 30 ноября 2014 года), можно охарактеризовать как экспериментальный, многоформатный, практико-ориентированный. Необходимо отметить инновационную составляющую методологических рекомендаций и предложений в сфере менеджмента в проектном подходе, потому что в данной сфере правовая, процедурная, методическая регламентация сегодня почти отсутствует. Можно добавить, что по мере своего продвижения «проект оказался саморасширяющимся». «Важно, что оценщики социальных проектов - не прокуроры и не судьи, в их задачу входит выявить факты, провести всесторонний анализ и в конечном итоге не огласить приговор, а сформулировать совокупность рекомендаций», - заметил Нодари Хананашвили

Курс учебы прошли специалисты со всей России. Повышению культурно-просветительской составляющей курса способствовало то, проводились выездные мероприятия, а учебные группы были сформированы по «сдвоенным» округам - Дальневосточный и Сибирский федеральные округа, Уральский и Приволжский, Северо-Кавказский и Южный, Северо-Западный и Центральный. Каждый обучающий курс состоит из двух трехдневных очных семинаров и практической части (планируемой и осуществляемой созданными в ходе первого семинара малыми группами) по мониторингу реализуемых региональных проектов.

Структура курса состояла из основ экспертно-аналитической деятельности в области оценки заявок (взгляд на социальный проект, критерии оценки конкурсных заявок, экспертные формы, планирование мониторинга), мониторинга проектов, реализуемых в регионах на средства субсидий, выдаваемых Минэкономразвития России субъектам РФ для поддержки СО НКО, а также анализа результатов проведенных мониторингов и непосредственно оценки эффективности реализованных проектов.

Таким образом, на первом этапе участники овладевали оценочным инструментарием, а на втором происходил непосредственно мониторинг оцениваемых проектов. Авторы курса обратили внимание участников семинара на такую важную составляющую в оценке, как система обратной связи. Согласно правилам профессиональной этики, черновик отчета должен быть выслан непосредственно исполнителю проекта, вдруг при анализе информации не были учтены какие-либо важные факторы. Затем результаты мониторинга, отчет о его выполнении будут размещены на сайте Минэкономразвития России.

Многие темы могут служить дополнительными элементами основного курса. Например, структура оценки, алгоритмы оценочной деятельности; экспертиза документов и текстов, процедуры организации конкурса и место экспертизы и оценки. Важно научиться работать с бюджетом проекта, овладеть социальной технологией «прозрачный бюджет». Более подробно с дополнительными возможностями курса можно ознакомиться в презентации, размещенной на сайте Центра исследований гражданского общества и некоммерческого сектора ВШЭ.

По результатам проведенного курса были сформулированы конкретные рекомендации, адресованные Министерству экономического развития РФ, по повышению степени прозрачности и доступности информации о реализации в субъектах РФ программ поддержки СО НКО и о выработке единых требований к публикации информации о проектах-победителях (исполнителях). Также они касались системы критериев, действующих для конкурса СО НКО, в результате которой региональные и общероссийские или сетевые СО НКО оказываются в существенно неравном положении. Можно сделать вывод о неотложности внедрения процедур и механизмов внешних независимых мониторинга и оценки - на основе восстановительного (не «репрессивного») подхода. При этом значимость обучения очевидна не только для СО НКО, но и для представителей федеральной и региональных общественных палат, поскольку те, в соответствии с ФЗ «Об основах общественного контроля в Российской Федерации» вправе и будут осуществлять деятельность в сфере общественного контроля, а также - для органов государственной власти и местного самоуправления, разумеется, если они хотели бы осуществлять деятельность по поддержке СО НКО более эффективно.

Экспертно-аналитическая работа и практические задания, выполняемые слушателями в ходе обучения, способствуют формированию системы «обратной связи» для органов власти. Оценочная информация может оказаться весьма полезной для совершенствования системы управления общественными ресурсами, повышения эффективности такого управления, снижения коррупционных рисков, повышения доверия граждан к реализуемой государственной политике в социальной сфере. Что, собственно, и является основой технологии социального инвестирования, обеспечивающей позитивные социальные изменения и устойчивое социальное развитие.

Выступивший на встрече после основных докладчиков консультант Фонда Чарльза Стюарта Мотта Вячеслав Бахмин, в частности, отметил: «Обучение оценке проектов - чрезвычайно полезное начинание, так как уровень проектной культуры среди представителей НКО остается крайне низким. Но вдвойне важнее формулирование конкретных рекомендаций для Минэкономразвития России, и есть надежда, что критерии, которые искажают картину конкурса, будут изменены».

Эксперт-аналитик Филиала некоммерческой организации «Эволюшн энд Филантропи» Олег Казаков высказал сомнение в необходимости специальной профессиональной подготовки оценщиков, так как, с его точки зрения, такими навыками должен обладать любой грамотный управленец.

Мнение же подавляющего большинства аудитории выразила главный научный сотрудник Института социологии РАН Ирина Гаврилова: «Думаю, что оценке социальных проектов обязательно надо учить, и учить все слои общества - как управленцев, так и сотрудников НКО. Конечно, мы понимаем, что это сложная и объемная задача, у нас в стране очень не хватает оценщиков. В общении с коллегами часто выясняется, что оценка проектов проводится «на глазок», многими методиками специалисты не владеют, и им просто негде этому научиться. Как специалист, который не обучался оценке, но ее проводит, я понимаю, что мне еще очень многому надо учиться. И я рада выходу учебного пособия и, будучи доктором наук, обязательно буду изучать эту методику, чтобы использовать ее в своей работе».

Татьяна Богословская, Нодари Хананашвили, специально для новостной службы портала ВШЭ