Methods for evaluating the effectiveness of project activity in the field of modern technical means of rehabilitation

Full Text

Введение Проектная деятельность в области технических средств, используемых в реабилитации больных и инвалидов, становится все более значимой в свете приоритетов государственной политики в России, ориентированных на интенсификацию импортозамещения этих средств на основе инновационных проектов. Такая деятельность одна из самых востребованных при проведении научно-исследовательских работ (НИР), а также научно-исследовательских и опытно-конструкторских работ (НИОКР). Интерес не только специалистов науки и практики, но больных и инвалидов с разными нарушениями здоровья, к практическому использованию современных технических средств для реабилитации растет. Весьма важно, что разработка и производство технических средств для реабилитации вызывают все большее внимание бизнеса (4). Эти средства широко используются для реабилитации пациентов в неврологии, травматологии и других областях медицинской деятельности, а также для повышения качества жизни инвалидов в разных сферах жизнедеятельности, способствуя их социальной интеграции, что подтверждается многочисленными публикациями (2, 3, 5, 7, 8). Успешная реализация инновационных проектов (далее проектов), связанных с указанными работами и внедрением их результатов, в том числе в реальное производство технических средств и затем их эксплуатацию в практике, требует высокого уровня научной обоснованности и, как правило, существенных финансовых и организационно-управленческих ресурсов. Достижение ожидаемой эффективности проектной деятельности обуславливает необходимость отбора проектов, что в большинстве случаев происходит на основе конкурсных отборов, которые осуществляются с использованием различных методов. В процессе реализации проектов каждый из них проходит определенные стадии своего жизненного цикла, которые имеют спец ифику в плане оценки эффективности. Методы оценки в современных условиях нуждаются в методологическом совершенствовании на основе новых подходов и инструментов. По данной проблематике исследования единичные и они затрагивают отдельные методы оценки (1, 6, 9). Все вышеуказанные факторы определяют актуальность проведенного исследования, результаты которого представлены в настоящей статье. Материалы и методы В ходе проведенного исследования были изучены сложившиеся подходы к отбору проектов, осуществляемых 14 наиболее крупными российскими организациями, специализирующимися на финансировании НИР и НИОКР, а также госзаказах и госзаданиях применительно к техническим средствам, включая средства для реабилитации больных и инвалидов. В число этих организаций вошли 8 целевых фондов и 6 федеральных органов власти. Был проведен углубленный анализ положений о конкурсах, в ходе которого выявлены методы оценки проектов, касающихся технических средств реабилитации, разработанные и утвержденные в установленном порядке в указанных организациях, Уточнены критерии и показатели оценки проектов и эффективности их реализации. Проведен сравнительный анализ используемых методов оценки проектов и эффективности их реализации, а также применение этих методов в отношении конкретных проектов-участников конкурсов. Пути решения Подходы в решении вопроса о методологическом совершенствовании оценки эффективности проектной деятельности можно объединить в две группы. Первая имеет отношение к научной обоснованности и четкости изложения содержания и инструментов реализации проекта. Вторая группа включает расширение видов экспер № 4-2019 ФИЗИЧЕСКАЯ И РЕАБИЛИТАЦИОННАЯ МЕДИЦИНА, МЕДИЦИНСКАЯ РЕАБИЛИТАЦИЯ 5 ОРГАНИЗАЦИОННО-МЕТОДИЧЕСКИЕ ОСНОВЫ ФИЗИЧЕСКОЙ И РЕАБИЛИТАЦИОННОЙ МЕДИЦИНЫ тиз, с учетом усиливающего в рыночных условиях значения организационно-управленческих, административно-технологических, финансовых, юридических, охраны авторских прав и иных аспектов успешности разработки и реализации проектов, которые существенно влияют на эффективность проектной деятельности. Особо следует выделить проведение публичного технологического и ценового аудита инвестиционных проектов. Результаты исследования и обсуждение Результаты исследования позволяют утверждать, что все изученные организации для проведения отбора проектов применяли экспертный метод и следующие взаимосвязанные с ним и между собой методы: метод порядка отбора проектов; метод методологического обоснования экспертиз проекта; метод выбора экспертов; метод организации и формирования порядка проведения экспертиз; метод выбора критериев и показателей для оценки проекта; метод оценки результативности завершенного проекта. Разные организации в целом имели по многим подходам схожие позиции, применительно к использованию методов. В частности, это касается метода порядка отбора проектов. Он заключается в типовой конкурсной основе. Конкурсная процедура практически у всех организаций одинаковая, носит типовой характер, согласно действующему законодательству Российской Федерации. Также весьма близкие позиции отмечались относительно метода методологического обоснования экспертиз проекта. Методология строится на трактовке экспертизы проектов. Экспертиза проектов рассматривается, как осуществление специализированной оценочно-аналитической и/или исследовательской деятельности, направленной на обеспечение выработки рекомендаций относительно целесообразности финансирования проектов. Таким образом, ключевым в методологии проведения экспертизы становится оценочная деятельность, базирующаяся на аналитической и исследовательской работе экспертов. Согласно обозначенным методологически аспектам, целью экспертизы является оценка проекта и формирование заключения о целесообразности финансирования проекта. Для достижения цели решаются задачи, включая: анализ представленных эксперту материалов на предмет их состава и полноценности для выполнения задач информации; проведение изучения материалов, согласно поставленной цели; формирование требуемого заключения. В качестве инструмента для выполнения поставленных перед экспертами задач используются пакеты документов: 1/конкурсная документация, выставленная заказчиком; 2/конкурсная документация, представленная участником. Метод выбора экспертов основан на правовом статусе субъекта, который может стать экспертом, а также на определении, выработке и публичности критериев, которым должны соответствовать эксперты. Согласно положениям об экспертизе, существующим в изучаемых организациях, в качестве экспертов все они, за исключением Фонда перспективных исследований, рассматривают только физических лиц. Тогда, как Фонд перспективных исследований, кроме физических лиц считает возможным включать в число экспертов юридических лиц. Относительно критериев в отношении экспертов из числа физических лиц разногласий между изучаемыми организациями практически нет. Эксперты должны были соответствовать следующим критериям: высокая квалификация в выбранной предметной области; наличие ученой степени/звания; наличие публикаций в высокорейтинговых российских и зарубежных изданиях монографий, учебников, патентов, авторских свидетельств и статей; опыт проведения экспертиз; высокий индекс научного цитирования; членство в научных и профессиональных сообществах; наличие полученных премий в области науки и техники, наград, внедренных разработок. Один из фондов, занимающихся перспективными НИР и НИОКР, имея свою точку зрения на состав экспертов, утверждает о важности приглашения для экспертиз юридических лиц, которым предлагается присваивать статус экспертной организации. Согласно документам этого фонда, регулирующим проведение экспертизы проектов, экспертные организации должны соответствовать следующим критериям: наличие в штате экспертов, работающих в экспертной организации на постоянной основе и соответствующих критериям, предъявляемым к экспертам из числа физических лиц, определенным этими документами; не проведение ликвидации экспертной организации и отсутствие решения арбитражного суда о признании экспертной организации несостоятельной (банкротом) и об открытии конкурсного производства. Порядок отбора экспертов из числа физических лиц был типовым для всех изученных организаций, он заключался в репутационном и поисковом отборе, который проводит сама организация-заказчик. Репутационный отбор основан на запросах об эксперте в известные в соответствующей области научные, производственные и образовательные организации. Поисковый отбор происходит на основе оценки авторских тематических публикаций и их содержания. Этот отбор проводится силами сотрудников организации-заказчика. Организация-заказчик на основании мониторинга научных достижений по основным направлениям исследований и разработок определяет перечень профильных научных, производственных и образовательных организаций, специалисты которых могли бы принять участие в экспертизе проектов. По результатам мониторинга осуществляется рассылка обращений заинтересованным федеральным органам исполнительной власти, государственным корпорациям, национальным исследовательским центрам, ВУЗам, институтам РАН, отраслевым НИИ и другим профильным организациям с просьбой предоставить список экспертов и экспертных организаций по соответствующим основным направлениям деятельности организации-заказчика. Опыт по использованию экспертных организаций, отбираемых на конкурсной основе, следует считать значимым и полезным для более широкого использования применительно к техническим средствам для реабилитации. Можно полагать, что такой методический подход является наилучшим, позволяющим с наименьшим риском ошибки выявлять компетентных экспертов, глубоко погруженных в проблематику, особенно оценки эффективности применения технических средств для реабилитации при определенных нарушениях здоровья, владеющих методологией оценки объекта экспертизы, а также наиболее адекватно избегать нарушений, касающихся секретной информации. Отсутствие конфликта интересов является обязательным условием привлечения экспертов, экспертных организаций к проведению экспертизы. Метод организации и формирования порядка проведения экспертиз имеет отдельные, но несуще 6 ФИЗИЧЕСКАЯ И РЕАБИЛИТАЦИОННАЯ МЕДИЦИНА, МЕДИЦИНСКАЯ РЕАБИЛИТАЦИЯ декабрь 2019 ОРГАНИЗАЦИОННО-МЕТОДИЧЕСКИЕ ОСНОВЫ ФИЗИЧЕСКОЙ И РЕАБИЛИТАЦИОННОЙ МЕДИЦИНЫ ственные особенности у разных субъектов-организато-ров экспертиз. Организация экспертизы основывается на следующих принципах: системности организации экспертной работы и единства ее нормативно-методического обеспечения; соответствия направлениям научных исследований и разработок интересам заказчика; компетентности экспертов в конкретных направлениях научных исследований и разработок; соответствия экспертизы установленным заказчиком правил, процедур и критериев оценки; объективности подготавливаемых заключений по результатам экспертизы; независимости и правовой защищенности участников экспертного процесса от внешних влияний; гласности результатов экспертизы при условии сохранения государственной и иной охраняемой законом тайны. Объектами экспертизы являются заявки на проекты, представленные заказчику участниками конкурса по установленной форме. Субъектами экспертизы являются: заказчик экспертизы и исполнитель экспертизы. К субъектам экспертизы предъявляются специфические требования, касающиеся неразглашения определенной информации. Субъекты экспертизы обязаны не передавать третьим лицам информацию, полученную в связи с проведением экспертизы, а также препятствовать использованию материалов экспертизы третьими лицами, передаче информации третьим лицам, разглашению информации, содержащей сведения, составляющие государственную тайну, и иной информации ограниченного доступа. По составу субъектов у автора настоящего исследования есть своя позиция, отличная от выше описанной. Представляется, что указанный состав субъектов неполноценный, поскольку любой участник конкурсной процедуры (податель заявки) тоже должен рассматриваться, как субъект экспертизы. Он, согласно российскому законодательству, имея свою точку зрения на собственный проект, его значимость, обладает правом оспаривать в антимонопольных органах и в суде решения заказчика и экспертов. Не стоит умалять и его роль как носителя идеи проекта, разработчика подаваемого на конкурс пакета документов. Судебная практика оспаривания решений заказчика и его экспертов в пользу не того, кого они признали лучшим, а другого участника, не редкость. Кроме того, как показало изучение деятельности специализированных фондов по отбору проектов, часть проектов фонды вносят в собственный банк перспективных идей для дальнейшего использования. Это подчеркивает субъектную роль участников конкурсных отборов. Порядок проведения экспертизы проектов предусматривает ее поэтапное осуществление: 1. Первый этап нацелен на так называемую входную экспертизу заявок, в ходе которой необходимо оценить соответствие материалов заявки установленным конкурсными документами требований к их содержанию. Используется сравнительный метод, на основе которого выявляется и оценивается: направленность проекта на достижение установленной цели; соответствие требованиям состава представленных материалов; целесообразность направления представленного проекта на следующий этап для научно-технической экспертизы. 2. Второй этап связан с научно-технической экспертизой проекта, целью которой является оценка научной обоснованности и технической осуществимости проекта. В этом вопросе фонды достаточно единодушны в том, что научно-техническая экспертиза проекта может не проводиться при условии представления заключения экспертных (научно-технических) советов федеральных органов исполнительной власти или государственных корпораций, содержащих обоснованные оценки критериев, соответствующих предусмотренными заказчиком критериями. Фонд перспективных исследований также указывает на случай не проведения данной экспертизы, когда есть решение конкурсной комиссии, образованной Фондом в соответствии с Положением об экспертизе проектов, утвержденным Фондом, касающегося перспективных исследований о поиске инновационных научно-технических идей, передовых конструкторских и технологических решений. Автору настоящего исследования позиция ухода от научно-технической экспертизы представляется принципиально неверной. Такое положение дел заведомо повышает конкурентоспособность конкретного проекта в отношении проектов других участников конкурса. 3. Третий этап сводится к технико-экономической экспертизе проекта, в процессе которой эксперты должны оценить ресурсную возможность выполнения проекта, дать обоснование уровня финансово-экономического обеспечения мероприятий проекта. Для повышения объективности оценки предполагается изучение положения дел на месте, касательно ресурсов, в частности материально-технической базы, располагаемой потенциальным исполнителем для осуществления проекта. Например, с этой целью ответственный эксперт (эксперты) осуществляют реальный выезд для технической экспертизы и визуального освидетельствования состоятельности лабораторно-производственных условий, в которых планируется реализация проекта. К проведению этой работы предполагается привлечение экспертов организаций, специализирующихся на технико-экономической экспертизе. Для технико-экономической экспертизы также, как и для научно-технической экспертизы проекта, предусмотрено исключение, т.е. возможность ее не проведения. Это может иметь место, когда потенциальный исполнитель представляет заключение специализированной экспертной организации, в котором содержатся предусмотренные заказчиком оценки критериев, предусмотренные его внутренними распорядительными документами и/или конкурсными документами. Авторам настоящего исследования такая позиция так же, как это было обосновано по отношению к научнотехнической экспертизе, представляется принципиально неверной. В этой ситуации заведомо повышает конкурентоспособность конкретного проекта в отношении проектов других участников конкурса. 4. Четвертый этап касается выработки итогового экспертного заключения. Оно формируется специальной структурой (комиссией, советом и т.п.) на основе заключений экспертов. Оформляется на специальном бланке заключения. Каждая организация разрабатывает свой бланк и содержание заключения. Метод выбора критериев и показателей для оценки проекта базируется на формировании обоснованного набора критериев, показателей, единиц измерения. По ряду подходов в методах оценки выявлены отличия в наборе и трактовке критериев и показателей у разных организаций. Особенно проявились эти отличия у фондов. Каждый фонд при разработке метода использовал свои оригинальные решения. Например, фонд, занимающийся финансированием разработки новых технологий, применяет четкую идентификацию критериев, показателей оценки и их единиц измерения, методов оценки показателя, инструментария и итоговой оценки. № 4-2019 ФИЗИЧЕСКАЯ И РЕАБИЛИТАЦИОННАЯ МЕДИЦИНА, МЕДИЦИНСКАЯ РЕАБИЛИТАЦИЯ 7 ОРГАНИЗАЦИОННО-МЕТОДИЧЕСКИЕ ОСНОВЫ ФИЗИЧЕСКОЙ И РЕАБИЛИТАЦИОННОЙ МЕДИЦИНЫ Оценочной основой является бальная оценка по определенному показателю в рамках конкретизированного критерия. На ее базе формируется итоговая рейтинговая оценка, касающаяся соответствующего критерия. Данный подход отличается прозрачностью и комплексностью оценок, разносторонне отражающих объективизацию качественных и количественных характеристик содержательности проекта и его результата в виде создаваемой продукции, которым может быть изделие, товар, услуга. Несомненно, такой продукцией может рассматриваться изделие, предлагаемое в проекте. Особо подчеркнем такую сильную сторону этого подхода, как четкое указание на метод и инструментарий оценки показателя. Согласно требованиям фонда, ориентированного на перспективные исследования, критериями, используемыми при экспертизе проектов, являются количественные, функциональные и экологические характеристики. Однако они не идентифицированы, в силу чего, судить о том, какие из показателей отражают те или иные критерии оказалось затруднительным. Можно выделить отдельные направления, по которым сгруппированы отдельные показатели, которые имеют существенные различия в оценках, установленных в баллах за соответствующий показатель. Максимальное суммарное значение баллов должно достигать 100, при этом половина от этой величины приходится на один показатель «наличие дополнительных предложений Участника конкурса по выполнению работ». Слабо учитываются столь значимые для проектов аспекты, как технико-технологические и технико-экономические характеристики проекта. Вместе с тем, как сильную сторону этих подходов можно признать учет в оценке описания методологии работы, обеспечивающей создаваемую посредством проекта научно-исследовательскую продукцию, а также оценку дополнительных предложений участника, предусматривающих лучшие условия исполнения контракта. Обращает внимание, что за каждое предложение концептуального характера выставляется 1 балл, за каждое предложение прикладного характера - 5 баллов. Столь значимая разница в бальной оценке указывает на большую роль прикладного характера разработок, интересующих заказчика. Полагаем, что этот подход вполне уместно использовать для оценки проектов, содержащих НИОКР, что характерно для разработки технических средств реабилитации. Российский фонд фундаментальных исследований делает свой оценочный акцент и, соответственно этому, определяет методические подходы, исходя из следующих целевых ориентиров проекта: ускорение технологического обновления и технического оснащения отечественных промышленных предприятий; рост потребности в инновационных разработках и их внедрении; повышение результативности и эффективности проектов, системы управления их разработкой и реализацией, включая рациональное использование результатов интеллектуальной деятельности (РИД); динамичный и устойчивый экономический рост повышения конкурентоспособности российской экономики и ее отдельных отраслей и секторов. Уточним отдельные особенности методов оценки, используемых в других изученных организациях. Так, среди этапов экспертизы выделяется такой этап, как инвестиционная экспертиза. Данная экспертиза включает: юридическую и финансово-экономическую экспертизу правовых, а также финансово-экономических аспектов проекта; производственно-технологическую экспертизу; патентную экспертизу; экспертизу затрат, рисков и приобретений производителей продукции, в том числе технических средств для реабилитации; используются экспертизы информационно-технологического, кадрового и финансового обеспечения. Информационно-техническое обеспечение увязано с использованием Интернет, электронной почты, телефона, телефакса, почтовых отправлений и др. Кадровое обеспечение осуществляют субъекты-исполнители экспертизы в лице аккредитованных экспертов. Финансирование экспертизы осуществляется за счет организации-заказчика или сторонних организаций. Другие изученные фонды и организации предлагают такой же инструмент финансирования. Однако они предусматривают и право отказа эксперта от получения оплаты за экспертные услуги. В этом есть определенное лукавство заказчика экспертизы. Многие эксперты не выставляют требований к оплате из-за бюрократических процедур оформления вознаграждения и из-за того, что сумма оплаты столь мизерная, что не стимулирует эксперта к ее получению. Эксперты работают на энтузиазме, профессиональной ответственности, осознавая значимость экспертиз для продвижения науко- и практикоёмких идей. Это, безусловно, порочная, эксплуатационная практика вознаграждения высококвалифицированного труда экспертов и от неё необходимо отказаться. Опыт в этом плане есть, суть его в проведении публичного технологического и ценового аудита инвестиционных проектов. При проведении такого аудита стоимость работ оценивается: при наличии только инвестиционного замысла проекта с предварительными технико-экономическими показателями проекта, в размере 0,2% стоимости разработки документации проекта и проведения инженерных изысканий; при наличии ранее проведенного технологического и ценового аудита инвестиционного проекта в стадии замысла, в 0,38% суммарной стоимости изготовления документации и инженерных изысканий; при отсутствии ранее проведенного аудита в размере 0,58% суммарной стоимости изготовления документации и инженерных изысканий. Акцентируем внимание на методе оценки бизнес-плана проекта. Бизнес план должен содержать следующие разделы: описание продукта, включая его целевые характеристики и преимущества, состояние проекта и динамику его развития; анализ рынка разрабатываемого продукта/услуги, технологии; подробную характеристику заявителя; основные задачи проекта и этапы; финансовый план, включая финансовую модель проекта; оценку рисков и управления рисками; условия участи фонда в реализации проекта. Оригинальной является и метод финансово-экономической экспертизы проекта. Целью такой экспертизы является подтверждение соответствие проекта условиям финансирования. Оценка соответствия происходит по критериям «Рыночная перспективность и потенциал импортозамещения продукта», «Финансово-экономическая эффективность и устойчивость проекта», «Финансовая состоятельность заемщика», «Обеспечение займа». В процессе экспертизы изучаются бизнес-план, сметы, финансовая модель, бухгалтерская отчетность исполнителя. Для оценки рыночной перспективности и потенциала импортозамещения используются такие параметры, как: наличие рынка для продукции и его целевые характеристики; прогнозируемый рынок конкуренции; наличие 8 ФИЗИЧЕСКАЯ И РЕАБИЛИТАЦИОННАЯ МЕДИЦИНА, МЕДИЦИНСКАЯ РЕАБИЛИТАЦИЯ декабрь 2019 ОРГАНИЗАЦИОННО-МЕТОДИЧЕСКИЕ ОСНОВЫ ФИЗИЧЕСКОЙ И РЕАБИЛИТАЦИОННОЙ МЕДИЦИНЫ конкурентных преимуществ на российском и глобальном рынке на основе сопоставлений востребованности аналогичной продукции; потенциал импортозамещения; финансовое позиционирование продукта; наличие целевых потребителей и планов их привлечения, в том числе подтвержденного заказа на продукт. Важную роль играет правовая экспертиза, методически направленная на оценку правовых оснований проведения работ, связных с реализацией проекта конкретным участником. Вышеизложенные подходы, несомненно, полезные и имеющие перспективы для дальнейшего практического использования в процессе оценки эффективности проектной деятельности, вместе с тем они нуждаются в детализации с учетом специфики проектов, касающихся технических средств для реабилитации, а также ориентации на реальные условия использования оценок конкретного проекта и эффективности его реализации на отдельных этапах реализации, в том числе стартовом, промежуточном, итоговом, отдаленном после завершения. Выводы: 1. Сложившиеся методы оценки проектов и оценки эффективности проектной деятельности применительно к техническим средствам для реабилитации, используемые различными организациями, ориентированы на проекты, отвечающие значимым для государственного, общественного, отраслевого развития решениям проблем, включая: ускорение импортозамещения технических средств, используемых в реабилитации больных и инвалидов, технологического обновления и технического оснащения отечественных промышленных предприятий; рост потребности в инновационных разработках указанных технических средств и их внедрении; повышение результативности и эффективности проектов, системы управления их разработкой и реализацией, включая рациональное использование РИД; динамичный и устойчивый экономический рост повышения конкурентоспособности российской экономики и ее отдельных отраслей и секторов. 2. Все изученные организации для проведения отбора проектов применяли комплексный экспертный метод, в том числе: методы порядка отбора проектов; методологического обоснования экспертиз проекта; выбора экспертов; организации и формирования порядка проведения экспертиз; выбора критериев и показателей для оценки проекта; оценки результативности завершенного проекта. В целом отмечается схожесть методов оценки. Частные различия касаются технологий оценок, включая набор критериев, показателей и способов формирования итоговой оценки проекта. По ряду позиций отмечается избыточность оценочных средств.

About the authors

L P Khrapilina

Russian Academy of National Economy and Public Administration under the President of the Russian Federation

Email: khrapylina@mail.ru

References

Supplementary files