BUSINESS MODEL OF RISKS EVALUATION OF PROJECTS


如何引用文章

全文:

详细

When modeling the life cycle of the program for the creation of science-intensive products, it is necessary to take into account the risks which are specific for the creation of rocket and space technology. In this article we offer the new kind of organizational and economic models for estimation the risks of projects for creating rocket and space technology. In it, for the first time, we consider the generalization of the additive-multiplicative model of risk estimation. In a two-level scheme at the lower level, risk assessments are combined additively, at the top level - multiplicatively. We use the additive-multiplicative model to estimate the risks of projects for creating rocket and space technology. There are 44 private risks at the lower level and 8 at the top, respectively, the stages of project implementation. The additive-multiplicative model is also useful for solving other problems of risk estimation. We applied it to estimate the risks of implementing innovative projects in universities (with the participation of external partners) and to estimate the risks in the release of new innovative products. We consider successively the main elements of a new model of risk estimation models: a hierarchical risk system, an expert risk estimation of the lower level, an aggregation of the risks in the lower group to calculate the higher-level group risk, use of the estimation results for risk management, the consequences of the failure of terms and methods for overcoming them. For the creation of a hierarchical system of risks, the next step is the construction and application of a low-level expert risk estimation (private risk) system. It is natural for an expert to use non-numerical characteristics for estimation, so it is natural to give the risk estimations of a specific project for creating rocket and space technology using linguistic variables. Values of linguistic variables we can obtain directly from experts in the form of scores from the series 0, 1, 2, 3, 4, 5. With further development of the organizational and economic model of risk estimation of projects for the purpose of in-depth description of uncertainties, other mathematical tools based on theory of fuzzy sets and interval mathematics can be used. Perspective methods of aggregating risk estimations assume the use of weighted Kolmogorov's means, weighted medians I and II types. Estimation results we use in risk management. The approach and the mathematical model which we develop in this article can be useful for project managers who carry out their activities in the rocket and space industry.

全文:

Введение. Успешная реализация проектов созда- ния ракетно-космической техники необходима для обеспечения национальной безопасности нашей стра- ны, в том числе ее экономической составляющей. Поэтому вполне естественно, что стратегия иннова- ционного развития Российской Федерации на период до 2020 года предусматривает ускоренное развитие космической отрасли [1]. Для его обеспечения необ- ходимо решение ряда задач экономики космической деятельности [2]. Работы нашего научного коллектива по организационно-экономическому обеспечению ракетно-космической промышленности проанализи- рованы в статье [3] и главе 4 монографии [4]. В част- ности, необходима разработка организационно- экономических моделей оценки рисков проектов в ракетно-космической промышленности. При моделировании жизненного цикла программы создания наукоемкой продукции необходимо учиты- вать риски, специфические при создании ракетно- космической техники [5]. Поэтому большое значение имеет развитие технологий адаптивного управления проектами создания, эксплуатации и утилизации ра- кетно-космической техники [6]. Так, для повышения эффективности реализации проектов по созданию перспективных образцов ракетно-космической техни- ки целесообразно применять концепцию управления требованиями [7]. Настоящая статья посвящена новому виду органи- зационно-экономических моделей оценки рисков про- ектов создания ракетно-космической техники. В них впервые рассматривается в общем виде обобщение аддитивно-мультипликативной модели оценки рисков. Работа посвящена дальнейшему развитию подхода, предложенного нами в статьях [8; 9] и докладах [10; 11]. Элементы рассматриваемого подхода уже исполь- зуются в ЦНИИМАШ при выполнении научно- исследовательских работ и вошли в учебные курсы МГТУ им. Н. Э. Баумана (дисциплины «Организаци- онно-экономическое моделирование», «Управление проектами» и «Контроллинг рисков»). Рассмотрим последовательно основные элементы нового вида моделей оценки рисков: иерархическую систему рисков, экспертную оценку рисков нижнего уровня, агрегирование показателей нижележащей группы рисков для расчета группового риска более высокого уровня, использование результатов оцени- вания для управления рисками, последствия срыва сроков и методы их преодоления. Иерархическая система рисков. Рассматривае- мый подход основан на построении иерархической системы рисков. В работах [8; 9] с целью моделиро- вания особенностей оценки рисков при создании ракетно-космической техники (РКТ) использовалась трехуровневая иерархическая система: риск невыпол- нения проекта в срок - групповые риски - частные риски. При этом групповые риски - это риски невы- полнения в срок этапов проекта. Основная идея построения иерархической системы - переход от сложного оцениваемого глобального риска к более простым групповым и от них - к частным рискам, которые могут быть оценены (например, экс- пертами) сравнительно легко. Для демонстрации предлагаемого подхода примем, что разработка РКТ состоит из следующих восьми этапов: 1) концепция; 2) разработка технического проекта (аванпроекта и эскизного проекта); 3) разработка рабочей конструкторской докумен- тации; 4) разработка технологической документации и техпроцессов; 5) изготовление макета и опытных изделий (опытного образца); 6) наземная отработка (испытания); 7) летные испытания и доработка документации для производства по результатам испытаний; 8) запуск в производство. На каждом этапе имеются те или иные частные риски. Так, на этапе 5 «Изготовление опытного образца» нами выделены 7 частных рисков: R14 - риск ошибок при изготовлении деталей и блоков; R24 - риск ошибок при сборке; R34 - риск недостатка ресурсов (станочного парка, кадровых, компьютерных, временных и других ресур- сов); R44 - риски, связанные с невыполнением обяза- тельств смежниками и субподрядчиками (кооперация); R54 - организационный риск (риск срыва работ из-за плохой их организации); R64 - риск, вызванный действиями поставщиков сырья, комплектующих, материалов (низкое качество, нарушение сроков); R74 - внешний риск (по другим причинам). По всем 8 этапам было выделено 44 частных риска Rij, где i - номер этапа, i = 1, 2, 3, …, 8, а j - номер частного риска внутри этапа, j = 1, 2, ..., n(i), где n(i) - количество частных рисков, выделенных на этапе i (при этом n(i) менялось от 3 до 7). Полный перечень 44 частных рисков (с разделением по группам) приве- ден в статьях [8; 9]. Ясно, что трехуровневая иерархическая система может быть развернута в более подробную систему с большим числом уровней. Частные риски могут быть подвергнуты декомпозиции. Так, риск R14 ошибок при изготовлении деталей и блоков может быть разложен на группу рисков, соответствующих отдельным дета- лям и блокам. Поскольку подобное разложение может быть проведено и для других частных рисков, указан- ных в статьях [8; 9], то трехуровневая иерархическая система рисков может быть развернута до четырех- уровневой. Очевидно, можно рассмотреть и другие частные риски, например, риски ошибок при изготов- лении отдельных блоков. Тогда можно выделить от- дельные ошибки, которые возможны при изготовле- нии конкретного блока. Следовательно, появляются частные риски на пятом уровне иерархии и т. д. В работах [8; 9] нами была выбрана трехуровневая схема, позволяющая достаточно подробно описать многообразие рисков и в то же время достаточно бы- стро провести численную оценку рисков. При разви- тии системы риск-менеджмента на предприятии, соз- дающем РКТ, может оказаться полезной детализация рисков, переход к большему числу уровней иерархии. Построение иерархической системы рисков про- водится специалистами в предметной области при анализе риска на первом этапе применения теории риска (имеются в виду три раздела теории риска: анализ риска, оценка риска, управление риском). Рас- сматриваемый в настоящей статье подход можно применять не только для оценки рисков проектов создания РКТ. В статье [9] приведена информация о построении трехуровневых иерархических систем рисков еще в двух предметных областях: для выпол- нения инновационных проектов в вузах (с участием внешних партнеров) и для выпуска новых инновационных изделий. Экспертная оценка частных рисков. За созданием иерархической системы рисков следующий шаг - построение и применение системы экспертной оценки рисков нижнего уровня (частных рисков). Человеку свойственно использовать для оценки нечисловые характеристики [12], поэтому естественно давать оценки рисков конкретного проекта создания РКТ с помощью лингвистических переменных. Например, члены экспертной комиссии оценивают вероятность реализации риска Rij с помощью града- ций лингвистической переменной Xij, выбирая ее зна- чения (градации) из списка: 0 - практически невозможное событие (с вероят- ностью не более 0,01); 1 - крайне маловероятное событие (с вероятно- стью от 0,01 до 0,05); 2 - маловероятное событие (вероятность от 0,05 до 0,10); 3 - событие с вероятностью, которой нельзя пре- небречь (от 0,10 до 0,20); 4 - достаточно вероятное событие (вероятность от 0,20 до 0,30); 5 - событие с заметной вероятностью (более 0,30). Ответ эксперта - одна из формулировок, выделен- ных курсивом. Слева приведена условная кодировка, ее осуществляют организаторы экспертизы. Может быть использована другая кодировка, например, вме- сто 0, 1, 2, 3, 4, 5 использованы значения 1, 10, 100, 1000, 10000, 100000. Справа приведены еще более условные границы для вероятности. Их назначение - предварительная ориентация экспертов перед началом оценивания с помощью градаций лингвистической переменной. Очевидно, система оценивания частных рисков с помощью лингвистических переменных может меняться в соответствии с конкретной задачей оценки и управления риском. В частности, могут быть изме- нены: - количество градаций; - способ оцифровки градаций; - граничные значения для вероятностей (например, если нежелательные события являются редкими, но соответствующий им ущерб велик, то вероятность практически невозможного события должна быть не более 10-5, вместо «не более 0,01», как указано выше, и т. п.) Естественно принять, что значения Xij, используе- мые для оцифровки градаций, неотрицательны. Конкретные процедуры экспертного оценивания выбирает исследователь в соответствии с рекоменда- циями учебника [13]. Отметим, что мы считаем неце- лесообразным использование так называемого метода анализа иерархий Т. Л. Саати. К аргументам В. В. Поди- новского и О. В. Подиновской [13-15] надо добавить, что метод Т. Л. Саати некорректен с точки зрения теории измерений [16], поскольку построен на непра- вомерной оцифровке (при переходе к количественной шкале) полученных от экспертов данных, измеренных в порядковой шкале. Подходы к описанию частных рисков. Как ска- зано выше, значения лингвистических переменных Xij могут быть получены непосредственно от экспертов в виде баллов из ряда 0, 1, 2, 3, 4, 5. При дальнейшем развитии организационно-экономической модели оценки рисков проектов создания РКТ с целью углуб- ленного описания неопределенностей могут быть использованы другие математические средства [17]. Для описания лингвистических переменных на- прашивается применение теории нечетких множеств (в соответствии с названием и содержанием классиче- ской книги Л. А. Заде [18]). Функции принадлежности используемых нечетких оценок рисков экспертами оцениваем с помощью экспертов. При таком подходе Xij - нечеткие числа. Можно использовать «треугольные» нечеткие числа, у которых функция принадлежности описыва- ется тремя числовыми параметрами a, b, c (a < b < c) и имеет треугольный вид: функция принадлежности равна 0 левее a и правее c, в точке b - равна 1, на ин- тервалах (a, b) и (b, c) - линейна. Арифметические операции над такими числами описываются проще, чем для функций принадлежности общего вида. Известно, что теория нечетких множеств в опреде- ленном смысле сводится к теории случайных чисел и, тем самым, к теории вероятностей [17; 19]. Однако это сведение формулируется в виде совокупности теорем и носит математический характер. С приклад- ной точки зрения вероятностно-статистические моде- ли и модели на основе теории нечетких множеств в настоящее время целесообразно рассматривать как различные варианты математического инструментария. Другое возможное обобщение - моделирование лингвистических переменных с помощью интерваль- ных чисел (например, [11]). Тогда Xij - интервал (a, b) (или [a, b], (a, b], [a, b)), т. е. описывается двумя чи- словыми параметрами a и b. В примере, описанном выше, «крайне маловероятное событие» описывается интервалом (0,01; 0,05]. Статистика интервальных данных подробно рассмотрена в [16; 17]. чение, равное 1 (а вероятность Pi, соответственно, минимальное значение 0). Следовательно, коэффици- енты весомости (важности) должны удовлетворять условию Аi1 maxХi1 + Аi2 maxХi2 + ... + Аik(i) maxХin(i) = 1. В рассмотренном выше варианте оцифровки мак- симальные значения Xij равны 5. Следовательно, сум- ма Аi1, Аi2, ..., Аin(i) должна равняться 1/5 = 0,2. В рассматриваемой модели принято, что события, относящиеся к различным группам рисков, независи- мы между собой в смысле теории вероятностей. Поскольку успешное выполнение проекта возможно тогда и только тогда, когда все этапы выполнены, то вероятность P выполнения проекта в срок равна произведению всех вероятностей Pi успешного вы- полнения этапов, т. е. агрегирование проводится мультипликативно: P = P P ...P = (1 - Q ) (1 - Q )...(1 - Q ), 1 2 т 1 2 m Для описания частных рисков используем матрицу «вероятность - тяжесть последствий». Тяжесть последствий Aij при реализации частного риска Rij задается числом - коэффициентом весомости (важно- сти, значимости, существенности) и оценивается экс- пертно. Итак, у риска Rij выделяем две характеристи- ки - показатель вероятности Xij и показатель тяжести последствий Aij. Итоговая оценка Qij частного риска Rij имеет вид Qij = AijXij, где Aij - показатель весомости, например, оценка экономических потерь, вызванных данным видом риска; Xij - показатель выраженности (распространенности). Эта формула обобщает известный способ оценки риска как произведения среднего ущерба (математического ожидания ущерба) на вероят- ность нежелательного события. Агрегирование оценок рисков. Как из оценок рисков, входящих в определенную группу на нижнем уровне, получить оценку риска верхнего уровня? (Точнее, речь идет о подъеме на один уровень в иерар- хической системе рисков.) Рассмотрим агрегирование оценок рисков, т. е. построение обобщенного показа- теля, «рейтинга» риска более высокого уровня, усред- няющего оценки рисков более низкого уровня. Для i-й группы рисков оценка Qi группового риска Ri рассчитывается как сумма оценок Qij частных рисков: Qi = Qi1 + Qi2 + … + Qin(i) = = Аi1Хi1 + Аi2Хi2 + ... + Аin(i)Хin(i), т. е. агрегирование проводится аддитивно. Значения факторов Хi1, Хi2, ..., Хin(i) оценивают эксперты для ка- ждого конкретного проекта создания РКТ, в то время как значения коэффициентов весомости Аi1, Аi2, ..., Аik(i) задаются одними и теми же для всех проектов - по результатам специально организованного эксперт- ного опроса. С оценкой Qi группового риска Ri связана вероят- ность Pi успешного выполнения i-го этапа, а именно, Pi = 1 - Qi, или Pi =1 - Аi1Хi1 - Аi2Хi2 - ... - Аin(i)Хin(i). Вероятность Pi должна быть неотрицательна при всех возможных значениях Хi1, Хi2, ..., Хik(i). Если все оценки факторов риска (частных рисков) принимают свои максимальные значения, то и оценка Qi группо- вого риска Ri должна принять свое максимальное знагде m - число этапов (в просчитанных в статьях [8; 9] моделях разработка РКТ состоит из восьми этапов, m = 8; в рассмотренных в модели [9] выполнения ин- новационных проектов в вузах (с участием внешних партнеров) и модели выпуска новых инновационных изделий выделено 4 группы рисков, а потому m = 4). Оценка Q риска невыполнения проекта в срок - это дополнение до 1 вероятности успешного выпол- нения проекта P, т. е. Q = 1 - P. Именно эта величина является основной при принятии управленческих решений. Некоторые обоснования именно такого способа усреднения оценок частных рисков, как описано вы- ше, приведены в [8; 9]. В теории принятия решений разработаны различные методы агрегирования, другими словами, построения обобщенных (интегральных) показателей, рейтингов [20; 21]. В организационно-экономической модели оценки рисков проектов создания РКТ перспектив- ными представляются методы агрегирования оценок частных и групповых рисков с помощью степенных средних, средних по Колмогорову, взвешенных медиан I и II типов, а также методы агрегирования с отсечением недопустимо больших значений оценок частных и групповых рисков (т. е. обнаружение подобного недопустимо большого значения приводит к заключению о невыполнении проекта в срок) и др. Перечисленные методы агрегирования могут быть использованы при дальнейшем развитии организаци- онно-экономической модели оценки рисков проектов. Перспективные методы агрегирования. Рассмот- рим подробнее некоторые методы агрегирования. Пусть необходимо агрегировать оценки рисков x1, x2, …, xn. При их упорядочении получаем вариационный ряд x(1) < x(2) < x(3) < … < x(n). При реальных расчетах применяют средние двух типов. Первый тип - степенные средние, частными случаями которых являются среднее арифметическое, среднее квадратическое, среднее гармоническое. Среднее геометрическое является пределом степенно- го среднего, когда показатель степени стремится к 0. Более общим видом средних являются средние по Колмогорову: -1 æ 1 n ö Среднее взвешенное по Колмогорову II типа - это F ç n å F (xi ) ÷ , æ 1 n ö è i=1 ø F -1 (M (F (Y ))) = F -1 ç å aiF (x(i)) ÷. где F - строго монотонная функция; F-1 - функция, обратная к ней. Второй тип средних величин - структурные сред- ние, прежде всего медиана и мода, а также члены вариационного ряда, минимум, максимум, квартили, децили. Применение теории измерений позволило установить, как выбирать средние в соответствии со шкалами, в которых измерены исходные данные [12; 19; 20]. Так, для данных, измеренных в порядковой шкале, допустимыми средними являются только члены ва- риационного ряда. В частности, при нечетном объеме выборки - выборочная медиана, при четном - левая и правая медианы (т. е. два центральных члена вариа- ционного ряда). В шкале интервалов из всех средних по Колмогорову можно использовать только среднее арифметическое. В шкале отношений из всех средних по Колмогорову допустимы только степенные сред- ние и среднее геометрическое. Взвешенные средние (синоним - средние взве- шенные) - это средние величины, в которых усред- няемые величины учитываются по-разному, в соот- ветствии с весовыми коэффициентами. Выделим два типа взвешенных средних. Для средних I типа весовые коэффициенты соответствуют элементам выборки. Для средних II типа весовые коэффициенты соответ- ствуют членам вариационного ряда. Пусть a1, a2, …, an - весовые коэффициенты (веса), т. е. неотрицательные числа, в сумме составляющие 1. Удобно ввести случайные величины X(a1, a2, …, an) и Y(a1, a2, …, an) такие, что P(X = x1) = a1, P(X = x2) = = a2, …, P(X = xn) = an, в то время как P(Y = x(1)) = a1, P(Y = x(2)) = a2, …, P(Y = x(n)) = an. Таким образом, случайные величины X и Y принимают одни и те же значения (перечисленные в наборе x1, x2, …, xn), но, вообще говоря, с разными вероятностями. Если все веса равны между собой (и равны 1/n), то распре- деления случайных величин X и Y совпадают и назы- ваются эмпирическим распределением. Взвешенные средние легко определить с помощью введенных случайных величин X и Y. Среднее взве- шенное арифметическое I типа - это математическое ожидание X, т. е. n è n i=1 ø Аналогично вводятся выборочная взвешенная медиана I типа - медиана случайной величины X, вероятности совпадения которой с элементами вы- борки равны заданным весам, и выборочная взвешен- ная медиана II типа - медиана случайной величины Y, вероятности совпадения которой с членами вариа- ционного ряда равны заданным весам. При использовании взвешенных средних величин в задачах системного анализа и принятия решений необходимо указывать тип средних, поскольку от ти- па средних зависят численные значения. В Москов- ском государственном техническом университете им. Н. Э. Баумана при преподавании дисциплины «Прикладная статистика» и в Московском физико- техническом институте при преподавании дисципли- ны «Методы анализа данных» понятия средних взве- шенных величин I типа и II типа входят в учебные программы, однако в научной и учебной литературе разделение средних взвешенных величин I типа и II типа нам не встречалось. Разделение необходимо, поскольку для одних и тех же исходных числовых данных значения одноименных средних взвешенных I и II типов различаются, что при практической работе может привести к недоразумениям. Использование результатов оценивания при управлении рисками. Оценка Q риска невыполнения проекта в срок дает лицу, принимающему решение (ЛПР), основания для принятия тех или иных управ- ленческих решений. Если оценка указанного риска мала (например, 1 %), то ЛПР может ограничиться контролем за выполнением этапов проекта. Если оценка Q риска невыполнения проекта в срок состав- ляет 80-90 %, то сроки выполнения проекта следует признать нереальными, а потому необходимы карди- нальные управленческие решения. Управление рисками может быть основано не только на основе оценки Q риска невыполнения проекта в целом, но и на анализе влияний оценок частных и групповых рисков на итоговую оценку риска Q. Целесообразно принять меры по снижению наиболее заметных влияний, т. е. по снижению конкретных групповых, а затем и частных рисков. Так, в приве- денном выше примере этапа 4 «Изготовление опытно- M ( X ) = å aixi . i=1 (1) го образца» могут быть приняты меры по снижению частных рисков, например, усилен контроль при изго- Среднее взвешенное арифметическое II типа - это математическое ожидание Y, т. е. n товлении деталей и блоков (с целью уменьшения оценки Х14 риска R14); проведено дополнительное обу- чение сборщиков (это позволит уменьшить оценку Х24 риска R24); проанализирована потребность в ресурсах M (Y ) = åaix(i). i=1 (2) (производственных, материальных, кадровых, времен- ных и др.) и при необходимости увеличены выделяемые Ясно, что результаты расчетов по формулам (1) и (2), вообще говоря, различны. Среднее взвешенное по Колмогорову I типа - это F (M (F ( X ))) = F n å a F (x ) . -1 -1 æ 1 n ö ç i i ÷ è i=1 ø ресурсы с целью уменьшения оценки Х34 риска R34 недостатка ресурсов; отработаны взаимоотношения со смежниками и субподрядчиками, поставщиками сырья, комплектующих, материалов (это позволит уменьшить оценки Х44 и Х64 рисков R44 и R64 соответ- ственно) и т. д. Может быть поставлена и решена оптимизацион- ная задача по распределению имеющихся ресурсов с целью максимально возможного снижения итогово- го риска путем воздействия на доступные управлению групповые и частные риски, как это было сделано при разработке нашим коллективом автоматизированной системы прогнозирования и предотвращения авиаци- онных происшествий [22]. В работах [8; 9] нами рассмотрена последователь- ность этапов выполнения проекта по созданию РКТ. Срыв сроков выполнения определенного этапа приво- дит к необходимости изменения сроков дальнейших этапов. Принято предположение, что при срыве этапа он повторяется и при этом обязательно выполняется. Выделены варианты выполнения проекта создания РКТ с учетом возможных повторов. Можно рассмот- реть более сложную теорию, когда повторное выпол- нение этапа приводит к успеху не наверняка, а лишь с некоторой вероятностью. Заключение. Отличительная особенность рассмот- ренного в настоящей статье подхода состоит в том, что он основан на построении трехуровневой иерар- хической системы рисков. Выбранная трехуровневая схема позволяет достаточно подробно описать много- образие рисков и в то же время достаточно быстро провести их численную оценку. При необходимости трехуровневая иерархическая система рисков может быть развернута до четырехуровневой и даже пяти- уровневой схемы. Декомпозиция риска верхнего уровня дает систему рисков, образующих группу рис- ков более низкого уровня иерархии. Анализ оценки 44 рисков, приведенных в работах [8; 9], показывает, что отдельные риски второго порядка вносят в риски по этапам заметно больший вклад, чем другие риски на тех же этапах. Получен- ные результаты демонстрируют возможность оценки и управления такими рисками. Учитывая значимость инноваций в области созда- ния ракетно-космической техники, подход и разрабо- танная математическая модель могут быть полезны проектным менеджерам, осуществляющим свою дея- тельность в ракетно-космической промышленности. Авторы благодарны Д. Б. Пайсону за полезные за- мечания.
×

作者简介

A. Orlov

Bauman Moscow State Technical University

Email: prof-orlov@mail.ru
5/1, 2-ya Baumanskaya Str., Moscow, 105005, Russian Federation

A. Tsisarskiy

Bauman Moscow State Technical University

5/1, 2-ya Baumanskaya Str., Moscow, 105005, Russian Federation

参考

  1. Инновационная Россия - 2020 (Стратегия инно- вационного развития Российской Федерации на пери- од до 2020 года). М. : Правительство Российской Федерации, 2011. 148 с.
  2. Экономика развития космической деятельности / под ред. Г. Г. Райкунова. М. : Физматлит, 2013. 600 с.
  3. Орлов А. И. Организационно-экономическое обеспечение ракетно-космической промышленности // Политематический сетевой электронный научный журнал Кубанского государственного аграрного уни- верситета. 2016. № 120. С. 86-114.
  4. Орлов А. И., Луценко Е. В., Лойко В. И. Орга- низационно-экономическое, математическое и програм- мное обеспечение контроллинга, инноваций и менеджмента / под общ. ред. С. Г. Фалько. Краснодар : КубГАУ, 2016. 600 с.
  5. Хрусталев Е. Ю., Хрусталев О. Е. Моделирова- ние жизненного цикла программы создания наукоем- кой продукции // Экономический анализ: теория и практика. 2012. № 16 (271). С. 2-12.
  6. Грачев И. Д., Фионов А. С. Развитие техноло- гий адаптивного управления проектами создания, эксплуатации и утилизации ракетно-космической техники // Национальные интересы: приоритеты и безопасность. 2012. № 42 (183). С. 2-14.
  7. Цисарский А. Д. Повышение эффективности реализации проектов по созданию перспективных образцов ракетно-космической техники на основе концепции Requirements Engineering // Национальные интересы: приоритеты и безопасность. 2013. № 31. С. 25-29.
  8. Орлов А. И., Цисарский А. Д. Особенности оценки рисков при создании ракетно-космической техники // Национальные интересы: приоритеты и безопасность. 2013. № 43 (232). С. 37-46.
  9. Орлов А. И. Аддитивно-мультипликативная модель оценки рисков при создании ракетно- космической техники // Политематический сетевой электронный научный журнал Кубанского государствен- ного аграрного университета. 2014. № 102. С. 78-111.
  10. Орлов А. И., Цисарский А. Д. Аддитивно- мультипликативная модель оценки рисков и ее при- менение при разработке инновационно-инвестиционных проектов создания ракетно-космической техники // Проблемы управления безопасностью сложных сис- тем : Труды ХХI Междунар. конф. (декабрь 2013, г. Москва) / под ред. Н. И. Архиповой, В. В. Кульбы. М. : РГГУ, 2013. С. 394-398.
  11. Орлов А. И. Цисарский А. Д. Особенности оценки рисков при реализации инновационно- инвестиционных проектов в космической отрасли // Актуальные проблемы российской космонавтики : материалы XXXVIII Академических чтений по кос- монавтике (январь 2014, г. Москва) / под общ. ред. А. К. Медведевой. М. : Комиссия РАН по разработке научного наследия пионеров освоения космического пространства, 2014. С. 210-210.
  12. Орлов А. И. Организационно-экономическое моделирование. Ч. 2. Экспертные оценки. М. : Изд-во МГТУ им. Н. Э. Баумана, 2011. 486 с.
  13. Саати Т. Л. Принятие решений. Метод анализа иерархий. М. : Радио и связь, 1989. 316 с.
  14. Подиновский В. В., Подиновская О. В. О не- корректности метода анализа иерархий // Проблемы управления. 2011. № 1. С. 8-13.
  15. Подиновский В. В., Подиновская О. В. Еще раз о некорректности метода анализа иерархий // Проблемы управления. 2012. № 4. С. 75-78.
  16. Орлов А. И. Организационно-экономическое моделирование. Ч. 1. Нечисловая статистика. М. : Изд-во МГТУ им. Н. Э. Баумана, 2009. 542 с.
  17. Орлов А. И., Луценко Е. В. Системная нечет- кая интервальная математика. Краснодар : КубГАУ, 2014. 600 с.
  18. Заде Л. А. Понятие лингвистической перемен- ной и его применение к принятию приближенных решений. М. : Мир, 1976. 165 с.
  19. Орлов А. И. Устойчивость в социально- экономических моделях. М. : Наука, 1979. 296 с.
  20. Орлов А. И. Теория принятия решений. М. : Экзамен, 2006. 576 с.
  21. Лындина М. И., Орлов А. И. Математическая теория рейтингов // Политематический сетевой элек- тронный научный журнал Кубанского государствен- ного аграрного университета. 2015. № 114. С. 1-26.
  22. Хрусталев С. А., Орлов А. И., Шаров В. Д. Математические методы оценки эффективности управленческих решений // Заводская лаборатория. Диагностика материалов. 2013. Т. 79, № 11. С. 67-72.

补充文件

附件文件
动作
1. JATS XML

版权所有 © Orlov A.I., Tsisarskiy A.D., 2017

Creative Commons License
此作品已接受知识共享署名 4.0国际许可协议的许可
##common.cookie##