Soft computing-based representation and risk assessment of electronic content implementation in aerogeophysical information and measurement systems

Texto integral

ВВЕДЕНИЕ

В Перечень приоритетных направлений научно-технологического развития России, утвержденных Указом Президента Российской Федерации от 18 июня 2024 г. № 529 включены «Интеллектуальные транспортные и телекоммуникационные системы, включая автономные транспортные средства» и конкретизирован Перечень важнейших наукоемких технологий,в котором выделены такие направления, как:

• – транспортные технологии для различных сфер применения (море, земля, воздух), в том числе беспилотные и автономные системы;
• – мониторинг и прогнозирование состояния окружающей среды и изменения климата (в том числе ключевых районов Мирового океана, морей России, Арктики и Антарктики), технологии предупреждения и снижения рисков чрезвычайных ситуаций природного и техногенного характера, негативных социально-экономических последствий.

В этой связи приобретает особую актуальность развитие информационно-измерительных систем аэрогеофизического назначения, повышение эффективности организации аэрогеофизических исследований, оптимизация процессов обработки данных, обеспечение достоверности получаемой информации, обучение операторов таких систем.

Оценка рисков при разработке информационно-измерительных систем, эффективности применения ранее уже созданного электронного контента является критически важным процессом, который позволяет обеспечить надежность и эффективность систем, минимизировать возможные потери и оптимизировать затраты на их реализацию [1]. Для повышения качества оценки модель должна быть итеративной.

Оценка рисков интеграции электронного контента в информационное обеспечение

Один из основных блоков модели итеративной оценки рисков интеграции электронного контента (ЭК) в информационное обеспечение (ИО) систем подготовки операторов информационно-измерительных систем аэрогеофизического назначения (ИИС АН) включает оценку рисков на базе мягких вычислений. Логико-алгоритмическая реализация блока опирается на нормативно-технические документы современного риск-менеджмента [2–4] и применяется, в том числе, в информационных системах [5–7].

Оценка любого риска интеграции ЭК предполагает обоснованное построение матрицы оценки этого риска и является заключением вероятности наступления неприемлемых последствий и потенциального ущерба. Показатели риск-оценки определяются по итеративной процедуре через агрегирование значений более простых показателей, входящих в их состав, представляются через агрегирующие объединения i…j риск-показателей из состава семейства простейших показателей. Большое число уровней такого агрегирования и ведет к синтезу иерархии риск-показателей.

Для систематизации и приоритезации рисков предлагается использование следующих шкал градуирования составляющих рисков, полученных путем обработки экспертного опроса методами аналитической иерархии матриц попарных сравнений индивидуальных мнений каждого из k опрошенных экспертов:

• – вероятности возникновения снижения качества контента ИО систем подготовки операторов ИИС АН из-за интеграции в их состав материалов ЭК (табл. 1) (вероятность р_ij снижения качества контента, где i и j – элементарные показатели качества ИО, уровни снижения представлены шкалой значений вербальной интерпретации запрашиваемых данных);
• – потенциальной величины возможного ущерба при возникновении факта снижения качества ИО систем подготовки операторов ИИС АН (табл. 2) (ущерб y_ij, где i и j – элементарные показатели качества ИО, уровни величины ущерба представлены шкалой значений вербальной интерпретации запрашиваемых данных).

Уровни риска снижения качества контента ИО определяются в соответствии с мнениями экспертов (количество экспертов – k), и_ij – мультипликативная свертка уровней проявления риска по элементарным показателям качества ИО, и измеряются на основе порядковых или количественных шкал.

Используя результаты исследований [8–11] в модели может быть реализована пятиуровневая шкала градуирования уровней риска с цветовой идентификацией по градации серого цвета: от черного (наибольший риск) к белому (наименьший риск) (табл. 3).

 

Таблица 1

Шкала уровней вероятности снижения качества ИО систем подготовки операторов ИИС АН из-за интеграции в их состав ЭК

№	Вербальное название уровней и их идентификационное обозначение	Описание отличительного существа, соответствующих граничных признаков	Общие пояснения
1	Непременно рij: «НЕПРЕМЕННО»	Очевидно, что качество средства ИО систем подготовки операторов ИИС АН из-за интеграции в их состав ЭК будет низким	Наибольшая вероятность наступления
2	Скорее всего рij: «ОЧ. ВЕРОЯТНО»	Очень возможно, что качество средства ИО систем подготовки операторов ИИС АН из-за интеграции в их состав ЭК будет снижено
3	Вполне возможно рij: «ОЖИДАЕМО»	Есть основания полагать, что качество средства ИО систем подготовки операторов ИИС АН из-за интеграции в их состав ЭК будет низким
4	Мало допустимо рij: «МАЛОВЕРОЯТНО»	Отдельные проявления и свойства используемого контента могут приводить к снижению качества ИО систем подготовки операторов ИИС АН из-за интеграции в их состав ЭК
5	Изредка встречающееся, крайне редкое проявление рij: «КР. РЕДКО»	Нет оснований полагать (ожидать), что качество ИО систем подготовки операторов ИИС АН из-за интеграции в их состав ЭК будет снижено	Наименьшая вероятность наступления

 

Таблица 2

Шкала уровней величины ущерба от снижения качества ИО систем подготовки операторов ИИС АН из-за интеграции в их состав ЭК

№	Вербальное название уровней и их идентификационное обозначение	Описание отличительного существа, граничных признаков
		Признаки снижения эффективности подготовки операторов ИИС АН с использованием автоматизированных средств, ЭК
		Мотивационные, психолого- организационные	Мотивационные, психолого- организационные	Мотивационные, психолого- организационные
I	Неважный, пренебрегаемо малый, сверхмалый   yij: «СВЕРХМАЛЫЙ»	Не констатируется снижение мотивации подготавливаемых специалистов, есть отдельные, не системные факты снижения мотивации	Незначительные, сравнимые с погрешностью метода измерений	Возможно устранение недостатков применения средств ИО силами организаторов процесса подготовки операторов ИИС АН
II	Заметный, небольшой, видимый   yij: «ВИДИМЫЙ»	Констатируется фрагментарное снижение мотивации подготавливаемых специалистов при работе с применением средств автоматизации подготовки, ЭК	Средние, заметно значимые, требующие интенсификации подготовки	Возможно устранение недостатков применения средств ИО силами специализированных подразделений обеспечения, с привлечением дополнительных источников данных
III	Ощутимый, умеренно- значимый, средний   yij: «СРЕДНИЙ»	Констатируется системное снижение мотивации подготавливаемых специалистов к работе с применением средств автоматизации подготовки, электронным контентом, в целом	Ощутимо важные, высокие, требующие компенсации за счет дополнительных временных и других ресурсов	Возможно устранение недостатков применения и функционирования средств ИО силами специализированных внешних организаций – представителей разработчика, с привлечением консультативно-компетентностной поддержки внешних провайдеров
IV	Существенно- значимый, большой, сильный   yij: «СИЛЬНЫЙ»	Констатируется критическое снижение мотивации подготавливаемых специалистов как к работе с применение отдельных средств автоматизации подготовки, так и с электронным контентом, в целом	Очень важные, крупные, требующие первоочередной и значительной компенсации за счет дополнительных временных и других ресурсов	Остаются незначительные шансы для устранения недостатков применения и функционирования средств ИО, но они возможны только с привлечением разработчика
V	Критический, катастрофически-сильный, невосполнимый   yij: «ОЧ. СИЛЬНЫЙ»	Констатируется полная потеря мотивации подготавливаемых специалистов как к работе с применение отдельных средств автоматизации подготовки, так и с электронным контентом, в целом	Невосполнимые в рамках текущего курса подготовки потери операторов ИИС АН	Выявленные программно-технологические недостатки, структурно-семантические ошибки в реализации ИО требуют полной переработки средства автоматизации подготовки, что нанесло ущерб курсу подготовки операторов ИИС АН

 

Таблица 3

Шкала градуирования уровней риска снижения качества контента ИО систем подготовки операторов ИИС АН из-за интеграции в их состав ЭК

№	Название уровней риска и их идентификационное обозначение	Описание отличительного существа, соответствующих граничных признаков	Быстрая цветовая идентификация, условное штрих-обозначение терма лингвистической переменной
1	Критически опасный, аварийный rk(uij): «АВАРИЙНЫЙ»	Требует незамедлительных и массированно- решительных корректирующих воздействий с привлечением всех доступных ресурсов (от руководителей подготовки до разработчиков средства ИО систем подготовки операторов ИИС АН)	______________________
2	Опасный, требующий срочного реагирования rk(uij): «ОПАСНЫЙ»	Требует срочных корректирующих воздействий с частичным и плановым привлечением внешних ресурсов, а также информирования разработчика средства ИО, для устранения выявленных недостатков
3	Контролируемый, управляемо-компенсируемый rk(uij): «КОНТРОЛИРУЕМЫЙ»	Требует плановых корректирующих воздействий с частичным привлечением дополнительных ресурсов, а также проработки полноты реализации всех функциональных возможностей средства ИО систем подготовки операторов ИИС АН, заложенных в него разработчиком
4	Локализуемый, низкий rk(uij): «НИЗКИЙ»	Хеджируется и/или локализуется в рамках типовых схем повседневного функционирования, ущерб предотвращается в объеме планово-обязательных процедур донастройки, индивидуализации подготовки
5	Незначимый, не влияющий rk(uij): «НЕЗНАЧИМЫЙ»	Контролируется периодически с целью своевременного выявления фактов изменений, несоответствий и пр.

 

Применение аппарата мягких вычислений для оценки риска интеграции электронного контента в информационное обеспечение

Необходимость математической свертки значений простейших рисков в значения иij сводных rк и интегрального R0 риск-показателей оценки интеграции ЭК в ИО систем подготовки операторов ИИС АН определяет потребность в количественном выражении указанных градаций составляющих риска рij и yij на основе применения математического аппарата мягких вычислений: алгебры лингвистических переменных, использующей теорию нечетких множеств.

Так, в частности, на основании аппарата лингвистических переменных, указанных в табл. 1 и 2, обозначения уровней, составляющих простейших рисков интеграции ЭК в ИО систем подготовки операторов ИИС АН, могут быть рассмотрены как соответствующие термы следующих лингвистических переменных:

L₁=<вероятность снижения качества контента ИО>  ;                          (1)

L₂=<ущерб от снижения качества контента ИО> .                                (2)

Теоретический базис (основные понятия, соответствующие алгебры из теории нечетких множеств и пр.) работы с лингвистическими переменными (1) и (2) соответствует разделу современной математики мягких вычислений – теории лингвистических переменных, теории нечетких множеств [12–14]. В силу выше сказанного, при обосновании и синтезе представляемой модели оценки качества исследованы именно специфические аспекты научно-методического применения введенных лингвистических переменных L₁ и L₂, (1) и (2), а аспекты построения их терм-множеств, назначения конкретных идентификаторов переменных и пр. могут быть отнесены к общеизвестным. В целом, каждая из лингвистических переменных L₁ и L₂ задается как некоторое теоретико-множественное обобщение L^:

$L^=⟨\beta ,F^\left(\beta \right),X^,G^,N^⟩,$                                                                  (3)

где β – вербальный идентификатор, выступающий в роли имени лингвистической переменной; F^(β) – семейство значений (термов) лингвистической переменной β, т. н. терм-множество. Это семейство (т. е. проиндексированное множество) вербализованных значений лингвистической переменной b, в котором каждое из таких терм, значений есть нечеткая переменная с областью определения Х^; G^ – правило синтаксиса – грамматика, порождающее конкретизированные значения α^ нечетких переменных для термов лингвистической переменной $\beta \left(\alpha \text{^}\in F\text{^}\left(\beta \right)\right); N\text{^}$ – правило семантики, определяющее соответствие каждой нечеткой переменной $\alpha \text{^}\in F\text{^}\left(\beta \right)$ соответствующее нечеткое подмножество [15].

Основным источником данных о нечисловых «измерениях» простейших рисков и их составляющих, в данной предметной области, выступает человек-эксперт. Для него существо такого «нечислового измерения» для значения того или иного риск-показателя заключается в неметрическом оценивании степени совпадения констатируемой им текущей картины возможного возникновения ущерба по рассматриваемому риск-показателю с некоторой эталонной моделью идеальной картины текущей ситуации. Именно степень такого совпадения с указанным идеалом в сознании эксперта выступает в качестве меры неинструментального измерения, разницы:

$\Delta U_i=U_i-U_0,$                                                                                       (4)

где U_i – уровень проявления риска по i-му риск-показателю оценки; U₀ – эталонный, идеальный уровень проявления риска по i-му риск-показателю оценки, осознаваемый экспертом.

Для репрезентации составляющих риска р_ij и y_ij на основе применения математического аппарата мягких вычислений как лингвистических переменных L₁ и L₂, т. е. (1) и (2), математического вида L^ в соответствии (3), с терм-множеством значений, определенным на шкалах, представленных в табл. 1 и 2, установлено соответствие градаций шкал оценки указанных параметров как нечетких множеств, идентифицируемых в качестве термов (значений) указанных лингвистических переменных. Иными словами, методологически принимается, что при оценке составляющих простейших рисков эксперты обязаны использовать именно термы – значения лингвистических переменных L₁ и L₂ соответственно. Синтез термов – нечетких множеств для лингвистических шкал оценки реализуется по общеизвестным методикам построения функций принадлежности нечетких чисел [15].

В частности, в рамках предлагаемой модели итеративной оценки рисков интеграции ЭК  в ИО систем подготовки операторов ИИС АН применен как математический аппарат синтеза функций принадлежности нечетких чисел – термов лингвистических переменных L₁ и L₂ достаточно известный метод относительных частот [15]. При этом значения лингвистических  переменных, по методикам из [15], могут быть заданы (т. е. синтезированы) как нечеткие числа в форме (L-R)-функций, а могут как т. н. треугольные нечеткие числа (ТНЧ), что показано  на рис. 1.

 

Рис. 1. Исследованные функции принадлежности для термов лингвистических переменных в форме: а – треугольных нечетких чисел; б – (L-R)-функций
Fig. 1. Investigated membership functions for terms of linguistic variables in the form of: a – triangular fuzzy numbers; б – (L-R)-functions

 

На основе описаний шкал уровней вероятности снижения и уровней величины потенциального ущерба от снижения качества контента для ИО систем подготовки операторов ИИС АН из-за интеграции в их состав материалов ЭК, показанных в табл. 1 и 2, аналитически определяются функции принадлежности нечетких множеств µ(u), задающих термы-значения лингвистических переменных L₁ и L₂. Для такого синтеза µ(u) применена стандартизированная математическая подмодель расчета функций принадлежности на базе данных экспертных оценок. Эта подмодель позволяет рассчитывать функции принадлежности µ_Т^L термов переменных L₁ и L₂ как в форме (L-R)-функций, так и в форме треугольных нечетких чисел (ТНЧ).

Разработанная модель итеративной оценки рисков интеграции ЭК в ИО систем подготовки операторов ИИС АН инвариантна в применении к конкретизированной подмодели, методике, аппарату и пр. расчета функций принадлежности µ_Т^L терм-значений лингвистических переменных L₁ и L₂. Применение µ_Т^L с ТНЧ-формой характерно для ситуаций грубой, ускоренной оценки рисков, при более детальном и обоснованном анализе рисков снижения качества контента ИО систем подготовки операторов ИИС АН из-за интеграции в их состав материалов ЭК, в силу реализации «более осторожного» подхода к оцениванию рисков, следует применять µ_Т^L в форме (L-R)-функций.

Расчет µ_Т^L в форме (L-R)-функций, согласно принятой подмодели расчета, определяется для каждой терма-градации лингвистических переменных L₁ и L₂, из соотношения

${{\mu }_T}^L\left(U\right)=\exp (-a{(T-U)}^2),$                                                                      (5)

где Т – срединное значение терма для µ_Т^L равной единице, применительно к шкалам переменных L₁ и L₂, показанным в табл. 1 и 2; $a=4Ln\frac{\mathrm{0,5}}{b{^}^2}$ – согласующий коэффициент; β^ – расстояние между точками перегиба: точками, в которых график функции µ_Т^L, согласно (5), принимает значение 0,5.

Основные параметры расчета терм-градаций лингвистических переменных L₁ и L_2, согласно (5), приведены в табл. 4.

Итоги расчета функций принадлежности µ_Т^L всех термов для всех уровней шкал лингвистических переменных L₁ и L₂, (1) и (2), по формуле (5) дает возможность получить количественные шкалы оценки этих лингвистических переменных L₁ и L₂. Эти количественные шкалы дают возможность осуществить переход от вербальных оценок экспертов к нечетким числовым их значениям с µ_Т^L.

Функции принадлежности терм-градаций (значений) лингвистических переменных L₁ и L₂ в форме (L-R)-функций соответствовать следующим условиям:

$\begin{array}{l}\left[{{\mu }_T^L}_1\left(U_1\right)=1;{{\mu }_T^L}_5\left(U_5\right)=5\right];\\ (\vee \beta ^\in B^\backslash \left\{\beta ^\right\})(0<\sup u\in U{\mu }_{T_i\cap T_{i+1}}^L(U)<1);\\ (\vee \beta ^\in B^)(u\in U):\left({\mu }_T^L\right(U)=1);\\ (\vee B^)(u_1\in R_1)(u_2\in R_2)\left(\right(u\in U\left)\right(u_1<u<u_2\left)\right).\end{array}$

 

Таблица 4

Основные параметры расчета терм-градаций лингвистических переменных L₁ и L₂

№ п/п	Термы для L1	Значение при ${\mu }_T^{L1}=1$	Термы для L2	Значение при ${\mu }_T^{L2}=1$	Уточненный вид аналитического расчета функции принадлежности термов
1	Отсутствие вероятности	0	Отсутствие ущерба	0	${\mu }_T^L\left(U\right)=1-2U$
2	Крайне редко	1	Сверхмалый	1	${\mu }_T^L\left(U\right)=e^{-\mathrm{13,1}{(1-U)}^2}$
3	Маловероятно	3	Видимый	3	${\mu }_T^L\left(U\right)=e^{-\mathrm{1,46}{(1-U)}^2}$
4	Ожидаемо	5	Средний	5	${\mu }_T^L\left(U\right)=e^{-\mathrm{0,35}{(1-U)}^2}$
5	Очень вероятно	7	Сильный	7	${\mu }_T^L\left(U\right)=e^{-\mathrm{0,27}{(1-U)}^2}$
6	Непременно	9	Очень сильный	9	${\mu }_T^L\left(U\right)=e^{-\mathrm{0,16}{(1-U)}^2}$

 

Таким образом, совокупность функций принадлежности нечетких чисел – термов (значений) лингвистической переменных L₁ и L₂  формируют в своей совокупности количественную шкалу проведения нечеткого оценивания соответствующих им составляющих простейших рисков снижения качества контента ИО систем подготовки операторов ИИС АН из-за интеграции в их состав материалов ЭК.

Обобщенный вид графического представления такой шкалы для простейшего риск-показателя дан на примере лингвистической переменной L₁ и представлен на рис. 2.

 

Рис. 2. Представление шкалы уровней вероятности снижения качества ИО из-за интеграции в их состав ЭК (табл. 1) в виде терм-множества значений лингвистической переменной L₁
Fig. 2. Representation of the probability level scale for the decrease in information provision quality due to the integration of electronic content (Table 1) in the form of a term set of values for the linguistic variable L₁

 

Далее возможна интерпретация значения шкал простейших риск-показателей в иерархии оценки рисков снижения качества контента ИО систем подготовки операторов АПП из-за интеграции в их состав материалов ЭК как произведение функций принадлежности µ_Т^L нечетких чисел – терм-значений лингвистических переменных L₁ и L₂ для каждого из простейших риск-показателей.

Методически, согласно классическим канонам риск-менеджмента, оценка риска есть синтез матрицы последствий и вероятностей, в которой увязываются входные параметры, такие как значения оценки вероятностей неблагоприятных событий и значения оценки потенциального ущерба (на входе) с интегральным заключением об уровне риска-опасности (на выходе). Ответное реагирование на значение риска в виде корректирующих, воздействующих комплексов мероприятий и есть существо управления рисками. Таким образом, блок оценки простейших рисков на базе мягких вычислений разработанной модели риск-оценки, по сути, представляет собой процедуру специфического построения матриц последствий и вероятностей для отдельных риск-показателей оценки интеграции ЭК в ИО систем подготовки операторов ИИС АН. Данная процедура есть логическая основа для расчета сводных и интегрального значений риск-показателей оценки.

Соответственно для модели итеративной оценки рисков интеграции ЭК в информационное обеспечение систем подготовки операторов ИИС АН блок оценки простейших рисков на базе мягких вычислений разработанной модели риск-оценки сворачивается в логико-математический аппарат обеспечения расчета значений риск-оценки по показателям в соответствии со структурой иерархии оценки рисков при сохранении сути логики синтеза соответствующих матриц последствий и вероятностей. Указанная логика заключается в традиционно-принятом градуировании уровней риска (опасности ущерба) с соответствующим дифференциально-цветовым представлением. Пример этого градуирования уровней риска с соответствующим дифференциально-цветовым представлением для целей итеративной оценки рисков интеграции ЭК в информационное обеспечение систем подготовки операторов ИИС АН, взятых за основу в разработанной модели и показанных в табл. 3, приведен на рис.3.

 

Рис. 3. Вариант матрицы последствий и вероятностей оценки рисков по одному из простейших показателей
Fig. 3. A variant of the matrix of consequences and probabilities of risk assessment based on one of the simple indicators

 

Представленная интерпретация значения шкал простейших риск-показателей в иерархии оценки рисков снижения качества контента ИО систем подготовки операторов ИИС АН из-за интеграции в их состав материалов ЭК как произведение функций принадлежности µ_Т^L нечетких чисел – терм-значений лингвистических переменных L₁ и L₂ дает возможность рассматривать каждую из ячеек матрицы последствий и вероятностей оценки рисков по простейшему показателю как нечеткое число L_ij :

$L_{ij}^{*}=⟨\text{значение оценки по данному риск-показателю}⟩$

где, применительно к простейшим риск-показателям, верно, что указанное значение $L_{ij}^{*}$ есть произведение нечетких чисел i-го терма от L₁ и j-го терма от L₂:

${L_{ij}}^{*}={L^i}_1\times {L^j}_2.$

Функции принадлежности ${\mu }_T^{L_{ij}^{*}}$ для значений $L_{ij}^{*}$ находятся согласно правилам операций умножения нечетких чисел из алгебры мягких вычислений [15].

ЗАКЛЮЧЕНИЕ

Визуальному виду матрицы последствий и вероятностей оценки рисков по одному из простейших показателей, в которой работает эксперт – оценщик рисков, может быть сопоставлено нечетко-числовое представление, которое выражает его оценивающее мнение количественно в категориях нечетких чисел. Это дает возможность применять такие нечеткие числовые выражения оценок по простейшим показателям в ходе свертки этих оценок в сводные и интегральный риск-показатели оценки интеграции ЭК в ИО систем подготовки операторов ИИС АН, на базе алгебры мягких вычислений. При этом матрица последствий и вероятностей оценки рисков по одному, любому из простейших показателей является шкалой риск-оценки интеграции ЭК в ИО систем подготовки операторов по этому показателю. Тогда оценивание его текущего значения экспертом-оценщиком заключается в обоснованном выявлении соответствующей ячейки выше указанной матрицы последствий и вероятностей, а также и нечеткого значения риск-оценки, соответствующей этой ячейке. Суть указанного процесса риск-оценки показана на рис. 4. Следовательно, на основании (1) и (2) сами шкалы оценивания риска по простейшим показателям и оценки на базе этих шкал сводимы к одноразмерным нечетким шкалам и значениям оценок на них, как значение L^*_ij.

 

Рис. 4. Существо оценивания риска по простейшему показателю
Fig. 4. The essence of risk assessment based on the simple indicator

 

Конструктивной новацией разработанной модели итеративной оценки рисков интеграции ЭК в информационное обеспечение систем подготовки операторов ИИС АН является совмещение традиционного качественно-категорийного подхода современного риск-менеджмента с многоуровневой репрезентацией иерархии агрегирования экспертно-оцениваемых рисков в составе сводных и интегрального рисков рассматриваемой интеграции путем применения аппарата мягких вычислений. Это подход позволил реализовать переход от качественно-понятийного представления риска рассматриваемой интеграции к количественному.

Таким образом, предложенный блок оценки простейших (непосредственно измеряемых или оцениваемых) рисков в модели итеративной оценки рисков интеграции ЭК в информационное обеспечение систем подготовки операторов ИИС АН и подход к установлению значения текущего риска по данному простейшему показателю дает возможность применять такие значения в расчетах значений сводных и интегрального риск-показателей.

Sobre autores

Alena Rusina

Baltic state technical university «VOENMEKH» named after D. F. Ustinov

Autor responsável pela correspondência
Email: rusina_aa@voenmeh.ru
ORCID ID: 0009-0004-8070-4995

senior lecturer of the department Engines and power plants of aircraft, head of the Center for Educational Initiatives

Rússia, 1, 1 st. Krasnoarmeyskaya St., St. Petersburg, 190005

Bibliografia

Arquivos suplementares