COMPARATIVE EFFICIENCY OF METHODS AND MEANS FOR MANAGEMENT DECISION MAKING INFORMATION SUPPORT


Cite item

Full Text

Abstract

The article examines the effectiveness of different ways of a statistical simulation method implementation in a complex systems managing.

Full Text

Введение Повышенный интерес к информационной технологии статистического имитационного моделирования (СИМ) [1-2] в настоящее время связан с преодолением главных препятствий на пути ее практического применения: длительности, трудоемкости и высокой стоимости процесса разработки СИМ-моделей. До сих пор основной проблемой считалось создание компьютерной программы, реализующей СИМ-модель, а не разработка и обеспечение эффективности применения (точности и адекватности) собственно модели. Резкому сокращению времени создания СИМ-моделей способствуют рост вычислительных возможностей современных ЭВМ и появление высокоэффективных специализированных программных продуктов (GPSS World; AnyLogic и др.). Соответственно обновилась идеология СИМ - от методов управления представлением информации при помощи иерархии абстракций наблюдается переход к интеллектуализации интерфейса пользователя с визуализацией данных путем анимации и динамической графики. В результате сегодня «не нужно быть ни профессиональным программистом, ни профессиональным математиком, чтобы разрабатывать имитационные модели» [3], и центр тяжести моделирования переходит с задач программирования на проблему создания СИМ-модели как таковой. Разработка СИМ-моделей в интересах управления иерархическими и многокритериальными сложными системами (СС) организационно-технического типа (социально-экономическими, экологическими, военными и т.п.), неотъемлемыми компонентами которых являются лица, принимающие решения (далее ЛПР), до настоящего времени остается актуальной проблемой, которая имеет важное практическое значение. Анализ и синтез систем управления (СУ) здесь встречает ряд принципиальных трудностей: сложно, например, оптимизировать режим работы СС, компоненты которой (подсистемы и элементы) имеют возможность самостоятельно максимизировать свои функционалы. Для решения такого «Инфокоммуникационные технологии» Том 12, № 1, 2014 Ануфриев Д.П., Димов Э.М., Маслов О.Н., Халимов Р.Р. 55 рода задач (как в научно-исследовательских, так и в коммерческих целях) создаются «имитационные системы» [4-5], каждая из которых представляет собой организационно-техническую (человеко-машинную, диалоговую) СС и состоит из моделей (математических или алгоритмических), которые описывают эволюцию рассматриваемого объекта или процесса; а также системы процедур, позволяющей объединить эти модели с ЛПР; и специального математического обеспечения, включающего языки общения с ЭВМ и систему алгоритмов для решения конкретных задач. Каждая имитационная СС представляет собой индивидуальный наукоемкий проект, реализация которого требует значительных усилий ЛПР разного профиля, базируется на результатах исследований фундаментального характера [5-7]. Напомним, что СИМ-модели используются как для исследования и эффективного управления реальными (существующими и действующими) СС, так и при создании виртуальных СУ - предназначенных для управления новыми (проектируемыми, инновационными, разведанными) СС. От СИМ-модели требуется способность воспроизводить или предсказывать все основные характеристики поведения СС: параметры режима работы, их изменения (флуктуации, колебания) и взаимосвязи во времени, тенденции к усилению или ослаблению внешних воздействий и т.п. При этом точность прогноза выходных характеристик, и даже правильность воспроизведения последовательности тех или иных специфических действий СС, далеко не всегда являются стимулом для создания и успешного применения ее СИМ-модели [2; 7]. Цель обзорной статьи - анализ сравнительной эффективности методов и средств информационной поддержки СУ с демонстрацией преимуществ СИМ, которые дают возможность уменьшить влияние случайных факторов (обусловленных неопределенностью исходных данных и других параметров СС, СУ и их моделей -математических, компьютерных, имитационных) на качество управленческих решений. Принимая ответственность за отличия (достоинства и недостатки) рассматриваемого варианта реализации СИМ от других известных версий, будем условно именовать его методом Димова-Маслова (МДМ). Главными особенностями МДМ являются системный подход - ввиду многообразия свойств и рабочих характеристик СС, а также нестандартных и не всегда однозначных требований к их СИМ-моделям; ориентация на управление процессами, происходящими в СС; использование знаний разного типа (верифицированных и аксиологических) при определении исходных условий для проведения СИМ. Отметим также, что возможности СИМ по МДМ позволяют строить как статические, так и более совершенные динамические модели СС и СУ, эффективность работы которых зависит от взаимодействия во времени большого числа стохастических факторов (случайных параметров СИМ-модели) [2; 5-7]. Условия применимости СИМ по версии МДМ Определим ряд базовых понятий, необходимых для анализа проблем информационной поддержки управленческих решений в СС организационно-технического типа (далее просто СС) - социально-экономических, экологических, военных и т.д. Приводимые определения не претендуют на строгость и являются в большей степени рабочими, отражающими взгляды авторов на данную предметную область. Признаками СИМ-модели как СС особого типа можно также считать иерархическую сложность ее состава и структуры; наличие стохастических факторов, определяющих случайный характер ее параметров и характеристик; способность отражать динамику поведения и развития моделируемой СС (объекта или процесса); невозможность реализации без применения ЭВМ; предназначение для использования в режиме вариантных расчетов (альтернатив и сценариев) при проектировании, планировании, управлении реальными СС и др. Ни один из этих признаков не является обязательным, но в сумме они дают представление о сущности понятия СИМ-модель. Отметим также, что Р. Шеннон трактует имитацию (simulation) как «процесс конструирования модели реальной системы и постановки экспериментов на этой модели с целью понять поведение этой системы либо оценить (в рамках ограничений, накладываемых некоторым критерием или совокупностью критериев) различные стратегии, обеспечивающие функционирование данной системы» [8]. По Т. Нейлору [9]: имитация - это «численный метод проведения на цифровых вычислительных машинах экспериментов с математическими моделями, описывающими поведение СС в течение продолжительных периодов времени». Исходными условиями целесообразности разработки и практического применения СИМ-моделей СС с 70-х лет прошлого века считаются следующие обстоятельства [4-9]. «Инфокоммуникационные технологии» Том 12, № 1, 2014 56 Ануфриев Д.П., Димов Э.М., Маслов О.Н., Халимов Р.Р. 1. Не существует математической постановки решаемой задачи (исследуемой проблемы) в формализованном виде или не известны аналитические методы решения сформулированной математической задачи. 2. Аналитические методы решения поставленной задачи имеются, но математические процедуры, связанные с ними, весьма сложны и трудоемки, тогда как СИМ предлагает более простой и эффективный способ решения. 3. Аналитические методы решения известны, однако их реализация невозможна ввиду недостаточной математической подготовки персонала, а приглашение специалистов со стороны нецелесообразно. 4. Условия задачи требуют необходимости наблюдать за ходом процесса функционирования СС (реально существующей или виртуальной -проектируемой, инновационной, разведанной) в течение заданного периода времени. 5. Метод СИМ является единственным приемлемым способом исследования СС - ввиду сложности, дороговизны, недоступности по организационным и другим причинам иных способов методов изучения или получения информации о ней. 6. При анализе процесса функционирования СС необходимо ускорять или замедлять ход рабочих процессов, осуществляя преобразование (сжатие или растяжение) временной шкалы - что возможно только в виртуальной среде, при замене реального времени машинным. 7. При проектировании и анализе эффективности СС используется метод альтернативных вариантов (сценариев), предусматривающий сравнение между собой разных форм организации СС с последующим выбором и реализацией наилучшей из них. 8. Целью исследования СС является предсказание ее поведения в будущем - на основе прошлых и настоящих фактических данных о ней, с учетом возможной динамики параметров внешней среды, влияния внешних и внутренних случайных факторов. 9. Модель предназначена для прогнозирования параметров и характеристик СС, существенных при определении способов ее развития, методов и средств управления, необходимых для достижения оперативных (тактических) и долговременных (стратегических) целей. 10. Модель СС необходима в качестве тренажера для подготовки и переподготовки персонала - специалистов (менеджеров), обучения их путем выработки (дальнейшего развития) навыков при нятия решений в обстановке, приближенной к реалиям рынка. Сравнительная характеристика альтернатив СИМ по версии МДМ В настоящее время можно выделить шесть основных подходов (теоретических и практических) к созданию моделей СС: моделирование аналитическими методами; агрегативное моделирование; системная динамика; агентное моделирование; нелинейная динамика и СИМ. Кратко остановимся на идеологии и принципах их реализации в интересах изучения и управления СС. 1. Аналитические методы находят ограниченное применение при моделировании СС ввиду невозможности учета с их помощью необходимого (достаточно большого) числа случайных факторов, влияющих на эффективность функционирования СС. Однако если эти трудности ЛПР преодолеть удается [2; 4-7], уникальными достоинствами аналитических моделей являются их «прозрачность и четкость», поскольку взаимосвязи начальных условий и ограничений, используемых параметров и переменных, соответствие друг другу характеристик каждой части реальной СС и ее модели они демонстрируют в наиболее наглядном, простом и понятном (для ЛПР), структурированном и формализованном (для ЭВМ) виде. Аналитические модели незаменимы при проверке других моделей СС, поскольку в упрощенной тестовой ситуации с гарантированной и регулируемой точностью дают результат, который можно использовать в качестве эталона при оценке погрешности более универсальных приближенных методов. В качестве самостоятельного средства исследования СС (реальных объектов, бизнес-процессов и др.), а тем более для управления ими, аналитический метод рассматриваться нами не будет. 2. Агрегативное моделирование Бусленко Н.П. имеет в виду декомпозицию СС на составные части (подсистемы и элементы) с последующим рассмотрением их в качестве отдельных взаимосвязанных агрегатов разного типа (дискретных, непрерывных, дискретно-непрерывных), которые имеют свои входы, выходы и алгоритмы функционирования (преобразования входных воздействий в выходные) [4-5]. Процесс моделирования включает операции содержательного описания объекта; формализации схемы объекта и создания его математической модели; разработки операторного, моделирующего и машинного алгоритмов. Основным недостатком агрегатного подхода является сложность реали «Инфокоммуникационные технологии» Том 12, № 1, 2014 Ануфриев Д.П., Димов Э.М., Маслов О.Н., Халимов Р.Р. 57 зации - в частности, при моделировании случайных внешних воздействий, помимо большого числа агрегатов, моделирующих элементы СС, приходится вводить фиктивные агрегаты, формирующие эти воздействия. При моделировании динамики работы СС аналогичные агрегаты вводятся для учета временных задержек информационных сигналов, циркулирующих между рабочими агрегатами и т.п., что делает модель еще более громоздкой и сложной. 3. Системная динамика Дж. Форрестера [10] предназначена для решения слабоструктурированных задач, в рамках которых качественный характер знаний (с большой долей экспертных знаний) о СС не позволяет применять более точные методы. Низкий уровень надежности и достоверности исходных данных, а также значительные внешние и внутренние неопределенности (неточности, нечеткости, неоднозначности) ведут к большому числу случайных факторов, неконтролируемых ЛПР. В этих условиях школа Форрестера-Медоуза предлагает, возможно, единственный реальный выход из ситуации -особенно при моделировании объектов с малой прецедентной (вплоть до практически нулевой - для инновационных и впервые проектируемых систем) базой СС. Уменьшение влияния неопределенностей на точность и адекватность получаемых результатов в данном случае представляет как теоретический интерес, так и важное практическое значение. Методика моделирования включает стадии концептуализации проблемной области; структуризацию задачи путем построения системных потоковых диаграмм; параметризацию и формализацию модели и создание машинной модели [10]. 4. Агентное моделирование ограничено тем, что не позволяет найти решение задачи в случаях, когда исследуется не поведение (динамическая модель) СС или ее элементов, а структура самих элементов СС (представляющих собой элементарные блоки СС) или их внутренняя динамика - варианты ее реализации и применения. Операции моделирования: определение агентов и внешней среды (окружения СС); определение методов отклика; определения взаимодействия агентов и реализация модели [11-12]. 5. Нелинейная динамика - метод, приемлемый для исследования процессов поведения (функционирования и развития) СС при относительно небольшом числе переменных (не более 5-10), когда прогноз может быть осуществлен с помощью нейронных сетей, при этом достоверность прогнозирования может не удовлетво рять требованиям реальной ситуации. Подход не имеет целостной теоретической основы, его методика включает исследование поведения СС на локальную неравновесность; определение состояний дезадаптации СС; исследование области расширения неравновесности СС и исследование различных траекторий развития СС [13-15]. 6. Статистическое имитационное моделирование в виде рассматриваемой версии МДМ отличается от других подходов уже на стадии постановки целей и задач моделирования. Помимо исследования процессов функционирования СС в статике и динамике, МДМ направлен на совершенствование управления СС, адаптирован для решения широкого круга прикладных задач самого разного содержания. Методика СИМ по МДМ предусматривает следующие действия: - содержательное описание объекта (реальной СС) в интересах СИМ с учетом особенностей рассматриваемой предметной области; - определение состава случайных числовых величин (СЧВ), отражающих воздействие на СС (объект СИМ, моделируемый бизнес-процесс) конкретных стохастических факторов в соответствии со схемой ее описания; - предварительное определение состава исходных данных, необходимых для проведения СИМ, применительно к условиям работы рассматриваемой СС; - комплексное (в том числе статистическое) исследование СС как объекта СИМ; - идентификация законов распределения СЧВ, признанных наиболее важными для СИМ рассматриваемой СС (объекта, бизнес-процесса); - разработка математических моделей (ММ), соответствующих описанию частей СС (подсистем и элементов) и СС в целом; - разработка моделирующего алгоритма, реализующего полученные ММ; - разработка компьютерных программ для моделирования СС; - разработка и описание задач управления СС, которые можно решить с помощью СИМ по МДМ; - разработка и реализация плана компьютерного эксперимента, проводимого с СИМ-моделью; - обработка, анализ и интерпретация выходных данных СИМ, а также любые другие необходимые варианты практического применения полученных результатов. Можно видеть, что МДМ предполагает применение наиболее развитых (по сравнению с другими подходами) способов целенаправлен «Инфокоммуникационные технологии» Том 12, № 1, 2014 58 Ануфриев Д.П., Димов Э.М., Маслов О.Н., Халимов Р.Р. ного повышения эффективности управления СС на основе моделирования динамики (воспроизведения во времени процесса) их функционирования с учетом случайных факторов (в том числе различного рода неопределенностей), влияющих на принятие управленческих решений. Прикладная ценность МДМ заключается в том, что он позволяет на основе хорошо апробированных и относительно простых графических средств без потери необходимой точности и достоверности формализовать исследуемые СС (реальные объекты и бизнес-процессы) на обоснованно выбранном уровне их абстрагирования, а затем далее, так же сравнительно просто, перейти от содержательного описания СС к непосредственной программной реализации СИМ-модели - отметим, что моделирующий алгоритм будет при этом соответствовать машинному. Сравнивая возможности и перспективы МДМ мы видим также, что, с одной стороны, в отличие от нелинейной динамики и агентного подхода, он имеет прочный фундамент знаний в виде теорий управления и принятия решений, вероятностей и математической статистики; массового обслуживания и риска, является универсальным без ущерба для точности и глубины детализации СИМ-моделей. С другой стороны, МДМ является развитием агрегативного подхода Н.П. Бусленко на новом технологическом уровне - при моделировании дискретнонепрерывных и дискретных СС (объектов и процессов) с применением ММ теории систем массового обслуживания. Это является позитивным отличием МДМ от системной динамики Форрестера-Медоуза, которая использует в качестве ММ дифференциальные уравнения и дает представление СС на достаточно высоком уровне абстракции - с обобщенными показателями, которые не всегда отвечают запросам пользователей. Метод агентного моделирования, напротив, работает на низком уровне абстракции и представляет СС в деталях, максимально подробно и конкретно - однако он не располагает проработанными ММ, является достаточно «сырым» и существенно уступает МДМ в теоретическом плане. Выполним поэтапный анализ подходов к СИМ организационно-технических СС, разделив действия по их реализации на пять укрупненных этапов, - что возможно, поскольку, несмотря на разную терминологию и форму подачи материала, по содержанию все они схожи между собой. Первый этап При агрегативном подходе этот этап именуется содержательным описанием объекта и предусматривает сбор и обработку сведений о физической природе, качественных и количественных характеристиках подсистем и элементов (в том числе операций, действий, явлений) в составе исследуемой СС; о степени и характере взаимодействия (взаимосвязи) между ними; о месте и значении каждого такого элемента (явления, действия) в общем процессе функционирования СС. Постановка задачи включает идею исследования, перечень зависимостей, подлежащих оценке по результатам СИМ, а также список факторов, которые необходимо учитывать при построении ММ СС. Описание объекта содержит перечень исходных данных, необходимых для проведения СИМ, с указанием их начальных значений, что служит основой для формализации схемы объекта и может выполняться ЛПР без привлечения специалистов по СИМ. В рамках системной динамики данный этап называется концептуализацией проблемной ситуации и предполагает вербальное описание объекта СИМ: систематизацию причинно-следственных связей моделируемых объектов (процессов) в виде эскизов потоковых диаграмм и графиков указанных связей. Вербальное описание объекта включает анализ исходной информации, выявляемой путем дискуссии разработчиков СИМ-модели с экспертами и ЛПР; постановку проблемы и формулировку целей СИМ; определение базовых гипотез, которые должны найти отражение в модели; установление границ моделируемой СС исходя из принципа ее замкнутости; обоснование и определение структуры СИМ-модели и состава компонентов, динамика взаимодействия которых диктует наиболее существенные (важные для ЛПР) аспекты поведения и развития СС; обсуждение круга факторов, влияющих на процессы в СС и выявление наиболее значимых из них -отображение которых является обязательным для достижения поставленной цели СИМ; вербальное описание совокупности и структуры отображаемых в СИМ-модели причинно-следственных связей между указанными факторами. При разработке вербальной модели должны быть выявлены альтернативы (варианты ситуаций, сценарии, стратегии), связанные с функционированием СС, исследование которых предполагается производить с помощью СИМ; установлены критерии оценки поведения СИМ-модели и параметры временного режима ее работы: шаг интегрирования и период моделирования. Вербальная модель «Инфокоммуникационные технологии» Том 12, № 1, 2014 Ануфриев Д.П., Димов Э.М., Маслов О.Н., Халимов Р.Р. 59 в виде четких словесных конструкций содержит описание состава и структуры всех отображаемых в СИМ-модели СС явлений, факторов и взаимосвязей - зафиксированное при помощи эскизов диаграмм потоков и диаграмм причинноследственных связей. Агентное моделирование предполагает на данном этапе определение типов агентов исследуемой СС и других необходимых объектов (классов) с их атрибутами - которыми являются: основные свойства агентов; правила их поведения в формате «если... то...); память и другие ресурсы; логика принятия решений и правила изменения поведения агентов. Нелинейная динамика производит здесь исследование СС на локальную неравновесность: осуществляет декомпозицию исходных данных; восстановление динамической ММ в виде совокупности дифференциальных уравнений; переход к дискретным отображениям и выявление областей функционирования СС. При проведении СИМ по схеме МДМ данному укрупненному этапу соответствуют три первоначальных этапа, которые предусматривают проведение следующих действий: - на первом этапе содержательного описания объекта уясняются цели и ставятся задачи СИМ в простом и общедоступном виде: «Что необходимо моделировать, какие это объекты и процессы?»; «В каком виде и каким образом нужно их моделировать?»; «Как будут использованы результаты СИМ для управления СС?» и т.д. Разрабатываются схемы процессов функционирования (бизнес-процессов) СС в виде структурных схем и краткого описания, производится обоснованный выбор типовых ММ - например, в виде элементов СМО; - на втором этапе определения состава СЧВ, отражающих влияние стохастических факторов, дается описание их воздействия на СС в соответствии со схемой его описания, причем выбираются те факторы и СЧВ, которые необходимы для кумулятивного и адекватного (в приемлемой мере точного и достоверного) отражения свойств рассматриваемой СС, без учета которых достижение цели СИМ невозможно; - на третьем этапе определения состава исходных данных (как детерминированных, так и случайных), необходимых для проведения СИМ, указывается вся информация, которую планируется «подавать на вход» будущей СИМ-модели и которая будет преобразована ею в выходные данные - результаты СИМ. По форме представления это: вероятностные законы и параметры распре деления СЧВ; начальные значения переменных; период и шаг моделирования и т.п. Второй этап При агрегативном подходе это этап формализации схемы объекта, которая создается, если (ввиду сложности СС или при невозможности формализовать ее отдельные элементы) непосредственный переход от содержательного описания СС к разработке ММ невозможен или нецелесообразен: здесь дается математическая формулировка задачи СИМ с указанием окончательного перечня искомых величин и оцениваемых зависимостей, причем допускается проведение дополнительных исследований СС с целью восполнения сведений, недополученных на первом этапе. По методу системной динамики второй этап связан со структуризацией решаемой задачи -его основным содержанием является переход от причинно-следственной диаграммы модели СС к потоковой диаграмме, что связано с выделением вершин и дуг орграфа причинно-следственной диаграммы в соответствии с основными типами переменных и аксиомами системной динамики. Этот переход является неформальным и, как правило, опирается на содержательные (как объективные, так и субъективные) суждения о характере и причинах взаимодействия факторов, представленных в виде переменных модели. Агентное моделирование на данном этапе определяет внешнюю среду (окружение СС), где агенты модели будут существовать и взаимодействовать друг с другом. Например, для модели «хищник-жертва» [16] в рамках мультиагентно-го подхода могут быть определены следующие параметры: начальный размер популяций «хищников» и «жертв»; правила и ограничения на появление новых особей данных популяций и их исчезновение; ограничения в перемещении агентов относительно друг друга в рамках модели и т.д. Нелинейная динамика аналогичным образом подразумевает в рамках данного этапа определение точки стационарности СС, состояния дезадаптации СС путем исследования областей бифуркации СС и определения критических значений каждого управляющего параметра. Например, для модели «хищник-жертва» на данном этапе могут быть определены также начальный размер популяций, математические модели, описывающие рост и гибель особей популяций, начальные значения параметров таких математических моделей, ограничения данных моделей и т.д. «Инфокоммуникационные технологии» Том 12, № 1, 2014 60 Ануфриев Д.П., Димов Э.М., Маслов О.Н., Халимов Р.Р. В рамках СИМ по схеме МДМ данному укрупненному этапу соответствуют три этапа, которые предусматривают: - на четвертом этапе комплексного исследования СС: сбор и математическую обработку статистической информации о ней - это ключевой момент и «первое узкое место» МДМ, так как от качества и достоверности собранных здесь сведений напрямую зависят качество и эффективность применения будущей СИМ-модели; - на пятом этапе идентификации законов распределения СЧВ, наиболее важных для СИМ, производится оценка параметров распределений после анализа имеющейся выборки статистических данных - это «второе узкое место» МДМ, поскольку здесь неизбежны как субъективность оценок, так и неопределенности (неточности, нечеткости, неоднозначности), связанные с ними; - на шестом этапе производится разработка ММ, соответствующих описанию частей СС (подсистем и элементов) и СС в целом, что завершается составлением списка параметров и переменных СИМ-модели - отличающихся друг от друга тем, что параметры не меняют свои текущие значения в процессе СИМ (хотя могут изменяться между «прогонами» модели), тогда как переменные изменяются постоянно и к моменту завершения работы модели содержат выходные результаты СИМ. Третий этап При агрегативном подходе это важнейший этап, связанный с построением ММ объекта, -поскольку результаты СИМ зависят от параметров ММ, которые для упрощения процедуры СИМ рассчитываются в виде детерминированных функций от других параметров и фиктивно вводимых СЧВ с заданными законами распределения. Здесь нужно иметь в виду, что возможные значения СЧВ формируются по общим правилам преобразования (например, путем «разыгрывания» по методу Монте-Карло - ММК) случайных чисел, но сами параметры вычисляются как детерминированные функции своих аргументов (в число которых входят и «фиктивные» СЧВ). Рассматриваемая СС условно разделяется на ко -нечное число агрегатов (подсистем и элементов) при сохранении связей, которые обеспечивают их взаимодействие, - до тех пор, пока не образуются агрегаты, пригодные для математического описания. Трудоемкость и ответственность данного этапа обусловлена тем, что здесь необходимо каждый раз определять взаимодействие агрегатной системы с внешней средой (произво дить согласование условий поступления в модель внешних сигналов), а также вводить устройства, определяющие направления передачи сигналов между агрегатами и учитывающие их временную задержку - что существенно усложняет ММ. Системная динамика по Форрестеру-Медоузу предполагает здесь параметризацию модели как перевод вербальных описаний взаимозависимости факторов проблемной ситуации, связанной с объектом СИМ, на язык количественных соотношений. Используются два основных приема: во-первых, темпы потоков рассматриваются как функции принятия решений с рекомендацией выделять и в явном виде отображать в производящих функциях темпов структурные элементы, к числу которых относятся желаемое состояние потокового сектора, где действует определенный темп (задание цели решающего правила); существующее (текущее) состояние данного сектора; количественное выражение различия между указанными состояниями потокового сектора; соотношение для выработки корректирующего воздействия на темп, которое обеспечивает перевод сектора в желаемое состояние. Во-вторых, способ задания производящей функции темпа в виде произведения «нормального темпа» и корректирующих множителей, которые определяют его зависимость от переменных состояния (уровней) СИМ-модели. Агентное моделирование предусматривает на данном этапе определение методов отклика и описание методов, в соответствии с которыми происходит обновление атрибутов агентов в ответ на каждое взаимодействие агентов с окружением (внешней средой) или взаимодействие типа «агент-агент». В рамках реализации, например модели «хищник-жертва», речь о которой уже шла ранее, это могут быть правила, определяющие поведение агентов при взаимодействии «хищников» с «жертвами», реакции (действия) «жертв» на «встречу» с «хищником», взаимодействия «хищника» с «хищником» и «жертвы» с «жертвой» и т.д. Нелинейная динамика, исследующая область расширения неравновесности системы, предусматривает определение и построение в рамках исследуемой модели аттракторов, расчет их основных характеристик. При проведении СИМ по схеме МДМ данному укрупненному этапу соответствуют два этапа, содержанием которых являются следующие действия: - на седьмом этапе построения и описания моделирующего алгоритма, который является «Инфокоммуникационные технологии» Том 12, № 1, 2014 Ануфриев Д.П., Димов Э.М., Маслов О.Н., Халимов Р.Р. 61 своеобразным «стержнем» СИМ-модели, осуществляется его разработка в соответствии с полученными ранее ММ - без привязки к определенной среде программирования и в максимально универсальном виде. Строится схема логики функционирования СИМ-модели, отражающая процесс работы СС, которая необходима для компьютерной реализации СИМ-модели; - на восьмом этапе разработки компьютерных программ для проведения СИМ осуществляется реализация моделирующего алгоритма в выбранной среде программирования: AnyLogic; GPSS; IMPStudio и др. либо на одном из языков программирования: C#, C++, Pascal, Java, Perl и др. Четвертый этап При агрегативном подходе данный этап предусматривает, во-первых, построение операторного алгоритма - здесь выделяют операторы системы в виде элементарных операций, необходимых для воспроизведения процесса функционирования СС; каждому оператору присваивают буквенное обозначение и индекс, указывающий его порядковый номер; далее операторы записывают в текстовом виде слева направо в последовательности их выполнения таким образом, что образуется алгоритм как общая строка-цепочка - не всегда удобная для восприятия и анализа, а также поиска ошибок в логике алгоритма. Во-вторых, на основе операторного алгоритма разрабатывается блок-схема моделирующего алгоритма с текстовым описанием процесса его функционирования и перечнем получаемых результатов. Системная динамика предусматривает здесь формализацию СИМ-модели путем составления уравнений темпов в виде дифференциальных (разностных) уравнений: производится выбор переменных состояния и устанавливаются связи между ними в правых частях уравнений состояния, итогом чего является ММ объекта СИМ. Агентный подход на данном этапе имеет в виду реализацию методов взаимодействия агентов и механизмы их взаимного влияния в процессе моделирования. Нелинейная динамика завершает процесс моделирования исследованием различных траекторий развития СС: прежняя структура развития подразумевает построение совокупности нелинейных уравнений поведения нестационарной СС; новая структура предполагает динамическое моделирование СС на основе нейронной сети и построение предиктора; возможное неустойчивое хаотическое состояние ведет к процессу восстановления и реконструкции аттрактора. При проведении СИМ по схеме МДМ этот этап является девятым по счету и предусматривает разработку и описание задач управления СС, которые можно решить с помощью СИМ: он содержит вербальное описание процесса работы СУ с включением СИМ-модели в контур управления вместе с ЛПР-оператором (синтез человеко-машинной СУ) для оперативного поиска и реализации воздействий, управляющих СС с целью обеспечения наивысшей (в заданном смысле) эффективности ее функционирования в каждый текущий период времени. Пятый этап Агрегативный метод данным этапом разработки машинного алгоритма путем перевода моделирующего алгоритма в выбранную среду программирования завершает процесс создания СИМ-модели. В рамках системной динамики по Форрестеру-Медоузу здесь также осуществляется заключительный переход от ММ к программному продукту с применением специализированных средств поддержки схем системной динамики типа Vensim; iThink; Powersim, AnyLogic. Агентное моделирование на этом этапе имеет в виду реализацию разработанной агентной модели с помощью средств поддержки AnyLogic; Repast; Swarm; NetLogo; MASON и др. Десятый этап СИМ по МДМ включает разработку плана и проведение компьютерного эксперимента с СИМ-моделью - который представляет собой серию «прогонов» модели на ЭВМ при различных сочетаниях параметров (управляемых ЛПР и управляющих СИМ-моделью) с целью подобрать наилучшие в требуемом смысле варианты их реализации в СУ. Этап подводит черту под процессом моделирования и призван «окупить» все затраты и трудности, связанные с построением СИМ-модели по МДМ. Полученные данные могут быть использованы в самых разных целях: для анализа эффективности работы действующих СС и выявления «слабых звеньев» в их типовой структуре; для понимания ЛПР, каким образом можно развивать конкретную СС и как лучше спроектировать новую, инновационную СС; для управления СИМ-моделью СС путем варьирования ее параметров с тем, чтобы найти наилучший и практически доступный вариант реализации СУ без проведения затратных физических и производственных экспериментов на действующей СС; для оперативного управления процессом функционирования СС на основе прогнозных данных и т.д. «Инфокоммуникационные технологии» Том 12, № 1, 2014 62 Ануфриев Д.П., Димов Э.М., Маслов О.Н., Халимов Р.Р. Таблица 1. Недостатки типовых подходов к моделированию СС и СУ Агрегативный подход Сложность формализации, связанная с необходимостью отдельного описания динамики функционирования агрегативной СС (разработка схем сопряжения агрегатов). Расчет параметров модели как детерминированных функций от других параметров и фиктивно вводимых СЧВ. Необходимость введения в модель элементов (дополнительных агрегатов), обеспечивающих направление передачи и временную задержку информационных сигналов. Неудобная для восприятия, анализа ЛПР и поиска ошибок в логике работы модели форма представления операторного алгоритма в виде текстовой последовательности элементарных операций. Невозможность учесть важные специфические особенности целого ряда реальных СС (объектов различного назначения, бизнес-процессов и т.д.). Системная динамика Невозможность применения точных и достоверных нормативных моделей в виду ориентации на решение слабоструктурированных и плохо формализуемых задач, качественный характер используемых знаний с большой долей экспертных оценок. Внешние и внутренние неопределенности (неточности, нечеткости, неоднозначности) исходных данных и результатов в виду большого количества случайных факторов, слабоконтролируемых ЛПР и владельцами СИМ-модели. Агентное моделирование Недостаточная теоретическая и практическая завершенность метода, известного с 90-х лет XX века. Субъективизм решений разработчиков СУ СС в виду того, что многоагентные модели создаются по заказу ЛПР в конкретной предметной области, поэтому агенты содержат только те действия, реакции и взаимосвязи, на которые указал ЛПР, - что не позволяет отражать с требуемой точностью явления и процессы на объектах, закономерности внутренней динамики которых заранее неизвестны (инновационные, проектируемые, разведанные СС). Детерминированное описание агентов на основе указанных экспертами свойств и вариантов поведения (сценариев развития событий) реальных СС не всегда позволяет добиться требуемой адекватности модели и приемлемой точности получаемых с ее помощью практических результатов. Не позволяет изучать неизвестные внутренние свойства и закономерности поведения объекта в виде неделимой сущности, поскольку такой неделимый объект нельзя представить с помощью агентов и их взаимодействий (невозможно, например, исследовать процесс работы нефтяной скважины, формирование потока отказов радиоаппаратуры и т.д.). Нелинейная динамика Недостаточная теоретическая и практическая проработка подхода, не позволяющая применять его к целому ряду типовых СС. Возникновение систематических ошибок при оценке параметров динамических СС. Ограничение области применения задачами исследования СС, невозможность прогнозировать поведение СС уже при числе переменных, большем 5 ... 10 - даже при использовании нейронных сетей, не позволяющих удовлетворить требования проектировщиков СУ. СИМ по МДМ Зависимость адекватности модели и точности получаемых результатов от действий по трем первым этапам СИМ, которые определяют полноту и достоверность исходной выборки статистических данных и точность идентификации законов распределения СЧВ, используемых в ходе СИМ. Необходимость знания принципов, понимания сущности и креативного применения на практике прикладных методов теории вероятностей и математической статистики для разработки модели. Недостатки разных подходов к реализации СИМ Представляет интерес сопоставление недостатков рассмотренных подходов с целью их учета и, по возможности, устранения в проектируемых, инновационных и др. СС - результаты которого демонстрирует таблица 1. Онтологические принципы повышения эффективности СИМ по МДМ На основе персональных онтологий, связанных с пониманием разными ЛПР того, какой должна быть СУ для рассматриваемой СС, формируются групповая онтология и онтологическая модель ситуации, призванные играть роль концептуальной платформы при достижении совместно поставленной цели [17]. Перспективная СУ является открытой СС, которая обеспечивает решение поставленных перед ней задач так, что это, во-первых, в разной степени, но устраивает всех ЛПР, а во-вторых, допускает возможность в дальнейшем «усилить» режим работы СС. Системный подход диктует проектировщику необходимость «Инфокоммуникационные технологии» Том 12, № 1, 2014 Ануфриев Д.П., Димов Э.М., Маслов О.Н., Халимов Р.Р. 63 прежде всего уяснить роль и место СУ, ее влияние на все аспекты работы СС. Одновременно возникает вопрос о методах и средствах преодоления неопределенностей, сопровождающих процесс проектирования СУ. «Когда речь идет о любой реальной системе: технической, экономической, военной, - то процесс ее проектирования никогда не может быть четко сформулирован и сведен к решению какой-либо одной задачи или даже цепочки математических задач. Противоречивость требований к конструкции и наличие ряда других неопределенностей, с которыми неизбежно сталкивается человек, проектирующий систему, приводит к тому, что неформальный анализ, поиск компромисса занимает значительное место в процессе проектирования» [7]. Наконец, ЛПР обязаны определиться с выбором системы знаний, поскольку совместное использование верифицируемых (объективных, строго научных, многократно проверенных и подтвержденных) и аксиологических (субъективных, интуитивных, иррациональных, гипотетических) знаний ведет к применению при проведении СИМ наряду с математическими моделями онтологических моделей, основанных на упрощенных соотношениях и логических правилах. Правомерность выбора, а также области применения знаний разного типа подтверждаются комплексным тестированием разработанных СИМ-моделей, а также проверкой фрагментов СУ путем обработки полученных экспериментальных и эксплуатационных данных. Сложность этой проблемы известна разработчикам СС организационно-технического типа (социально-экономических, экологических, военных и т.п.) достаточно хорошо. «Как ни труден отбор надежных данных в физике, гораздо сложнее собрать обширную информацию экономического или социологического характера, состоящую из многочисленных серий однородных данных. В этих обстоятельствах безнадежно добиваться слишком точных определений величин, вступающих в игру (при МДМ это значения СЧВ, «разыгрываемые» с помощью ММК. - Прим. авторов). Приписывать неопределенным по самой своей сути величинам какую-то особую точность бесполезно и нечестно, и, каков бы ни был предлог, применение точных формул к этим слишком вольно определяемым величинам есть не что иное, как обман и пустая трата времени» [18]. Рис. 1. Методы и модели теории СС, применимые при разработке СУ В то же время: «Многие не признают потенциальной пользы модели, основываясь на том, что у нас нет достаточных данных для моделирования. Они уверены, что первым шагом должен быть широкий сбор статистических сведений. Верно же как раз обратное». И далее: «Мнение о том, что математическая модель не может быть построена, пока не будут полностью известны каждая константа и функциональная зависимость, является недоразумением» [10]. Принимая во внимание эти и другие имеющиеся (в чем-то схожие, в чем-то противоречащие друг другу) точки зрения, МДМ рекомендует стратегию «стучитесь, и вам откроется» на основании следующих аргументов. Согласно теории управления СС, в основу принятия решений могут быть положены экспертные. теоретико-вероятностные, вероятностно-статистические и статистические методы и модели (см. схему рис. 1). Применительно к проектированию СУ экспертные методы представляются слишком «слабыми», а статистические - слишком жесткими. Наилучшее решение - это СИМ по МДМ, сочетающее достоинства теоретико-вероятностного и статистически-вероятностного подходов, а также компьютерную технологию ММК [2; 4-7; 19]. Сегодня СИМ является одним из универсальных и эффективных средств исследования СС: математики используют его при проведении компьютерных экспериментов, призванных проверить и подтвердить аналитические выкладки. Прикладные специалисты видят в СИМ средство конкретных решений задач, не решаемых другими способами. Системные аналитики применяют СИМ, когда объем знаний об иерархии компонен «Инфокоммуникационные технологии» Том 12, № 1, 2014 64 Ануфриев Д.П., Димов Э.М., Маслов О.Н., Халимов Р.Р. тов (подсистем и элементов) в СС существенно меньше знаний о них. Менеджеры заинтересованы в управлении бизнес-процессами с помощью СИМ. Предложение использовать СИМ по МДМ при проектировании СУ СС отвечает указанной тенденции в полной мере. В соответствии с задачами и целями СИМ реальные СС можно разделить на две группы: - системы I рода - это преимущественно объекты техногенного происхождения, состав и структура которых «рукотворны» и достаточно хорошо известны (по терминологии [7] - рефлекторные СС), поэтому исследованию с помощью СИМ-моделей подлежат их реакции на воздействия внешней среды в интересах управления и обеспечения необходимой эффективности их функционирования; - системы II рода - это объекты преимущественно нетехногенного (медико-биологического, экологического, социально-экономического) происхождения, а также проектируемые, инновационные, разведанные и др. - рефлекторные СС, состав и структура которых известны «в общих чертах», поэтому исследованию с помощью СИМ-моделей подлежат и сами объекты, и воз можность управлять ими для повышения их эффективности. Рассматриваемые организационно-технические СС являются системами II рода с признаками систем I рода, поэтому при использовании результатов их изучения в интересах проектирования СУ главная задача СИМ заключается в исследовании реакции разных вариантов реализации СС на комбинации разных (позитивных и негативных) воздействий на нее. Соответственно, управление СС предусматривает разработку СУ, которая в заданной (максимально возможной, минимально необходимой) мере призвана усиливать последствия позитивных воздействий (за счет положительных обратных связей) и препятствовать негативным воздействиям за счет отрицательных обратных связей. Целью СИМ при этом является создание и применение моделей СС и СУ, которые отражают их кумулятивные (минимальные по объему и максимальные по содержательности) характеристики, необходимые и достаточные для проектирования СУ, что в схематичном виде иллюстрирует рис. 2. Отметим, что схема рис. 2 отражает идеологию любого моделирования СС: мысленного, / / \ \ СС и СУ как объекты СИМ по МДМ Реальная среда \ \ Кумулятивные свойства СС, необходимые для разработки СУ \ / / \ \ СИМ-модели СС и СУ по МДМ Виртуальная среда / / Рис. 2. К определению принципов моделирования и проектирования СУ и СС вербального, физического, математического, компьютерного имитационного и т.д. [19]. Во всех этих случаях после выполнения ряда первоначальных этапов осуществляется переход из реальной среды в виртуальную, где исследуются свойства моделей СС и СУ с тем, чтобы полученные результаты затем вернуть из виртуальной среды в реальную. Эффективность и практическая значимость такого возвращения зависят от двух причин: во-первых, они обусловлены точностью и адекватностью используемых моделей, во-вторых, соответствием их параметров характеристикам реальных объектов. В этом смысле кумулятивность СИМ-модели означает отсутствие у нее управляемых параметров, которые не имеют себе аналогов на реальном объекте - что обнаруживает ряд недостатков вероятностных моделей, наиболее часто применяемых при проектировании СС. Школа Форрестера-Медоуза, как уже было отмечено, не считает препятствием для проведения СИМ отсутствие надежных и достоверных исходных данных, однако ее подход не обеспечивает возможность эффективного управления СС - поскольку возникшие неопределенности могут быть слишком большими. В то же время проведение трудоемких предварительных исследований и преодоление сложностей, возникающих при моделировании конкретных СС, также не оправдывают себя, если итог сводится к выбору из «Инфокоммуникационные технологии» Том 12, № 1, 2014 Ануфриев Д.П., Димов Э.М., Маслов О.Н., Халимов Р.Р. 65 двух-трех типовых моделей, которым примерно в равной мере лишь не противоречат - например, в соответствии с критерием Пирсона - полученные экспериментальные данные. Поскольку проблема повышения эффективности первоначальных этапов СИМ по МДМ представляет самостоятельный интерес, ограничимся указанием на возможность максимально упростить и автоматизировать их по следующим причинам: - на рынке сегодня присутствуют высокопрофессиональные программные продукты, предназначенные как для обработки статистических данных, так и для идентификации соответствующих им законов распределения с оценкой параметров этих законов [20]; - для обширного класса устойчивых (робастных) СС результаты СИМ не должны (и не будут на практике) в критической мере зависеть от правильности действий ЛПР на данном этапе [19]; - неопределенность исходных и промежуточных данных в рамках СИМ обычно означает недостаток или неполноту верифицированных знаний о СС, но не их отсутствие, а тем более недостаток или отсутствие аналогичных аксиологических знаний [17] - что дает новые возможности для повышения эффективности МДМ. Заключение Дальнейшее развитие МДМ может быть связано с применением разновидностей неоклассической теории вероятностей (ТВ) - теории шансов и ожидаемой (объективной и субъективной) полезности [21-22], а также теории риска [23-24]. Замена объективной частотной вероятности в рамках традиционной ТВ субъективной вероятностью, отражающей опыт и знания ЛПР, выражающих их предпочтения и познавательную активность, еще более сближает теоретико-вероятностные и экспертные методы на схеме рис. 1. В теориях риска и ожидаемой полезности для оценки неопределенности используются линейные критерии в виде риска и функции полезности типа RS = P(A) А где P(A) - вероятность результата А работы СС; AS - его полезность (стоимость рискового выигрыша или проигрыша в денежных или любых других единицах). Если далее воспользоваться методом сценариев [24], то можно просчитать значения AS для каждого сценария с помощью метода функционально-стоимостного анализа (по максимуму, по минимуму, в среднем), а определить значения реализации каждого сценария P(A) можно с помощью интерсубъективных экспертных методов, отражающих согласованное предпочтение (групповое мнение) ЛПР в рамках принятой онтологической модели ситуации [17; 22-23]. Применение вместо RS более сложных нелинейных критериев, а также функции субъективной полезности; прогнозы путем пролонгации полученных результатов на будущие периоды времени; восстановление статистического ансамбля (генеральной выборки) по ограниченной экспериментальной выборке; использование различного рода нестохастических моделей неопределенностей в свете изложенного также представляют несомненный интерес при проведении СИМ работы СУ СС организационно-технического типа. Важно также, что СИМ по МДМ для достаточно большого класса СС (как чисто каузальных, так и обладающих стохастическими свойствами) легко и просто сочетается с теорией риска. В рамках концепции «риск как неопределенность» значение RS считается объективно существующей случайной величиной, связанной с вероятностным распределением возможных исходов некоторой операции (процедуры, процесса), что характерно для традиционной ТВ. Управление риском здесь означает усилия по снижению дисперсии между ожидаемыми исходами операции и достигнутым результатом действий ЛПР [21-23]. При концепции «риск как возможность», которая использует теоретико-вероятностные и экспертные модели (см. рис. 1), теория риска сближается с теорией ожидаемой полезности и ТВ шансов. При этом существенны два обстоятельства. Во-первых, все эти исследовательские действия происходят в виртуальной среде и относятся к СИМ-моделям СС (см. рис. 2), а не связаны с изучением объекта в реальной среде, результатом которого могут быть справедливо упомянутые в [18] «обман и пустая трата времени» - хотя для достижения цели СИМ этого вполне достаточно. Во-вторых, речь здесь идет не об аппроксимации неполных, неточных, недостоверных и неадекватных данных, полученных путем предварительного изучения объекта, а именно о моделировании объекта - в качестве своеобразной характеристики которого выступает неопределенность знаний о нем. С точки зрения теории СС и СИМ здесь путаницы нет: поскольку неопределенность знаний о СС, являющейся объектом СИМ, сама может считаться СС и быть объектом СИМ. Совершенствование методов и средств проведения СИМ по версии МДМ имеет важное практическое значение, поскольку способствует повышению эффективности действий ЛПР, свя «Инфокоммуникационные технологии» Том 12, № 1, 2014 66 Ануфриев Д.П., Димов Э.М., Маслов О.Н., Халимов Р.Р. занных с управлением СС организационно-технического типа.
×

References

  1. Димов Э.М., Маслов О.Н., Скворцов А.Б. Новые информационные технологии: подготовка кадров и обучение персонала. Ч. 1. Реинжиниринг и управление бизнес-процессами в инфо-коммуникациях. М.: ИРИАС, 2006. - 386 с.
  2. Димов Э.М., Маслов О.Н., Пчеляков С.Н., Скворцов А.Б. Новые информационные технологии: подготовка кадров и обучение персонала. Ч. 2. Имитационное моделирование и управление бизнес-процессами в инфокомму-никациях. Самара: Изд-во СНЦ РАН, 2008. -350 с.
  3. Карпов Ю.Г. Имитационное моделирование систем. Введение в моделирование с Any Logic. СПб.: БХВ-Петербург, 2005. - 400 с.
  4. Димов Э.М. Имитационное моделирование и оптимизация управления в сложных производственных системах. Саратов: Изд-во СГУ, 1983. - 165 с.
  5. Бусленко Н.П. Моделирование сложных систем. М.: Наука, 1968. - 400 с.
  6. Голенко Д.И. Статистические модели в управлении производством. М.: Статистика, 1973. - 368 с.
  7. Моисеев Н.Н. Элементы теории оптимальных систем. М.: Наука, 1975. - 526 с.
  8. Шеннон Р. Имитационное моделирование систем - искусство и наука. Пер. с англ. М.: Мир, 1971. - 418 с.
  9. Нейлор Т. Машинные и имитационные эксперименты с моделями экономических систем. Пер. с англ. М.: Мир, 1975. - 500 с.
  10. Форрестер Дж. Основы кибернетики предприятия (индустриальная динамика). Пер. с англ. М.: Прогресс, 1971. - 310 с.
  11. Anylogic. Учебное пособие по агентному моделированию. Изд. XJ Technologies Company Ltd., 2004. - 53 с.
  12. Виттих В.А., Скобелев П.О. Метод сопряженных взаимодействий для управления распределением ресурсов в реальном масштабе времени // Автометрия. Т. 45, №2, 2009. - С. 78-87.
  13. Малинецкий Г.Г., Потапов А.Б. Нелинейная динамика и хаос. М.: КомКнига, 2006. - 240 с.
  14. Малинецкий Г.Г., Потапов А.Б. Современные проблемы нелинейной динамики. - М.: УРСС, 2002. - 300 с.
  15. Братченко Н.Ю. Методология анализа динамики поведения сложных систем // Вестник Сев-Кав. ГТУ №2 (19), 2009. - С. 107-111.
  16. Вольтерра В. Математическая теория борьбы за существование. Пер. с франц. М.: Наука, 1976. -287 c.
  17. Виттих В.А. Организация сложных систем. Самара: Изд-во СНЦ РАН, 2010. - 66 с.
  18. Винер Н. Творец и робот. Пер. с англ. М.: Прогресс, 1996. - 104 с.
  19. Маслов О.Н. Случайные антенны: теория и практика. Самара: Изд-во ПГУТИ-ОФОРТ, 2013. -480 с.
  20. Боровиков В. STATISTICA. Искусство анализа данных на компьютере: для профессионалов. СПб.: Питер, 2003. - 688 с.
  21. Найт Ф.Х. Риск, неопределенность и прибыль. Пер. с англ. М.: Дело, 2003. - 360 с.
  22. Королев В.Ю., Бенинг В.Е., Шоргин С.Я. Математические основы теории риска. М.: Физмат-лит, 2007. - 544 с.
  23. Вишняков Я. Д., Радаев Н.Н. Общая теория рисков. М.: ИЦ «Академия», 2008. - 368 с.
  24. Маслов О.Н. Безопасность корпорации: моделирование и прогнозирование внутренних угроз методом риска. Самара: Изд-во ПГУТИ-АЭРОПРИНТ, 2013. - 170 с.

Supplementary files

Supplementary Files
Action
1. JATS XML

Copyright (c) 2014 Anufriev D.P., Dimov A.M., Maslov O.N., Khalimov R.R.

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies