Socio-philosophical analysis of the prospects and potential risks of the functioning of intelligent management systems

Full Text

В XXI веке высокоразвитые страны стоят на пороге шестого технологического уклада. Он проявляется в модернизации информационно-коммуникационных технологий, развитии генной инженерии, нано- и социо-гуманитарных технологий.

Данный период отождествляется с переходом к «Индустрии 4.0» — четвертой промышленной революции, предполагающей автоматизацию и роботизацию экономических процессов, поиск новых подходов к производству, массовое внедрение инновационных технологий в промышленность, а также развитие искусственного интеллекта. В данных условиях повышают свою актуальность технологии интеллектуального управления, понимаемые как процесс разработки и применения методов управления, стремящихся качественно имитировать ключевые характеристики человеческого интеллекта, но в то же время образующие особую сферу потенциальных рисков.

Феномен интеллектуального управления требует системного анализа, ставя целью рассмотрение потенциала процесса интеллектуального управления как объективного инструмента оперирования социальными системами, с учетом выявления наиболее значимых аспектов социального взаимодействия интеллектуальной системы и человека, а также с учетом потенциальных рисков, заключенных во взаимодействиях подобного рода.

Окружающая нас реальность наглядным образом демонстрирует актуальность задач современного социально-философского познания данной сферы, позиционируя в их качестве необходимость определения социальных, правовых и морально-этических соображений при принятии наиболее объективного управленческого решения, сопровождаемого принципиальной минимизацией потенциальных рисков.

Человеческий интеллект имеет определенные свойства, позволяющие качественно осуществлять интеллектуальную, управленческую деятельность. К этим свойствам относятся обучение, способность адаптировать реальность под свои потребности и интересы, планирование в условиях большой неопределенности и работа с большим количеством данных. Реальность XXI века требует адаптировать человеческие способности под цель интеллектуального управления — развитие и совершенствование традиционных методов управления для решения сложных задач.

Интеллектуальная система способна действовать в неопределенной среде, в процессе своей работы оценивая вероятность успешного совершения действий. Индикатором успешного выполнения работы является достижение целей существования этой системы, или приближение к ним. Помимо этого, интеллектуальная система может подражать функциям живых существ, и, в частности, человеческим способностям на разных уровнях: начиная от считывания информации об окружающей среде и контролирования действий, и стремясь к распознанию объектов, событий, происходящих с ними, представлению знаний в модели мира, способности делать предположения, а также планировать будущее. В теории продвинутая интеллектуальная система будет способна воспринимать, понимать, делать умный выбор в сфере управления и принятия решений и успешно действовать в самых различных обстоятельствах, ставя своей целью выживание, и даже процветание во враждебной среде.

Одной из проблем в сфере интеллектуального управления является определение того, что подразумевается в современной оцифрованной социальной реальности под интеллектом и разумным поведением — качествами, присущими человеку, а также вопрос, по каким критериям определить корректность и антропологическую приемлемость имитации этих качеств, позволяющую рассуждать о соотношении между процессами компьютерной реальности и сферы человеческого мышления. Так, Джон Сёрл — американский философ 1980-х годов — отождествляет цифровой компьютер с мозгом, называя отличительной чертой последнего интенциональность, присущую человеку [1]. Под определением интенциональности автор подразумевает свойство определенных ментальных состояний, направленных на объекты и положение дел в мире, как пример — полагания, желания и намерения. Их наличие не является необходимым для успешной работы некоторых компьютерных программ, подразумевающих четкую последовательность действий, однако в случае, если речь идет об интеллектуальных системах, неотъемлемым процессом которых является принятие решений, наличие интенциональности могло бы являться решающим. В своей работе он рассматривает специфику человеческого интеллекта как понимание собственных действий, обосновывая данную точку зрения анализом мысленного эксперимента «Китайская комната». Основной проблемой Д. Сёрл ставит отсутствие способности искусственного интеллекта понимать значимость совершаемых действий, несмотря на умение моделировать ситуации, со стороны не отличающиеся от процессов познания. Это означает невозможность искусственного интеллекта осуществлять аксиологическое проникновение в совершаемые им самим действия.

Как следствие, вполне уместен вопрос, поставленный В.Г. Редько в своей работе: «Насколько мы можем воплотить этот естественный "интеллект", изобретенный Природой, в практически нужные для человека интеллектуальные системы управления?» [2]. Придерживаясь эволюционной теории, автор предлагает определить в какой момент биологической эволюции у человека появились интеллектуальные способности — исходя из этого утверждения, можно спроецировать сроки и действия, необходимые для успешной имитации необходимых качеств искусственным интеллектом. Перспективы оказываются здесь весьма отдаленными. Их существенное ускорение может быть обусловлено тем фактом, что интеллектуальное управление неотъемлемо связано с «Big Data», как следствие, решения, принимаемые системами, строятся на основе обработки, анализа и синтеза большого объема данных. «Использование огромного массива данных, что в совокупности с грамотной и корректной постановкой проблем, а также использованием IТ-технологий позволяет науке XXI века перейти на качественно новый уровень, а в практической сфере принимать взвешенные управленческие решения и осуществлять экономическое моделирование» [3]. Очевидна прямая зависимость необходимой степени «продвинутости» интеллектуальной системы и количества обрабатываемой информации: чем больше задач стоит перед интеллектуальной системой, и чем сложнее перед ней ставятся задачи, тем больший массив информации должен быть учтен.

В целом, процесс интеллектуального управления можно представить в виде определенной последовательности действий. Подбор данных, в том числе осуществляемый с помощью технологий «Big Data» приводит к принятию решений и их анализу. Как результат принятия решений и подбора данных, осуществляется управление. В данном случае «Big Data» выступают как инструмент повышения объективности управленческого решения и обеспечения эволюции интеллектуальных систем. По сути, интеллектуальные системы, при помощи «Big Data» формируют объективную основу ситуативного действия субъекта управления, которую необходимо реализовать в социальной практике. Однако, субъект управления, являющийся физическим либо юридическим лицом, оказывается не способен реализовать объективное управленческое решение, без добавления в него своей субъективности.

Необходимость соблюдения объективности при принятии управленческого решения, как идеал применения искусственного интеллекта, обусловлена потребностью в организации процесса успешного управления. В данном исследовании мы отождествляем объективное решение с качественным, а следовательно, и объективное управление с управлением, ведущим к успешному достижению целей социальной системой.

Но в таком случае возникает вопрос: способны ли интеллектуальные системы в полной мере заменить человеческое управление, приведя управленческий процесс к полной объективности, без примесей субъективных факторов?

Абсолютизированная объективизация управления подразумевает собой избавление процесса управления от субъективного фактора, а это будет требовать введение компьютерно-интеллектуального контроля решений, принимаемых управленческими системами, т.е. превращения процесса управления в объектно-объектную взаимосвязь, свободную от человеческого фактора. Однако социальная реальность, пронизанная бесчисленным множеством управленческих процессов наглядно демонстрирует тот факт, что, даже в погоне за объективностью, ни одна система не способна полностью заменить человеческий компонент в управлении и может являться лишь вспомогательным инструментом.

Учитывая относительную новизну технологий интеллектуального управления, следует отметить, что подобные системы на сегодняшний день — не самое распространенное явление в бизнес-процессах, в связи с чем значительную часть последствий и результатов использования такой системы можно только смоделировать. Анализом схожей проблематики обычно занимаются при рассмотрении вопросов перспектив применения искусственного интеллекта, ставя перед собой задачи оценить его влияние на социальную и экономическую жизнь и выявить потенциал ее возможной трансформации.

Благодаря этому в современной науке постепенно формируется представление об особенностях и основных аспектах взаимодействия искусственного интеллекта и социальной среды, о влиянии интеллектуально-компьютерных систем на восприятие бытия. В социально-гуманитарной плоскости обращают на себя внимание своей актуальностью риски, к числу которых относятся: угрозы потенциального роста безработицы, проблемы экологии, морали и этики.

Одним из наиболее острых обсуждаемых социальных рисков, возникающих в результате распространения автоматизации производства и применения, нацеленных на оптимизацию производства интеллектуальных систем управления, является потенциальное увеличение объема безработицы, в перспективе угрожающее социальной стабильности. Обычно данную ситуацию обсуждают в контексте сокращения рабочих мест за счет замены человеческого труда техникой [4], как пример — одна машина может заменить энное количество людей при производстве определенного объема продукции. Но если рассмотреть данный вопрос с точки зрения ретроспективного анализа, можно прийти к несколько парадоксальному выводу, являющемуся следствием ряда посылок. В XVIII веке ни один человек не мог предположить о возможности работы пилотом самолета; в XIX веке не было представлений о наличии рабочих мест в IT. Прослеживая определенную тенденцию, можно выдвинуть предположение, что проблема безработицы может получить органичное решение исходя из новых социальных условий, то есть проблемой вовсе и не является: человечеству предстоит появление новых рабочих мест в других сферах, неизвестных нам на сегодняшний день. В таком случае можно говорить не столько о безработице, сколько о социальных рисках, связанных с перераспределением рабочей силы, благодаря началу формирования нового рынка труда, учитывающего все изменения конъюнктуры производства, в которое органично интегрированы интеллектуальные системы управления. Несомненно, произойдет перестройка общественных отношений, и возможно даже очередная промышленная революция, в результате которой люди будут вынуждены приобретать новые навыки, глобально менять сферу деятельности, обучаясь новым профессиям, соответствующим потребностям общества. Исходя из вышеописанного, можно сделать вывод, что значимость безработицы, представляемой результатом вовлечения искусственного интеллекта в социальные процессы, в том числе в процесс управления, в качестве одного из основных социальных рисков, существенно преувеличена.

Отдельно влияние интеллектуальных систем управления на окружающий мир рассматривается с точки зрения экологических рисков. Данная тематика с каждым годом все более находит отклик у компаний, в научно-исследовательских конференциях, конгрессах и дискуссиях мирового масштаба. Действительно, проблемы окружающей среды и их разрушительное воздействие на человека становятся все более заметными, в связи с чем ставится вопрос: насколько экологично использование технологий интеллектуального управления, не усугубит ли оно экологическую проблему?

Рассмотреть данную проблему можно в двух плоскостях: с точки зрения ресурсов, затрачиваемых на существование интеллектуальной системы, и с точки зрения приносимой системой пользы, сохраняющей и приумножающей потенциал бытия социальной системы.

Так, использование интеллектуальных систем управления, и в принципе технологий искусственного интеллекта, способно положительно влиять на достижение целей устойчивого развития, определенных Генеральной ассамблеей ООН в 2015 году. В недавней перспективе Nature Communications Venuesa et al. (2020) подсчитали, что интеллектуальные технологии обладают потенциалом для достижения прогресса примерно в 80 процентах из 169 задач, лежащих в основе целей устойчивого развития [5]. Например, данные наблюдений Земли со спутниковых изображений начали использоваться для оперативного и детального мониторинга чистоты воды и жизни на суше [6]. Все эти результаты вполне можно интерпретировать как показатель положительного влияния искусственного интеллекта на экосистему. В России также планируется работа в области развития интеллектуальных систем для оптимизации экологических решений. Александр Кулешов — ректор Сколковского института науки и технологий, ставшего одним из шести опорных центров по развитию технологий искусственного интеллекта, который будет работать именно по направлению оптимизации решений в целях снижения «углеродного следа», отмечает важность развития собственных первоклассных предиктивных моделей на основе искусственного интеллекта, а также технологий «больших данных» для борьбы с загрязнением окружающей среды.

Несмотря на значительное количество положительных аспектов, использование интеллектуальных систем управления способно оказать негативное влияние на окружающий мир. Как основная проблема, потенциальный риск, значимость которого обнаруживается уже сегодня, позиционируется «углеродный след», его причиной является увеличение объемов промышленного производства, неконтролируемое, бездумное потребление, а также необходимость обслуживания технической базы, обеспечивающей функционирование интеллектуальных систем управления.

В этой связи целесообразно обратить внимание на тот факт, что согласно исследованию доктора биологических наук, главного научного сотрудника и бывшего директора Института мозга человека РАН Святослава Медведева, «суммарная мощность всех компьютеров Земли меньше, чем мощность мозга одного человека. Но на питание и охлаждение вычислительных машин тратятся киловатты. А для питания мозга достаточно энергии, потребляемой обычной лампочкой. Образно говоря, мозг может работать на простой "мизинчиковой" батарейке» [7]. На первый взгляд может показаться логичным, что если человеческий мозг по своему операциональному потенциалу превосходит любую машину, то попытка имитации его мыслительных функций с технической и экологической точки зрения убыточна и нецелесообразна, т. к. цель не оправдывает средства, с учетом того, что есть альтернативный путь развития — развить у человека качества, которые требуются человечеству от компьютеров: сбор и анализ больших объемов данных, их хранение, оперативная обработка, преобразование и прогнозирование. В результате возникает искушение сделать вывод о том, что не компьютеру стоит заменять людей, а человеку следует заменить компьютер. Данное мнение возможно и имеет перспективы, но на сегодняшний день они приближены к фантастическим, как ввиду технической невозможности физического преобразования человека в систему, обладающую способностями такого рода, так и с точки зрения гуманизма — подобная допустимость может и позволит в определенной степени усовершенствовать человека, приблизиться к максимальному раскрытию его потенциала, но в итоге своем обезличит самого человека, который станет рассматриваться исключительно как машина. При этом совершенно непонятно, способны ли все люди к подобным проявлениям своего интеллекта. К тому же, если человек будет иметь свободный доступ ко всем данным, обострятся вопросы сохранения конфиденциальности, которая ни в коей мере не сможет быть гарантирована. а значит, решаема исключительно путем ограждения человека от социума, что будет являться категорически безнравственным по отношению к личности.

Отдельный социально-философский вектор рассмотрения определяется необходимостью анализа ответственности за последствие принятых интеллектуальными системами решений на человеческое бытие. В первую очередь речь идет о причинении вреда человеку, целенаправленного или нет, в результате деятельности интеллектуальной системы, из чего вытекает вопрос — на ком лежит ответственность за неверные решения и некорректные социально-значимые рекомендации? Авторы по-разному видят решение данного вопроса. Так, Н.Н. Апостолова считает, что за несоблюдение нормативно установленных требований безопасности и других принципов в сфере создания и применения искусственного интеллекта, а также за противоправные (тем более за общественно опасные) последствия деятельности автономного искусственного интеллекта должен нести ответственность человек — программист, производитель, пользователь. Его вина оценивается с точки зрения действия, вызвавшего несчастный случай, или бездействия. Также автор отмечает, что «способность искусственного интеллекта самообучаться, имитировать и превосходить человека в скорости, точности и объеме мыслительных операций вовсе не равнозначна человеческому сознанию, самосознанию и интеллекту» [8].

П.Н. Бирюков отмечает невозможность интеллектуальных систем нести ответственность за причиненный ущерб, обосновывая это в первую очередь отсутствием международных или национальных правовых положений об их автономности. Непонятен также формат их ответственности. В своей работе П.Н. Бирюков снимает всякую ответственность с искусственного интеллекта, основываясь на анализе положений права ЕС и государств-членов, лейтмотивом которых является отсутствие необходимости придачи автономным системам самостоятельной правосубъектности [9]. Стоит отметить, что вероятность приобретения правовой субъектности интеллектуальных систем существовала — Европейский Парламент предлагал ввести понятие «электронного лица» («electronic person)», обеспечивающего правовой статус представителей искусственного интеллекта, и представляющий собой сочетание одновременно субъекта и объекта права [10]. По мнению А.Д. Померанец, такой подход представляется исключительно опасным, поскольку предоставление искусственному интеллекту статуса «электронной личности» сопряжено с серьезными этическими рисками, снижающими ответственность людей, которые их программируют и управляют ими, а также не позволяет применить соответствующего наказания для подобного субъекта [11]. То есть, становясь субъектом права, искусственный интеллект практически свободен от ответственности, по крайней мере в рамках действующего правового поля.

С определенной периодичностью поднимается вопрос морально-этического выбора, который может стоять перед системой искусственного управления. Наиболее часто как пример приводится «проблема вагонетки» — мысленный эксперимент в этике, сформулированный в 1967 году английским философом Филиппой Фут. Его суть состоит в необходимости выбора количества жертв, при условии невозможности избежать их вовсе. Пять человек лежит на рельсах одного пути, и один человек на рельсах другого. Перед человеком ставится выбор — куда он направит вагонетку, при условии, что она обязательно должна проехать по одному из путей? Со временем «проблема вагонетки» претерпела некоторые преобразования, усложнившись с точки зрения морального выбора и став более интересной с точки зрения психологии. Одной из новейших интерпретаций является социальный эксперимент Массачусетского технологического института — проект «Машина морали» (Moral Machine). Данный проект служит для составления картины мнений общественности о том, какие решения следует принимать машинам в ситуации моральной дилеммы и сбора информации для обсуждения потенциальных сценариев нравственного выбора. Moral Machine предлагает ряд ситуаций с неизбежными авариями. В зависимости от поведения беспилотного автомобиля, будет определено разное количество жертв, отличающихся по биологическому виду (люди, животные), полу, возрасту, социальному статусу, телосложению и уровню дохода. Участник должен выбрать наиболее предпочтительный сценарий исхода событий.

В результате исследования более 40 млн человек из 233 стран были выявлены следующие тенденции [12]. Наибольшую вероятность выживания в условиях совершения морального выбора потенциальной интеллектуальной системы управления имеют младенцы, дети и беременные. Это может быть связано с наличием установки в обществе, формирующейся на основе оценки оставшегося количества лет жизни, и общественным восприятием беременных женщин как двух людей. Далее следуют врачи, люди спортивного телосложения и руководители. Врачи и руководители рассматриваются как люди, благотворно влияющие на систему социальных отношений или же оцениваемые по критерию приносимой обществу пользы, людям же спортивного телосложения больше симпатизируют ввиду физической привлекательности, соответствующей устойчивым идеалам современного общества. Меньше всего шансов выжить у кошек и собак, преступников, а также пожилых людей: животные ставятся в меньший приоритет человеческим жизням, преступники подвергаются порицанию обществом, а старики попадают в ­данную категорию в результате обратной зависимости от приоритета спасения детей.

Этические правила создания и функционирования интеллектуальных систем уже разграничиваются опытом некоторых компаний, применяющих их. Реализацию работы систем интеллектуального управления на Российском рынке можно увидеть на примере ПАО «Сбербанк». Система преимущественно занимается определением отклонений в работе сотрудников, таких, как: отклонения по работе с клиентами, выявление фиктивных продаж, управление численностью персонала, работа с сотрудниками, организация их работы и технологий продаж. На основе выявленных отклонений создаются рекомендации по улучшению эффективности работы, основанные на лучших практиках. В управлении Сбербанка интеллектуальная система управления является одним из основных инструментов существующей модели управления розничной сетью, основанных на анализе Big Data в 10 различных автоматизированных системах банка.

В ПАО «Сбербанк» были разработаны принципы этики разработки и применения технологий искусственного интеллекта в Группе «Сбер». Среди них выделяются: прозрачность и предсказуемость функционирования технологий интеллектуального управления, контролируемость и управляемость систем, включая полную ответственность за причинение системой вреда человеку, стабильность и надежность систем, ответственное применение искусственного интеллекта, его непредвзятость и направленность на пользу, приносимую человечеству, а также оказание помощи в стремлении к его развитию. Для реализации соблюдения данных принципов была создана отдельная рабочая группа, рассматривающая спорные этические вопросы, отвечающая за формирование корпоративной этики среди сотрудников компании, а также осуществляющая мониторинг эффективности реализации принципов и оценивающая их восприятие общественностью. Сами по себе прописанные в принципах этики аспекты ответственности, функционирования технологий и направленности на полезную для человечества деятельность уже способны разрешить некоторые спорные, в том числе и вышеописанные вопросы, хоть и на корпоративном уровне. Учитывая, что принципы этики, разработанные «Сбербанком», являются одним из первых этических документов в сфере интеллектуальных технологий на русском языке, актуализируется необходимость разработки повсеместно действующего руководства, которая как раз может осуществляться на основе принципов этики «Сбера». Данный вопрос уже поднят президентом РФ Владимиром Владимировичем Путиным на пленарном заседании международной онлайн-конференции Artificial Intelligence Journey (AI Journey): «Кроме различных административных, законодательных ограничений, мне кажется, нужно подумать о том, чтобы выработать внутренний для среды морально-нравственный кодекс работы искусственного интеллекта» [13].

Социально-философский подход к интерпретации онтологической сущности социальных процессов вполне обоснованно позволяет констатировать существование проблемного поля социальных рисков, формируемое как следствие все более активного использования в социальном пространстве интеллектуальных систем управления. Их формальная объективность и управленческий потенциал, базирующиеся на использовании принципов анализа информации с использованием технологий Больших данных, способны выстроить стратегическую программу объективного, а, значит, и эффективного управления. Как следствие интеллектуальные системы управления становятся значимой частью социального бытия, постоянно расширяя свои возможности и определяя социальную действительность. Однако абсолютный переход всего объема управленческих манипуляций в сферу компетенции искусственных систем управления является невозможным. Актуальность вопросов этики, морали, экологических и социальных проблем обусловлена относительной новизной технологий интеллектуального управления, а также отсутствием закрепленных на законодательном уровне правовых положений, определяющих принципы ответственности за последствия деятельность интеллектуальных систем.

About the authors

Alexander A. Bodrov

Samara State Technical University

Author for correspondence.
Email: bodrov@imi-samara.ru

Doctor of Philosophy, Professor

Russian Federation, Samara

Tatyana V. Borisova

Samara State Technical University

Email: borisovatva@yandex.ru

Doctor of Philosophy, Professor

Russian Federation, Samara

References

Supplementary files