Trusted artificial intelligence

Full Text

Термин “доверенный искусственный интеллект” вошёл в оборот относительно недавно и в последние несколько лет применяется в отношении защищённых и безопасных технологий искусственного интеллекта (ИИ). Чтобы понять, как сделать их именно такими, обратимся вначале к истории информационно-коммуникационных технологий (ИКТ) в целом, поскольку методики и инструменты обеспечения их безопасности появились задолго до систем искусственного интеллекта.

Активное развитие таких технологий началось в 1940-е годы. В СССР точкой отсчёта стал 1948 год: 29 июня был основан Институт точной механики и вычислительной техники (ИТМиВТ) Академии наук СССР; 4 декабря член-корреспондент АН СССР И.С. Брук и инженер-конструктор Б.И. Рамеев подали заявку на изобретение автоматической цифровой вычислительной машины; 19 декабря учреждено Специальное конструкторское бюро № 245 (впоследствии Научно-исследовательский центр электронной вычислительной техники). В 1949 г. основана кафедра вычислительной математики механико-математического факультета МГУ имени М.В. Ломоносова. Началось производство первых электронно-вычислительных машин: МЭСМ (1951), “Стрела” (1953), М-100 (1958), “Днепр” (1961). В 1967 г. была создана БЭСМ-6 ‒ первый суперкомпьютер в СССР. Главным конструктором выступил академик С.А. Лебедев (ИТМиВТ); в том же институте была предложена и операционная система для БЭСМ-6 – Д-68 (разработчики ‒ Л.Н. Королёв, А.Н. Томилин, В.П. Иванников и другие).

Научно-технологическая основа информационно-коммуникационных технологий, заложенная в те годы как в нашей стране, так и за рубежом, позволила обеспечить их бурное развитие в последующие десятилетия. К настоящему времени размеры программных систем значительно выросли, многократно усложнились их разработка и сборка. Например, размер дистрибутива операционной системы Debian на базе Linux в 2019 г. превысил отметку в миллиард строк кода, а сейчас составляет почти 2 млрд. Размер популярных фреймворков машинного обучения PyTorch и TensorFlow превышает 7 млн и 10 млн строк соответственно. В мире постоянно растёт объём больших данных: в 2022 г. он составлял 97 зеттабайт (1 зеттабайт = 1 миллиард терабайт), а в 2025 г., по некоторым прогнозам [1], достигнет 180 зеттабайт. Число проектов на веб-сервере GitHub в 2023 г. составило 420 млн, а число разработчиков превысило 100 млн человек. В этом сложном мире становится всё труднее обеспечивать необходимые качества современного программного обеспечения (ПО): эффективность, продуктивность и доверенность, последняя включает в себя и безопасность.

Основной источник функциональных, архитектурных и других уязвимостей в ПО и аппаратуре – ошибки, которые очень трудно отличить от закладок и недокументированных возможностей. Информацией об уязвимостях могут воспользоваться хакеры (просто из интереса), преступники и представители спецслужб, причём эксплуатация некоторых уязвимостей не составляет труда для более или менее опытного человека. Известный пример ‒ уязвимость Heartbleed: за счёт переполнения буфера атакующий может получить доступ к участку оперативной памяти с незашифрованными логинами и паролями. Версия библиотеки OpenSSL с этой уязвимостью вышла в марте 2012 г., а саму уязвимость удалось обнаружить только спустя два года. На момент обнаружения уязвимыми были полмиллиона веб-сайтов.

Повсеместное внедрение информационно-коммуникационных технологий и наличие серьёзных проблем с их безопасностью привели к необходимости законодательного регулирования процессов разработки. Стало ясно, что недостаточно использовать классические методы защиты (защита по периметру, проверка доступа, антивирусы и др.), так как уязвимости всё равно остаются внутри программного обеспечения. Необходим поиск новых моделей, методов и технологий в области анализа и трансформации программ, направленных на устранение максимального количества уязвимостей в исполняемом коде на этапе разработки ПО, а также поддержание устойчивости готового программного обеспечения, затруднение негативных воздействий существующих уязвимостей или смягчение последствий их воздействий.

Первые стандарты разработки безопасного ПО были предложены в США. В 1999 г. в Национальном институте стандартов и технологий (NIST) началась работа над стандартами Common Criteria. В 2004 г. компания Microsoft сделала достоянием гласности примерный регламент цикла разработки безопасного программного обеспечения (рис. 1). В России в 2016 г. был принят соответствующий ГОСТ Р 56939-2016 [2]; завершается подготовка ГОСТов по отдельным процессам и инструментам (например, по статическому анализу и по безопасному компилятору, оба вводятся в действие в апреле 2024 г.). В Евросоюзе в 2019 г. был принят Закон о кибербезопасности [3] – система сертификации ПО, сервисов и процессов. В Китае в 2023 г. утверждены 19 стандартов кибербезопасности, предложенных Техническим комитетом 260, отвечающим за национальную безопасность в этой сфере.

В связи с появлением в последние два десятилетия нормативной базы создаётся и соответствующий инструментарий. В Институте системного программирования РАН поиск в этом направлении ведётся с 2002 г. и к настоящему моменту создан полный стек (от англ. stack − стопка) технологий − от безопасного компилятора до анализа бинарного кода, обеспечивающий технологическую независимость в этой области.

Создание инструментов РБПО возможно только на основе результатов фундаментальных исследований, поэтому в конце 2018 г. президиумом РАН было принято решение о необходимости развития нового научного направления − кибербезопасности [4]. В 2021 г. в номенклатуру специальностей, по которым присуждается учёная степень кандидата или доктора физико-математических наук, приказом Минобрнауки России включена “кибербезопасность” [5]. Она объединяет такие направления исследований, как анализ и систематизация уязвимостей, моделирование политики информационной безопасности, угроз и атак, методы, алгоритмы и средства пострелизного глубокого анализа защищённости программного обеспечения и многое другое.

Рис. 1. Жизненный цикл разработки безопасного программного обеспечения (Microsoft)

Отметим, что так развивалась кибербезопасность программных систем, не использующих искусственный интеллект. С появлением и повсеместным внедрением ИИ многое изменилось.

История искусственного интеллекта восходит к 1950-м годам. Сам термин появился в 1956 г.; он был предложен американским математиком Дж. Маккарти на семинаре в Дартмутском университете (США) [6]. Цель исследований в этой области ‒ позволить компьютеру выполнять интеллектуальные действия, ранее доступные только человеку (например, вести простой диалог или играть в шахматы). Изначально задачу видели в построении модели объекта автоматизации, а алгоритм решения основывался на правилах работы с моделью. В конце XX в. поиски в этом направлении активизировались, и основным стал метод решения задачи по аналогии: на этапе обучения алгоритм получал примеры вопросов и правильных ответов, а на этапе применения – получал вопросы и выдавал ответы. Машинное обучение довольно быстро совершенствовалось. В 1997 г. компьютер Deep Blue американской компании IBM выиграл шахматный матч из шести партий с Г. Каспаровым (тогда действующим чемпионом мира по версии Профессиональной шахматной ассоциации). В 2002 г. разработчики представили первый робот-пылесос. В 2010 г. была сформирована база данных ImageNet, объединившая 14 млн изображений 20 тыс. категорий. В 2011 г. суперкомпьютер Watson компании IBM одержал победу в интеллектуальном телешоу Jeopardy! В том же году в составе программного обеспечения смартфонов компании Apple появился первый виртуальный голосовой помощник Siri. В 2016 г. интернет-сервис Google Translate начал использовать нейронный машинный перевод для восьми языков, а с 2022 г. стали появляться и совершенствоваться “большие языковые модели” ‒ Open AI ChatGPT, в их числе YandexGPT2, RuGPT3 (Сбер) и другие. Таким образом, можно утверждать, что системы современного искусственного интеллекта базируются на различных видах машинного обучения и нейросетях.

Столь впечатляющие успехи ИИ за последние 10−15 лет связаны с ускоренным развитием суперкомпьютерных мощностей и появлением огромных массивов данных (рис. 2). Основу этих успехов заложили представители классической математики, в том числе отечественные, что признано на мировом уровне. Так, исследования академика АН СССР А.Н. Колмогорова [7] помогли обосновать решения задач, возникающих в процессе машинного обучения, а труды академика АН СССР и РАН А.Н. Тихонова [8] заложили основу методов вычислительной математики, позволив существенно ограничить суперкомпьютерные ресурсы, необходимые для решения задач искусственного интеллекта.

Научные подходы к ИИ, методы и алгоритмы активно развиваются, однако не следует забывать, что мы живём в мире так называемого “слабого искусственного интеллекта” (англ. Weak AI, или Narrow AI). Он основан на машинном обучении и нейронных сетях, способен извлекать информацию из ограниченного набора данных, а в случае их искажения может выдать необъективный (неэтичный, дискриминационный) результат. “Слабый ИИ” уязвим для предвзятости, необъективности и ошибок. “Сильный искусственный интеллект” (англ. Strong AI, General AI), способный решать задачи на уровне интеллектуальных возможностей человека, строить стратегии и функционировать в условиях неопределённости, пока существует только в теории, так как отсутствуют методы и алгоритмы, на основе которых он мог бы функционировать. Существующие направления исследований развиваются в рамках “слабого ИИ”. Устройства с “сильным ИИ”, можно предположить, удастся реализовать лишь в очень отдалённой перспективе.

Рис. 2. Вычислительные ресурсы и большие данные – двигатели развития систем искусственного интеллекта

Наличие уязвимостей в системах искусственного интеллекта делает их работу небезопасной или неэтичной на бытовом уровне. Например, использование дискриминирующих алгоритмов привело к тому, что модель для выбора кандидатов на должности разработчиков в компании Amazon отдавала предпочтение мужчинам (модель была обучена на данных за десятилетний период, на протяжении которого основная часть резюме претендентов на эти вакансии поступала от мужчин) [9]. Ряд серьёзных проблем связан с практикой эксплуатации беспилотных автомобилей. В частности, они подвержены так называемым состязательным атакам: если нанести на дорожный знак невидимый для глаза рисунок, то компьютерное зрение может не распознать этот знак, что чревато аварией. Возможна и неадекватная реакция беспилотного автомобиля на дорожно-транспортное происшествие. В 2023 г. в США автомобиль Cruise наехал на пешехода, протащил его 6 м и остановился, не съезжая с пострадавшего, который в результате получил серьёзные травмы. После этого инцидента 950 беспилотных машин Cruise компании-изготовителю пришлось отозвать для обновления программного обеспечения [10]. Отсутствие обязательных цифровых меток на сгенерированном искусственным интеллектом контенте также может привести к печальным последствиям. Например, в 2023 г. в продажу поступили сгенерированные ИИ книги о грибах, но использовать их как практическое пособие не рекомендуется, так как в них обнаружены серьёзные содержательные ошибки [11].

В целом можно констатировать, что в настоящее время искусственный интеллект представляет собой сложный технологический комплекс с отсутствующей субъектностью. Исходя из этого представления в мире формируется юридическая основа его регулирования (как ранее формировались нормы регулирования других технологий). Так, в 2022 г. в США был опубликован проект “Билля о правах” ИИ [12], предлагаемого компаниями, общественными организациями и экспертными группами. В нём формулируются пять принципов создания и использования искусственного интеллекта, в числе которых разработка безопасных и эффективных систем; отсутствие алгоритмической дискриминации; обеспечение конфиденциальности данных и др. В 2023 г. в США на государственном уровне был одобрен ещё один важный документ ‒ Executive Order on Safe, Secure, and Trustworthy AI (Указ о безопасном, защищённом и доверенном искусственном интеллекте) [13], который устанавливает новые стандарты в сфере безопасного развития ИИ и содержит поручения для ведомств и разработчиков. Например, разработчики ряда значимых систем обязаны делиться с правительством результатами тестов на безопасность продуктов; кроме того, сгенерированный ИИ контент должен маркироваться специальными цифровыми метками. Последнюю инициативу разделяют и ведущие компании в области ИИ (OpenAI, Meta.Platforms, Alphabet и др.), которые уже обязались реализовать систему цифровых водяных знаков для всех форм синтезированного контента. В том же году Агентство национальной безопасности США объявило о создании Центра безопасности искусственного интеллекта, а Национальный научный фонд ‒ о создании семи исследовательских институтов ИИ (один из них ‒ Institute for Trustworthy AI in Law & Society, Институт доверенного искусственного интеллекта в юридических и общественных науках).

В Евросоюзе в 2020 г. появился документ “Whitepaper on AI: a European approach to excellence and trust” (“Положение по ИИ: европейский подход к качеству и доверию”) [14], который объясняет важность ИИ и призывает к его оптимизации и развитию экосистемы, в частности, инициирует работу над нормативной базой и определяет ключевые требования к ней. В их числе ‒ безопасные обучающие данные без дискриминации; надёжность и воспроизводимость; контроль человека над ИИ; защита биометрических данных. В 2023 г. был предварительно одобрен EU AI Act (Закон Евросоюза об искусственном интеллекте) [15], который предлагает разделить все системы с ИИ на три категории: с неприемлемыми рисками, высокими и низкими. Первые подлежат запрету, вторые должны быть приведены в соответствие с “определёнными юридическими требованиями”, третьи регулированию не подлежат. В число запрещённых систем попадёт сбор биометрии в общественных местах, а также социальный скоринг.¹

Если же говорить об общемировых подходах, то 19 мая 2023 г. на саммите глав государств “Большой семёрки” в Хиросиме был принят специальный документ для содействия развитию передовых систем искусственного интеллекта на глобальном уровне. 30 октября 2023 г. те же лидеры поддержали “Международный кодекс поведения” и “Руководящие принципы для организаций, разрабатывающих передовые системы ИИ”. Например, в кодексе заявлено, что таким организациям следует “присоединиться к процессам разработки, продвижения и принятия, где это необходимо, общих стандартов, инструментов, механизмов и лучших практик для обеспечения безопасности, надёжности и достоверности передовых систем ИИ”. А разработчикам следует “добиваться полной прозрачности – документировать используемые наборы данных, процессы и решения, принятые в ходе разработки системы” [16].

Регуляторика активно развивается и в нашей стране. Россия здесь – в числе лидеров. В 2019 г. Указом Президента РФ № 490 была принята Национальная стратегия развития искусственного интеллекта на период до 2030 года [17]. В 2021 г. десятки компаний подписали Кодекс этики в сфере искусственного интеллекта [18], разработанный при участии Минэкономразвития России, Аналитического центра при Правительстве РФ, а также около 500 экспертов академического и бизнес-сообщества. Кодекс подчёркивает приоритет прав человека, ответственность человека за действия ИИ, потребность в безопасности и защищённости данных, а также необходимость разработки безопасных технологий. Появляются первые ГОСТы, например, ГОСТ 59921 “Системы ИИ в клинической медицине” (принят в 2022 г.; устанавливает требования к клиническому тестированию ИИ-систем на основе глубоких нейронных сетей) [19].

Таким образом, в мире предпринимаются попытки ограничить внедрение небезопасных технологий и установить стандарты разработки безопасных, как это было ранее сделано для обычного программного обеспечения. Однако на практике общепринятых подходов и инструментов разработки безопасных технологий искусственного интеллекта пока не существует. Те наработки, которые появились за последние десятилетия в области обычного ПО, только частично применимы к ИИ. Это связано с датацентричностью искусственного интеллекта ‒ основной источник его уязвимостей связан с данными (рис. 3).

Исходный код инфраструктур машинного обучения можно анализировать с помощью традиционных средств, но с данными и моделями машинного обучения всё гораздо сложнее. Например, данные могут быть отравленными, а предобученные модели ‒ содержать закладки или вредоносное программное обеспечение. Полностью проверить модель на уязвимости традиционными способами, на уровне обычного ПО, невозможно, потому что основная информация содержится в параметрах модели, то есть в данных, а не в исполняемом коде. Нужны новые технологии.

Именно поэтому в 2021 г. при поддержке Минэкономразвития России в Институте системного программирования им. В.П. Иванникова РАН учреждён Исследовательский центр доверенного искусственного интеллекта, цель которого – создать платформу, которая объединяла бы программные инструменты и методики для противодействия принципиально новым угрозам, возникающим на всех этапах жизненного цикла технологий ИИ. Здесь уже получены результаты по ряду актуальных направлений. Это касается, например, противодействия отравлению данных. С помощью добавления на изображения незаметных триггеров можно добиться того, что компьютерное зрение будет распознавать эти изображения с недопустимыми искажениями (рис. 4) [20, 21]. Существуют разные подходы к решению этой проблемы. Предлагается, в частности, чистка зловредных нейронов (по отравленным тренировочным данным можно найти редко активируемые нейроны; скорее всего, именно они кодируют триггер) [22] или же обнаружение и удаление триггера с помощью объяснимого ИИ, а затем применение генеративной модели для восстановления изображения [23]. В Исследовательском центре доверенного ИИ ИСП РАН разрабатываются защитные алгоритмы от незаметного отравления изображений. Кроме того, ведутся исследования по противодействию “состязательным атакам”, в ходе их разработана защищённая система компьютерного зрения с дообученной моделью, которая позволяет системе распознавать человека даже в футболке со зловредным стикером (рис. 5).

Рис. 3. Появление уязвимостей в системах с ИИ

Рис. 4. Отравленные данные: вставка закладок

Здесь важно отметить, что атакам подвержены и закрытые системы (так называемые атаки “чёрного ящика”). Это связано с тем, что не исключена возможность перенесения состязательных примеров на другие модели и наборы данных, поэтому идею безусловной защищённости закрытых систем нельзя признать верной. Для обеспечения полноценной безопасности необходимо располагать соответствующей научно-технологической базой и созданными на её основе программными инструментами и методиками противодействия атакам.

Важность этой задачи осознаётся повсеместно. С 2017 г. реализуется множество проектов по развитию доверенного ИИ. Например, такие проекты консорциума “The Linux Foundation”, как Adversarial Robustness Toolbox, AI Explainability 360 AI Fairness 360 и другие. Консорциум поддерживает также проекты других компаний и организаций, нацеленные на поиск уязвимостей моделей и повышение безопасности их использования (NextAttack, University of Virginia; Foolbox, University of Tuebingen; CleverHans, CleverHans Project), определение смещения модели (Aequitas, Chicago University; Fairlearn, Microsoft) и др. Однако несмотря на масштабные исследования, до сих пор не существует типового сценария разработки, обеспечивающего и возможность непрерывного выпуска оттестированных новых версий продукта (CI/CD − непрерывная интеграция и непрерывная поставка), и применение инструментов противодействия атакам. Такие сценарии уже много лет применяются при разработке обычных программ без ИИ.

Рис. 5. Противодействие состязательным атакам

Существуют и другие проблемы, связанные с датацентричностью. Например, не во всех областях возможен обмен данными согласно существующему законодательству (это особенно актуально для медицины). В таких случаях возможно применение метода так называемого федеративного (распределённого машинного) обучения, позволяющего обучать модели на нескольких устройствах без обмена образцами данных. Федеративное обучение делится на горизонтальное (например, необходимость анализа ЭКГ большой группы людей) и вертикальное, с учётом разных сфер социальной активности одного и того же человека (медицина, финансы и др.). Ещё одна задача – упрощение коммуникаций, поскольку они могут занимать до 95% времени обучения ИИ. Её можно решить несколькими способами, в том числе сжатием посылок, пропуском раундов общения, временным упрощением модели и разделением её на составляющие, что позволяет кратно уменьшить коммуникационные затраты и время обучения.

В федеративном обучении существуют две основные проблемы: жёсткие требования к стоимости коммуникаций (то есть к объёму передаваемых данных) и конфиденциальности информации. В их решении, а также для оптимальной квантизации сигналов широко используются результаты из многомерной геометрии, полученные в 1970-х годах академиком РАН Б.С. Кашиным. Продемонстрировали свою эффективность и так называемые жадные алгоритмы [24]. В Исследовательском центре доверенного ИИ ИСП РАН актуальные задачи федеративного обучения решает коллектив под руководством доктора физико-математических наук А.В. Гасникова [25−27]. Полученные результаты позволяют снизить коммуникационные затраты максимум в 15 раз, а процесс обучения сократить в 5 раз [28, 29].

Важна также задача, касающаяся совершенствования технологий маркирования контента цифровыми водяными знаками. Она актуальна как для контента, созданного человеком (в целях защиты авторских прав и отслеживания распространения интеллектуального продукта) [30], так и для синтезированного (обнаружение сгенерированного текста [31], дипфейков в аудио- и видеопотоках и изображениях [32]), а также для глубоких нейронных сетей, защиты от анонимной кражи обучающих наборов данных и обученных моделей [33−35]). В США уже готовится законодательная база, обязывающая маркировать ИИ-контент водяными знаками. Вероятнее всего по этому пути пойдут и другие страны, в том числе Россия, поэтому столь актуально развитие соответствующих отечественных технологий.

Необходимо отметить, что разработка даже очень качественных технологий доверенного ИИ далеко не гарантирует обеспечение технологической независимости и долгосрочного устойчивого развития в этой области. Нужны модели совместной работы, которые в условиях коллаборативной экономики способствуют кратному увеличению производительности труда. Целесообразно сформировать экосистему, которая позволит отдельным компаниям перейти от конкуренции к кооперации, совместно создавать и контролировать репозиторий доверенного программного обеспечения. Такая модель работы, представленная на рисунке 6, уже используется ИСП РАН и партнёрами в Центре доверенного системного ПО. Вокруг него сформирован консорциум; более 50 компаний (Лаборатория Касперского, Postgres Professional и др.) и вузов (МГТУ им. Н.Э. Баумана, ЧГУ и др.) совместно ведут исследования по повышению безопасности ОС Linux и системных компонентов (например, OpenSSL, QEMU, libvirt). Около 300 исправлений уже признаны международным сообществом и внесены в основные ветки проектов.

Реализация данной модели работы показала, что Академия наук является ключевой структурой, которая может формировать такие сообщества, объединяя государство, бизнес и научные институты. Создание репозитория доверенных решений было поддержано на стратегической сессии “Развитие искусственного интеллекта” под председательством главы правительства РФ М.В. Мишустина в сентябре 2023 г.

В настоящее время существующую экосистему необходимо масштабировать в целях создания технологий доверенного ИИ. Для этого целесообразно:

• развернуть комплексную научно-техническую программу в целях поиска перспективных подходов к обеспечению кибербезопасности, создания интеллектуальных технологий и инструментальных средств, обеспечивающих минимизацию угроз безопасности, связанных с ошибками, включая новые виды уязвимостей и рисков, которые характерны для технологий ИИ;
• определить, что важным механизмом реализации указанной программы служит создание репозиториев доверенных средств ИИ и инструментов обеспечения доверия;
• развивать нормативное регулирование ИИ в Российской Федерации, которое в зависимости от применения предусматривает как возможности саморегулирования, так и обязательную государственную сертификацию на основе высокотехнологичных программных средств;
• расширить подготовку специалистов высшей квалификации по специальности “Кибербезопасность”.

Рис. 6. Пример глобальной модели долгосрочного развития

Подготовка высококвалифицированных профильных специалистов, создание нормативной базы и репозиториев доверенного ПО, а также разработка новых подходов и инструментов обеспечения доверия к ИИ будут способствовать достижению технологической независимости нашей страны, обеспечению её безопасного будущего.

¹ Социальный скоринг – вид оценки платёжеспособности заёмщика банка по его социальным характеристикам и прогнозирования поведения клиента с помощью анализа его присутствия в социальных сетях.

About the authors

A. I. Avetisyana

Author for correspondence.
Email: arut@ispras.ru

академик РАН

References

Supplementary files

Supplementary Files

Action

1. JATS XML

Download

2. Figure 1. The lifecycle of Secure software development (Microsoft)

Download (1MB)

Indexing metadata

3. Fig. 2. Computing resources and big data – engines for the development of artificial intelligence systems

Download (2MB)

Indexing metadata

4. Fig. 3. The emergence of vulnerabilities in AI systems

Download (2MB)

Indexing metadata

5. Fig. 4. Poisoned data: inserting bookmarks

Download (3MB)

Indexing metadata

6. Рис. 5. Противодействие состязательным атакам

Download (3MB)

Indexing metadata

7. Figure 6. An example of a global long-term development model

Download (5MB)

Indexing metadata