PRODUCTION PROCESSES INTELLIGENT MONITORING AND CONTROL

Full Text

ВВЕДЕНИЕ Современные тенденции по организации производства в машиностроении часто представляют в виде четвертой промышленной революции, связанной с активным и массовым внедрением в производство киберфизических систем. Этот процесс описывается концепцией Индустрии 4.0, основанной на реализации технологий анализа больших данных (Big Data), Интернета вещей (Internet of Things), машинного обучения, блокчейна, виртуальной и дополненной реальности и других современных информационных технологий. Однако, ожидания от применения конкретных решений в этой области на практике должны определяться не столько их инновационностью, сколько возможностью реального повышения эффективности функционирования и качества организации производственных систем. Успешное решение этой задачи во многом зависит от вспомогательных информационных и программных средств, обеспечивающих подготовку исходных данных и адаптацию полученных результатов с учетом особенностей человеческого восприятия. Основываясь на имеющемся опыте разработки программного обеспечения для моделирования и поддержки принятия решений в различных проблемных областях, можно указать ряд возможных подходов, направленных на повышение удобства использования, актуальности и производительности новых средств автоматизации. В частности, была разработана новая концепция акцентированной визуализации, которая позволяет повысить эффективность современных пользовательских интерфейсов, используемых в Индустрии 4.0. МЕТОДОЛОГИЯ Концепция Индустрии 4.0 интенсивно и массово описывается в современной литературе [1 - 3]. Современные цели развития цифровой экономики выделяют концепцию «Индустрия 4.0» как одну из ключевых технологических тенденций, направленных на повышение качества и конкурентоспособности продукции. Эта концепция основана на разработке киберфизических систем, способных отслеживать реальные физические процессы, дополняя их специально сгенерированными виртуальными объектами и обеспечивая контекстную и децентрализованную поддержку принятия решений. Данные функции требуют реализации инновационных пользовательских интерфейсов, подходящих для обработки, анализа, виртуализации и представления данных изображений на основе дополненной реальности и Интернета вещей. Через Интернет вещей [4, 5] киберфизические системы взаимодействуют друг с другом и людьми в режиме реального времени как внутри организации, так и с внешними службами. Использование нескольких устройств с различными функциями в облаке позволяет повысить качество мониторинга и поддержки принятия решений. Современные протоколы и архитектуры беспроводных сетей позволяют реализовывать различные топологии на техническом уровне. Практическая реализация Индустрии 4.0 связана с возможностью обработки больших данных (Big Data), которая в настоящее время является отдельной областью исследований [6 - 8]. Сочетание Интернета вещей как основного источника данных и технологий анализа больших данных как мощного инструмента обработки информации успешно используется на современных производственных предприятиях. Тем не менее, анализ больших данных оказывается сложной задачей в промышленных приложениях из-за необходимости обрабатывать неструктурированные объемы данных в режиме реального времени. Результаты этого анализа должны быть представлены для лиц, принимающих решения, в виде иллюстративной информационной графики, дающей влияние на соответствующие показатели и их критические изменения. Существует требование избегать перегрузки второстепенной информацией и адаптировать целостное визуальное представление сложно структурированной информации в соответствии с гештальтом пользователя. Основные современные тенденции визуализации контекстных данных широко исследованы в [9, 10]. Примеры приведены для медицинских данных, но могут быть легко распространены для описания сложной технической системы. Отмечено, что основная цель визуализации данных состоит в том, чтобы объединить несколько наборов данных для одновременного анализа нескольких слоев биологической системы. Система должна связывать все связанные наборы данных (например, изображения, текст, измеренные значения, сканы) и предлагать визуальную аналитику для поддержки экспертов. Этот подход поддерживает идею максимально эффективной визуализации сложных данных для профессионалов вместо автоматического принятия решений. Эта концепция закрепилась и получила дальнейшее развитие в [11]. В этой статье представлен подход «человек в цикле», согласно которому пользователи кибер-физических систем (лица, принимающие решения) участвуют не только в предварительной обработке, выбирая данные или функции, но в непосредственном взаимодействии с алгоритмом на этапе обучения. Основная причина заключается в том, что в случае, если набор параметров, необходимых для принятия решений, большой по размеру и различается по типам, становится проблематичным представить их в одном изображении. Поэтому предлагается вовлекать лиц, принимающих решения, в процесс обработки и визуализации данных посредством постоянного взаимодействия с системой, что помогает оптимизировать учебное поведение как людей, так и алгоритмов. Технология дополненной реальности (Augmented Reality) [12 - 13] позволяет разрабатывать интерактивные и контекстно-зависимые пользовательские интерфейсы, которые предоставляют возможности компьютерного зрения и распознавания объектов в режиме реального времени. Эти функции делают AR мощным инструментом реализации Индустрии 4.0 на практике, который может значительно улучшить возможности интерфейсов человеко-компьютерного взаимодействия. Реализация дополненной реальности [14 - 16] позволяет пользователям проходить интерактивное обучение и получать активную помощь во время выполнения технологических операций без необходимости обращаться к комплекту документации в бумажном или электронном виде. ТЕХНОЛОГИЯ АКЦЕНТНОЙ ВИЗУАЛИЗАЦИИ Представим совокупность объектов сцены, видимых и не видимых (заслоненных) пользователю в виде множества wi , i = 1..Nw. В качестве объектов сцены могут выступать как реальные объекты, так и компоненты другого пользовательского интерфейса, например, в составе экрана ситуационного центра. В ходе реализации бизнес-процесса или технологического процесса пользователь должен выполнять последовательность действий, объединенных сценарием: sk = (t0k, { qi,j,k,l = qi,j,k,l (w*i, dl, t*i,j,k,l, Dt*i,j,k,l) } ), (1) где t0k - время начала сценария, qi,j,k,l - событие начала действия, dl - тип действия, t*i,j,k,l - время ожидания начала действия согласно сценарию, Dt*i,j,k,l - максимальный интервал времени, за которое событие должно произойти. Для выполнения указанных в сценарии действий, внимание пользователя ux должно быть привлечено к определенным объектам сцены в нужные моменты времени. Для представления текущего интереса пользователя введем понятие фокуса и обозначим события его изменения: en,m,x = en,m,x (ux, wn, tn,m,x), (2) где tn,m,x - время обращения внимания пользователя ux на объект wn. Сложность сценария, несовершенство пользовательского интерфейса или отсутствие навыков работы с программным обеспечением, а также влияние человеческого фактора приводят к задержкам и отклонениям от заданного сценария. Обозначим событие попадания фокуса в заданный интервал в виде: g(en,m,x, qi,j,k,l) = 1, если (w*i = wn) (3) и (tn,m,x (t0k + t*i,j,k,l , t0k + t*i,j,k,l + Dt*i,j,k,l)); 0, иначе. Обозначим количество обращений фокуса к объектам сценария в нужное время в виде: F (ux, sk , dl) = Si Sj Sn Sm g(en,m,x, qi,j,k,l). Оценка соответствия фокуса сценарию может быть произведена с помощью индикатора, определяющего количество отклонений, характеризующих недостаточное внимание: L (ux, sk) = Sl d(F (ux, sk, dl) < Fmin) 0, (4) где Fmin - минимально необходимое количество обращений; d(х) = 1, если x = true, 0, иначе. Отметим, что в условиях оптимизации показателя (4) необходимо соблюдение условия минимизации усилий на поиск необходимых объектов: K (ux, sk) = Sl F (ux, sk, dl) min, (5) Выражения (4 - 5) означают, что при высоком качестве интерфейса программного обеспечения пользователь должен обращать внимание на нужные объекты своевременно. Для решения этой задачи предлагается влиять на фокус пользователя, для чего вводится понятие контекста. Контекст формализует информационное пространство (понятийный аппарат и описание текущей ситуации), в котором он выполняет свои действия. Согласно этому определению, контекст пользователя ux включает выборочно перечень объектов, к которым обращался пользователь, и действий сценария, о которых он знает С (ux) = { w*n × y(ux, w*n, t’x,n, Dt’x,n), qi,j,k,l × × j(ux, qi,j,k,l, t’x,i,j,k,l, Dt’x,i,j,k,l) }, (6) где булевы функции y(ux, w*n, t’x,n, Dt’x,n) и j(ux, qi,j,k,l , t’x,i,j,k,l, Dt’x,i,j,k,l) принимают значение «1», если пользователь ux помнит о соответствующих объектах и действиях сценария соответственно в момент времени t, моменты времени t’x,n + Dt’x,n и t’x,i,j,k,l + Dt’x,i,j,k,l характеризуют забывание. Функции y и j являются онтологическими отношениями, поскольку определяют динамику изменения знаний пользователя и могут быть реализованы средствами динамических семантических сетей. Для выполнения условий (4 - 5) необходимо, чтобы соответствующие отношения существовали на момент выполнения этапов каждого сценария. Для решения этой задачи управления вниманием пользователя необходимо идентифицировать отсутствие внимания пользователя с помощью отношения (4) и достраивать отношения y и j, для чего предлагается формировать оверлейный контекст: С* (ux) = { y’(ux, w*n, t¢x,n), j’(ux, qi,j,k,l, t’x,i,j,k,l) }, (7) Описанная модель, включающая понятия сценария, фокуса, контекста и оверлейного контекста позволяет реализовать метод акцентной визуализации, который заключается в формировании виртуальных объектов, отметок и пояснений для привлечения внимания пользователей с помощью интерфейсов дополненной реальности. Для реализации метода акцентной визуализации была разработана технология разработки программного обеспечения. Для пользователя (лица, принимающего решения) описывается профиль в базе знаний (онтологии), в котором выделяется фокус и контекст. Фокус используется для представления текущего интереса пользователя. Контекст формализует информационное пространство, в котором он выполняет свои действия. Фокус и контекст подвергаются влиянию поступающей информации и изменяются под влиянием поведения пользователя. В случае необходимости обновления привлекают внимание пользователя с помощью оверлейного контекста, содержащего необходимые отметки и уведомления. СИСТЕМА ИНТЕЛЛЕКТУАЛЬНОГО КОНТРОЛЯ ТЕХНОЛОГИЧЕСКИХ ОПЕРАЦИЙ Предложенный подход был реализован в специализированной интеллектуальной системе ручного управления операциями, разработанной на базе платформы ООО «Открытый код». Такая система реализует идеи Индустрии 4.0 для интеллектуального производства путем внедрения кибер-физической поддержки принятия решений по мониторигу действий рабочего (оператора) и идентификации возможных нарушений. Ряд видеокамер используется для отслеживания операций в соответствии с технологическим процессом и определения объектов, которые будут использоваться в реальной сцене (детали и узлы). Интеллектуальное программное обеспечение обеспечивает распознавание изображений объектов и их сопоставление с соответствующим описанием в базе знаний. Видеопанели или очки дополнненой реальности используются для представления соответствующей контекстной информации оператору. Результаты реализации проиллюстрированы на Рис. 1. Общее решение используется для выявления пробелов и отказов оператора в режиме реального времени, прогнозирования возможных ошибок в работе и предложения лучших процедур, основанных на сравнении последовательности действий с опытом высококвалифицированных операторов, включенных в базу знаний. Детали реализации являются конкретными с точки зрения используемых технологий. Для отслеживания и захвата объектов могут использоваться простые веб-камеры: качество видео достаточно хорошее для большинства современных моделей. Тем не менее, рекомендуется ввести минимум две камеры, чтобы уменьшить дефекты освещения, вызванные затенением и размытием. Качество освещения оказывается не столь критичным, что делает его выгодным для применения на реальных предприятиях. Значительные изменения освещения требуют дополнительной калибровки. Распознавание изображений и идентификация объектов проводились с использованием стандартных нейронных сетей. Было рассмотрено несколько альтернативных библиотек, в том числе Tensorflow (который является наиболее быстрым), Keras, Theano (больше не поддерживается разработчиками) и Deeplearning4j (поддерживает Java). Thesorflow был выбран для реализации, помимо высокой производительности он распространяется под открытой лицензией Apache 2.0, предоставляет доступ из Python, C ++, Java, Haskell, Go, Swift API, поддерживает Linux, Windows, macOS, iOS, Android, поддерживает Google и облачные вычисления и завоевывает высокую популярность среди разработчиков. Среди возможных топологий нейронных сетей (AlexNet, VGG16, GoogLeNet / Inception и т. Д.) Был выбран ResNet-50, остаточная сеть на базе Microsoft. ResNet-50 - это сверточная нейронная сеть, которая обучается более чем миллиону изображений из базы данных ImageNet. Глубина 50 слоев с прямыми связями между нейронами, расположенными на одном уровне. Сцена дополненной реальности может быть развернута на планшете или реализована с помощью специализированных очков, для этого примера использовался Epson Moverio. Использование дополненной реальности позволило реализовать алгоритмы, улучшающие распознавание изображений с учетом особенностей выявленных компонентов, а также результатов его внедрения и практического использования. В качестве примера был взят один из узлов двигателя грузового автомобиля (турбокомпрессор). Идентификация объектов иллюстрируется на Рис. 2. Требуемый объект выделяется в зависимости от контекста в соответствии с технологическим процессом производства (см. Рис. 3). РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ Реализация метода акцентной визуализации позволяет решить ряд проблем, связанных с особенностями применения нейронных сетей для идентификации объектов, а именно: сложностью подборки универсальной обучающей выборки, большим количеством и разнообразием деталей и сборочных единиц, возможностью взаимного перекрытия элементов конструкции, возможностью изменения режимов освещения и видимости. Выделение сценария, фокуса, контекста и оверлейного контекста на основе базы знаний об инженерном составе изделия, а также индивидуальных особенностях оператора, позволяет конкретизировать ситуацию и сузить перечень возможных решений. Пример результатов распознавания приведен на Рис. 4. Предложенный пример требует идентификации 8 деталей в 11 этапах технологического процесса. Некоторые детали были разделены на отдельные объекты для улучшения качества идентификации. В результате было введено 27 объектов для распознавания изображений. Каждый объект был снят на видео отдельно под разными углами. Результаты передавались в нейронную сеть, которая давала разные результаты средней вероятности идентификации. Обучение нейронной сети потребовало 27500 кадров (с разными углами и фонами) с распределением 1000 кадров в среднем на каждый объект. В результате вероятность идентификации увеличилась до 0,95, что потребовало 5500000 шагов обучения. Чтобы повысить качество идентификации, система должна знать этап эксплуатации и не требовать посторонних предметов, чтобы внешние объекты появлялись на сцене. Последнее требование соответствует 5S методологии организации рабочего места. Тем не менее, в случае появления боковых объектов AR-устройство может пометить их и остаться исключенными из процесса распознавания изображения. Рис. 4. Результаты обучения нейронной сети в рамках заданного примера Принципиальные отличия предлагаемого решения от существующих разработок состоит в следующем: В основе решения предлагается использовать базу знаний - открытое хранилище характеристической информации об изделиях. Эта информация будет использоваться в семантических алгоритмах распознавания дополнительно к искусственным нейронным сетям, что позволит обеспечить универсальность применения. Для идентификации каждого отдельного изделия, детали или сборочной единицы, а также из фрагмента может использоваться своя нейронная сеть. Применение базы знаний позволяет реализовать предобработку, создав необходимый контекст распознавания и персонифицированный оверлейный контекст, адаптированный с учетом индивидуальных особенностей оператора и постобработку, фиксируя его фокус. Предлагаемый подход в отличие от аналогов позволит существенно повысить качество распознавания дополнительно к возможностям глубокого обучения искусственных нейронных сетей. Для этого, во-первых, используются семантические технологии формализации характерных признаков и их распознавания, а во-вторых, фокус и контекст рассматриваются в отношении к сценарию выполнения соответствующих технологических операций и переходов. Это позволяет локализовать практическое использование интеллектуальных технологий и обеспечить дополнительное повышение точности идентификации объектов и их частей. Предлагаемый подход позволяет повысить качество распознавания на основе обратной связи от пользователя, для чего используются аппаратно-программные средства трекинга внимания пользователя и очки дополненной реальности. По результатам анализа внимания пользователя производится приоритезация объектов, ассоциирование фокуса и контекста повышает приоритетность выбора объекта в группе (в том числе в условиях частичного перекрытия). Более релевантными являются объекты, которые уже просматривались пользователем, или относительно которых выполнялись определенные действия. Нерелевантные результаты исключаются из рассмотрения, что позволяет снизить вычислительную сложность алгоритмов. Повышение релевантности может быть нелинейным. Исходя из предположения, что в течение одного сценария пользователь находит искомое последним, то максимальный приоритет будет у последнего выбранного объекта. Активно применяются средства интерактивной визуализации для формирования подсказок пользователям, управления выполнением технологических операций и переходов и получения обратной связи. В результате предложенное решение позволяет обеспечить универсальность применения интерактивных электронных технических руководств в заданной предметной области вне зависимости от количества типов изделий, их частей и исполнений. ЗАКЛЮЧЕНИЕ Предложенный в статье подход направлен на решение современных проблем внедрения технологий дополненной реальности и машинного обучения на промышленных предприятиях, связанных с удобством использования, производительностью и качеством распознавания изображений. Метод акцентной визуализации позволяет реализовать мониторинг действий производственного персонала, контроль правильности и своевременности проведения технологических операций и поддержку принятия решений по повышению эффективности его работы. Практическое применение предложенной разработки позволяет произвести оптимизацию организационных структур и производственных процессов, вспомогательных и обслуживающих производств на основе широкого использования новых информационных технологий. Рис. 1. Интеллектуальный контроль технологических операций в рамках производствевнного процесса Рис. 2. Интеллектуальный контроль ручных операций. Мониторинг действий Рис. 3. Интеллектуальный контроль ручных операций. Идентификация объектов и контроль правильности

About the authors

Anton Vladimirovich Ivaschenko

Samara State Technical University

Email: anton-ivashenko@yandex.ru
Dr.Tech.Sc., Professor, Professor of “Computer Science” Department

Pavel Vladimirovich Sitnikov

ITMO University

Email: sitnikov@o-code.ru
PhD, Head of Laboratory of Complex Digital Solutions St. Petersburg

References

Supplementary files