Безытеративный расчет параметров линейного классификатора с пороговой функцией активации
- Авторы: Понимаш З.А.1, Потанин М.В.1
-
Учреждения:
- «ООО «ФракталТех»
- Выпуск: Том 11, № 1 (2024)
- Страницы: 171-183
- Раздел: ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ И МАШИННОЕ ОБУЧЕНИЕ
- URL: https://journals.eco-vector.com/2313-223X/article/view/631304
- DOI: https://doi.org/10.33693/2313-223X-2024-11-1-171-183
- ID: 631304
Цитировать
Аннотация
Актуальность систем искусственного интеллекта (ИИ) растет каждый год. ИИ внедряется в различные сферы деятельности. Одной из основных технологий, используемых в ИИ, являются искусственные нейронные сети (далее НС). С помощью нейронных сетей решается огромный класс задач, такие как задачи классификации, восстановления регрессии, авторегрессии, кластеризации, шумоподавления, создания векторного представления объектов и прочие. В данной работе мы рассматриваем простейший случай работы одного нейрона с активационной функцией Хэвисайда, также рассматриваем быстрые способы его обучения, сводим задачу обучения к задаче отыскания вектора нормали к разделяющей гиперплоскости и веса смещения. Одним из перспективных направлений обучения НС является безытеративное обучение, особенно в контексте обработки и анализа данных с высокой размерностью. В этой статье рассмотрен метод безытеративного обучения, который позволяет значительно (на 1–2 порядка) ускорить обучение одного нейрона. Особенность подхода заключается в определении гиперплоскости, разделяющей два класса объектов в пространстве признаков, без необходимости многократного пересчета весов, что характерно для традиционных итеративных методов. В рамках исследования особое внимание уделяется случаям, когда основные оси эллипсоидов, описывающие классы, параллельны. Определяется функция pln для расчета расстояний между объектами и центрами их классов, исходя из чего производится вычисление ненормированного вектора нормали к гиперплоскости и веса смещения. Кроме того, мы приводим сравнение нашего метода с методом опорных векторов и логистической регрессией.
Полный текст
Об авторах
Захар Алексеевич Понимаш
«ООО «ФракталТех»
Автор, ответственный за переписку.
Email: ponimashz@mail.ru
ORCID iD: 0000-0002-2095-5248
генеральный директор
Россия, Таганрог, Ростовская обл.Марат Владимирович Потанин
«ООО «ФракталТех»
Email: potaninmt@mail.ru
соучредитель
Россия, Таганрог, Ростовская обл.Список литературы
- Зайцев А.А. Исследование устойчивости оценок ковариационной матрицы признаков // Машинное обучение и анализ данных. 2011. Т. 1. № 2.
- Остапец А.А. Решающие правила для ансамбля из цепей вероятностных классификаторов при решении задач классификации с пересекающимися классами // Машинное обучение и анализ данных. 2016. Т. 2. № 3.
- Agarwal A., Sharma P., Alshehri M. et al. Classification model for accuracy and intrusion detection using machine learning approach // Peer J. Computer Science. 2021. doi: 10.7717/peerj-cs.437.
- Мотренко А.П. Оценка плотности совместного распределения // Машинное обучение и анализ данных. 2012. Т. 1. № 4.
- Kingma D.P., Ba J.L. ADAM: A method for stochastic optimization. 2017.
- Zhuang Z., Liu M., Cutkosky A. Understanding AdamW through proximal methods and scale-freeness. 2022.
- Zeiler M.D. ADADELTA: An adaptive learning rate method. 2012.
- Dauphin Y.N., de Vries H., Bengio Y. Equilibrated adaptive learning rates for non-convex optimization. 2015.
- Wojtowytsch S. Stochastic gradient descent with noise of machine learning type. 2021.
- Mao A., Mohri M., Zhong Y. Cross-entropy loss functions: Theoretical analysis and applications. 2023.
- Ланге М.М., Ганебных С.Н., Ланге А.М. Многоклассовое распознавание образов в пространстве представлений с многоуровневым разрешением // Журнал машинного обучения и анализа данных. 2016.
- Турканов Г.И., Щепин Е.В. Классификатор Байеса для переменного количества признаков // ResearchGate. 2016.
- Садыхов Р.Х., Ракуш В.В. Модели гауссовых смесей для верификации диктора по произвольной речи // Библиотека БГУИР. 2003.
- Devlin J., Chang M.-W., Lee K., Toutanova K. BERT: Pre-training of deep bidirectional transformers for language understanding // arXiv.org. 2019.
- Wang B., Kuo C.-C. J. SBERT-WK: A sentence embedding method by dissecting BERT-based word models // arXiv.org. 2020.