Прикладные вопросы классификации с использованием гребневой регрессии

Обложка

Цитировать

Полный текст

Аннотация

Бурное развитие технологий и техники обеспечивают возможность мониторинга свойств объектов различной физической природы с очень малой дискретностью. В результате накапливаются большие объемы данных, которые можно использовать с пользой для управления объектом, многосвязной системой, технологическим предприятием. Однако, вне зависимости от сферы деятельности, остаются задачи, связанные с небольшими объемами данных, динамика их накопления зависит от объективных ограничений внешнего мира и окружающей среды.

Проводимые исследования касаются данных небольших объемов выборок и размерности признаков объектов, которая может считаться высокой относительно количества изучаемых объектов. В связи с этим возникает задача отбора информативных признаков, что позволит как улучшить качество решения задачи за счет исключения «мусорных» признаков, так и повысить скорость принятие решения, поскольку алгоритмы обычно зависимы от размерности признакового пространства, и упростить процедуру сбора данных (не собирать неинформативные данные). Поскольку количество признаков может быть велико, полный перебор всех пространств признаков оказывается невозможным. Вместо этого для отбора информативных признаков предложен двуступенчатый алгоритм случайного поиска, основанный на применении генетического алгоритма: на первом этапе с ограничением количества признаков в подмножестве для сокращения признакового пространства за счет исключения «мусорных» признаков, на втором этапе – без ограничения, но по сокращенному набору признаков.

Исходная формулировка проблемы представляет собой задачу классификации объектов с учителем, когда класс объекта определен экспертом. Значения признаков объектов меняются в зависимости от его состояния, что обусловливает принадлежность тому или иному классу, то есть статистики обладают смещенностью в классе.

Без нарушения общности для проведения имитационного моделирования использовалась двухальтернативная постановка задачи классификации с учителем, для генерации обучающих выборок были использованы данные из области медицинской диагностики степени тяжести заболевания.

Об авторах

Надежда Владимировна Кононова

Сибирский федеральный университет

Автор, ответственный за переписку.
Email: koplyarovanv@mail.ru

кандидат технических наук, доцент, кафедра информационных систем

Россия, 660041, г. Красноярск, пpocп. Свободный, 79

Екатерина Сергеевна Мангалова

ООО «АрДиСайнс»

Email: e.s.mangalova@hotmail.com

программист-разработчик

Россия, 660017, г. Красноярск, ул. Кирова, 19

Антон Владимирович Строев

Красноярский государственный медицинский университет имени профессора В. Ф. Войно-Ясенецкого

Email: antoxa134@mail.ru

аспирант

Россия, 660022, г. Красноярск, ул. Партизана Железняка, 1

Дмитрий Владимирович Черданцев

Красноярский государственный медицинский университет имени профессора В. Ф. Войно-Ясенецкого

Email: gs7@mail.ru

доктор медицинских наук, профессор, заведующий кафедрой хирургических болезней

Россия, 660022, г. Красноярск, ул. Партизана Железняка, 1

Олеся Викторовна Чубарова

Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева

Email: kuznetcova_o@mail.ru

кандидат технических наук, доцент, кафедра системного анализа и исследования операций

Россия, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31

Список литературы

  1. Vafaie H., De Jong K. Robust Feature Selection Algorithms. Proceedings of the IEEE International Conference on Tools with Artificial Intelligence. 1993, P. 356–363.
  2. Cormen T. H., Leiserson C. E., Rivest R. L., Stein C. Introduction to Algorithms. 3rd edition. The MIT Press. 2009, 1320 p.
  3. Narendra P., Fukunaga K. A Branch and Bound Algorithm for Feature Subset Selection. IEEE Transactions on Computers. 1977, Vol. 26, P. 917–922.
  4. Foroutan I., Sklansky J. Feature Selection for Automatic Classification of non-Gaussian Data. IEEE Transactions on Systems, Man and Cybernetics. 1987, Vol. 17, P. 187–198.
  5. Kira K., Rendell L. A Practical Approach to Feature Selection. Proceedings of the Ninth International Conference on Machine Learning (Morgan Kaufmann). 1992, P. 249–256.
  6. Modrzejewski M. Feature Selection Using Rough Sets Theory. Proceedings of the European Conference on Machine Learning (Springer). 1993, P. 213–226.
  7. Liu H., Setiono R. Chi2: Feature Selection and Discretization of Numeric Attributes. Proceedings of the Seventh IEEE International Conference on Tools with Artificial Intelligence. 1995.
  8. John G., Kohavi R., Peger K. Irrelevant Features and the Subset Selection Problem. Machine Learning: Proceedings of the Eleventh International Conference (Morgan Kaufmann). 1994, P. 121–129.
  9. Kohavi R., Frasca B. Useful Feature Subsets and Rough Set Reducts. Third International Workshop on Rough Sets and Soft Computing. 1994.
  10. Kohavi R. Feature Subset Selection as Search with Probabilistic Estimates. AAAI Fall Symposium on Relevance. 1994 .
  11. Koller D., Sahami M. Toward Optimal Feature Selection. Machine Learning: Proceedings of the Thirteenth International Conference (Morgan Kaufmann). 1996.
  12. Liu H., Setiono R. A Probabilistic Approach to Feature Selection – A Filter Solution. Proceedings of the Thirteenth International Conference on Machine Learning (Morgan Kaufmann). 1996.
  13. Liu H., Setiono R. Feature Selection and Classification – A Probabilistic Wrapper Approach. Proceedings of the Ninth International Conference on Industrial and Engineering Applications of AI and ES. 1996.
  14. Siedlecki W., Sklansky J. A Note on Genetic Algorithms for Largescale Feature Selection. IEEE Transactions on Computers. 1989, Vol. 10, P. 335–347.
  15. Punch W., Goodman E., Pei M., Chia-Shun L., Hovland P., Enbody R. Further Research on Feature Selection and Classification Using Genetic Algorithms. Proceedings of the International Conference on Genetic Algorithms (Springer). 1993, P. 557–564.
  16. Brill F., Brown D., Martin W. Fast Genetic Selection of Features for Neural Network Classiers. IEEE Transactions on Neural Networks. 1992, Vol. 3(2), P. 324–328.
  17. Richeldi M., & Lanzi P. Performing Effective Feature Selection by Investigating the Deep Structure of the Data. Proceedings of the Second International Conference on Knowledge Discovery and Data Mining (AAAI Press). 1996, P. 379–383.
  18. Goldberg D. Genetic Algorithms in Search, Optimization, and Machine Learning. New York, Addison-Wesley, 1989.
  19. Mitchell M. An Introduction to Genetic algorithms. Cambridge, MA: MIT Press. 1996.
  20. Dreiper N., Smit G. Applied regression analysis. 1986, 351 p.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML

© Кононова Н.В., Мангалова Е.С., Строев А.В., Черданцев Д.В., Чубарова О.В., 2023

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution 4.0 International License.

Данный сайт использует cookie-файлы

Продолжая использовать наш сайт, вы даете согласие на обработку файлов cookie, которые обеспечивают правильную работу сайта.

О куки-файлах