Sensory SystemsSensory SystemsСенсорные системы0235-00923034-5936The Russian Academy of Sciences67581410.31857/S023500922302004XQSZZFTТЕХНИЧЕСКОЕ ЗРЕНИЕClassification of crops by NDVI time series of reduced dimensionalityКлассификация сельскохозяйственных культур на основе анализа временных рядов вегетационного индекса c понижением их размерностиPavlovaM. A.ПавловаМ. А.pavlovamar96@gmail.comSidorchukD. S.СидорчукД. С.pavlovamar96@gmail.comBocharovD. A.БочаровД. А.pavlovamar96@gmail.comInstitute for Information Transmission Problems. A.A. Kharkevich RASИнститут проблем передачи информации им. А.А. Харкевича РАН0104202337217118028022025Copyright ©; 2023, Russian Academy of SciencesCopyright ©; 2023, Российская академия наук2023Russian Academy of SciencesРоссийская академия наукhttps://journals.eco-vector.com/0235-0092/article/view/675814

The paper considers the problem of classification of agricultural crops. As is known, to solve this problem, it is much more efficient to use not instantaneous remote sensing data or calculated vegetation indices, but their historical series. Time series formed by index values for a fixed spatial point at different dates are characterized by a high level of missing values, caused primarily by cloudiness on some dates. A study of known methods of time series approximation has been carried out. The question of whether reducing the dimensionality of the approximated time series can improve the quality of crops classification is also investigated. In the experimental part of the work, NDVI time series calculated from the Sentinel-2 multispectral satellite data were used. The classification of corn, sunflower, wheat and soybeans was studied. The paper shows that UMAP usage for dimensionality reduction leads to 1.5 times increase of classification quality in terms of average the F1-measure compared to using the original dimension data. A new crop classification method based on cubic spline approximation of NDVI time series, extraction of features of low dimension by the UMAP algorithm and their classification by the k nearest neighbors method is proposed.

В работе рассматривается задача классификации сельскохозяйственных культур. Как известно, для решения этой задачи значительно эффективнее использовать не только мгновенные данные дистанционного зондирования или вычисленные по ним вегетационные индексы, но и их исторический набор для разных моментов времени. Временные ряды, образованные значениями индексов для фиксированной пространственной точки для разных моментов времени, характеризуются высоким уровнем пропусков значений, вызванных в первую очередь наличием облачности в некоторые даты. Проведено исследование известных методов аппроксимации временных рядов. Также исследуется вопрос о том, может ли снижение размерности аппроксимированных временных рядов повысить качество рассматриваемой классификации. В экспериментальной части работы использовались временные ряды индекса NDVI, вычисленного по мультиспектральным спутниковым данным Sentinel-2. Исследовалась классификация кукурузы, подсолнечника, пшеницы и сои. В работе показано, что снижение размерности методом UMAP позволяет в среднем в 1.5 раза повысить значение F1-меры в сравнении с использованием данных исходной размерности. Предложен новый метод классификации культур, основанный на аппроксимации временных рядов вегетационных индексов NDVI кубическим сплайном, извлечение малоразмерных признаков алгоритмом UMAP и их классификации методом k ближайших соседей.

Remote sensingcrop classificationtime seriesNDVItime series fittingfeature extractiondimensionality reductionUMAPДЗЗклассификация сельскохозяйственных культурвременные рядыNDVIаппроксимация временного рядаизвлечение признаковснижение размерностиUMAPBartalev S.A., Lupyan E.A., Nejshtadt I.A., Savin I.Yu. Klassifikatsiya nekotorykh tipov sel’skokhozyaistvennykh posevov v yuzhnykh regionakh Rossii po sputnikovym dannym MODIS [Classification of some types of agricultural crops in the southern regions of Russia according to MODIS satellite data.]. Issledovanie Zemli iz kosmosa [Earth exploration from space]. 2006. V. 3. P. 68–75 (in Russian).Барталев С.А., Лупян Е.А., Нейштадт И.А., Савин И.Ю. Классификация некоторых типов сельскохозяйственных посевов в южных регионах России по спутниковым данным MODIS. Исследование Земли из космоса. 2006. Т. 3. С. 68–75.Bakhtadzel N., Maximov E., Maximova N., Donchan D., Kuznetsov D., Zakharov E. Intelligent Management Systems for Digital Farming. Part 1. Informacionnye tekhnologii i vychislitel’nye sistemy [Information technologies and computing systems]. 2020. V. 2. P. 99–111. https://doi.org/10.14357/20718632200208Бахтадзе Н.Н., Максимов Е.М., Максимова Н.Е., Дончан Д.М., Кузнецов Д.С., Захаров Э.А. Системы интеллектуального менеджмента для цифрового земледелия. Часть 1. Информационные технологии и вычислительные системы. 2020. Т. 2. С. 99–111. https://doi.org/10.14357/20718632200208Blokhina S.Yu. The application of remote sensing in precision agriculture. Vestnik of the Russian agricultural science. 2018. (5). P. 10–16 (in Russian). https://doi.org/10.30850/vrsn/2018/5/10-16Блохина С.Ю. Применение дистанционного зондирования в точном земледелии. Вестник Российской сельскохозяйственной науки. 2018. № 5. С. 10–16. https://doi.org/10.30850/vrsn/2018/5/10-16Bocharov D.A., Nikolaev D.P., Pavlova M.A., Timofeev V.A. Cloud Shadows Detection and Compensation Algorithm on Multispectral Satellite Images for Agricultural Regions. JCTE.2022. V. 67. № 6. P. 728–739. https://doi.org/10.1134/S1064226922060171Бочаров Д.А., Николаев Д.П., Павлова М.А., Тимофеев В.А. Алгоритм детекции и компенсации теней от облаков на мультиспектральных спутниковых снимках для местностей сельскохозяйственных угодий. Информационные процессы. 2021. Т. 21. № 4. С. 295–312. https://doi.org/10.53921/18195822_2021_21_4_295Vorob’eva N.S., Chernov A.V. Approksimatsiya vremennykh ryadov NDVI v zadache rannego raspoznavaniya vidov sel’skokhozyaistvennykh kul’tur po kosmicheskim snimkam [Approximation of NDVI time series in the problem of early recognition of crop species from satellite images]. Sbornik trudov III mezhdunarodnoi konferentsii i molodezhnoi shkoly “Informatsionnye tekhnologii i nanotekhnologii” (ITNT-2017)-Samara: Novaya tekhnika [Proceedings of the III International Conference and Youth School “Information Technology and Nanotechnology” (ITNT-2017) – Samara: New technology]. Samara. 2017. P. 390–399 (in Russian).Воробьева Н.С., Чернов А.В. Аппроксимация временных рядов NDVI в задаче раннего распознавания видов сельскохозяйственных культур по космическим снимкам. Сборник трудов III международной конференции и молодежной школы “Информационные технологии и нанотехнологии” (ИТНТ-2017)-Самара: Новая техника. Самара. 2017. С. 390–399.Pavlova M.A., Sidorchuk D.S., Kushchev D.O., Bocharov D.A., Nikolaev D.P. Equalization of Shooting Conditions Based on Spectral Models for the Needs of Precision Agriculture Using UAVs. JCTE. 2022. V. 67. № 2. https://doi.org/10.1134/S1064226922140066Павлова М.А., Сидорчук Д.С., Кущев Д.О., Бочаров Д.А., Николаев Д.П. Эквализация условий съемки на основе спектральных моделей для нужд точного земледелия с использованием БПЛА. Информационные процессы. 2022. Т. 22. № 4. С. 404–413. https://doi.org/10.53921/18195822_2022_22_4_404Plotnikov D.E., Bartalev S.A., Zharko V.O., Mihailov V.V., Prosyannikova O.I. An experimental assessment of crop types recognisability using time-series of intra-seasonal spectral reflectance measurements by satellite sensor. Sovremennye problemy distantsionnogo zondirovaniya Zemli iz kosmosa [Modern problems of remote sensing of the Earth from space]. 2011. V. 8 (1). P. 199–208 (in Russian).Плотников Д.Е., Барталев С.А., Жарко В.О., Михайлов В.В., Просянникова О.И. Экспериментальная оценка распознаваемости агрокультур по данным сезонных спутниковых измерений спектральной яркости. Современные проблемы дистанционного зондирования Земли из космоса. 2011. Т. 8. № 1. С. 199–208.Pugacheva I.Yu., Shevyrnogov A.P. Izuchenie dinamiki NDVI posevov sel’skokhozyaistvennykh kul’tur na territorii Krasnoyarskogo kraya i Respubliki Khakasiya [The study of the dynamics of NDVI crops of agricultural crops in the territory of the Krasnoyarsk Territory and the Republic of Khakassia]. Sovremennye problemy distantsionnogo zondirovaniya Zemli iz kosmosa [Modern problems of remote sensing of the Earth from space]. 2008. V. 5 (2). P. 347–351 (in Russian).Пугачева И.Ю., Шевырногов А.П. Изучение динамики NDVI посевов сельскохозяйственных культур на территории Красноярского края и Республики Хакасия. Современные проблемы дистанционного зондирования Земли из космоса. 2008. Т. 5. № 2. С. 347–351.Firsov N., Podlipnov V., Ivliev N., Nikolaev. P, Mashkov S., Ishkin P., Skidanov R., Nikonorov A. Neural network-aided classification of hyperspectral vegetation images with a training sample generated using an adaptive vegetation index. Computer Optics. 2021. V. 45 (6). P. 887–896 (in Russian). https://doi.org/10.18287/2412-6179-CO-1038Фирсов Н.А., Подлипнов В.В., Николаев П.П., Машков С.В., Ишкин П.А., Скиданов Р.В., Никоноров А.В. Нейросетевая классификация гиперспектральных изображений растительности с формированием обучающей выборки на основе адаптивного вегетационного индекса. Компьютерная оптика. 2021. Т. 45. №. 6. С. 887–896. https://doi.org/10.18287/2412-6179-CO-1038Cherepanov A.S., Druzhinina E.G. Spektral’nye svoistva rastitel’nosti i vegetatsionnye indeksy [Spectral properties of vegetation and vegetation indices]. Geomatika [Geomatics]. 2009. V. 3. P. 28–32 (in Russian).Черепанов А.С., Дружинина Е.Г. Спектральные свойства растительности и вегетационные индексы. Геоматика. 2009. № 3. С. 28–32.Yakushev V.P., Dubenok N.N., Loupian E.A. Earth remote sensing technologies for agriculture: application experience and development prospects. Sovremennye problemy distantsionnogo zondirovaniya Zemli iz kosmosa [Modern problems of remote sensing of the Earth from space]. 2019. V. 16 (3). P. 11 (in Russian).Якушев В.П., Дубенок Н.Н., Лупян Е.А. Опыт применения и перспективы развития технологий дистанционного зондирования Земли для сельского хозяйства. Современные проблемы дистанционного зондирования Земли из космоса. 2019. Т. 16. № 3. С. 11.Abe B.T., Jordaan J.A. Hyperspectral image classification based on NMF Features Selection Method. Sixth International Conference on Machine Vision (ICMV 2013). SPIE, 2013. V. 9067. P. 114–119. https://doi.org/10.1117/12.2050072Abe B.T., Jordaan J.A. Hyperspectral image classification based on NMF Features Selection Method. Sixth International Conference on Machine Vision (ICMV 2013). SPIE, 2013. T. 9067. C. 114–119. https://doi.org/10.1117/12.2050072Belda S., Pipia L., Morcillo-Pallarés P., Verrelst J. Optimizing gaussian process regression for image time series gap-filling and crop monitoring. Agronomy. 2020. V. 10 (5). P. 618. https://doi.org/10.3390/agronomy10050618Belda S., Pipia L., Morcillo-Pallarés P., Verrelst J. Optimizing gaussian process regression for image time series gap-filling and crop monitoring. Agronomy. 2020. T. 10. № 5. C. 618. https://doi.org/10.3390/agronomy10050618Bouteldja S., Kourgli A. A comparative analysis of SVM, K-NN, and decision trees for high resolution satellite image scene classification. Twelfth International Conference on Machine Vision (ICMV 2019). SPIE, 2020. V. 11433. P. 410–416. https://doi.org/10.1117/12.2557563Bouteldja S., Kourgli A. A comparative analysis of SVM, K-NN, and decision trees for high resolution satellite image scene classification. Twelfth International Conference on Machine Vision (ICMV 2019). SPIE, 2020. T. 11433. C. 410–416. https://doi.org/10.1117/12.2557563Chakhar A., Hernández-López D., Ballesteros R., Moreno M.A. Improving the accuracy of multiple algorithms for crop classification by integrating sentinel-1 observations with sentinel-2 data. Remote Sensing. 2021. V. 13 (2). P. 243. https://doi.org/10.3390/rs13020243Chakhar A., Hernández-López D., Ballesteros R., Moreno M.A. Improving the accuracy of multiple algorithms for crop classification by integrating sentinel-1 observations with sentinel-2 data. Remote Sensing. 2021. T. 13. № 2. C. 243. https://doi.org/10.3390/rs13020243Gilbertson J.K., Van Niekerk A. Value of dimensionality reduction for crop differentiation with multi-temporal imagery and machine learning. Computers and Electronics in Agriculture. 2017. V. 142. P. 50–58. https://doi.org/10.1016/j.compag.2017.08.024Gilbertson J.K., Van Niekerk A. Value of dimensionality reduction for crop differentiation with multi-temporal imagery and machine learning. Computers and Electronics in Agriculture. 2017. T. 142. C. 50–58. https://doi.org/10.1016/j.compag.2017.08.024Groten S.M.E. NDVI–crop monitoring and early yield assessment of Burkina Faso. International Journal of Remote Sensing. 1993. V. 14 (8). P. 1495–1515. https://doi.org 10.1080/01431169308953983Groten S.M.E. NDVI–crop monitoring and early yield assessment of Burkina Faso. International Journal of Remote Sensing. 1993. T. 14. № 8. C. 1495–1515. https://doi.org/10.1080/01431169308953983Hird J.N., McDermid G.J. Noise reduction of NDVI time series: An empirical comparison of selected techniques. Remote Sensing of Environment. 2009. V. 113 (1). P. 248–258. https://doi.org/10.1016/j.rse.2008.09.003Hird J.N., McDermid G.J. Noise reduction of NDVI time series: An empirical comparison of selected techniques. Remote Sensing of Environment. 2009. T. 113. № 1. C. 248–258. https://doi.org/10.1016/j.rse.2008.09.003Li J., Shen Y., Yang C. An adversarial generative network for crop classification from remote sensing timeseries images. Remote Sensing. 2020. V. 13 (1). P. 65. https://doi.org/10.3390/rs13010065Li J., Shen Y., Yang C. An adversarial generative network for crop classification from remote sensing timeseries images. Remote Sensing. 2020. T. 13. № 1. C. 65. https://doi.org/10.3390/rs13010065McInnes L., Healy J., Melville J. Umap: Uniform manifold approximation and projection for dimension reduction. arXiv preprint arXiv:1802.03426. 2018. https://doi.org/10.48550/arXiv.1802.03426Murmu S., Biswas S. Application of fuzzy logic and neural network in crop classification: a review. Aquatic Procedia. 2015. V. 4. P. 1203–1210. https://doi.org/10.1016/j.aqpro.2015.02.153Murmu S., Biswas S. Application of fuzzy logic and neural network in crop classification: a review. Aquatic Procedia. 2015. T. 4. C. 1203–1210. https://doi.org/10.1016/j.aqpro.2015.02.153Orynbaikyzy A., Gessner U., Conrad C. Crop type classification using a combination of optical and radar remote sensing data: A review. International journal of remote sensing. 2019. V. 40 (17). P. 6553–6595. https://doi.org/10.1080/01431161.2019.1569791Orynbaikyzy A., Gessner U., Conrad C. Crop type classification using a combination of optical and radar remote sensing data: A review. International journal of remote sensing. 2019. T. 40. №. 17. C. 6553–6595. https://doi.org/10.1080/01431161.2019.1569791Reedha R., Dericquebourg E., Canals R., Hafiane A. Transformer neural network for weed and crop classification of high resolution UAV images. Remote Sensing. 2022. V. 14 (3). P. 592. https://doi.org/10.3390/rs14030592Reedha R., Dericquebourg E., Canals R., Hafiane A. Transformer neural network for weed and crop classification of high resolution UAV images. Remote Sensing. 2022. T. 14. № 3. C. 592. https://doi.org/10.3390/rs14030592Rußwurm M., Körner M. Self-attention for raw optical satellite time series classification. ISPRS journal of photogrammetry and remote sensing. 2020. V. 169. P. 421–435. https://doi.org/10.1016/j.isprsjprs.2020.06.006Rußwurm M., Körner M. Self-attention for raw optical satellite time series classification. ISPRS journal of photogrammetry and remote sensing. 2020. T. 169. C. 421–435. https://doi.org/10.1016/j.isprsjprs.2020.06.006Sishodia R.P., Ray R.L., Singh S.K. Applications of remote sensing in precision agriculture: A review. Remote Sensing. 2020. V. 12 (19). P. 3136. https://doi.org/10.3390/rs12193136Sishodia R.P., Ray R.L., Singh S.K. Applications of remote sensing in precision agriculture: A review. Remote Sensing. 2020. T. 12. № 19. C. 3136. https://doi.org/10.3390/rs12193136Sun R., Chen S., Su H., Mi C., Jin N. The effect of NDVI time series density derived from spatiotemporal fusion of multisource remote sensing data on crop classification accuracy. ISPRS International Journal of Geo-Information. 2019. V. 8 (11). P. 502. https://doi.org/10.3390/ijgi8110502Sun R., Chen S., Su H., Mi C., Jin N. The effect of NDVI time series density derived from spatiotemporal fusion of multisource remote sensing data on crop classification accuracy. ISPRS International Journal of Geo-Information. 2019. T. 8. № 11. C. 502. https://doi.org/10.3390/ijgi8110502Velliangiri S., Alagumuthukrishnan S., Thankumar S.I. A review of dimensionality reduction techniques for efficient computation. Procedia Computer Science. 2019. V. 165. P. 104–111. https://doi.org/10.1016/j.procs.2020.01.079Velliangiri S., Alagumuthukrishnan S., Thankumar S.I. A review of dimensionality reduction techniques for efficient computation. Procedia Computer Science. 2019. T. 165. C. 104–111. https://doi.org/10.1016/j.procs.2020.01.079Yang S., Gu L., Li X., Jiang T., Ren R. Crop classification method based on optimal feature selection and hybrid CNN-RF networks for multi-temporal remote sensing imagery. Remote sensing. 2020. V. 12 (19). P. 3119. https://doi.org/10.3390/rs12193119Yang S., Gu L., Li X., Jiang T., Ren R. Crop classification method based on optimal feature selection and hybrid CNN-RF networks for multi-temporal remote sensing imagery. Remote sensing. 2020. T. 12. № 19. C. 3119. https://doi.org/10.3390/rs12193119Zhang S., Lei Y., Wang L., Li H., Zhao H. Crop classification using MODIS NDVI data denoised by wavelet: A case study in Hebei Plain, China. Chinese Geographical Science. 2011. V. 21. P. 322–333. https://doi.org/10.1007/s11769-011-0472-2Zhang S., Lei Y., Wang L., Li H., Zhao H. Crop classification using MODIS NDVI data denoised by wavelet: A case study in Hebei Plain, China. Chinese Geographical Science. 2011. T. 21. C. 322–333. https://doi.org/10.1007/s11769-011-0472-2