Сравнительный анализ систем хранения данных HDFS и Apache Ozone
- Авторы: Иевлев К.О.1, Городничев М.Г.1
-
Учреждения:
- Московский технический университет связи и информатики
- Выпуск: Том 12, № 1 (2025)
- Страницы: 26-33
- Раздел: ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И ТЕЛЕКОММУНИКАЦИИ
- URL: https://journals.eco-vector.com/2313-223X/article/view/679126
- DOI: https://doi.org/10.33693/2313-223X-2025-12-1-26-33
- EDN: https://elibrary.ru/LNPTVP
- ID: 679126
Цитировать
Полный текст
Открытый доступ
Доступ предоставлен
Доступ платный или только для подписчиков
Аннотация
За последние десятилетия значительно выросло не только количество цифровых данных в мире, но и способов их использования. Пионером и долгое время синонимом платформы для хранения и обработки больших данных являлась экосистема Hadoop, которая и по сей день активно используется во множестве крупнейших компаний. Однако, за почти 20 лет, прошедших с первого релиза Hadoop, был выявлен ряд существенных недостатков, такие как «проблема маленьких файлов» и неравномерное использование ресурсов кластеров. Во многих коммерческий и исследовательских организациях встает вопрос о модернизации стека работы с данными для повышения утилизации ресурсов и расширения возможностей для эффективной работы с данными. Цель данной работы – продемонстрировать достоинства и недостатки хранилища данных нового поколения – Apache Ozone и сделать вывод о готовности технологии для полноценной замены распределенной файловой системы Hadoop (HDFS).
Ключевые слова
Полный текст
Об авторах
Кирилл Олегович Иевлев
Московский технический университет связи и информатики
Автор, ответственный за переписку.
Email: ievlev.k.o@yandex.ru
ORCID iD: 0009-0003-2723-3154
SPIN-код: 1380-5720
ResearcherId: IAN-1730-2023
аспирант, ассистент кафедры математической кибернетики и информационных технологий
Россия, МоскваМихаил Геннадьевич Городничев
Московский технический университет связи и информатики
Email: m.g.gorodnichev@mtuci.ru
ORCID iD: 0000-0003-1739-9831
SPIN-код: 4576-9642
Scopus Author ID: 55836031600
ResearcherId: D-3256-2019
кандидат технических наук, доцент, заведующий кафедры математической кибернетики и информационных технологий, декан факультета информационных технологий
Россия, МоскваСписок литературы
- Aggarwal R., Verma J., Siwach M. Small files’ problem in Hadoop: A systematic literature review. Journal of King Saud University “Computer and Information Sciences”. 2022. No. 34 (10). Part A. Pp. 8658–8674. doi: 10.1016/j.jksuci.2021.09.007.
- Harby A.A., Zulkernine F. From data warehouse to lakehouse: A comparative review. In: IEEE International Conference on Big Data (Big Data). Osaka, 2022. Pp. 389–395. doi: 10.1109/BigData55660.2022.10020719.
- Jain E.P., Gupta E.A. Hadoop architecture and its issues. International Journal of Engineering Research and General Science. 2017. No. 5 (2). Pp. 211–217. doi: 10.1109/CSCI.2014.140.
- Niazi S., Ismail M., Haridi S. et al. HopsFS: Scaling Hierarchical File System Metadata Using NewSQL Databases. In: 15th USENIX Conference on File and Storage Technologies (FAST 17). USENIX Association, 2017. Pp. 89–104. doi: 10.48550/arXiv.1606.01588.
- Sharma G., Tripathi V., Srivastava A. Recent trends in Big Data ingestion tools: A study. In: Research in Intelligent and Computing in Engineering, Springer, 2021. Pp. 873–881. doi: 10.1007/978-981-15-7527-3_83.
- Shvachko K. HDFS scalability: The limits to growth. Login Usenix Mag. 2010. No. 35. Pp. 6–16.
- White T. Hadoop: The definitive guide. 4 ed. O’Reilly Media, Inc., 2015. 754 p.
Дополнительные файлы
