Comparative Analysis of HDFS and Apache Ozone Data Storage Systems

Мұқаба

Дәйексөз келтіру

Толық мәтін

Ашық рұқсат Ашық рұқсат
Рұқсат жабық Рұқсат берілді
Рұқсат жабық Тек жазылушылар үшін

Аннотация

Over the last few decades, both the volume of digital data in the globe and the variety of ways to use it have increased dramatically. For a long time, the Hadoop ecosystem, which is still widely utilized, has been synonymous with large data storage and processing platforms. However, during the past 20 years, Hadoop has been found to have a number of serious flaws, including the “small files problem” and uneven cluster resource usage. Various commercial and research organizations are faced with the issue of upgrading the data stack to improve resource utilization and increasing data processing efficiency. This study aims to examine the benefits and drawbacks of the next-generation data storage system, Apache Ozone, and to assess whether this technology is ready to completely supplant the Hadoop Distributed File System (HDFS).

Толық мәтін

##article.viewOnOriginalSite##

Авторлар туралы

Kirill Ievlev

Moscow Technical University of Communications and Informatics

Хат алмасуға жауапты Автор.
Email: ievlev.k.o@yandex.ru
ORCID iD: 0009-0003-2723-3154
SPIN-код: 1380-5720
ResearcherId: IAN-1730-2023

Postgraduate Student, Assistant of the Department of Mathematical Cybernetics and Information Technologies

Ресей, Moscow

Mikhail Gorodnichev

Moscow Technical University of Communications and Informatics

Email: m.g.gorodnichev@mtuci.ru
ORCID iD: 0000-0003-1739-9831
SPIN-код: 4576-9642
Scopus Author ID: 55836031600
ResearcherId: D-3256-2019

Cand. Sci. (Eng.), Associate Professor, Head of the Department of Mathematical Cybernetics and Information Technologies, Dean of the Faculty of Information Technologies

Ресей, Moscow

Әдебиет тізімі

  1. Aggarwal R., Verma J., Siwach M. Small files’ problem in Hadoop: A systematic literature review. Journal of King Saud University “Computer and Information Sciences”. 2022. No. 34 (10). Part A. Pp. 8658–8674. doi: 10.1016/j.jksuci.2021.09.007.
  2. Harby A.A., Zulkernine F. From data warehouse to lakehouse: A comparative review. In: IEEE International Conference on Big Data (Big Data). Osaka, 2022. Pp. 389–395. doi: 10.1109/BigData55660.2022.10020719.
  3. Jain E.P., Gupta E.A. Hadoop architecture and its issues. International Journal of Engineering Research and General Science. 2017. No. 5 (2). Pp. 211–217. doi: 10.1109/CSCI.2014.140.
  4. Niazi S., Ismail M., Haridi S. et al. HopsFS: Scaling Hierarchical File System Metadata Using NewSQL Databases. In: 15th USENIX Conference on File and Storage Technologies (FAST 17). USENIX Association, 2017. Pp. 89–104. doi: 10.48550/arXiv.1606.01588.
  5. Sharma G., Tripathi V., Srivastava A. Recent trends in Big Data ingestion tools: A study. In: Research in Intelligent and Computing in Engineering, Springer, 2021. Pp. 873–881. doi: 10.1007/978-981-15-7527-3_83.
  6. Shvachko K. HDFS scalability: The limits to growth. Login Usenix Mag. 2010. No. 35. Pp. 6–16.
  7. White T. Hadoop: The definitive guide. 4 ed. O’Reilly Media, Inc., 2015. 754 p.

Қосымша файлдар

Қосымша файлдар
Әрекет
1. JATS XML
2. Fig. 1. Apache Ozone Component Interaction scheme

Жүктеу (76KB)
3. Fig. 2. Organization of object storage in Apache Ozone

Жүктеу (98KB)
4. Fig. 3. Results of file writing speed tests for 1 KB files (files/sec)

Жүктеу (59KB)
5. Fig. 4. Results of file reading speed tests for 1 KB files (files/sec)

Жүктеу (77KB)
6. Fig. 5. Results of file writing speed tests for 20M files (files/sec)

Жүктеу (78KB)
7. Fig. 6. Results of file reading speed tests for 20M (files/sec)

Жүктеу (80KB)


Лицензия сипаттамасына сілтеме: https://www.urvak.ru/contacts/

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».