УДК 004.75
ИССЛЕДОВАНИЕ ПРОИЗВОДИТЕЛЬНОСТИ РАСПРЕДЕЛЕННОЙ ВИРТУАЛЬНОЙ ПРОГРАММНО-КОНФИГУРИРУЕМОЙ ИНФРАСТРУКТУРЫ ДЛЯ ЗАДАЧ ОБРАБОТКИ БОЛЬШИХ ДАННЫХ
Ю. А. Ушаков, к.т.н., доцент кафедры ГКН, Оренбург, Россия;
orcid.org/0000-0002-0474-8919, e-mail: Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.
Виртуальные программно-конфигурируемые виртуальные инфраструктуры на базе контейнеров прочно вошли в состав базовых механизмов облачных вычислений и используются во множестве задач по созданию распределенных масштабируемых отказоустойчивых систем. Но задачи анализа больших данных в большинстве случаев решаются традиционными распределенными кластерами, требующими первоначального развертывания, осторожного обновления и квалифицированного обслужитвания. Целью работы является исследование эффективности использования программно-конфигурируемых виртуальных инфраструктур на базе контейнеров и методов их быстрого развертывания по облачным принципам для реализации платформ автоматизации распределенной обработки больших данных. Приведены схемы развертывания архитектуры Hadoop, Spark на базе кластеров Docker Swarm и Kubernetes. Также проведена разработка критериев для оценки производительности распределенных вычислений для обработки больших данных и проведено экспериментальное исследование эффективности работы.
Ключевые слова: большие данные, распределенные вычисления, анализ данных.