На платформе Mail.ru Cloud Solutions (MCS) стал доступен дистрибутив Hadoop на базе продукта с открытым исходным кодом Arenadata Hadoop.
Это первое на российском облачном рынке решение на основе обновленной версии Hadoop 3.0. Сервис открывает новые возможности для работы с большими данными и гарантирует безопасность, функциональность и высокую производительность. Новые пользователи платформы смогут бесплатно протестировать решение в течение трех месяцев.
Hadoop — это открытое решение для хранения и анализа больших данных. На его базе платформа Mail.ru Cloud Solutions предоставляет готовые сборки, которые позволят быстро создавать корпоративные хранилища данных (DWH) и Data Lake объемом до нескольких Пбайт, а также проводить извлечение, преобразование и загрузку данных (ETL), поступающих из разных источников.
В сочетании с набором технологий для работы с большими данными Data Science и Data Engineer-специалисты получат готовое решение для извлечения и анализа данных любого типа, которые станут основой для прогнозных моделей и быстрого обучения ML-моделей, в том числе с помощью высокопроизводительных вычислений (HPC). Провайдер дает финансовые гарантии за доступность сервиса, занимается его администрированием и обновлением на новые версии.
Arenadata Hadoop станет одним из компонентов экосистемы облачных сервисов Mail.ru Cloud Solutions для работы с большими данными, ориентированной на потребности крупного бизнеса. Enterprise-версия решения обладает большей функциональностью на уровне политик доступа, а также высокой доступностью: обеспечивает автоматическое восстановление кластера после падения, а также его автомасштабирование при росте объема данных. Дополнительным преимуществом сервиса на платформе MCS является поддержка российского разработчика — компании Arenadata.
Платформа использует максимально приближенную к открытой версию Hadoop, что исключает зависимость пользователей от вендора.
Arenadata Hadoop выполнена на базе Hadoop 3.0, что позволяет повысить эффективность хранения данных на 50%, обеспечить улучшенную работу с памятью для высоконагруженных приложений и масштабирование до ста тысяч узлов. Arenadata Hadoop зарегистрирован в государственном реестре отечественного ПО.
«Arenadata Hadoop Enterprise отличается серьезными настройками безопасности и функциональностью для высоких нагрузок, а также возможностью автомасштабирования. Компаниям теперь не надо думать, стоит ли подключать больше дисков для хранения и обработки информации: кластер автоматически расширится в случае необходимости», — говорит Дмитрий Лазаренко, директор по продукту Mail.ru Cloud Solutions.
Arenadata Hadoop на платформе MCS каждый кластер тарифицируется только по количеству дискового пространства, количество ядер не влияет на стоимость решения. Пользователь платит по модели Pay-As-You-Go, которая подразумевает оплату по мере потребления ресурсов. Специалисты Mail.ru Cloud Solutions и Arenadata проконсультируют по миграции и сложным архитектурным решениям. Кроме того, новые пользователи платформы могут получить бесплатный доступ к Arenadata Hadoop на три месяца, оставив заявку на странице решения Mail.ru Cloud Big Data.
«Появление облачного сервиса, который имеет в своей основе последнюю версию Hadoop, это хорошая новость для рынка. Такое решение может упростить жизнь командам разработки и компаниям, специализирующимся на анализе больших данных и машинном обучении. Мы планируем протестировать сервис, чтобы оценить перспективы его использования для наших проектов», — сказал Рустам Кильдиев, технический директор компании «Иннодата», российского разработчика решений в области управления большими данными и клиентским опытом.
В июле 2021 года Mail.ru Cloud Solutions объявила о расширении сотрудничества с российским разработчиком платформы сбора и хранения данных Arenadata и открыла доступ к распределенной аналитической СУБД с открытым кодом Arenadata DB Cloud версии Enterprise, которая также доступна для бесплатного теста на три месяца. Решение позволяет создать корпоративное хранилище информации с почти неограниченными возможностями масштабирования.
