Распределённая СУБД для аналитической обработки больших объёмов данных X5 Retail Group

Заказчик
X5 Retail Group
Руководитель проекта со стороны заказчика
ИТ-поставщик
Arenadata
Сроки выполнения проекта
Ноябрь, 2018 - Май, 2019
Масштаб проекта
600 человеко-часов
2000 автоматизированных рабочих мест
Цели

Х5 Retail Group — ведущая розничная мультиформатная компания — первой в российском ритейле стала использовать решение с открытым кодом для аналитической обработки больших объёмов данных Greenplum.


В ноябре 2017 года в X5 Retail Group были заложены основы для будущего технологического рывка. Главной целью для компании стало построение платформы, которая позволила бы собрать в одном месте все данные X5, структурировать и описать их, привязать к ним систему Data Governance, и с помощью этого инструмента начать менять культуру работы с данными внутри компании.

Уникальность проекта

Для решения поставленной задачи X5 Retail Group потребовалась MPP база данных, которая бы выдерживала большую нагрузку от пользователей. Показатели и возможности системы должны были соответствовать высоким требованиям, чтобы ею могли одновременно пользоваться более 2000 аналитиков, задающих порядка 800 конкурентных запросов. Обычная база данных справиться с таким напором была не в состоянии. В качестве подходящего инструмента команда X5 Retail Group взяла распределённую СУБД Arenadata DB (ADB), использующую концепцию MPP на основе Greenplum. Таким образом, компания стала первой в российском ритейле, кто начал применять Greenplum как технологию.
Использованное ПО

СУБД Arenadata DB (ADB)

Сложность реалиазации

Основная сложность была обусловлена тем, что технология Greenplum для X5 Retail Group была абсолютно новой технологией. Это потребовало в кратчайшие сроки вырастить экспертизу внутри компании, как по администрированию технологии, так и её эксплуатации, с чем команда успешно справилась. Изначально конфигурация кластера строилась на минимальном пуле вычислительных мощностей с учётом прогнозируемого профиля нагрузки с расчётом на дальнейший рост и корректировку. При увеличении кластера потребовались значительные ресурсы на изменение распределения сегментов, поскольку первоначальная зеркальная топология при различных сбоях негативно сказывалась на производительности кластера в целом. Так как в случае X5 кластер ADB работает в связке кластером Hadoop, то основные задачи были направлены на организацию этого взаимодействия в отношении бэкапирования, использования внешних объектов посредством PXF. Так же команда X5 Retail Group столкнулась с проблемой разграничения ресурсов кластера в отношении нагрузки на дисковой подсистеме, которая и в настоящий момент не теряет актуальности.


Описание проекта

На Arenadata DB команда X5 Retail Group начала строить аналитический слой детальных данных с описанной моделью, бизнес-владельцами доменов, правильно привязанной Data Governance и Classic Data-Dictionary. В результате у ритейлера получился надёжный сервис, доступный любому аналитику компании, с помощью которого они могут принимать быстрые решения на основе Big Data. Более того, с помощью ADB X5 Retail Group планирует анализировать все основные домены данных в ритейле: товары, чеки, клиентов, контрагентов.


Используя Open Source решения, X5 Retail Group не ограничена в скорости развития, получая возможность не завязываться на вендорах, которые развиваются медленнее её потребностей. Другой важный момент заключается в том, что никто не хочет отдавать сторонним подрядчикам золото 21 века — данные, а вопрос сохранности и защищённости Big Data всегда стоит для ритейлера на первом месте.


Проект, развёрнутый Arenadata и X5 Retail Group, продолжает развиваться, и затрагивает не только Arenadata DB. Так, если у бизнеса появляется необходимость в новом инструменте, например, мониторинге запросов и отслеживании их выполнения, то представители X5 просто обсуждают с коллегами из Arenadata, когда он появится в road map.


Помимо построения самой технологии, команды X5 Retail Group и Arenadata проводят регулярные обмены опытом в рамках Wordshop, митапов, а также осуществляют совместные выступления на конференциях.

География проекта
Россия, Москва
Коментарии: 1
  • Ольга Мельник
    Рейтинг: 40
    Независимый эксперт
    12.12.2019 21:23

    Экстраординарный проект. Рассматривали ли вы аналоги, другие решения? Почему именно эту СУДБ выбрали? Смотрели ли референсные проекты?

Предметная область
Отрасль
Управление