Новое корпоративное хранилище данных (КХД) ОТП Банка

Заказчик

ОТП Банк

Руководитель проекта со стороны заказчика

Николай Шевцов

CDO и директор по управлению данными ОТП Банка

ИТ-поставщик

Arenadata

Год завершения проекта

2023

Сроки выполнения проекта

Ноябрь, 2022 - Ноябрь, 2023

Масштаб проекта

20400 человеко-часов

Цели

миграция хранилища данных с Oracle Exadata;
построение нового корпоративного хранилища на решении российского вендора;
уменьшение негативного влияния на системы-источники в процессе формирования инкремента загружаемых данных;
выведение нецелевого функционала из хранилища данных;
снижение затрат на инфраструктуру за счёт использования разнотемпературного хранилища.

Результаты

Разработка хранилища осуществляется по принципам DataMesh. В результате продуктовые команды бизнес-подразделений самостоятельно ведут полноценную разработку в рамках своей предметной области. Команда внедрения обеспечивает разработку стандартов разработки, фреймворка, code-review, а также поддержку общего архитектурного подхода Data-платформы.

Первая очередь проекта — разработка ядра DWH и подключение основных банковских систем к хранилищу — завершится 25.12.2023. На текущий момент реализована асинхронная загрузка данных из источников, логика расчёта инкремента вынесена из систем-источников во внешний инструмент. Уменьшено отставание данных в реляционном хранилище от систем-источников — с 1 дня до 2 часов.

Реализована возможность хранить и обрабатывать любые виды данных, в том числе неструктурированные, а также увеличена глубина хранения данных — до бессрочного для ряда источников.

Разработан фреймворк для упрощённой разработки ETL-потоков специалистами бизнес-подразделений.

Значительно снижена стоимость хранения данных.

Уникальность проекта

ОТП Банк разработал концепцию новой мультикомпонентной Data Platform, состоящей из озера данных, реляционного хранилища на базе MPP-архитектуры, ETL-платформы и BI-инструментов. Организация поставила перед собой задачу создать новую аналитическую платформу на базе вендор-независимых решений (Open Source) или российского ПО.

Проект решает задачи импортозамещения

Да

Использованное ПО

Arenadata DB (ADB) — аналитическая, распределённая СУБД, построенная на MPP-системе с открытым исходным кодом Greenplum.

Сложность реализации

Миграцию бизнес-процессов специалисты ОТП Банка проводят собственными ресурсами. Одной из ключевых сложностей в проекте было отсутствие экспертизы в выбранном стеке технологий. Но благодаря огромному желанию специалистов банка получать новые знания, применять их на практике и поддержке представителей Arenadata, которые оказывали быстрые и качественные консультации, команде ОТП Банка удалось успешно провести пилот и остановиться на продукте Arenadata DB. Для получения новых инсайдов и закрепления полученных ранее знаний специалисты организации прошли обучение на вендорских курсах Arenadata.

Описание проекта

Проект по построению корпоративного хранилища данных стартовал в ОТП Банке в 2022 году, когда было принято решение мигрировать с Oracle Exadata. Кроме того, на тот момент специалисты организации отметили неоптимальное использование аналитической платформы при работе с разными видами данных.

За 15 лет использования существовавшего хранилища, объём которого насчитывал порядка 100 Тб, у организации накопился большой архитектурный долг. Требовалось уменьшить негативное влияние на системы-источники в процессе формирования инкремента загружаемых данных; вынести нецелевой функционал из хранилища данных; снизить затраты на инфраструктуру за счёт использования разнотемпературного хранилища.

Столкнувшись с этими сложностями, ОТП Банк разработал концепцию новой мультикомпонентной Data Platform, состоящей из озера данных, реляционного хранилища на базе MPP-архитектуры, ETL-платформы и BI-инструментов. Организация поставила перед собой задачу создать новую аналитическую платформу на базе вендор-независимых решений (Open Source) или российского ПО.

В середине 2023 года ОТП Банк произвёл перенос первых доменов данных для миграции первых бизнес-процессов. В рамках подготовительного этапа реализации новой платформы был проведён пилот с использованием Arenadata DB. При выборе СУБД специалисты ОТП Банка учитывали стоимость платформы, функциональные возможности, условия сопровождения. Arenadata DB сравнивали с другими представленными на российском рынке продуктами и «ванильным» Greenplum. С точки зрения зрелости решения, включённых сервисов (расширенный мониторинг, механизмы обеспечения катастрофоустойчивости, Arenadata Cluster Manager, наличие поддержки) выбор был сделан в сторону Arenadata DB.

В среднесрочных планах команды ОТП Банка — запуск совершенно новой инициативы по созданию озера данных, пилотирование загрузок в режиме реального времени, внедрение технологий для построения базовых витрин данных.

География проекта

РФ