Внедрение платформы управления данными Magnit Data

Заказчик
Магнит
Руководитель проекта со стороны заказчика
ИТ-поставщик
DIS Group
Год завершения проекта
2023
Сроки выполнения проекта
Ноябрь, 2022 - Сентябрь, 2023
Масштаб проекта
18500 человеко-часов
Цели
Повысить эффективность компании:

  1. обеспечения прозрачности информационных активов и знаний о них (что позволило ускорить поиск данных, сократить время на разбор происхождения данных и импакт-анализ, ускорить внедрение изменений);
  2. повышения доверия к существующим наработкам и создания условий их переиспользования (что позволило снизить затраты на дублирующие разработки, сдерживать расширения “теневого” ИТ и ускорить получение бизнесом желаемых активов)
  3. разделения ответственности за данные и работу над повышением их качества.

Задачи проекта:

  • Развернуть и сконфигурировать инструменты в двух средах, развернуть в облачной среде, обеспечить соответствие всем нормам компании с точки зрения архитектуры и информационной безопасности.
  • Разработать концепцию управления данным с использованием инструментов (процессы управления данными в обвязке с внедряемым инструментарием).
  • Наполнить инструментарий минимальным контентом (100 терминов, 25 проверок качества данных в критичных элементах данных, отсканировать 6 центральных систем, на которых строится аналитика Компании, включая Корпоративное хранилища данных, ETL-инструмент по BI-система) для подтверждения работоспособности разработанных процессов и подхода к тиражированию на всю компанию.
  • Вовлечь бизнес-подразделения в процессы управления данным, выстроенные в инструментах.
  • Разработать интеграции с корпоративными системами таск-трекинга и управления доступами для повышения эффективности пользовательских сценариев в инструментах (автоматическая генерация задач, запрос доступов к информационным активам из единого окна в 2 клика).
  • Мигрировать существующие наработки компании в части графов происхождения данных и бизнес-глоссариев.
  • Перенять экспертизу у интегратора по сопровождению и развитию инструментов для снижения дальнейших костов на поддержку.


Результаты

О результатах проекта можно дополнительно почитать в прикрепленных материалах.

План проекта был перевыполнен:

A) Все системы с полной функциональностью были поставлены бизнесу не за 9 месяцев, а за 6.

B) Благодаря хорошо организованной передаче знаний, внутренняя команда Магнита приступила к самостоятельному развитию функциональности и наполнению контента сразу же после выхода системы в промышленный контур

C) Всего за 6 месяцев со старта проекта были уже получены следующие активы:

1. 5700+ описанных информационных активов (справочников, витрин КХД, отчетов)

2. 252 утвержденных с бизнесом терминов бизнес-глоссария; 3 описанных предметных области

3. 11 подключенных систем,

4. 7 миллионов отсканированных и каталогизированных объектов данных, по которым можно анализировать линедж данных и влияние изменений

5. Разработано 74 проверки качества данных.

6. Утверждено и опубликовано 7 внутренних-нормативных документа, включая Политику по управлению качеством данных.

D) Получили ежемесячную базу пользователей новых инструментов в размере 1000 сотрудников, которые создают более 5000 запросов на поиск данных ежемесячно.

Уникальность проекта

Реализованный проект является фундаментом для другой стратегической ИТ инициативы компании по импортозамещению технологий, на которых построена корпоративная платформа данных.

Проект решает задачи импортозамещения
Да
Использованное ПО
1. ПО на базе решений DIS Group:
  • Бизнес-глоссарий
  • Каталог данных
  • Система управления качеством данных
2. Виртуальный помощник - собственная разработка.
Инфраструктура: Я.Облако.

Сложность реализации

· Внедрение по принципу «большого взрыва» - одновременное внедрение 4 инструментов и 7 внутренних нормативных документа

· Сканирование legacy систем и самописных систем, которые развивались более 10 лет. Метаданные этих систем часто были сложно доступны

· Вовлечение бизнес-подразделений в процессы управления данными и закрепление их ответственности за данные потребовало огромного объема внутренней «PR» работы для грамотного донесения ценности проекта

Описание проекта

В компании около 10 000 пользователей данных, которые используют многоуровневую платформу, содержащую >1 Пб данных. Более 2000 пользователей обращаются напрямую к центральному элементу платформы, корпоративному хранилищу данных, которое развивается уже 12 лет и содержит 420 Тб данных.

За это время в система стала сверхсложной: в неё интегрировано более 200 систем источников данных, а пользователи обращаются к 5000 витринам данных. Такое количество разработанного функционала требует продвинутых возможностей для поиска нужной информации. А так как бизнес самостоятельно работает в пользовательских областях, которых сейчас около 80, то потребовалось также повысить переиспользуемость объектов.

В середине 2022 года было принято решение об одновременном внедрении полного стека инструментов Data Governance & Data Quality и методологии работы с ними. Стартовали 01.11.2022. За 6 месяцев разработали, внедрили и опубликовали для целевой аудитории такие инструменты, как:

  • бизнес-глоссарий,
  • каталог данных,
  • автоматизированную систему контроля качества данных,
  • виртуальный data-помощник.

Magnit Data сегодня — это центральный портал, через который осуществляется поиск данных, изучение их описания, анализ происхождения, запрос доступов и многое другое. Инструменты встроены в действующие производственные процессы развития и сопровождения хранилищ данных и аналитической отчетности; встраиваются в процессы управления информационной безопасностью и архитектурного надзора.

Справка о компании «Магнит»

Публичное акционерное общество «Магнит» (MOEX: MGNT) является холдинговой компанией группы обществ (Компания), занимающихся розничной торговлей через сеть магазинов «Магнит», с местом нахождения в Краснодаре. Сеть магазинов «Магнит» является одной из ведущих розничных сетей по торговле продуктами питания в России. По состоянию на 30 июня 2023 г. сеть «Магнит» насчитывала 28 309 магазинов, расположенных в 4 183 населенных пунктах Российской Федерации и Республике Узбекистан.

Около двух третей магазинов Компании работает в городах с населением менее 500 000 человек. Большинство магазинов Группы расположено в Южном, Северо-Кавказском, Центральном и Приволжском Федеральных округах. Магазины сети «Магнит» также находятся в Северо-Западном, Уральском и Сибирском Федеральных округах.

Компания управляет собственной логистической системой, насчитывающей по состоянию на 30 июня 2023 г. 45 распределительных центров, автоматизированную систему управления запасами и автопарком, состоящим из 5 412 автомобилей.


География проекта

Все бизнес-подразделения федеральной розничной сети Магнит.

Дополнительные презентации:

Magnit Data. Внедрение платформы управления данными.pdf
Коментарии: 63

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • Александр Воронцов
    Рейтинг: 5
    АЭРО
    Директор по развитию
    21.11.2023 13:52

    Добрый день! А сравнивали ROI от размещения в ЯОблако от ЦОД Заказчика или других вариантов инфраструктуры?

    • Павел Шорохов Александр
      Рейтинг: 471
      Магнит
      Директор департамента по работе с данными
      24.11.2023 11:01

      Александр, добрый день.
      Хочу подчеркнуть, что интеграция Magnit Data в ЯОблако — не просто изолированная инициатива, а ключевая часть нашей общей стратегии, ориентированной на облачные технологии (Cloud-first). Использование нативных сервисов, гибкость pay-as-you-go, а также быстрое масштабирование и освобождение ресурсов для прототипирования делают облачные технологии и экономически выгодными, и удобными.

      Безусловно есть отдельные сервисы, которые могут проявить себя более затратно при переносе в облако, особенно если используется IaaS, но такие случаи, скорее, являются исключением. Кроме того, в случае, если сервис не требует значительных вычислительных мощностей, но активно взаимодействует с данными, мы предпочитаем размещать его в облаке непосредственно рядом с данными, чтобы минимизировать нагрузку на сетевые каналы.

      Если подвести итог, то выбор облачной платформы — это многофакторный процесс, и стоимость является лишь одним из многих факторов. Для того чтобы учесть все факторы, у нас есть специальный методологический подход (framework), который помогает выбрать платформу по значащим для нас факторам.

      • Сергей Федечкин Павел
        Рейтинг: 458
        ВТБ, ПАО
        Директор по управлению проектами
        07.01.2024 18:54

        Павел, добрый день.
        Согласен с Вами, что быстрое масштабирование и освобождение ресурсов для прототипирования делают облачные технологии и экономически выгодными, и удобными!
        Подскажите, пожалуйста, можно грубо оценить в процентах сколько приходиться на технологии развернутые в облаке и сколько Вы размещаете у себя?

        • Павел Шорохов Сергей
          Рейтинг: 471
          Магнит
          Директор департамента по работе с данными
          08.01.2024 23:05

          Сергей, добрый день!
          В масштабах всей организации затрудняюсь ответить. На текущий момент скорее всего менее 30% развернуто в облаке. С точки зрения data-стэка (корпоративная платформа данных, частью которой уже является Magnit Data) планируем полностью оказаться "в облаках" в период 24-25 гг.

  • Антон Колганов
    Рейтинг: 305
    Метеор Лифт Москва, АО
    Директор по ИТ
    24.11.2023 18:47

    Добрый день,
    Пара вопросов по проекту:
    1. Какие критерии качества данных подвергаются проверкам?
    2. Как решали проблему противоречия "одинаковых" данных из разных источников?

    • Павел Шорохов Антон
      Рейтинг: 471
      Магнит
      Директор департамента по работе с данными
      07.12.2023 10:47

      Антон, добрый день.
      См. мой ответ ниже от 05.12.2023 12:10

      • Сергей Федечкин Павел
        Рейтинг: 458
        ВТБ, ПАО
        Директор по управлению проектами
        07.01.2024 18:55

        Павел, добрый день.
        Подскажите, пожалуйста, на какой из продуктов и технологий ложится основная нагрузка по выполнению проверок качества данных: База данных или сервера Data Quality? При реализации проверок качества данных на ресурсах хранилища данных, как правило, необходимо балансировать распределение нагрузки между собственно ETL-процессами и выполнением проверок.

        • Павел Шорохов Сергей
          Рейтинг: 471
          Магнит
          Директор департамента по работе с данными
          08.01.2024 23:11

          Сергей, добрый день!
          На текущий момент в основном используем вариант расчета на самой базе данных с дальнейшей записью результатов проверок и выводом "ошибочных" строк уже в Magnit Data. На счет балансирования - это в точку. Мы подстраиваем расписание наших проверок под основные ETL-процессы хранилища, которые проходят в ночное время. А уже в первой половине следующего дня по рассчитанным данным бегают наши проверки. В данный момент ресурсов в нашем MPP-решении хватает, но для возможности выполнения ряда объемных проверок мы накинули служебной УЗ для Magnit Data больше ресурсов (spool space) и выделили отдельный приоритет для ее запросов.

    • Сергей Федечкин Антон
      Рейтинг: 458
      ВТБ, ПАО
      Директор по управлению проектами
      07.01.2024 18:55

      И в теме качества данных интересно встречались ли в вашей практике на текущем проекте или в профессиональной практике когда к одним и тем же наборам данных от различных бизнес-заказчиков из различных бизнес-подразделений приходили похожие требования по качеству данных, но разные в количественных измерениях. Например, практически всем подразделениям требуется полнота данных, но одному требуется 99,9%, а другому будет достаточно и 95%?

      • Павел Шорохов Сергей
        Рейтинг: 471
        Магнит
        Директор департамента по работе с данными
        08.01.2024 23:20

        Да, уже и в текущем опыте Магнита такой кейс встретился. Для обсуждения сложившейся ситуации привлекали Эксперта по данным, закрепленного за проверяемый набор данных. Ключевой вопрос при обсуждении был целесообразность запрашиваемого "максимумам" КД при наличии более низких требований и способы поддержания необходимого уровня.

        На практике такие ситуации случаются не редко, т.к. данные используются под разные задачи: где-то аналитическая отчетность с достаточно высоким уровнем агрегации и там допустима бОльшая погрешность, а где-то для автоматизации бизнес-процессов на отдельно взятых ЦФО (там уже не поокруляешь).

  • Павел Шорохов
    Рейтинг: 471
    Магнит
    Директор департамента по работе с данными
    05.12.2023 12:10

    Добрый день, Антон.
    1) на текущий момент у нас более 80 автоматизированных проверок в инструменте по следующим характеристикам: полнота, согласованность, достоверность, актуальность. До ряда характеристик на практике еще не добрались.
    2) В первую очередь мы эти противоречия и их причины делаем прозрачными для всех участников наших бизнес-процессов по качеству данных: поставщиков данных, владельцев данных и экспертов по данным, конечных потребителей. Во-вторых, через бизнес-глоссарий (описание методологии и закрепления ответственных за нее), т.к. зачастую то, что по умолчанию считалось "одинаковым, но не билось", на практике вещи, имеющие под собой разную бизнес-логику.

    • Павел Шорохов Павел
      Рейтинг: 471
      Магнит
      Директор департамента по работе с данными
      26.12.2023 12:22

      Ответ на вопрос Антона Колганова выше:
      "Добрый день,
      Пара вопросов по проекту:
      1. Какие критерии качества данных подвергаются проверкам?
      2. Как решали проблему противоречия "одинаковых" данных из разных источников?"

    • Сергей Федечкин Павел
      Рейтинг: 458
      ВТБ, ПАО
      Директор по управлению проектами
      07.01.2024 18:54

      Павел, добрый день.
      Очень актуальная тема качества данных! Подскажите, пожалуйста, планируете реализовать или, возможно, уже реализовали интегрированные показатели качества данных, которые будут доступны различным бизнес-заказчикам?

      • Павел Шорохов Сергей
        Рейтинг: 471
        Магнит
        Директор департамента по работе с данными
        08.01.2024 23:25

        Сергей, добрый день!
        Мы уже на пути к этому. Проверяем качество данных по пяти характеристикам в разрезе бизнес-сущностей. Схлопывая их и получаем интегрированные показатели в разрезе домена данных (в нашем случае Предметной области). Используем эти цифры для обсуждения верхнеуровневых целей с Владельцами данных. Все метрики общедоступны в нашем интерфейсе Magnit Data для всех сотрудников Компании.

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    18.12.2023 15:25

    Из описания видно, что проект по-настоящему масштабный. Такие инициативы требуют серьёзных изменений внутри самой компании. Подскажите, пожалуйста, какие изменения в общей структуре организации пришлось провести для реализации такого масштабного проекта?

    • Павел Шорохов Таиса
      Рейтинг: 471
      Магнит
      Директор департамента по работе с данными
      24.12.2023 22:16

      Таиса, добрый день,
      Для повышения эффективности работы с данными действительно было необходимо не только внедрить ИТ-решения, но и значительно изменить операционную модель работы с данными. Я отмечу ключевые изменения, которые мы осуществили:

      — Создание новой ролевой модели и определение ответственных: Мы ввели классические роли, такие как эксперты по данным и владельцы данных. Сотрудники, занимающие эти роли, теперь отвечают за управление, качество и безопасность данных. Это позволило нам установить чёткие границы ответственности, ускорить процесс наполнения глоссария и сбора потребностей в мониторинге качества данных.

      — Разработка политики управления качеством данных и бизнес-процессов: Мы регламентировали процессы для создания проверок качества данных, мониторинга качества, а также процесс закрепления ролей владельцев и экспертов данных, упомянутых ранее.

      — Повышение грамотности в работе с данными: Повышение осведомленности о значении и правильном использовании данных стало как причиной, так и следствием нашего проекта. Об этом я рассказал в недавней статье: "«Магнит»: data-driven культура и грамотность работы с данными".

      Конечно, перечисленные улучшения были поддержаны изменениями в организационной структуре и внедрением новых технологий, включая наш портал Magnit Data.

      • Сергей Федечкин Павел
        Рейтинг: 458
        ВТБ, ПАО
        Директор по управлению проектами
        07.01.2024 18:57

        Павел, добрый день.
        Подскажите, пожалуйста, какие возможности по кастомизации дает Бизнес-Глоссарий для самостоятельной настройки проектной командой? Плюс какие новые возможности наиболее востребованы бизнес-пользователями в бизнес-глоссарии?

        • Павел Шорохов Сергей
          Рейтинг: 471
          Магнит
          Директор департамента по работе с данными
          08.01.2024 23:28

          Сергей, добрый день!
          Самое главное, что мы можем внутри Magnit Data cоздавать статические страницы и туда выводить в удобном виде информацию из глоссария. А черпать ее по API из бэка инструмента.

          Ключевая возможность (но она не нова) - это найти данные (и понять, как их получить себе на рабочее место), используя только бизнес-язык.

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    18.12.2023 15:26

    Добрый день, в проектах подобного рода одну из ключевых ролей играет вовлеченность бизнес-заказчика в процесс реализации инициатив. Удалось ли вам в данном случае добиться участия бизнес-заказчика? Если да, то как именно? Важно наладить коммуникацию с бизнесом еще на этапе идеи проекта, заинтересовать идеей на примере реальных кейсов и бизнес-выгод. В нашем банке с этим проблем не возникло, задача цифровой трансформации уже давно висела в воздухе, поэтому коллеги из бизнеса активно подхватили идею.

    • Павел Шорохов Таиса
      Рейтинг: 471
      Магнит
      Директор департамента по работе с данными
      26.12.2023 12:31

      Таиса, добрый день!
      Да, безусловно вовлеченность Заказчика - это половина успеха (если не больше). Считаем, что заинтересовать коллег нам однозначно удалось. Причем мы начали это делать еще до того момента, как пошли в пилот целевой системы управления данными - как вы правильно подметили на этапе идеи. Мы собирали их боли (кейсы) и пробовали давать быстрые решения. Одними из таких решений были наши самописный Каталог витрин КХД (https://habr.com/ru/companies/magnit/articles/702196/), Портал корпоративной отчетности и чат-бот (https://habr.com/ru/companies/magnit/articles/720730/). Поэтому к старту проекта нам удалось подобраться не только со своим видением идеальной картины, но и с конкретными «хотелками» бизнес-пользователей.

  • Юрий Колесников
    Рейтинг: 141
    Столичные аптеки
    Директор по ИТ
    19.12.2023 19:38

    Павел, добрый день,
    Подскажите, пожалуйста, кто был назначен ответственными за качество в источниках данных?

    • Павел Шорохов Юрий
      Рейтинг: 471
      Магнит
      Директор департамента по работе с данными
      26.12.2023 12:40

      Юрий, добрый день.
      Ответственность за качество данных закрепляется для разных систем по всей цепочке движений данных. На стратегическим уровне мы делим ответственность между офисом CDO (нами) в части аналитических систем, Лидерами ИТ-команд, которые сопровождают и развивают системы и Бизнесом (в лице выделенных Владельцев данных и назначенных ими Экспертов по данным).
      Если брать конкретный источник данных, которые попадают в КХД, то согласно нашего «Положения об управлении качеством данных», на операционном уровне закрепляются следующие участники процессов:
      - поставщик данных (тот, кто данные физически "вбивает" или организовывает их появление)
      - эксперт по данным (тот, кто говорит, какие данные можно считать качественными)
      - Аналитик по качеству данных (которые на данном этапе обеспечивает сотрудничество между первыми двумя ролями, а также Потребителями данными).

      • Сергей Федечкин Павел
        Рейтинг: 458
        ВТБ, ПАО
        Директор по управлению проектами
        07.01.2024 18:57

        Павел, добрый день.
        Очень важная тема владельцев данных и здесь интересен Ваш опыт по назначению владельцев и решению вопросов: как мотивировать бизнес-подразделения становиться владельцем данных, что дает, с одной стороны, какие-то привилегии, но с другой стороны накладывает еще больше ответственности?

        • Павел Шорохов Сергей
          Рейтинг: 471
          Магнит
          Директор департамента по работе с данными
          08.01.2024 23:34

          Сергей, добрый день!
          Спасибо за интересный вопрос. В этом деле мы придерживаемся позиции, что Владельцами данных не назначают "непричастных" к этому сотрудников. В большинстве случае, назначаемый уже в той или иной мере выполняет разные функции управления данными (управление доступами, управление изменениями, требования к качеству данных и т.д.), возможно этого и не подразумевая. В случае с Магнитом назначение больше похоже на огранку текущих процессов, но с правильным уклоном. Мы скорее приходим не столько с новыми обязанностями, сколько с новыми возможностями для Владельца данных для достижения их рабочих целей. Например, с инструментом Magnit Data, который в полном начинаем помогать в управлении данными.

  • Константин Карнаухов
    Рейтинг: 64
    Магнит
    Руководитель управления аналитической отчетности
    22.12.2023 11:32

    Добрый день! Сейчас очень много решений с открытым исходным кодом. Не могли бы вы пояснить, почему выбор был сделан в пользу проприетарного ПО, например, в части управления данными? Какие варианты рассматривали? Заранее большое спасибо!

    • Павел Шорохов Константин
      Рейтинг: 471
      Магнит
      Директор департамента по работе с данными
      26.12.2023 12:52

      Константин, добрый день!
      Магнит очень взвешенно подходил , как принятию решения об инвестировании в подобного класса ПО, так и к выбору самого ПО. Этот процесс длился не один год.
      1) Изначально мы проделали анализ всех доступных ПО на рынке, как проприетарных, так и open source. Совместно с внутренними заказчиками, мы проработали кейсы и критерии их оценки, и уже через эту призму сравнивали доступные решения.
      2) Далее - было проведено 2 последовательных пилота. Сделаны выводы. Результаты защищены с руководством ИТ и Бизнеса.
      3) Позже свою лепту внесла геополитическая ситуация. Дополнительно, мы сделали один "раунд", где сравнили и посчитали, сколько будет стоить разработать ПО под наши потребности самостоятельно; сколько будет стоить "причесывание" ПО с открытым кодом; а сколько внедрить зрелое ПО, покрывающее 90% наших потребностей. Одним из важных критериев здесь являлась скорость получения нашими бизнес-пользователями заявленной функциональности.
      Ключевое фактор, который нам позволил более точно очертить наши потребности, это параллельная со всеми 3 пунктами, описанными выше, работа по разработке собственных быстрых решений, о которых рассказывал выше.

  • Иван Котляровский
    Рейтинг: 431
    СПАО “Ингосстрах”
    Руководитель направления Управления сопровождения урегулирования
    27.12.2023 16:33

    Павел, добрый день! Поздравляю с успешной реализацией проекта! Ознакомился с презентацией, спасибо, что подгрузили. Очень информативно. Подскажите, к как сейчас осуществляется поддержка внедрённого решения? Своим силами или через партнёра? Спасибо.

    • Павел Шорохов Иван
      Рейтинг: 471
      Магнит
      Директор департамента по работе с данными
      28.12.2023 13:52

      Иван, добрый день!
      На текущий момент у нас куплена стандартная тех. поддержка вендора-интегратора на первый год использования лицензий продукта. Это нам отлично помогает оперативно разбираться с "шероховатостями" + параллельно перенимать экспертизу при решении нестандартных ситуаций (это момент для нас важен). С нашей стороны в процессах техподдержки активно участвует 1 DevOps и 2 аналитика. Они же по совместительству занимаются и развитием продукта собственными силами (что-то ломают, что-то чинят:)))

  • Ильхом Галимов
    Рейтинг: 230
    ПАО "УЗБЕКИНВЕСТ" КОМПАНИЯ ЭКСПОРТНО-ИМПОРТНОГО СТРАХОВАНИЯ"
    CIO
    27.12.2023 16:43

    В проекте "Цели" упоминается интеграция с корпоративными системами для улучшения пользовательских сценариев. Можете ли вы вскрыть, как это способствует эффективности работы бизнес-подразделений?

    • Павел Шорохов Ильхом
      Рейтинг: 471
      Магнит
      Директор департамента по работе с данными
      28.12.2023 13:43

      Ильхом, добрый день!

      В первую очередь, это создание единого входного окна. т.е. по всем пользовательским сценариям пользователи приходят в Magnit Data. Например, чтобы запросить доступ к витрине данных, пользователь находит ее на Площадке данных или Бизнес-глоссарии и оттуда (если она ему подходит) в 2 клика запрашивает доступ. Для обеспечения такой функциональности мы сделали интеграцию с нашей внутренней IdM системой. Итого: пользователи экономят свое время и время сопровождающих подразделений. В случае с витринами нам удалось сократить время запроса доступа в 10 раз.

      Когда речь идет об интеграции с корпоративным таск-трекером, то здесь тоже эффект заключается в экономии времени руководителей, которые ранее эти задачи ставили в ручную.

      Ряд других систем компании (например, Реестр информационных систем) является для нам источником, из которого мы забираем 1 в 1, создавая для пользователей полную картинку организации с точки зрения информационных активов.

  • Андрей Турунов
    Рейтинг: 170
    ПАО “Группа Ренессанс Страхование”
    Управляющий директор департамента клиентского опыта
    27.12.2023 17:24

    Павел, добрый день! Поздравляю с успешной реализацией проекта! Подскажите, проводилась ли оценка экономического эффекта от проекта. Понятно, что основная цель проекта "наведение порядка", однако повышение качества данных, а также более частое и полное использование данных для принятия бизнес решений также влияют на финансовый результат.

    • Павел Шорохов Андрей
      Рейтинг: 471
      Магнит
      Директор департамента по работе с данными
      28.12.2023 13:58

      Добрый день. Мы планируем оцифровать полученные эффекты в 2024 году. По предварительно подсчетам ориентируемся на снижение T2M команд развивающих и Хранилище и Аналитическую отчетность минимум на 15%. А также снижение затрат на сопровождение (в частности консультирование по информационным активам) на 20%. Дополнительные эффект считаем через ускорение поиска данных бизнесом, ускорение процесса получения доступов, проникновения BI в бизнес.

      Качество данных для нашей data-driven организации - бесценно! Здесь мы активно собираем решенные кейсы и эффект от них. В том числе закрытие ряда кейсов было обеспечено за счет системной работы наших Аналитиков по качеству данных совместно с бизнес-пользователями данных, где внедренный инструмент мониторинга здоровья данных был фундаментом такого взаимодействия.

  • Бауржан Касенов
    Рейтинг: 314
    АО НК "КазМунайГаз"
    Директор департамента
    28.12.2023 11:21

    Добрый день. Хотелось бы уточнить у вас вопрос о взаимодействии с бизнес-подразделениями. Какую роль они играют в формировании подходов к работе с данными? Можно осветить этот момент подробнее? Интересен ваш опыт и формат кейсов. Спасибо!

    • Павел Шорохов Бауржан
      Рейтинг: 471
      Магнит
      Директор департамента по работе с данными
      28.12.2023 13:30

      Бауржан, добрый день! Если кратко, то бизнес-подразделения выполняют здесь ключевую роль. Все новые процессы управления данными внедряются с их согласования и вовлечения. По той простой причине, что они и работают по этим самым процессам (т.е. без них никак). Наша задача им это подсветить, помочь занять свои роли и настроить эффективное взаимодействие. В «бизнесе» у нас находятся ключевые роли для процессов:
      - Поставщики данных,
      - Владельцы данных,
      - Эксперты по данным,
      - Потребители данных.
      Например, доступ к чувствительным данным (содержащих КТ и ПД) представляется только с согласования Владельца данных или назначенного им ответственного в лице Эксперта по данным.

      Всё, что рассказывается выше, имеет под собой методологическую основу в виде Положения об управлении качеством данных и более низкоуровневых детальных процессов.

      • Сергей Федечкин Павел
        Рейтинг: 458
        ВТБ, ПАО
        Директор по управлению проектами
        07.01.2024 18:58

        Павел, добрый день.
        Расскажите, пожалуйста, как организован процесс вовлечения бизнес-пользователей в процессы управления данными и есть ли какие-либо внутренние курсы обучения инструментам управления данными или Вы пользуетесь только внешними курсами обучения?

  • Бауржан Касенов
    Рейтинг: 314
    АО НК "КазМунайГаз"
    Директор департамента
    28.12.2023 11:31

    Также интересно, каким образом у вас организован процесс назначения владельцев данных и других ответственных, имеющих отношение к данным? Каким образом бизнес-подразделения восприняли необходимость нести ответственность за данные?

    • Павел Шорохов Бауржан
      Рейтинг: 471
      Магнит
      Директор департамента по работе с данными
      28.12.2023 13:31

      У нас эта история зарегламентирована. В общих чертах административную (координационную часть) выполняют CDO (на стратегическом уровне) и Главный методолог (на операционном). Владелец данных закрепляется обязательно в бизнес-подразделениях (это важно!) с определенным уровнем должности (CEO-3,-4) и выше. Роль подтверждается изначально самим Владельцем, далее утверждается на Комитете по качеству данных. Далее – Владелец данных уже самостоятельно, но при поддержке офиса CDO выделяет Экспертов по данным и организовывает их операционную деятельность в части управления данными.

  • Аллан Пиренов
    Рейтинг: 186
    AllanKo
    Директор по ИТ
    28.12.2023 16:42

    Здравствуйте, Павел! Как в процессе работы с данными задействована служба информационной безопасности? Насколько сложно было интегрировать безопасников в обновлённые процессы? Изменились ли подходы ИБ при построении фабрики данных?

    • Павел Шорохов Аллан
      Рейтинг: 471
      Магнит
      Директор департамента по работе с данными
      29.12.2023 09:20

      Аллан, добрый день. Стараемся направлять их «нельзя» в нужное русло и встраивать процессы и требования ИБ в наши процессы управление данными. Такие вещи, как категорирование информации, аудиты доступов и так далее. Мы сотрудничаем с ИБ, как с одними из ключевых Заказчиков. Кейсы, которые сейчас совместно решаем:
      - автоматический поиск КТ и ПД в базах данных с помощью Каталога данных через регулярные выражения;
      - маскирование тестовых сред;
      - разметка категории информации и ответственных за доступы в операционном режиме по мере появления новых информационных активов компании (таблиц, отчетов, витрин данных).

      • Сергей Федечкин Павел
        Рейтинг: 458
        ВТБ, ПАО
        Директор по управлению проектами
        07.01.2024 18:58

        Павел, добрый день.
        Спасибо за интересный ответ и правильный подход при работе с Информационной Безопасностью (ИБ). Подскажите, пожалуйста, сколько примерно времени уходит на полный цикл от разметки категории информации и ответственных за доступы в операционном режиме до получения доступов конечными пользователями?

  • Роман Кузнецов
    Рейтинг: 896
    ГК Интертехэлектро
    CDTO
    29.12.2023 10:31

    Павел, добрый день!
    Наверное самый обсуждаемый проект на конкурсе. Действительно интересный проект и технически, и организационно.
    В перечне задач есть «отсканировать 6 центральных систем», что конкретно делалось в ходе сканирования, в частности устраняли ли дубли в действующих системах?
    Когда проект сделал быстрее плановых сроков, это значит, что он был плохо спланирован ). Если серьезно, за счет каких факторов удалось достичь такого редкого в проектном управлении результата - сократить сроки в полтора раза?
    DIS Group в портфеле имеет набор разноплановых решений. Какие системы были внедрены? Не нашел в описании проекта.
    Поздравляю с реализацией!

  • Артем Востриков
    Рейтинг: 50
    ПАО Группа Ренессанс Страхование
    Руководитель направления клиентской аналитики
    29.12.2023 11:20

    Павел, добрый день! Подскажите, оценивали ли вы удовлетворённость пользователей новой системой? Была ли от них обратная связь? Много ли получили идей по доработке, либо дальнейшему развитию функционала системы?

    • Сергей Федечкин Артем
      Рейтинг: 458
      ВТБ, ПАО
      Директор по управлению проектами
      07.01.2024 18:59

      Павел, добрый день.
      Достаточно часто пользователям тяжело адаптироваться в новых инструментах и это вдвойне сложно, когда приходится погружаться в новую тему управления данными. Что Вы делаете чтобы упростить или сгладить первые шаги бизнес-пользователями при работе с новыми инструментами?

      • Павел Шорохов Сергей
        Рейтинг: 471
        Магнит
        Директор департамента по работе с данными
        08.01.2024 23:47

        Сергей, добрый день!
        Безусловно это так. На стартовой странице Magnit Data мы сделали раздел "Новому пользователю". Там 2-е основные особенности:
        - описание идет в разрезе пользовательских кейсов (например, как найти Отчет по названию Показателя)
        - под каждый кейс сделаны видео-инструкции на 30-90 секунд.

        А также мы активно делаем почтовые коммуникации и коммуникации на корп. мессенджерах. А также за прошедший год удалось сделать 4 онлайн мероприятий (воркшопы и митапы) по ряду инструментов.

  • Сергей Федечкин
    Рейтинг: 458
    ВТБ, ПАО
    Директор по управлению проектами
    07.01.2024 18:59

    Павел, добрый день.
    Действительно, Вам удалось реализовать один из крупнейших проектов по управлению данными. Интересно было бы услышать как в дальнейшем будет работать процесс управления инцидентами, связанными с качеством данных, их приоритизацией и устранением. В какие сроки планируется создать карту потоков данных и для каждой сущности определить систему-источник, которая и будет той мастер-системой, отвечающей за выполнение критериев качества данных по данной сущности.

  • Алексей Худяков
    Рейтинг: 15
    ПАО МТС
    Руководитель направления развития и внедрения практик в центре практик администрирования данных
    08.01.2024 16:45

    Здравствуйте.
    Очень интересный проект. Расскажите пожалуйста с какими проблемами организационного характера вы столкнулись при внедрении решения?
    Вы не могли бы детальнее осветить методику расчета эффектов? (Если не сложно пример кейсов)
    Как вы планируйте мотивировать бизнес на дополнительную работу по описанию данных и созданию проверок качества данных?

  • Максим Клевицкий
    Рейтинг: 95
    ПАО СДМ-Банк
    Директор департамента банковских технологий
    08.01.2024 20:14

    Добрый день, Павел! Помимо прочего, меня интересуют возможность оптимизировать внутренние процессы. Подскажите, пожалуйста, насколько внедряемый процесс управления данными ускоряет создание новых отчетов и работу аналитиков?

    • Павел Шорохов Максим
      Рейтинг: 471
      Магнит
      Директор департамента по работе с данными
      08.01.2024 23:39

      Максим, добрый день!

      Мы планируем оцифровать полученные эффекты в 2024 году. По предварительно подсчетам ориентируемся на снижение T2M команд развивающих и Хранилище и Аналитическую отчетность минимум на 15%. А также снижение затрат на сопровождение (в частности консультирование по информационным активам) на 20%. Дополнительные эффект считаем через ускорение поиска данных бизнесом, ускорение процесса получения доступов, проникновения BI в бизнес.

      Чуть подробнее тему раскрыл при ответах на вопросы выше.

  • Андрей Ануфриев
    Рейтинг: 12
    ПАО Ингосстрах
    Руководитель IT проектов
    08.01.2024 20:21

    Поздравляю с успешным проектом! Обратил внимание, что описано более 5700 информационных активов, но с бизнесом утверждено только 252 термина бизнес-глоссария. Расскажите, пожалуйста, с чем связан такой небольшой процент согласованных терминов? Как вы планируете (если планируете) повышать процент согласованных элементов?

    • Павел Шорохов Андрей
      Рейтинг: 471
      Магнит
      Директор департамента по работе с данными
      09.01.2024 00:17

      Андрей, добрый день!
      Когда мы говорим о 5700 описанных активов имеет в виду, что у каждого из них, а также у их атрибутов (например, полей витрин или элементов отчетов) есть описание. Эти описания рождаются в рамках производственных процессов (создаются аналитиками и далее фиксируются в системах разработчиками). Оно не всегда идеально + важный аспект это масштаб, когда в разных командах одно и тоже называют по разному или наоборот. Вот тут как раз и приходит на помощь наш бизнес-глоссарий, где создаются выверенные и согласованные с бизнесом описания, а далее они соединяются с атрибутами тех самых информационных активов. Так мы получаем точное представление, например, о том, что общекорпоративный показатель Розничный товарооборот есть в 5 витринах и 10 отчетах (и цифры там сойдутся).

  • Александр Царев
    Рейтинг: 226
    АО СК Пульс
    Chief Data Officer, Chief Data Science
    08.01.2024 20:47

    Добрый день!

    Один из рисков подобных проектов заключается в том, что вся работа может уйти "в стол", если не сделать систему частью рабочих процессов. Учитывали ли вы этот риск? Как планируете его минимизировать? В каких процессах ожидаете, что система будет наиболее востребована?

    • Павел Шорохов Александр
      Рейтинг: 471
      Магнит
      Директор департамента по работе с данными
      09.01.2024 00:00

      Добрый день
      Александр, однозначно учитывали. Как раз в комментарии ниже об этом рассказывал Андрею.
      Все процессы по управлению данными учитывают наш портал Magnit Data. Это прописывается прям в регламентах. В процессах управления изменениями. А также в процессах сопровождения КХД и аналитической отчетности.

  • Андрей Турунов
    Рейтинг: 170
    ПАО “Группа Ренессанс Страхование”
    Управляющий директор департамента клиентского опыта
    08.01.2024 21:12

    Павел, ещё один вопрос. Хотелось бы услышать больше подробностей. Расскажите, пожалуйста, подробнее про опубликованные внутренние нормативные документы. Как они связаны с внедренным порталом? Регламентация каких процессов потребовалась? На каком уровне вы согласовывали эти документы?

    • Павел Шорохов Андрей
      Рейтинг: 471
      Магнит
      Директор департамента по работе с данными
      08.01.2024 23:55

      Андрей, добрый день!
      Ключевой - это "Положение об управление качеством данных" (это наша своего рода Политика по управлению данными), подписанное фактически CEO-1 и утвержденное на Правлении.

      Уже под этим положением идет еще один важный документ - Положение о комитете по качеству данных. А дальше уже детальные бизнес-процессов по качеству данных и назначению Владельцев данных.

      Как они связаны с Порталом?
      Все указанные выше бизнес-процессы либо потребляют данные из Портала, либо туда их записывают. Без этого никак. Инструмент должен участвовать во всех процессах управления данными, чтобы оставаться актуальным и полезным для бизнеса.

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    08.01.2024 23:21

    Павел, добрый день! А что можно сказать по выстраиванию процессов и по внутренней коммуникации? Подскажите, каким образом организовано взаимодействие между бизнес-подразделениями, CDO и техническими службами при работе с данными?

    Есть ли в организационной структуре совет или комитет по данным? Каким образом решаются конфликтные ситуации, возникающие при назначении владельцев данных, а также при согласовании моделей данных и конкретных решений?

    • Павел Шорохов Таиса
      Рейтинг: 471
      Магнит
      Директор департамента по работе с данными
      08.01.2024 23:36

      Таиса, добрый день.
      Важный аспект – это регламентация деятельности офиса CDO и операционной модели управления данными в целом. Нужна Политика по данным – верхнеуровневый документ, который подписывается CEO. В нашем случае, такой документ внедрен в 2023 году – Положение об управление качеством данных.
      Конфликтные ситуации решаем, придерживаясь заложенных в Положение принципов, выстраивая партнерские отношения между офисом СDO, Владельцами данных и ключевыми Потребителями данных. В редких случаях приходится выносить вопросы на коллегиальный орган управления – Комитет по качеству данных.

  • Аллан Пиренов
    Рейтинг: 186
    AllanKo
    Директор по ИТ
    08.01.2024 23:50

    Павел, добрый день! Каким образом реализован подход к управлению качеством данных при наполнении и использовании данных бизнес-глоссария и каталога данных? Создается ли единый реестр проверки качества данных? Выделены ли в организационной структуре офицеры по качеству данных?

    • Павел Шорохов Аллан
      Рейтинг: 471
      Магнит
      Директор департамента по работе с данными
      08.01.2024 23:58

      Добрый день.
      Да, реестр проверок по качеству данных есть и, что наиболее важно – он является неотъемлемой частью бизнес-глоссария. Т.е. мы проверяем на качество описанные и понятные на бизнес-языке данные. В этом же информационном поле отражается и сквозная ответственность за данные – Эксперты по данным, Поставщики данных для каждой проверки.
      Роль «офицеров» у нас выполняют Ведущие аналитики по качеству данных, которые закреплены за каждой Предметной областью (например, Финансы, HR и Товародвижение). О подходе и других ролях процессов управления данными рассказывал подробнее выше.

  • Аллан Пиренов
    Рейтинг: 186
    AllanKo
    Директор по ИТ
    08.01.2024 23:52

    Также можете ли подсказать, пожалуйста, как у Вас осуществлялась интеграция в системах таск-трекинга? Также хотелось бы узнать, являются ли эти системы промышленного исполнения или собственной разработкой? Заранее большое Вам спасибо!

    • Павел Шорохов Аллан
      Рейтинг: 471
      Магнит
      Директор департамента по работе с данными
      08.01.2024 23:56

      Удален

    • Павел Шорохов Аллан
      Рейтинг: 471
      Магнит
      Директор департамента по работе с данными
      08.01.2024 23:57

      Аллан, добрый день.
      Да, наша система Magnit Data интегрирована с промышленным корпоративным таск-трекером - Jira по API. Например, один из сценариев, это создание инцидентов при снижении качества данных по конкретной проверки до «красной зоны».

  • Аллан Пиренов
    Рейтинг: 186
    AllanKo
    Директор по ИТ
    09.01.2024 00:10

    Здравствуйте! Было очень интересно ознакомиться с Вашим опытом, проект действительно впечатляет. Подскажите, пожалуйста, какие СУБД сканировались для каталога? Если это был PostgreSQL, были ли сложности в сканировании? Заранее спасибо.

    • Павел Шорохов Аллан
      Рейтинг: 471
      Магнит
      Директор департамента по работе с данными
      09.01.2024 00:18

      Добрый день. Не все технологии могу перечислить здесь в комментариях в силу «политических» нюансов. Из интересного сейчас могу поделиться тем, что разбираемся S3 и ClickHouse. PostgreSQL был. Точнее GreenPlum. Нюанс в том, что его сканирование делается стандартным методом – через ODBC драйвер. Штатного коннектора, который бы удовлетворял наши потребности, не было, поэтому решали задачу своими силами. В целом задача вполне посильная. Нам также удалось выстроить графы происхождения данных через дозаливку логов dbt, с помощью которого осуществляются «движения». Инструмент позволяет такие вещи кастомизировать.

Год
Предметная область
Отрасль
Управление
Мы используем файлы cookie в аналитических целях и для того, чтобы обеспечить вам наилучшие впечатления от работы с нашим сайтом. Заходя на сайт, вы соглашаетесь с Политикой использования файлов cookie.