Автоматизация построения обязательной отчетности с помощью Neoflex Reporting Big Data Edition

Просмотров: 2092
Автор:
Редакция Global CIO Рейтинг22810

Редакция Global CIO

Редакция — Global CIO

Заказчик  
Национальный Клиринговый Центр
Руководитель проекта со стороны заказчика  
Киселева Наталья Вячеславовна
ИТ-поставщик  
Неофлекс Неофлекс
Сроки выполнения проекта   Декабрь, 2017 — Апрель, 2018
Масштаб проекта   36000 человеко-часов 
20 автоматизированных рабочих мест
Цели проекта   •Автоматизация обязательной отчетности
•Автоматизация налоговой отчетности и налоговый мониторинг
•Автоматизация ПОД/ФТ и отправки сообщений в Росфинмониторинг
•Повышение прозрачности процесса подготовки отчетности
•Сокращение временных затрат на подготовку отчетности
•Создание единого хранилища данных в концепции Data Lake для дальнейшего использования в аналитических целях
Использованное ПО, оборудование и вспомогательные системы   Neoflex Reporting Big Data Edition
Направление/область и тип работ   Управление финансами и экономикой
Планирование и стратегическое управление
Управление эффективностью и производительностью организации
Создание платформы для бизнес-анализа и внедрение BI-инструментов
Важность проекта   Стратегическая ИС
Возможность тиражируемости   Да
Масштабируемость   Да

Описание проекта

Небанковская кредитная организация — центральный контрагент Национальный Клиринговый Центр (НКЦ, входит в Группу «Московская Биржа») в сотрудничестве с компанией «Неофлекс» реализовала проект по автоматизации обязательной и налоговой отчетности. Благодаря использованию технологий Big Data НКЦ существенно ускорил процесс подготовки отчетности и, кроме того, получил готовое хранилище для аналитики больших данных (Data Lake) с финансовой информацией, которое может быть использовано для задач по развитию аналитики.

Ключевая цель проекта связана с необходимостью ускорить процесс подготовки обязательной и налоговой отчетности НКЦ, которому в соответствии со статусом квалифицированного центрального контрагента на рынках Московской биржи предъявляются повышенные регуляторные требования. Одновременно преследовалась цель сделать этот процесс более гибким и прозрачным. Базирующаяся на технологиях Hadoop, система Neoflex Reporting Big Data Edition полностью отвечает этим требованиям и может легко и без особых финансовых затрат масштабироваться при дальнейшем развитии компании. Разработанный функционал также планируется использовать и для развития аналитики, необходимой для принятия управленческих решений. При этом использование opensource-технологий позволило получить существенную выгоду за счет экономии на лицензиях платных СУБД и ETL–средствах от мировых разработчиков программного обеспечения. 

Высокая скорость работы автоматизированной системы подготовки отчетности обеспечивается использованием принципиально новых для данного класса задач технологий и инструментов: для хранения данных используется HDFS (Hadoop), а для обработки — платформа Spark, поддерживающая распределенные in-memory вычисления. Возможности Hadoop и Spark по параллельной обработке данных обеспечивают высокую надежность и отказоустойчивость системы, при этом позволяют снизить затраты на серверное оборудование и программное обеспечение.

НКЦ выполняет функции клиринговой организации и центрального контрагента на рынках Московской биржи. Основная задача НКЦ — поддержка стабильности на обслуживаемых сегментах финансового рынка за счет высокоэффективной и отвечающей международным стандартам системы управления рисками.

Уникальность проекта

80+ форм обязательной и налоговой отчетности
30+ млн операций в день
25 минут от начала загрузки данных в систему до готовых отчетов

География проекта

Москва

Комментарии (8)

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • Скрыть ветвь
    Рейтинг2910

    CIO

    САНТЭЛ-ТЕЛЕКОМ Москва

    04.12.2018 17:32
    Интересно, на что можно было потратить более 18+ чел./лет в этом проекте?
    80 форм обязательной, строго регламентированной фискальной отчетности, которая, как правило, меняется раз в несколько лет, на 18+ чел./лет явно не "тянет".
    25 минут "от начала загрузки данных в систему до готовых отчетов" - тоже разговор ни о чем.
    Какова "ширина" каналов связи перекачки и его надежность?
    Какой комплекс HARD & SOFT используется для "закачки" данных в "систему обработки"?
    Почему не реализован вариант гораздо более логичной обработки заранее известных OLTP-потоков данных для формирования заранее известных отчетов в режиме On Line? Тем более, что OLTP-потоки данных клирингово центра, насколько я знаком с этим вопросом, уже содержат "скользящие средние" и накопленные суммы" по объектам контроля и пр. нужные для фискальной отчетности данные. Не проще ли было воспользоваться этой информацией без перекачки данных в свое хранилище, избежав мороки с последующей "выверкой" данных, синхронизацией, связанной с изменениями курсов и пр. заморочками?
    1
  • Скрыть ветвь
    Рейтинг1430

    ИТ-директор

    Национальный Клиринговый Центр

    06.12.2018 15:50
    0
  • Скрыть ветвь
    Рейтинг1430

    ИТ-директор

    Национальный Клиринговый Центр

    06.12.2018 16:05

    Ответ на « ... »

    добрый день. К сожалению первый комментарий при размещении в системе оказался пустым. Приходится перенабивать ещё раз.
    реализованный проект существенно масштабнее, чем подготовка фискальной отчетности только по клиринговым операциям. К сожалению фискальная нагрузка на кредитные организации в России настолько сильная, что её никак нельзя сравнить с остальными типами организаций. Ваш тезис о редком изменении к корне не верен (для банков). Банковская отчетность меняется ежемесячно, даже иногда по несколько раз в квартал одна и та же форма! Регуляторная отчетность Банка требует агрегации различной информации из нескольких систем-источников, по всем видам операций (потокам обработки) и расчета тысяч взаимосвязанных показателей. Проект такого масштаба затрагивает не только ИТ, но и многие бизнес отдела, а так же методологов и Службы отчетности и фин. мониторинга. В том числе и этими факторами обусловлены выбранная архитектура и трудоемкость проекта.
    По поводу Hard&Soft: в в целях оптимизации затрат выбран Hadoop кластер на промышленных серверах MIDL класса P DL 360 для NameNode и HP DL380 для DataNode. Ширина каналов 20Гб.
    Быстродействие 125 мин. для расчета сложных взаимосвязанных форм на объёмах около 60 млн. проводок в день на техника среднего класса - это коротко. Предложенный Вами алгоритм предобработки заранее известных потоков у нас существовал ранее. Для нашего бизнеса он оказался более дорогостоящим и медленным.
    1
  • Скрыть ветвь
    Рейтинг5560

    Начальник Службы эксплуатации ИТ

    ФГУП "Организация "Агат"

    19.12.2018 17:19
    Проект осложнён ещё и инфраструктурной частью, потребовавшей существенных усилий и трудозатрат. И если на проекте работало 40+ человек, то оценка в ч/ч - верная. Неофлекс молодцы, и проект в тренде: DataLake... как много в этом звуке :).
    1
  • Скрыть ветвь
    Рейтинг1490

    Заместитель руководителя службы управления проектами

    ФГУП

    21.12.2018 00:21
    Доброго времени суток.

    А в чем была "Автоматизация ПОД/ФТ "? и какие свойства BigData существенно использовались с этом проекте?
    0
  • Скрыть ветвь
    Рейтинг1430

    ИТ-директор

    Национальный Клиринговый Центр

    25.12.2018 17:06

    Ответ на « Доброго времени суток. А в чем... »

    В рамках ПОД/ФТ решается задача сбора данных по клиентам из нескольких источников и формирование регламентированных форм, и их обновление на постоянной основе. Свойства инструментов BIG DATA, а также данные анкеты ПОД/ФТ, нам нужны в смежной задаче – формировании и отправке сообщений в Росфинмониторинг. В рамках нее мы уже раскрываем весь потенциал BIG DATA поскольку нам необходимо в рамках очень небольшого технологического окна проанализировать все операции за день и сформировать сообщения в случае обнаружения подозрительных.
    0
  • Скрыть ветвь
    Рейтинг10300

    CIO

    Независимый эксперт в области ИТ-менеджмента и Цифровой трансформации

    22.12.2018 10:36
    Наталья! Вы сказали:
    1. Сокращение временных затрат на подготовку отчетности
    Вопрос: каков показатель сокращения времени - в % отношении.
    2. Создание единого хранилища данных в концепции Data Lake для дальнейшего использования в аналитических целях
    Вопрос: прошло полгода с запуска проекта. Каким образом в настоящее время используется DataLake помимо обозначенных задач в проекте?

    Мой стандартный вопрос: какова Команда проекта со стороны Заказчика? Кто выступил Архитектором решения? У вас создан Центр компетенций по данным технологиям / решениям?
    0
  • Скрыть ветвь
    Рейтинг1430

    ИТ-директор

    Национальный Клиринговый Центр

    24.12.2018 11:47

    Ответ на « Наталья! Вы сказали: 1. Сокращение временных... »

    Добрый день.

    1. Сокращение времени - для некоторых отчетов в 2 раза.
    2. В настоящее время в Data Lake предоставляются некоторые данные для материнской компании с целью создания единого DWH по операциям на всех рынках МБ.
    3. Со стороны Заказчика в проекте участвовало 20 человек. Архитектор системы - Неофлекс, но - Архитектурный комитет, который постоянно действует в Группе компаний МБ, согласовывал и утверждал как саму предложенную архитектуру Neoflex Reporting, так и её включение в ИТ ландшафт НКЦ. Центр компетенций создается. Говорить об уже созданном центре, я считаю пока рано, т.к. прошло мало времени и по данным технологиям в пром. эксплуатации пока только один наш Data Lake.

    0

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.