Автоматизация построения обязательной отчетности с помощью Neoflex Reporting Big Data Edition

Просмотров: 665
Автор:
Редакция Global CIO Рейтинг21750

Редакция Global CIO

Редакция — Global CIO

Заказчик  
Национальный Клиринговый Центр
Руководитель проекта со стороны заказчика  
Киселева Наталья Вячеславовна
ИТ-поставщик  
Неофлекс Неофлекс
Сроки выполнения проекта   Декабрь, 2017 — Апрель, 2018
Масштаб проекта   36000 человеко-часов 
20 автоматизированных рабочих мест
Цели проекта   •Автоматизация обязательной отчетности
•Автоматизация налоговой отчетности и налоговый мониторинг
•Автоматизация ПОД/ФТ и отправки сообщений в Росфинмониторинг
•Повышение прозрачности процесса подготовки отчетности
•Сокращение временных затрат на подготовку отчетности
•Создание единого хранилища данных в концепции Data Lake для дальнейшего использования в аналитических целях
Использованное ПО, оборудование и вспомогательные системы   Neoflex Reporting Big Data Edition
Направление/область и тип работ   Управление финансами и экономикой
Планирование и стратегическое управление
Управление эффективностью и производительностью организации
Создание платформы для бизнес-анализа и внедрение BI-инструментов
Важность проекта   Стратегическая ИС
Возможность тиражируемости   Да
Масштабируемость   Да

Описание проекта

Небанковская кредитная организация — центральный контрагент Национальный Клиринговый Центр (НКЦ, входит в Группу «Московская Биржа») в сотрудничестве с компанией «Неофлекс» реализовала проект по автоматизации обязательной и налоговой отчетности. Благодаря использованию технологий Big Data НКЦ существенно ускорил процесс подготовки отчетности и, кроме того, получил готовое хранилище для аналитики больших данных (Data Lake) с финансовой информацией, которое может быть использовано для задач по развитию аналитики.

Ключевая цель проекта связана с необходимостью ускорить процесс подготовки обязательной и налоговой отчетности НКЦ, которому в соответствии со статусом квалифицированного центрального контрагента на рынках Московской биржи предъявляются повышенные регуляторные требования. Одновременно преследовалась цель сделать этот процесс более гибким и прозрачным. Базирующаяся на технологиях Hadoop, система Neoflex Reporting Big Data Edition полностью отвечает этим требованиям и может легко и без особых финансовых затрат масштабироваться при дальнейшем развитии компании. Разработанный функционал также планируется использовать и для развития аналитики, необходимой для принятия управленческих решений. При этом использование opensource-технологий позволило получить существенную выгоду за счет экономии на лицензиях платных СУБД и ETL–средствах от мировых разработчиков программного обеспечения. 

Высокая скорость работы автоматизированной системы подготовки отчетности обеспечивается использованием принципиально новых для данного класса задач технологий и инструментов: для хранения данных используется HDFS (Hadoop), а для обработки — платформа Spark, поддерживающая распределенные in-memory вычисления. Возможности Hadoop и Spark по параллельной обработке данных обеспечивают высокую надежность и отказоустойчивость системы, при этом позволяют снизить затраты на серверное оборудование и программное обеспечение.

НКЦ выполняет функции клиринговой организации и центрального контрагента на рынках Московской биржи. Основная задача НКЦ — поддержка стабильности на обслуживаемых сегментах финансового рынка за счет высокоэффективной и отвечающей международным стандартам системы управления рисками.

Уникальность проекта

80+ форм обязательной и налоговой отчетности
30+ млн операций в день
25 минут от начала загрузки данных в систему до готовых отчетов

География проекта

Москва

Комментарии (3)

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • Скрыть ветвь
    Рейтинг2390

    CIO

    САНТЭЛ-ТЕЛЕКОМ Москва

    04.12.2018 17:32
    Интересно, на что можно было потратить более 18+ чел./лет в этом проекте?
    80 форм обязательной, строго регламентированной фискальной отчетности, которая, как правило, меняется раз в несколько лет, на 18+ чел./лет явно не "тянет".
    25 минут "от начала загрузки данных в систему до готовых отчетов" - тоже разговор ни о чем.
    Какова "ширина" каналов связи перекачки и его надежность?
    Какой комплекс HARD & SOFT используется для "закачки" данных в "систему обработки"?
    Почему не реализован вариант гораздо более логичной обработки заранее известных OLTP-потоков данных для формирования заранее известных отчетов в режиме On Line? Тем более, что OLTP-потоки данных клирингово центра, насколько я знаком с этим вопросом, уже содержат "скользящие средние" и накопленные суммы" по объектам контроля и пр. нужные для фискальной отчетности данные. Не проще ли было воспользоваться этой информацией без перекачки данных в свое хранилище, избежав мороки с последующей "выверкой" данных, синхронизацией, связанной с изменениями курсов и пр. заморочками?
    0
  • Скрыть ветвь
    Рейтинг90

    ИТ-директор

    Национальный Клиринговый Центр

    06.12.2018 15:50
    0
  • Скрыть ветвь
    Рейтинг90

    ИТ-директор

    Национальный Клиринговый Центр

    06.12.2018 16:05

    Ответ на « ... »

    добрый день. К сожалению первый комментарий при размещении в системе оказался пустым. Приходится перенабивать ещё раз.
    реализованный проект существенно масштабнее, чем подготовка фискальной отчетности только по клиринговым операциям. К сожалению фискальная нагрузка на кредитные организации в России настолько сильная, что её никак нельзя сравнить с остальными типами организаций. Ваш тезис о редком изменении к корне не верен (для банков). Банковская отчетность меняется ежемесячно, даже иногда по несколько раз в квартал одна и та же форма! Регуляторная отчетность Банка требует агрегации различной информации из нескольких систем-источников, по всем видам операций (потокам обработки) и расчета тысяч взаимосвязанных показателей. Проект такого масштаба затрагивает не только ИТ, но и многие бизнес отдела, а так же методологов и Службы отчетности и фин. мониторинга. В том числе и этими факторами обусловлены выбранная архитектура и трудоемкость проекта.
    По поводу Hard&Soft: в в целях оптимизации затрат выбран Hadoop кластер на промышленных серверах MIDL класса P DL 360 для NameNode и HP DL380 для DataNode. Ширина каналов 20Гб.
    Быстродействие 125 мин. для расчета сложных взаимосвязанных форм на объёмах около 60 млн. проводок в день на техника среднего класса - это коротко. Предложенный Вами алгоритм предобработки заранее известных потоков у нас существовал ранее. Для нашего бизнеса он оказался более дорогостоящим и медленным.
    0

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.