Проект компании «Неофлекс» и «Национального Клирингового Центра» по автоматизации обязательной отчетности с помощью технологий Big Data выиграл в ежегодном конкурсе портала независимых ИТ-директоров Global CIO.
В результате компания смогла существенно сократить время на подготовку отчетности и получила готовое хранилище данных в концепции Data Lake, которое собирается использовать для развития аналитики.
Проект был признан лучшим решением в предметной области в номинации Big Data. Выбор победителя происходил путем открытого голосования среди ИТ-директоров – участников сообщества.
«Национальный Клиринговый Центр» выполняет функции клиринговой организации и центрального контрагента на рынках «Московской Биржи». Его основная задача — поддержка стабильности на обслуживаемых сегментах финансового рынка за счет высокоэффективной и отвечающей международным стандартам системы управления рисками.
В результате выполненного проекта НКЦ получил эффективное решение для формирования обязательной банковской и налоговой отчетности, а также готовое хранилище данных в концепции Data Lake с финансовой информацией, которое может использоваться для развития аналитики.
Процесс подготовки отчетности в НКЦ сократился не менее чем в 3 раза. Сейчас быстродействие системы составляет порядка 120 минут для расчета сложных взаимосвязанных форм на объемах около 60 млн проводок в день. Формирование ежедневного пакета отчетов выполняется за 10–15 минут вместо одного часа. А базирующаяся на технологиях Hadoop система Neoflex Reporting Big Data Edition может легко и без особых финансовых затрат масштабироваться при необходимости в будущем.
Высокая скорость работы автоматизированной системы подготовки отчетности обеспечивается использованием принципиально новых для данного класса задач технологий и инструментов. Для хранения данных используется HDFS (Hadoop), а для обработки — платформа Spark, поддерживающая распределенные in-memory вычисления. Возможности Hadoop и Spark по параллельной обработке данных обеспечивают высокую надежность и отказоустойчивость системы, при этом они позволяют снизить затраты на серверное оборудование и программное обеспечение.