Перевели загрузку данных на OneBridge
и ускорили её в 12 раз
АО «Медицина»
-
В цифрах
- в 12 разбыстрее загрузка данных
- 150сценариев загрузки
- 0ручных запусков
-
Как было
- Контур загрузки работал на Oracle Data Integrator — продукте, который в России больше не поддерживается
- Запуск вручную, в 5–6 шагов; полный цикл — около 12 часов
- Развивать контур своими силами мешала зависимость от редкой компетенции
-
Как стало
- Контур загрузки работает на российской платформе, поддержка — силами своей команды
- Сценарии выполняются ночью по расписанию и событиям, без участия сотрудников
- Данные за вчера уже в утренних отчётах, а не «к вечеру»
Что сделали
Построили новый контур загрузки на OneBridge вместо Oracle Data Integrator, сохранив работу со всеми источниками медцентра: 1С, программой учёта клиентов (CRM) и профильными медицинскими информационными системами. Отдельная задача — интеграция с устаревшей, но критичной базой Firebird: платформа поддерживает такие источники из коробки, обходных решений не потребовалось. Всего настроили около 150 сценариев загрузки, которые выполняются ежедневно.
Ручные запуски заменила автоматизация: цепочки стартуют по расписанию и по событиям и сами учитывают зависимости между задачами. Сценарии собирают в Дизайнере с предпросмотром данных, а сбои разбирают по встроенным журналам — всё это стандартные возможности OneBridge, поэтому с контуром справляется специалист без узкой экспертизы.
Уменьшили объём отчётности
и дали возможность строить прогнозы
Федеральный орган исполнительной власти
-
В цифрах
- десятки тысячпредприятий сдают отчётность
- до 10форм с одними и теми же данными — раньше
- 0повторных запросов по уже сданным данным
-
Как было
- Каждый новый запрос от ведомства поступал по новой форме
- Предприятия сдавали одни и те же данные по нескольку раз, нагрузка на сотрудников возрастала
- Показатели из разных форм не сверялись между собой, достоверность пересечений не контролировалась
-
Как стало
- Ведомство берёт нужные данные из уже сданных отчётов, запросы дублирующихся данных не возникают
- Показатели из разных отчётов сравниваются между собой и видны на одном графике
- Можно строить прогнозы и сразу видеть, каким отраслям и регионам нужно внимание
Что сделали
Построили хранилище, которое собирает отчётность предприятий в одном месте. Данные загружаются как из формализованных источников (таблицы и выгрузки), так и из слабо формализованных (веб-страницы и текстовые документы). Основа хранилища — PostgreSQL. Справочники перестраиваются автоматически: при объединении регионов, отраслей и форм собственности исторические данные пересчитываются сами. Дублирующиеся показатели в формах оставили только там, где они нужны для перекрёстной проверки.
Предприятиям больше не приходится сдавать одно и то же: система извлекает нужные данные из уже поданных форм — если предприятие отчиталось о выплате зарплат, второй раз об этом не спросят. Ведомство работает с готовыми информационными панелями (дашбордами) и получает отчёты по рассылке. Если нужно сопоставить показатели из разных форм — скажем, объём производства и численность персонала, — данные уже есть в хранилище, запрашивать у предприятия новые не надо.
Снизили затраты
и ускорили обработку данных
Международная компания со 100 торговыми
представительствами в России
-
В цифрах
- в 3 разадешевле содержание инфраструктуры
- в 3–5 разбыстрее обработка данных
- в 4 разадешевле сопровождение системы
-
Как было
- Хранилище работало на облачной инфраструктуре, содержание обходилось дорого
- Данные от поставщиков попадали в анализ только на следующий день
- Доработка загрузок и разбор ошибок интеграции требовали много времени и узкой квалификации
-
Как стало
- Анализ происходит в день получения данных
- Новые источники подключаются настройкой универсальных загрузчиков, а не разработкой с нуля
- Каждая загрузка описана, по журналам сразу видно, на каком этапе возникла ошибка
Что сделали
Создали хранилище данных на PostgreSQL и сервере загрузки данных CloverDX, объём — более 30 ТБ. Обеспечили загрузку из более чем 50 источников в самых разных форматах: Excel, Kafka, Microsoft SQL. Сделали универсальные загрузчики под разные типы источников — все загрузки параметризуются. Тяжёлые преобразования перенесли из СУБД на сервер загрузки данных: база разгрузилась, требования к серверам снизились — отсюда основная экономия на инфраструктуре.
Расходы на сопровождение сократились за счёт журналирования на каждом этапе. Логика хранилища прозрачна для команды заказчика, поэтому передавать знания и подключать к проекту новых людей стало проще. Наша совместная работа продолжается: мы развиваем и дорабатываем хранилище на всех слоях — новые источники, витрины, отчёты.
Помогли настроить отчётность
и избегать ошибок
Банк федерального значения
-
В цифрах
- 30+систем-источников в одном хранилище
- 1портал со всеми показателями банка
- 0ручных сверок в Excel
-
Как было
- Данные были разбросаны по информационным системам и между собой не связаны
- Отчёты собирали вручную, сверка цифр между системами отнимала время
- Обязательная отчётность для ЦБ готовилась долго, ошибки в формах оборачивались штрафами регулятора
-
Как стало
- Хранилище обновляется самостоятельно — по расписанию и по внешним вызовам
- Регламентные отчёты рассылаются адресатам автоматически
- Формы для ЦБ ещё до сдачи проходят те же проверки, что и у регулятора
Что сделали
Собрали корпоративное хранилище на PostgreSQL, куда сводятся показатели работы банка из всех информационных систем. Загрузка из внешних источников идёт по расписанию и по внешним вызовам, поэтому данные всегда актуальны. Поверх хранилища разработали портал для публикации отчётов и отслеживания ключевых показателей.
Отдельно автоматизировали обязательную отчётность для Центрального банка: формы собираются из данных в хранилище и перед сдачей проходят перекрёстные проверки контрольных соотношений — по той же логике, которую регулятор применяет на своей стороне. Подготовка ускорилась, ошибок в формах стало заметно меньше, а вместе с ними снизился и объём штрафных санкций.
Структурировали данные и связали их
с показателями госпрограмм
Федеральный орган исполнительной власти
-
В цифрах
- 5 уровнейконтроля: от федеральной программы до договора
- сотнимероприятий и договоров под наблюдением
- онлайнстатус исполнения вместо ручных сверок
-
Как было
- Отчёты подведомственных организаций и планы расходования средств не были связаны с целевыми показателями госпрограмм
- Не было видно, где срываются сроки и кто не выполняет обязательства
- Недоосвоенные средства грозили сокращением финансирования на следующий год
-
Как стало
- Отчётные данные соотнесены с показателями госпрограмм
- Система заранее предупреждает о приближении сроков и незакрытых договорах
- От общего процента выполнения можно спуститься до конкретного исполнителя
Что сделали
Разработали хранилище данных и отчётность, которая отслеживает исполнение на каждом уровне иерархии: федеральная программа — программы по округам — региональные подпрограммы — мероприятия — договоры с исполнителями. По каждому мероприятию фиксируются сроки, суммы и статус исполнения, процент выполнения агрегируется наверх по цепочке. Хранилище сначала работало на Oracle, позже его перевели на PostgreSQL.
По всем собираемым показателям построены графики и отчёты. Они разбиты на группы, доступ к ним выдаётся по ролевой модели. Ведомство получило сквозной инструмент контроля в режиме реального времени и может адресно работать с теми исполнителями, которые срывают сроки. Для посетителей портала разработали механизм публикации открытых данных.
Наши услуги
Хотите так же?
Оставьте заявку — обсудим вашу задачу и расскажем, как решали похожую