Интеграция данных и приложений
Суть и выгоды интеграции простыми словами
Интеграция — автоматическое объединение данных из разных источников и предоставление их для совместной работы пользователям в удобном виде (формате), подходящем для решения оперативных, тактических и стратегических задач. Выгоды от интеграции приложений и настройки автоматического обмена данными между базами организации очевидны:
- С одной стороны, возможно применить подход «лучшей практики», используя для автоматизации конкретных подразделений и бизнес-процессов наиболее подходящие для них программные продукты и приложения;
- С другой стороны, интеграция помогает избежать проблем «лоскутной автоматизации» и исключить ошибки и потери времени на ручной перенос или повторный учет единожны введённых данных.
Задачи интеграции программных приложений и баз данных могут решаться как в рамках одного предприятия (холдинга), объединяя работу его структурных подразделений или передавая данные и информацию между различными стадиями производственных и коммерческих процессов, так и объединять работу разных субъектов (предприятий) в цепочках поставок, или обеспечивать межведомственное взаимодействии органов государственного и муниципального управления. В зависимости от задач пользователей и особенностей интегрируемых приложений может быть по-разному выстроена архитектура интеграционного решения. Например:
- исходные данные хранятся у «источника ввода» в единственном эклемпляре, интегрирующее решение обеспечивает доступ других пользователей к этим данным или их части через через программы-сервисы в ответ на запросы (приходящие от приложений потребителей данных);
- исходные данных из разных источников загружаются в общее хранилище данных, приводятся в сопоставимый вид, переводятся на «бизнес-язык» и в таком виде выкладываются для использования пользователями; этот подход к интеграции, как правило, применяется для аналитических задач;
- может быть настроен асинхронный обмен данными и нормативно-справочной информации между приложениями по расписанию или по мере появления (сохранения или изменения в исходных системах) новых данных;
Инструменты интеграции данных и приложений
ETL (Extract Transform Load), API (Application Programming Interface) и не только
Мы предлагаем в зависимости от задач клиентов использовать ту комбинацию инструментов интеграции, которая наилучшим образом соответствует существующей архитектуре IT-приложений и поставленным задачам, включая:
Импорт данных при интеграции
Transform — трансформация и очистка данных при интеграции систем
PlanDesigner для интеграции предлагает использовать открытый универсальный «промежуточный слой» — набор таблиц в базе данных, позволяющий корректно описать и принять (импортировать из других систем и источников, включая ERP-системы, системы бухгалтерского и управленческого учёта на основе 1С или других программ) любую структурированную информацию — справочники, структуру отчетов и сами данные, а также перегрузить это все в многомерные OLAP-кубы.
Внешние связи PlanDesigner позволяют настроить автоматическую загрузку данных из файлов Excel непосредственно в многомерные OLAP-кубы, а также осуществить при необходимости «обратную интеграцию» — выгрузку в шаблоны Excel готовых отчётов.
UPE имеет настраиваемые внешние модули, способные подключаться к другим программам (в том числе Excel) и базам данных (включая 1С, различные ERP-системы, специализированное отраслевое ПО), и импортировать из них информацию (справочники и данные) для дальнейшей загрузки в списочные (транзакционные) формы.
ByteCollector — клиент-серверное решение для сбора и синхронизации данных между центральным сервером и удаленными узлами. Система обмена данными позволяет осуществлять обмен данными между программами различного вида. Благодаря модульной архитектуре, ByteCollector позволяет быстро и качественно настроить интеграцию данных путем подключения отдельных существующих модулей или же создания новых уникальных модулей под специализированные отраслевые программные продукты.
Приведение данных в сопоставимый вид и перевод на «бизнес-язык»
Extract — извлечение данных из различных источников и баз данных
С помощью макросов PlanDesigner и UPE можно без программирования настроить алгоритмы трансформации загруженных данных для приведения их в подходящий для бизнес-пользователей вид. Одна из ключевых задач при этом — обеспечить синхронизацию нормативно-справочной информации (НСИ). Встроенные в PlanDesigner и UPE инструменты облегчают решение этой задачи. Например, одна из настроек «по умолчанию» при импорте данных и НСИ позволяет:
- Обновлять атрибуты (названия и т.д.) существовавших ранее элеметнов справочников;
- Добавлять в хранилище вновь появившиеся элементы справочников;
- Сохранять элементы справочников, удаленные из транзакционных систем, для обеспечения сопоставимости и целостности исторических (ранее загруженных) данных.
Инструменты UPE позволяют настроить при интеграции дополнительный контроль импортируемых (загружаемых из других систем) данных, например:
- Записи (данные), которые были добавлены в исторический период;
- Записи (данные), которые были удалены пользователями в историческом периоде;
- Записи (данные), которые пользователи изменили в историческом периоде (по сравдению с предыдущей загрузкой).
Задачи управления НСИ (управления нормативно-справочной информацией) при интеграции корпоративные приложений целесообразно выделять в отдельный блок, установив четкие правила пополнения и ведения справочников:
- в каких интегрируемых системах какие справочники будут «первичными»;
- в каких системах справочники будут «вторичными» и подгружаться (обновляться) автоматически;
- каков будет регламент пополнения (ведения) справочников;
- каков будет регламент обновления (синхронизации) справочников;
- какие алгоритмы и процедуры будут применяться для разрешения выявленных конфликтов и противоречий в НСИ (например — порядок выявления и обработки дублей);
Вы можете использовать инструментарий PlanDesigner и UPE для настройки системы управления НСИ и настройки «бесшовной интеграции» (с возможностью «сверления» по данным между различные информационными системами).
Обеспечение доступа пользователей к данным
Load — загрузка очищенных данных в хранилище
Импортированные из различных источников и очищенные данные загружаются в хранилище для предоставления и дальнейшего использования пользователями согласно их правам доступа. Часто в качестве интерфейса доступа к очищенным данным и их анализа используются многомерные OLAP-кубы PlanDesigner.
Целостная модель данных, переведённая на бизнес-язык, позволяет топ-менеджерам быстро ориентироваться в информации хранилища, а также использовать инструменты «сверления» («проваливания», drill down) для навигации по данным и оперативного получения ответов на возникающие вопросы.
Открытые интерфейсы для взаимодействия с другими приложениями
API — способ объединить работу нескольких программ в рамках непрерывных бизнес-процессов
Вы можете использовать открытые Application Programming Interface (API) PlanDesigner и UPE при необходимости объединить работу нескольких программных продуктов для выполнения связанных бизнес-процессов. Например:
- Заявка на платежи создаются в ERP-системе Заказчика;
- Проверка заявки на соответствие утверждённым бюджетам и целевым показателями, а также процесс согласования по регламентам производится в UPE (API ERP->UPE);
- Исполнение утвержденной заявки осуществляется в системе банк-клиент (API UPE->Банк-клиенты);
- Информация о фактическом исполнении заявки возвращается в UPE для контроля бюджетных лимитов (API Банк-клиен->UPE);
- Для осуществления бухгалрских проводок данные о фактическом исполнении платежа импортируются в систему бухгалтерского и налогового учета (API UPE->1С или Банк-клиен->1С);
Модульная архитектура для встраивания своих приложений
Открытая структура баз данных и «внешние модули UPE» — возможность добавить любую программную логику
Открытая структура баз данных продуктов PlanDesigner и UPE позволяет вам при необходимости написать (на языке выбранной СУБД) и использовать для дополнительной обработки данных любые хранимые процедуры, задавая любую необходимую логику. Следует заметить, что на практике наши клиенты прибегают к таким приемам крайне редко, так как стандартный функционал программ-конструкторов PlanDesigner и UPE позволяет реализовать всю необходимую бизнес-логику стандартными средствами, не прибегая к программированию.
Открытая модульная архитектура UPE позволяет при необходимости встроить в бизнес-логику работы пользователей новые (дополнительные) функции, не предусмотренные штатным функционалом. Тем не менее, мы рекомендуем при возникновении подобных потребностей обращаться к разработчикам платформы, чтобы решить эти задачи быстрее и эффективнее.
