Внедряем Data lake,
Data Warehouse

С помощью ESB подхода к обмену данными создаем общее хранилище предприятия для быстрого подключения аналитики и отчетов.

Data Warehouse

Data Warehouse - это комплекс структурированных данных всего предприятия.
Он состоит из хранилищ разных объектов (заказов, цен,  товаров, др). Структура данных определяется заранее. Ведь бизнес знает, какие системы и, как используют их для целей настоящего.

Хранилища не зависят друг от друга и могут работать на разных серверах в разных локациях. Так отказ любого из них, не повлечет проблем с остальным.

Data Warehouse позволяет легко подключить любую систему аналитики.
Данные легко фильтровать по открытым полям и искать нужные объекты.

Data Warehouse улучшает обмен данными между IT-системами:
1. Снижает нагрузку на системы;
2. Ослабляет связанность изменений систем;
3. Позволяет агрегировать и трансформировать данные, как угодно.

Подробнее об интеграциях мы рассказываем здесь.

Цель внедрения

Обмен данными и аналитика
для целей настоящего дня

Тип данных

Структурированные данные,
понятные любым потребителям

Порядок обработки

Обработка данных перед загрузкой
в хранилище

Data Lake

Что такое Data Lake? Разберем на простом примере системы управления заказами (OMS).

Например, система OMS хранит историю данных по статусам всех заказов. Эти данные важны для аналитики, но саму систему они только засоряют. Такой объем исторических данных лучше вынести в общее хранилище, чтобы не перегружать систему.

Невозможно учесть всех форматов использования этих данных в будущем. Сегодня нужен отчет по количеству времени, за которое заказ переходит из одного статуса в другой. Через месяц потребуется использовать данные о заказах по-другому и в другом формате.

Чтобы хранить данные для использования их в будущем создается Data Lake - озеро данных предприятия. В такое хранилище данные попадают, как есть. Когда станет понятно, для чего использовать эти данные и как, аналитики смогут приступить к обработке.

Цель внедрения

Хранение и обработка данных
для использования в будущем

Тип данных

Структурированные

и неструктурированные данные

Порядок обработки

Данные обрабатывает аналитик
после загрузки

Отличие DL от DWH
по цели внедрения

На практике граница между типами хранилищ условна. Все зависит от качества реализации и дальнейшего использования.

Data Lake

Собрать максимум данных
с целью обработки в будущем.

Data Warehouse

Собрать данные и сделать их
пригодными для потребления сразу.

Создаем
отказоустойчивые
хранилища данных

1.

При нашем подходе в архитектуре нет единой точки отказа

2.

Компоненты хранилища не зависят друг от друга и могут работать на разных серверах в разных локациях

3.

Мы создаем дубли хранилищ на нескольких серверах. Если один сервер откажет, поток данных будет перенаправлен на другой сервер

4.

Вы можете использовать, как облачные сервера, так и on-premise

Нам доверяют

Помогли снизить нагрузку и масштабировать пропускную способность систем

Подробнее
"По некоторым системам нагрузку, которая выросла за текущий год, мы физически не смогли бы переварить, оставаясь на прежних технологиях. Мы достигли эффекта по существенному и критичному для нас параметру: нам удалось масштабировать пропускную способность без масштабирования источников и приемников."
Курилюк Андрей
Заместитель ИТ Директора
Подробнее

Разработали целевую схему интеграции систем. Внедрили технологию ESB и запустили 48 потоков

Подробнее
Подробнее

Интеграция Talend ESB в IT-инфраструктуру логистической компании

Подробнее
Подробнее

Обеспечили Polaris возможность легко выводить новые товары на маркетплейсы

Подробнее
Подробнее

Для сети Fix Price автоматизировали работу с данными о товарах

Подробнее
Подробнее

Переработали IT-архитектуру и составили дорожную карту её трансформации

Подробнее
Подробнее

Внедрили масштабируемую сервисную шину для Атимо

Подробнее
Подробнее

Помогли снизить нагрузку и масштабировать пропускную способность систем

Подробнее

"По некоторым системам нагрузку, которая выросла за текущий год, мы физически не смогли бы переварить, оставаясь на прежних технологиях. Мы достигли эффекта по существенному и критичному для нас параметру: нам удалось масштабировать пропускную способность без масштабирования источников и приемников."

Курилюк Андрей
Заместитель ИТ Директора
Подробнее

Разработали целевую схему интеграции систем. Внедрили технологию ESB и запустили 48 потоков

Подробнее

Подробнее

Интеграция Talend ESB в IT-инфраструктуру логистической компании

Подробнее

Подробнее

Обеспечили Polaris возможность легко выводить новые товары на маркетплейсы

Подробнее

Подробнее

Для сети Fix Price автоматизировали работу с данными о товарах

Подробнее

Подробнее

Переработали IT-архитектуру и составили дорожную карту её трансформации

Подробнее

Подробнее

Внедрили масштабируемую сервисную шину для Атимо

Подробнее

Подробнее

Подберем проверенные международные продукты
с открытым кодом

Мы используем Opensource решения, поэтому наши клиенты сокращают расходы на оплату лицензий без риска ограничений со стороны законодательства разных стран.

Графическая студия
для создания коннекторов

Простая и гибкая low-code платформа, входящая в состав компании Salesforce с выручкой более 30 млн $ в год. Мы используем версию Community Edition.

Контроль версий и настройка
прав доступа (ролей)

Веб-инструмент жизненного цикла DevOps с открытым исходным кодом. Более 30 млн зарегистрированных пользователей.

База данных
(хранилище)

Мощная объектно-реляционная система баз данных с открытым исходным кодом, активная разработка которой ведется более 35 лет.

Хранение, анализ,
поиск по логам

Решения для корпоративной безопасности, наблюдения и поиска, построенные на платформе Elasticsearch, используемой тысячами компаний.

Дашборды с информацией
о состоянии потоков

Система визуализации и анализа информации, которая позволяет «из коробки» работать с широким спектром источников данных.

Arrow White
Arrow White
2
/

Если у вас есть предпочтения, можем использовать и другие продукты. В том числе с платной лицензией

ETL (extract, transform, load)
Брокер сообщений
BI (система аналитики)

Типовая схема перехода на ESB

Мы выстроили процесс внедрения ESB так, чтобы вы получили максимум пользы. Вы можете пройти с нами весь путь внедрения. Или заказать любой из шагов отдельно, а остальное передать своей команде.

1. Проектирование слабо связанной архитектуры

  • Проведем анализ действующей IT-архитектуры, ASIS;
  • Проработаем обмены по ключевым сущностям;
  • Спроектируем архитектуру TOBE;
  • Подготовим roadmap перехода на новую архитектуру;
  • Подготовим рекомендации; по инструментам;
  • Подготовим документацию.
Location Icon
Вы получите

План перехода на ESB с учетом особенностей бизнеса

2. Перевод самых актуальных для вас потоков на ESB

  • BPMN-cхемы процессов потоков;
  • Разворачивание и настройка необходимых компонент 
(ETL, хранилище, логирование, мониторинг);
  • Настройка коннекторов;
  • Настройка сбора логов и мониторинга работы интеграции;
  • Документирование и обучение.
Shield Icon
Вы получите

Решение 80% проблем обмена данными между системами

3. Перевод остальных потоков на ESB для наполнения хранилища данных

  • BPMN-cхемы процессов потоков;
  • Настройка коннекторов;
  • Настройка сбора логов и мониторинга работы интеграции;
  • Документирование и обучение.
Gear Icon
Вы получите

Eдиный механизм обмена всего предприятия и полноту данных для аналитики

YouTube

Рассказываем об интеграциях на YouTube-

Кейсы ESB–систем

Разработали целевую схему интеграции систем. Внедрили технологию ESB и запустили 48 потоков

Интеграция IT-инфраструктуры e-Commerce-проекта с маркетплейсами при помощи сервисной шины WSO2 ESB

Интеграция Talend ESB в IT-инфраструктуру логистической компании

Давайте обсудим

вашу ключевую задачу

С вами свяжется персональный менеджер

Whats App:
+7 917 125-96-34
Telegram:
@kt_team_it
Телефон:
+7 495 204-14-33

Мы используем файлы cookie, чтобы предоставить наилучшие возможности сайта

Ок