Брокер сообщений Apache Kafka — распределённая потоковая платформа, способная обрабатывать миллионы событий ежедневно. Kafka гарантирует простоту интеграции в инфраструктуру проекта, надёжность и масштабируемость системы.
Kafka Connect — фреймворк Apache Kafka, обеспечивающий масштабируемость и гибкость перемещения данных между Kafka и другими хранилищами. Этот фреймворк позволяет брокеру выступать в роли сервисной шины ESB.
1
Потоковая обработка данных
Потоковая обработка Kafka работает с данными в режиме реального времени со скоростью генерации сообщений. Обработка сообщений происходит непрерывно и без блокировки. Многие бизнес-процессы также осуществляются непрерывно и не требуют ответа для обработки. Потоковая обработка данных необходима для таких бизнес-процессов, как оповещение о подозрительных транзакциях или отслеживание почтовой доставки.
2
Отслеживание активности приложений
Любые сообщения, возникающие в приложении, могут быть опубликованы в специальной теме (topic) Kafka. Например, каждый документ ERP-системы или каждое действие пользователей на сайте: клики, добавление в избранное, добавление/удаление из «Корзины», заполнение форм, просмотр страниц (и его глубина) — можно отправлять и распределять по специально заданным темам Kafka. Так, другие темы (потребители) могут подписаться на необходимые темы для различных целей — мониторинг, анализ, составление отчётов, персонализация и т. д.
3
Ведение журнала и мониторинг логов
Kafka позволяет вести журналы и мониторить логи. Логи можно публиковать в темах Kafka, а журналы — хранить и обрабатывать в кластере в течение необходимого количества времени. Если у вас есть специальное приложение для мониторинга, оно сможет получать данные из тем Kafka в режиме реального времени.
4
Хранение сообщений
Kafka добавляет в журнал (сохраняет на диске) каждое сообщение и хранит там вплоть до момента очистки журнала от старых сообщений, который пользователь назначает заранее. Благодаря этому Kafka может использоваться как достоверный источник данных (в отличие от RabbitMQ, который удаляет сообщения сразу после доставки).
Масштабируемость
Apache Kafka позволяет обрабатывать данные любого объёма. Вы можете начать работать с одним брокером, чтобы попробовать возможности Kafka, а потом увеличить количество брокеров для полной эксплуатации системы. Увеличить объём можно и во время работы текущего количества брокеров — это никак не отразится на системе в целом.
Надёжность системы
Одним из преимуществ Kafka является его надёжность. Например, если по какой-то причине «упадёт» один из брокеров Kafka, он переключит весь поток данных на другие брокеры и автоматически распределит между ними нагрузку — и система продолжит свою работу в штатном режиме.
Производительность
Благодаря своей высокой пропускной способности Apache Kafka способен обрабатывать более миллиона событий в секунду. Это делает Kafka самым популярным брокером сообщений в работе с big data.
.svg)
.svg)
"По некоторым системам нагрузку, которая выросла за текущий год, мы физически не смогли бы переварить, оставаясь на прежних технологиях. Мы достигли эффекта по существенному и критичному для нас параметру: нам удалось масштабировать пропускную способность без масштабирования источников и приемников."
Мы используем Opensource решения, поэтому наши клиенты сокращают расходы на оплату лицензий без риска ограничений со стороны законодательства разных стран.
Простая и гибкая low-code платформа, входящая в состав компании Salesforce с выручкой более 30 млн $ в год. Мы используем версию Community Edition.
Веб-инструмент жизненного цикла DevOps с открытым исходным кодом. Более 30 млн зарегистрированных пользователей.
Мощная объектно-реляционная система баз данных с открытым исходным кодом, активная разработка которой ведется более 35 лет.
Решения для корпоративной безопасности, наблюдения и поиска, построенные на платформе Elasticsearch, используемой тысячами компаний.
Система визуализации и анализа информации, которая позволяет «из коробки» работать с широким спектром источников данных.
Простая и гибкая low-code платформа от компании Salesforce. Чтобы снять ограничения бесплатной MuleSoft Community Edition, мы создали модули для Kafka, SAP, MongoDB, RabbitMQ, др.
Веб-инструмент жизненного цикла DevOps с открытым исходным кодом. Более 30 млн зарегистрированных пользователей.
Мощная объектно-реляционная система баз данных с открытым исходным кодом, активная разработка которой ведется более 35 лет.
Решения для корпоративной безопасности, наблюдения и поиска, построенные на платформе Elasticsearch, используемой тысячами компаний.
Система визуализации и анализа информации, которая позволяет «из коробки» работать с широким спектром источников данных. Более 20 млн пользователей.
Мы уверены в своем подходе. Расскажите о проблеме, которую нужно решить. В документах мы укажем результат, который вы получите, стоимость и срок (обычно 1-2 месяца).
Если после реализации вы останетесь недовольны результатом, можете не подписывать акт и не оплачивать работы.
С вами свяжется персональный менеджер
.svg)
