Перейти до основного вмісту

Стратегії ребалансування в Kafka

Стратегії ребалансування в Kafka

Ребалансування (Rebalancing) — це процес перерозподілу партицій між споживачами (сonsumer) у групі (Consumer Group). Kafka має кілька стратегій ребалансування:

  1. RangeAssignor. Ця стратегія розподіляє партиції на основі діапазонів, які створюються відповідно до сортування топіків і партицій. Наприклад, якщо є два консюмери і 6 партицій (P0–P5), перший консюмер отримає P0–P2, а другий — P3–P5.
    Особливості:
    • Простий алгоритм.
    • Може призводити до нерівномірного розподілу, якщо кількість партицій не ділиться порівну між консюмерами.
  2. RoundRobinAssignor. Ця стратегія рівномірно розподіляє партиції між консюмерами за круговим принципом. Наприклад, якщо є два консюмери і 6 партицій, перший отримає P0, P2, P4, а другий — P1, P3, P5.
    Особливості:
    • Гарантує більш рівномірний розподіл партицій.
    • Використовується в багатотопікових сценаріях.
  3. StickyAssignor. Ця стратегія намагається мінімізувати кількість змін у розподілі партицій між консюмерами при ребалансуванні. Партиції залишаються закріпленими за консюмерами, якщо це можливо.
    Особливості:
    • Мінімізує вплив ребалансування на продуктивність.
    • Використовується в сценаріях, де стабільність розподілу є критично важливою.
  4. Cooperative Sticky Assignor. Поліпшена версія StickyAssignor, виконується поступове (кооперативне) перерозподілення партицій між консюмерами.
    Особливості:
    • Зменшує час простою під час ребалансування.
    • Рекомендується для високонавантажених систем.
Вибір стратегії

Стратегія вибирається за допомогою параметра partition.assignment.strategy у конфігурації споживача.

Значення може бути одним із наведених:

  • org.apache.kafka.clients.consumer.RangeAssignor
  • org.apache.kafka.clients.consumer.RoundRobinAssignor
  • org.apache.kafka.clients.consumer.StickyAssignor
  • org.apache.kafka.clients.consumer.CooperativeStickyAssignor

Sticky Partitioner

Sticky Partitioner в Apache Kafka – це механізм, який забезпечує більш ефективний розподіл повідомлень між партиціями. Sticky Partitioner дозволяє уникнути частої зміни партицій, зменшуючи кількість перенаправлень, що підвищує продуктивність.

Основна ідея Sticky Partitioner

Замість того, щоб визначати партицію для кожного повідомлення окремо (наприклад, на основі ключа), Sticky Partitioner закріплює продюсера за однією партицією на деякий час. Повідомлення записуються в одну партицію, поки не буде досягнуто певного розміру пакета або часу очікування (batch size або linger.ms). Після цього продюсер переходить до іншої партиції.

Алгоритм:

  1. Sticky Partitioner вибирає партицію для першого повідомлення в новому пакеті (batch).
  2. Усі наступні повідомлення надходять до тієї ж партиції, доки не буде заповнено пакет або не спливе час очікування.
  3. Коли пакет відправлено, партиція змінюється, і процес повторюється.
Налаштування Sticky Partitioner:

Sticky Partitioner налаштовується через властивості продюсера, зокрема:

  • batch.size – максимальний розмір пакета (в байтах). За замовчуванням: 16384 (16 KB).
  • linger.ms – максимальний час очікування перед відправкою пакета. За замовчуванням: 0 (відправка негайно).
  • max.request.size – максимальний розмір одного повідомлення чи пакета.

Sticky Partitioner та стратегії ребалансування працюють на різних рівнях Kafka, але вони взаємопов'язані через механізм розподілу навантаження між партиціями та споживачами.

Sticky Partitioner оптимізує роботу продюсера, відправляючи повідомлення батчами в одну партицію.

Стратегії ребалансування оптимізують роботу споживачів, розподіляючи партиції рівномірно.

Labels:

Коментарі

Дописати коментар

Популярні публікації

Встановлення безкоштовного SSL сертифікату від Let's Encrypt на Ubuntu-сервер

SSL-сертифікат - важливий компонент сучасного web-сайту. Let's Encrypy надає можливість отримати такий сертифікат абсолютно безкоштовно. Сертифікат реєструється на 3 місяці. Після цього його можна автоматично продовжити. Розглянемо випадок, коли домен вже зареєстрований і налаштований на відповідний сервер. На сервері встановлена операційна система Ubuntu. Apache Server Для початку не сервері має бути встановлений та запущений web-сервер. Наприклад, Apache. Якщо це не зроблено, то потрібного його встановити. Оновлюємо apt: sudo apt update Встановлення Apache: sudo apt install apache2 Корисними будуть команди Перевірити статус: sudo systemctl status apache2.service Старт: sudo systemctl start apache2.service Зупинка: sudo systemctl stop apache2.service Рестарт: sudo systemctl restart apache2.service Certbot Сертифікат найпростіше згенерувати за допомогою Certbot. Детальну інструкцію можна отримати на сайті https://certbot.eff.org/ Далі команди, які використовують...
Дописати коментар
Читати далі »

Spring Boot Actuator

Actuator в Spring Boot - це бібліотека, яке надає різноманітну інформацію про стан вашого застосунку і його компонентів. Він дозволяє легко моніторити застосунок в режимі реального часу. Основні можливості actuator включають: Стан застосунку (/actuator/health): Цей ендпоінт повертає інформацію про стан застосунку. Це може бути корисно для моніторингу системи та виявлення будь-яких проблем. Інформація про стан містить загальну інформацію про стан. Інформація про середовище (/actuator/env): Цей ендпоінт надає доступ до інформації про середовище, в якому працює ваш застосунок. Ви можете отримати доступ до системних властивостей, змінних середовища, налаштувань ініціалізації та іншої важливої інформації. Метрики (/actuator/metrics): Цей ендпоінт надає статистику про різні показники застосунку, такі як кількість HTTP-запитів, використання пам'яті, кількість з'єднань з базою даних, час відповіді тощо. Ви можете використовувати ці метрики для аналізу продуктивності вашог...
Дописати коментар
Читати далі »

Angular CLI

CLI (command-line interface) – інтерфейс командного рядка. Перед початком роботи має бути встановлений Node.js Встановлення: npm install -g @angular/cli Отримання допомоги: ng help Буде приблизно такий результат: add Adds support for an external library to your project. analytics Configures the gathering of Angular CLI usage metrics. See https://angular.io/cli/usage-analytics-gathering. build (b) Compiles an Angular app into an output directory named dist/ at the given output path. Must be executed from within a workspace directory. deploy Invokes the deploy builder for a specified project or for the default project in the workspace. config Retrieves or sets Angular configuration values in the angular.json file for the workspace. doc (d) Opens the official Angular documentation (angular.io) in a browser, and searches for a given keyword. e2e (e) Builds and serves an Angular app, then runs end-to-end tests. extract-i18n (i18n-extract, xi18n) Extracts i18n mes...
Дописати коментар
Читати далі »

Встановлення Jenkins на Ubuntu

Встановлення Jenkins на Ubuntu 22.04 Оновлюємо список встановлених пакетів: sudo apt-get update На машині має бути встановлена одна із актуальних версій JDK. В даному прикладі використовується JDK 17. Як встановити та переключати версії Java на Ubuntu в попередній статті Підключаємо необхідний репозиторій. Для цього спершу додаємо GPG-ключ: curl -fsSL https://pkg.jenkins.io/debian-stable/jenkins.io-2023.key | sudo tee /usr/share/keyrings/jenkins-keyring.asc > /dev/null Додаємо репозиторій: echo deb [signed-by=/usr/share/keyrings/jenkins-keyring.asc] https://pkg.jenkins.io/debian-stable binary/ | sudo tee /etc/apt/sources.list.d/jenkins.list > /dev/null Для активації зроблених змін знову виконуємо команду sudo apt-get update Встановлюємо Jenkins: sudo apt install jenkins Запуск: sudo systemctl start jenkins Налаштування портів Jenkins використовує по замовчуванню порт 8080. Тому для роботи з Jenkins цей порт має бути відкритий. Перевіряємо статус ufw: sudo...
Дописати коментар
Читати далі »

Робота SpringBoot 3 з базою даних Redis

Redis Redis (Remote Dictionary Server) — це in-memory база даних ключ-значення з відкритим вихідним кодом, що використовується для зберігання структурованих даних. Вона підтримує різні типи даних, такі як рядки, списки, множини, упорядковані множини з діапазонами, хеші, бітові масиви, потоки і т. д. Redis широко використовується для кешування, управління сесіями, систем обміну повідомленнями, черг задач та інших сценаріїв, що вимагають високої продуктивності і низької затримки. Redis з SpringBoot Розглянемо простий проєкт на SpringBoot, що використовує Redis, як базу даних. Створимо такий проєкт: Створимо entity Cat: import lombok.Data; import org.springframework.data.annotation.Id; import org.springframework.data.redis.core.RedisHash; @Data @RedisHash("cat") public class Cat { @Id private String id; private String name; private Integer age; public Cat(String name, Integer age) { this.name = name; this.age = age; } } Звер...
Дописати коментар
Читати далі »