Kafka: курс администрирование кластера kafka 4.0

Лекции · 18+ · Пн, 5 октября 2026, 10:00–14:00

О событии

Программа курса «Администрирование кластера Kafka 4.0»

1. Введение в Apache Kafka 4.0

Что такое Apache Kafka

Сценарии использования Kafka

Компоненты Kafka и Kafka экосистемы

Архитектура Kafka 4

Эволюция Kafka: от Zookeeper к KRaft

Новая архитектура без Zookeeper (KIP-500, KIP-866)

Что нового в Kafka 4.0: ключевые функции, изменения и совместимость

Кластер Zookeeper (опционально)

2. Основные концепции Kafka и компоненты

Как работает Kafka: Топики (Topics) и партиций (Partitions)

Репликация данных.Брокеры (Brokers): Развертывание. Конфигурация Multibroker

Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers.

Потребители данных (Consumers): Очереди Consumers.

Архитектура с KRaft Controller’ами

Новый механизм управления метаданными

Логическая структура брокеров и quorum.

3. Установка кластера Apache Kafka

Установка Kafka 4.0 в KRaft-режиме

Минимальные требования

Установка Kafka без Zookeeper

Настройка KRaft controllers и quorum voters

Примеры конфигурации kraft-controller mode

Sizing и планирование развертывания кластера

Установка Kafka c Zookeeper (обзорно)

Процедуры миграции с Apache Kafka 3.х на 4.0

4. Базовые операции в Apache Kafka

Операции с Топиками (Topic)Публикация данных с консольного Producer

Получение данных с консольного Consumer

Пользовательские интерфейсы для работы с Kafka

5. Оптимизация кластера Apache Kafka

Оптимизация производительности компонент кластера

Масштабирование кластера

Балансировка разделов(partition) и использование Partition Reassignment Tools

Best Practices Kafka — Мониторинг кластера Kafka

Настройка мониторинга кластера Kafka с использованием Prometheus + Grafana

6. Интеграция с Apache Kafka (обзорно)

Использование Apache NiFi

Интеграция Apache Hadoop с Kafka

Сценарии интеграции с Apache Kafka

7. Расширенная конфигурация кластера Kafka

Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков.

Sizing (количество партиций и фактор репликации). Сегменты и индексы. Политика очистки

логов (Log Cleanup Policy). Сжатие и консолидация данных в логах.

REST Proxy. Schema Registry (обзорно)

Репликация кластера с использованием Mirror Maker 2

Новые подходы к rolling-обновлениям в кластере без Zookeeper

8. Безопасность в Apache Kafka 3/4

Шифрование SSL: Установка центра сертификатов (CA), настройка SSL/TLS для Kafka кластера и клиентов

Аутентификация SSL/SASL

Аутентификация Kerberos: Настройка Kerberos. Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos

Авторизация в Kafka

Управление списками управления доступом (ACL)

Настройка ACL в KRaft-режиме и KIP-866

Данные предоставлены: TimePad

Kafka: курс администрирование кластера kafka 4.0

О событии

Похожие события