Kafka важна не потому, что это известный брокер, а потому, что журнал только для добавления меняет способ интеграции сервисов, потоковой обработки и воспроизводимости данных.
В реальной инженерной работе эта книга помогает проектировать партиционирование, политику хранения, группы потребителей, гарантии доставки и контроль отставания как части единого событийного контура, а не как набор независимых настроек.
На интервью, ревью и архитектурных разговорах она особенно полезна, когда нужно показать, как порядок внутри партиции, всплески отставания, перебалансировка и рост хранилища влияют на надёжность всей системы, а не только на слой сообщений.
Практическая польза главы
Практика проектирования
Даёт практический каркас для построения событийного контура на Kafka в масштабируемых системах.
Качество решений
Помогает выбирать партиционирование, политику хранения и правила групп потребителей под конкретную нагрузку.
Аргументация на интервью
Упрощает объяснение гарантий доставки, исторического прогона и стратегий очереди ошибочных сообщений в рабочей системе.
Риски и компромиссы
Подсвечивает риски нарушения порядка, всплесков отставания потребителей и неконтролируемого роста хранилища.
Источник
Пост в Книжном кубе
Авторский обзор книги от Alexander Polomodov
Kafka: The Definitive Guide, 2nd Edition (Apache Kafka. Потоковая обработка и анализ данных, 2-е издание)
Авторы: Gwen Shapira, Todd Palino, Rajini Sivaram, Krit Petty
Издательство: O'Reilly Media, Inc.
Объём: 485 страниц
Практический разбор Kafka как брокера и журнала с партициями: производители, группы потребителей, репликация, гарантии доставки, Kafka Connect, Kafka Streams и эксплуатация кластера.
Воспринимать Kafka как — значит упустить главное. Под капотом это : дописывают сообщения в , а читают партиции параллельно и сами держат свои . От того, понимаете ли вы эту разницу, зависит, как вы будете проектировать порядок, надёжность и масштаб.
Дальше книга держится на одной связке: , , , и . Потеряете связь между ними — и Kafka остаётся просто брокером; удержите её — и она становится платформой данных.
Издания книги
Осень 2017 года: 11 глав об основах Kafka, производителях, потребителях, администрировании и потоковой обработке.
Конец 2021 года: расширенное издание с отдельными главами про программное управление кластером, транзакции, безопасность и межкластерную репликацию.
Ключевые концепции Kafka
Сообщения и пакеты записей
Сообщение несёт ключ, значение, заголовки и метку времени. Несколько сообщений объединяются в пакет записей, чтобы снизить накладные расходы сети и диска.
Топики и партиции
Топик задаёт логический поток записей, а партиции делят этот поток на независимые журналы с собственным порядком и возможностью масштабирования.
Производители событий
Клиенты, которые публикуют записи в Kafka, выбирают топик и ключ партиционирования, а также настраивают подтверждения записи.
Потребители событий
Клиенты, которые читают записи из партиций. Группы потребителей делят партиции между участниками и позволяют масштабировать обработку.
Связанная тема
Designing Data-Intensive Applications, 2nd Edition
Глубокий разбор потоковой обработки в главе 11
Рекомендуем
Streaming Data
Архитектура потоковых систем: от сбора до потребления данных
Структура книги (2-е издание, 14 глав)
Meet Kafka
Введение в модель публикации и подписки, история появления Kafka в LinkedIn и базовые понятия: сообщения, пакеты, схемы, топики, партиции, производители, потребители и брокеры.
Managing Apache Kafka Programmaticallyновая глава
AdminClient API как асинхронный интерфейс для управления топиками, конфигурациями, группами потребителей и метаданными кластера; отдельно разбираются выбор лидера и перераспределение реплик.
Installing Kafka
Установка и настройка брокеров, подбор серверных ресурсов, конфигурация ZooKeeper или KRaft. Во 2-м издании больше внимания уделено облачным развёртываниям.
Kafka Producers
Настройки производителей, сериализация через Avro или JSON, выбор партиционера, заголовки, перехватчики, квоты и управление пропускной способностью записи.
Kafka Consumers
Группы потребителей, назначение партиций, управление смещениями (автоматическая, синхронная и асинхронная фиксация), обработчики перебалансировки и одиночные потребители.
Transactionsновая глава
Гарантии «ровно один раз», транзакционный API производителя, изоляция read_committed, идемпотентность и атомарные записи между несколькими партициями.
Kafka Internals(под капотом)
Участие брокеров в кластере, роль контроллера, репликация, список синхронных реплик, обработка запросов, физическое хранение, сегменты журнала и индексы.
Reliable Data Delivery
Гарантии доставки: возможная потеря, повторная доставка и обработка с эффектом «ровно один раз». Настройки подтверждений, повторов, потребителей и брокеров, которые определяют фактическую надёжность.
Securing Kafkaновая глава
Шифрование канала, аутентификация SASL (GSSAPI, PLAIN, SCRAM, OAUTHBEARER), списки управления доступом, аудит и эксплуатационная безопасность.
Building Data Pipelines
Kafka Connect: коннекторы-источники и коннекторы-приёмники, одиночный и распределённый режимы, преобразования, конвертеры и очереди ошибочных сообщений.
Cross-Cluster Data Mirroring
MirrorMaker 2.0, архитектуры с несколькими дата-центрами (Active-Active, Active-Passive), репликация топиков и смещений потребителей между кластерами.
Administering Kafka
Операции с топиками, управление группами потребителей, перераспределение партиций, эксплуатационные настройки и повседневные операции с кластером.
Monitoring Kafka
Метрики JMX, ключевые показатели брокеров, производителей и потребителей: недореплицированные партиции, отставание потребителей и инструменты наблюдения.
Stream Processing
Kafka Streams API: операции без состояния и с состоянием, оконная обработка, соединения потоков, KTables и KStreams, обработка с гарантиями «ровно один раз» и тестирование.
Новое во 2-м издании
- ▸AdminClient API — программное управление кластером
- ▸Transactions — гарантии «ровно один раз» и атомарные операции записи
- ▸Securing Kafka — шифрование канала, SASL, списки доступа и эксплуатационная безопасность
- ▸MirrorMaker 2.0 — улучшенная репликация между кластерами
- ▸KRaft — упоминание нового режима без ZooKeeper
Семантика доставки сообщений
At-most-once
Потребитель фиксирует смещение до обработки или без надёжного повтора. Сообщение может потеряться, зато задержка минимальна; подходит для части метрик и технических логов.
At-least-once
Kafka повторит доставку, если не увидит подтверждённое смещение. Дубликаты возможны, поэтому обработчик должен быть идемпотентным.
Exactly-once
Идемпотентный производитель и транзакционный программный интерфейс (API) ограничивают повторные побочные эффекты. Цена — сложнее настройка и выше задержка; и это гарантия обработки, а не магическое исчезновение всех повторов.
Архитектура кластера Kafka
Наведите на компонент для подробностей или нажмите кнопку
Репликация партиций
Лидер принимает записи, реплики подтягивают данные
Ключевые выводы для системного дизайна
- ▸Партиционирование — ключ к горизонтальному масштабированию. Выбор ключа партиционирования определяет распределение нагрузки и границы порядка.
- ▸Репликация обеспечивает отказоустойчивость. Список синхронных реплик показывает, какие копии достаточно догнали лидера, чтобы участвовать в подтверждении записи.
- ▸Группы потребителей позволяют масштабировать обработку. В одной группе одновременно активных потребителей не может быть больше, чем партиций.
- ▸Политика хранения определяет, как долго Kafka держит записи. Именно она задаёт пределы исторического прогона и восстановления потребителей.
- ▸Kafka Connect упрощает интеграцию с внешними системами через коннекторы-источники и коннекторы-приёмники без отдельного прикладного кода.
Связанные главы
- Потоковая обработка данных (краткий обзор) - Системный взгляд на потоковую архитектуру целиком: от приёма событий до потребителей и оконной обработки.
- Designing Data-Intensive Applications: приложения, интенсивно работающие с данными (краткий обзор) - Фундамент по репликации, консистентности и потоковой обработке, который объясняет внутренние компромиссы Kafka.
- Distributed Message Queue - Практический кейс проектирования очереди сообщений: порядок обработки, пропускная способность, долговечность и деградация при сбоях.
- Событийно-ориентированная архитектура: хранение состояния через события (Event Sourcing), разделение команд и чтения (CQRS), Saga - Архитектурный контекст, где Kafka становится центральным журналом событий для бизнес-процессов.
- Kappa Architecture: потоковая альтернатива Lambda - Подход с единым потоковым контуром, где журнал Kafka становится источником истины для рабочей обработки и исторического прогона.
- Архитектура конвейеров данных: извлечение, преобразование и загрузка (ETL) и ELT - Интеграция Kafka в платформу данных: приём событий, оркестрация, качество данных и эксплуатационная надёжность.
- Enterprise Integration Patterns: корпоративные интеграционные паттерны (краткий обзор) - Паттерн-язык интеграции, который помогает проектировать надёжные сценарии публикации, потребления и маршрутизации сообщений.
- Big Data: реальное время и масштабируемые системы данных (краткий обзор) - Стратегический контекст построения систем данных в реальном времени, где Kafka часто становится центральным компонентом.
- Google Global Network: эволюция и архитектурные принципы для эпохи ИИ - Сетевой контекст для межрегиональной репликации и потоков с высокой пропускной способностью на глобальном масштабе.
- Google TPU: эволюция архитектуры и impact на ML-системы - Понимание ИИ-нагрузок, где Kafka-подобные журналы и потоки питают конвейеры данных и ML.