Распределенные системы

Вводная глава: зачем нужны модели консистентности, консенсус и работа с отказами.

Фундаментальное ограничение распределённых систем: консистентность, доступность, устойчивость к разделению. История, заблуждения, ACID vs BASE.

Расширение CAP: компромиссы между задержкой и консистентностью в штатном режиме. Классификация систем: PA/EL, PC/EC, PA/EC, PC/EL.

Практика синхронизации времени: physical vs logical clocks, NTP/PTP, clock skew impact и архитектурные защиты от time drift.

Как проектировать выбор лидера: leases, quorum, failover, split-brain защита и практические реализации на Raft/ZooKeeper/etcd/Kubernetes.

Как системы договариваются о единственном значении: кворумы, двухфазный Paxos и лидер‑ориентированный Raft.

Как идеи Лэмпорта (happens-before, логические часы, Paxos, TLA+) выросли из физики и почему они критичны для современных распределённых систем.

Практический разбор распределённых транзакций: coordinator, prepare/commit phases, failure modes, blocking trade-offs и альтернативы через Saga/outbox.

Проект тестирования распределённых систем: иерархия моделей консистентности, Serializable vs Linearizable, известные находки.

Практический подход к тестированию распределённых систем: chaos engineering, contract testing и integration testing at scale.

Разбор книги Martin Kleppmann: модели данных, репликация, партиционирование, транзакции, batch и stream processing.

Фундаментальный труд Таненбаума и ван Стина: архитектуры, координация, консистентность, отказоустойчивость и безопасность.

Эволюция сети Google от internet/streaming/cloud эпох к AI-era: WAN as new LAN, multi-shard дизайн, Protective ReRoute, intent-driven programmability и автономные операции.

Andrew Psaltis о потоковой обработке: Collection/Queue/Analysis tiers, семантика доставки, окна данных, алгоритмы на потоке.

Распределённая платформа потоковой обработки: producers, consumers, партиции, репликация, семантики доставки и Kafka Streams.

Единый потоковый контур без отдельного batch layer: immutable log, materialized views, replay/backfill и сравнение с Lambda.

Как проектировать data pipeline: batch + streaming, ETL vs ELT, orchestration, data quality, recovery, cost control и операционная надежность.

Практический разбор Apache Iceberg: snapshots, manifests, ACID в data lake, schema evolution, hidden partitioning, time travel и место Tableflow в streaming-контуре.

Nathan Marz о Lambda Architecture: batch/serving/speed layers, иммутабельность данных, HyperLogLog и практические примеры.

Практическое руководство по внедрению Data Mesh: domain ownership, data as a product, federated governance, self-serve data platform и MVP за месяц.

Эволюция data platform Т-Банка: от DWH-подходов к Lakehouse, ключевые контуры платформы, масштаб и практические архитектурные выводы.

Research Insights Made Simple #6: централизация vs федерализация, data mesh на практике, ограничения OLTP/MPP и эволюция платформ данных.

Короткая документалка о local-first подходе: офлайн-опыт, синхронизация и контроль данных пользователем.