Оригинал
Telegram: book_cube
Оригинальный пост с разбором книги.
Machine Learning System Design
Авторы: Arseny Kravchenko, Valerii Babushkin
Издательство: Manning Publications
Объём: 376 страниц
Практическое руководство от Babushkin и Kravchenko: анализ проблемы, метрики, работа с данными, типичные ошибки и подготовка к ML интервью.
ОригиналПочему эта книга важна
Большинство ML-курсов фокусируются на моделях и алгоритмах. Эта книга заполняет пробел — показывает полный жизненный цикл ML-системы: от постановки задачи и анализа проблемного пространства до релиза и поддержки.
Valerii Babushkin (Senior Principal в BP) и Arseny Kravchenko(Senior Staff ML Engineer в Instrumental) наполнили книгу "campfire stories" — реальными историями из практики, которые помогают понять контекст решений.
Фреймворк проектирования ML-систем
Книга предлагает пошаговый фреймворк для создания ML-систем любого масштаба:
1. Анализ проблемы
- •Определение бизнес-целей
- •Анализ проблемного пространства
- •Нужен ли вообще ML?
2. Метрики и оценка
- •Выбор метрик качества
- •Критерии успеха
- •Baseline и benchmarks
3. Работа с данными
- •Сбор и разметка данных
- •Error analysis
- •Feature engineering
4. Релиз и поддержка
- •Deployment strategies
- •Мониторинг и алерты
- •Итеративные улучшения
Ключевые темы книги
Анализ проблемного пространства
Прежде чем писать код, нужно понять проблему. Авторы учат:
- Как определить, что ML действительно нужен
- Как сформулировать ML-задачу из бизнес-требований
- Как оценить feasibility решения до начала разработки
- Как выбрать между разными подходами (supervised, unsupervised, RL)
Метрики и критерии оценки
Выбор правильных метрик критичен для успеха проекта:
- Связь бизнес-метрик и ML-метрик
- Trade-offs между precision/recall, latency/accuracy
- Offline vs online evaluation
- A/B тестирование ML-систем
Решение проблем с данными
Данные — главный источник проблем в ML. Книга разбирает:
- Data gathering: где и как собирать данные
- Data labeling: стратегии разметки, краудсорсинг
- Error analysis: систематический поиск ошибок модели
- Feature engineering: создание информативных признаков
- Data augmentation и синтетические данные
Типичные ошибки в ML-разработке
Авторы собрали каталог распространённых pitfalls:
- Data leakage — когда тестовые данные "утекают" в обучение
- Неправильный сплит данных (temporal leakage)
- Overfitting на validation set
- Игнорирование edge cases и distribution shift
- Premature optimization модели вместо улучшения данных
Приоритизация задач
Одна из уникальных особенностей книги — детальные чеклисты и рекомендации по приоритизации на разных стадиях проекта:
- Валидация гипотезы
- Простой baseline
- Quick wins
- Error analysis
- Улучшение данных
- Feature engineering
- Мониторинг
- Масштабирование
- Долгосрочная поддержка
Campfire Stories
Уникальная особенность книги — "campfire stories": реальные истории из практики авторов, которые иллюстрируют теоретические концепции.
Эти истории показывают, как принимались решения в реальных проектах, какие ошибки были допущены и какие уроки извлечены. Это делает книгу практичной и запоминающейся.
Связанная глава
Подходы к проведению интервью
7-шаговый фреймворк System Design Interview.
ML System Design Interview Tips
Книга включает специальный раздел о подготовке к ML System Design интервью:
Как структурировать ответ
Типичные вопросы и ожидания
Clarifying questions — что спрашивать
Trade-offs и их обоснование
Работа с неопределённостью
Глубина vs широта обсуждения
Ключевые выводы
Начинайте с проблемы, не с модели. Глубокий анализ проблемного пространства важнее выбора алгоритма.
Simple baseline first. Простая модель помогает понять задачу и устанавливает точку отсчёта.
Data > Model complexity. Улучшение данных почти всегда даёт больше, чем усложнение модели.
Error analysis — ваш друг. Систематический анализ ошибок показывает, куда направить усилия.
Метрики должны отражать бизнес-цели. Оптимизация не той метрики — частая причина провала проектов.
Планируйте maintenance с первого дня. ML-система — не разовый проект, а живой продукт.
Связанная глава
Специфика ML-систем
RADIO для frontend, offline-first для mobile, Feature Store для ML.
Для кого эта книга
- ML Engineers, которые хотят выйти за пределы "обучить модель" и понять полный цикл разработки ML-системы
- Data Scientists, переходящие к production ML и желающие понять инженерную сторону процесса
- Те, кто готовится к ML System Design интервью в FAANG и других технологических компаниях
- Tech Leads и Managers, которым нужно понимать, как планировать и оценивать ML-проекты