AI Engineering ценна тем, что переводит разговор о моделях из режима демо в режим системы со стоимостью, задержкой и эксплуатацией.
Глава собирает foundation models, prompting, RAG, agents и finetuning в единый engineering loop, где архитектура определяется не модой на паттерны, а требованиями к качеству ответа и устойчивости продукта.
Для интервью и design review она полезна как способ структурировать ответ вокруг evaluation, latency, cost, guardrails и production readiness, а не вокруг перечня buzzwords.
Практическая польза главы
Практика проектирования
Переводите знания о архитектуре AI Engineering и жизненном цикле model-driven систем в архитектурные решения по data flow, model serving и контрольным точкам качества.
Качество решений
Оценивайте систему через метрики модели и платформы одновременно: precision/recall, latency, drift, стоимость и операционные риски.
Interview articulation
Структурируйте ответ как цепочку data -> model -> serving -> monitoring, показывая где возникают ограничения и как вы ими управляете.
Trade-off framing
Явно фиксируйте компромиссы по архитектуре AI Engineering и жизненном цикле model-driven систем: скорость экспериментов, качество, explainability, resource budget и сложность поддержки.
Источник
Книжный куб
Пост с обзором серии про AI Engineering.
AI Engineering (AI-инженерия. Построение приложений с использованием базовых моделей)
Авторы: Chip Huyen
Издательство: O'Reilly Media, Inc.
Объём: 534 страниц
Chip Huyen о создании AI-приложений: foundation models, prompting, RAG, agents, finetuning, оценка качества и production-практики.
AI-стек по Chip Huyen
Foundation Models
GPT-4, Claude, Gemini, Llama — выбор и понимание возможностей
Prompting & Context
Prompt engineering, few-shot, chain-of-thought, system prompts
RAG & Knowledge
Retrieval-Augmented Generation, vector stores, embeddings
Agents & Tools
Автономные агенты, function calling, orchestration
Finetuning & Adaptation
SFT, RLHF, LoRA, dataset engineering
Связанная глава
Hands-On Large Language Models
Визуальное введение в LLM: токенизация, эмбеддинги, трансформеры
Ключевые идеи книги
AI engineering ≠ ML engineering
Model-as-a-service снизил порог входа. AI engineering — это построение приложений на базе foundation models, а не обучение моделей с нуля.
Evaluation — центральная тема
Чем глубже AI встроен в продукт, тем выше риск ошибок. Системная валидация, AI-as-a-judge и продуктовые метрики — must have.
От простого к сложному
Фреймворк разработки: начинай с prompting, добавляй RAG при необходимости, переходи к finetuning только когда это оправдано.
Production concerns
Latency, стоимость inference, устойчивость и graceful degradation — практики доставки и эксплуатации AI-фич.
Связанная глава
ML System Design
Практическое руководство по проектированию ML-систем для интервью
Структура книги: 10 глав
Part I: Foundation
Introduction to Building AI Applications
Переход от ML к GenAI, преимущества foundation models, токены и мультимодальность, use cases и AI как платформа.
Understanding Foundation Models
Данные и языки, трансформеры и механизм внимания, параметры и контекстное окно, post-training (SFT, RLHF), галлюцинации.
Part II: AI Application Development
Evaluation Methodology
Почему оценка AI сложна, энтропия и перплексия, функциональная vs нефункциональная корректность.
Evaluate AI Systems
AI-as-a-judge, попарные сравнения, бенчмарки и их ограничения, human baseline, продуктовая валидация.
Prompt Engineering
Структура промптов, few-shot learning, chain-of-thought, system prompts и демократизация разработки.
RAG and Agents
Retrieval-Augmented Generation, vector stores, chunking strategies, агенты и function calling.
Finetuning
Когда finetuning оправдан, SFT vs RLHF, dataset engineering, LoRA и эффективная адаптация.
Part III: AI Engineering in Production
Dataset Engineering
Сбор и подготовка данных, аннотирование, синтетические данные, data flywheel.
Inference Optimization
Latency и throughput, quantization, batching, caching, cost optimization.
AI Engineering Architecture and User Feedback
Архитектура AI-приложений, сбор feedback, continuous improvement, MLOps для GenAI.
Evaluation: ключевая тема книги
Chip Huyen выделяет оценку качества как центральную проблему AI engineering. Две полные главы посвящены методологии и практикам:
Метрики
Перплексия, BLEU, ROUGE, semantic similarity, task-specific metrics
AI-as-a-Judge
LLM оценивает LLM: промпты для судейства, bias и калибровка
Product Validation
A/B тесты, user feedback, business metrics alignment
Серия подкастов по главам
Разбор книги ведут Александр Поломодов (CTO Т-Банка) и Евгений Сергеев (Engineering Director, Flo).
Выпуск #1
Preface & Intro Chapter
- Обзор книги и структура из 10 глав
- Переход от ML к GenAI
- Токены и мультимодальность
- Prompt engineering и демократизация
- Интеграция MCP и Claude Desktop
Выпуск #2
Understanding Foundation Models
- Стадии обучения моделей
- Трансформеры и механизм внимания
- Параметры и контекстное окно
- Post-training: SFT и RLHF
- Галлюцинации и их причины
Связанные главы
- Hands-On Large Language Models (short summary) - Даёт фундамент по устройству LLM, который нужен для осмысленного выбора подходов в production AI.
- Prompt Engineering for LLMs (short summary) - Раскрывает prompt- и context-engineering практики, напрямую связанные с качеством AI-продукта.
- Developing Apps with GPT-4 and ChatGPT (short summary) - Показывает прикладной путь от API и прототипа к рабочему AI-приложению с базовыми guardrails.
- An Illustrated Guide to AI Agents (short summary) - Расширяет тему AI Engineering через агентные паттерны: tools, planning, memory и orchestration.
- AI Engineering Interviews (short summary) - Закрепляет те же концепции через практические вопросы, trade-offs и архитектурные кейсы.