Источник
Книжный куб
Пост с обзором серии про AI Engineering.
AI Engineering (AI-инженерия. Построение приложений с использованием базовых моделей)
Авторы: Chip Huyen
Издательство: O'Reilly Media, Inc.
Объём: 534 страниц
Chip Huyen о создании AI-приложений: foundation models, prompting, RAG, agents, finetuning, оценка качества и production-практики.
Оригинал
ПереводAI-стек по Chip Huyen
Foundation Models
GPT-4, Claude, Gemini, Llama — выбор и понимание возможностей
Prompting & Context
Prompt engineering, few-shot, chain-of-thought, system prompts
RAG & Knowledge
Retrieval-Augmented Generation, vector stores, embeddings
Agents & Tools
Автономные агенты, function calling, orchestration
Finetuning & Adaptation
SFT, RLHF, LoRA, dataset engineering
Связанная глава
Hands-On Large Language Models
Визуальное введение в LLM: токенизация, эмбеддинги, трансформеры
Ключевые идеи книги
AI engineering ≠ ML engineering
Model-as-a-service снизил порог входа. AI engineering — это построение приложений на базе foundation models, а не обучение моделей с нуля.
Evaluation — центральная тема
Чем глубже AI встроен в продукт, тем выше риск ошибок. Системная валидация, AI-as-a-judge и продуктовые метрики — must have.
От простого к сложному
Фреймворк разработки: начинай с prompting, добавляй RAG при необходимости, переходи к finetuning только когда это оправдано.
Production concerns
Latency, стоимость inference, устойчивость и graceful degradation — практики доставки и эксплуатации AI-фич.
Связанная глава
ML System Design
Практическое руководство по проектированию ML-систем для интервью
Структура книги: 10 глав
Part I: Foundation
Introduction to Building AI Applications
Переход от ML к GenAI, преимущества foundation models, токены и мультимодальность, use cases и AI как платформа.
Understanding Foundation Models
Данные и языки, трансформеры и механизм внимания, параметры и контекстное окно, post-training (SFT, RLHF), галлюцинации.
Part II: AI Application Development
Evaluation Methodology
Почему оценка AI сложна, энтропия и перплексия, функциональная vs нефункциональная корректность.
Evaluate AI Systems
AI-as-a-judge, попарные сравнения, бенчмарки и их ограничения, human baseline, продуктовая валидация.
Prompt Engineering
Структура промптов, few-shot learning, chain-of-thought, system prompts и демократизация разработки.
RAG and Agents
Retrieval-Augmented Generation, vector stores, chunking strategies, агенты и function calling.
Finetuning
Когда finetuning оправдан, SFT vs RLHF, dataset engineering, LoRA и эффективная адаптация.
Part III: AI Engineering in Production
Dataset Engineering
Сбор и подготовка данных, аннотирование, синтетические данные, data flywheel.
Inference Optimization
Latency и throughput, quantization, batching, caching, cost optimization.
AI Engineering Architecture and User Feedback
Архитектура AI-приложений, сбор feedback, continuous improvement, MLOps для GenAI.
Evaluation: ключевая тема книги
Chip Huyen выделяет оценку качества как центральную проблему AI engineering. Две полные главы посвящены методологии и практикам:
Метрики
Перплексия, BLEU, ROUGE, semantic similarity, task-specific metrics
AI-as-a-Judge
LLM оценивает LLM: промпты для судейства, bias и калибровка
Product Validation
A/B тесты, user feedback, business metrics alignment
Серия подкастов по главам
Разбор книги ведут Александр Поломодов (CTO Т-Банка) и Евгений Сергеев (Engineering Director, Flo).
Выпуск #1
Preface & Intro Chapter
- Обзор книги и структура из 10 глав
- Переход от ML к GenAI
- Токены и мультимодальность
- Prompt engineering и демократизация
- Интеграция MCP и Claude Desktop
Выпуск #2
Understanding Foundation Models
- Стадии обучения моделей
- Трансформеры и механизм внимания
- Параметры и контекстное окно
- Post-training: SFT и RLHF
- Галлюцинации и их причины