AI-инженерия становится отдельной дисциплиной в тот момент, когда модель перестаёт быть эффектным демо и начинает определять поведение продукта, его стоимость и эксплуатацию.
Глава собирает базовые модели, проектирование запросов, RAG, агентные сценарии и дообучение в один инженерный контур, где важны не модные паттерны сами по себе, а качество ответа, управляемость и границы риска.
Для интервью и архитектурных обсуждений она полезна как карта решений вокруг модели: как оценивать систему, где ставить защитные ограничения, когда усложнять архитектуру и как думать о рабочем контуре целиком.
Практическая польза главы
Контур AI-продукта
Книга собирает модель, контекст, знания, инструменты и эксплуатацию в один продуктовый контур, а не в набор изолированных техник.
Оценивание и качество
Она помогает обсуждать AI через проверку качества, продуктовые метрики, ручную проверку и расследование деградаций, а не только через модель.
От запроса к системе
По книге удобно разбирать, как путь от проектирования запросов к RAG, агентам и дообучению усложняется по мере роста требований к продукту.
Материал для интервью
Это хороший каркас для ответа про качество, стоимость, задержку, защитные ограничения и эксплуатацию AI-системы целиком.
Источник
Книжный куб
Пост с обзором книги и всей серии выпусков про AI-инженерию.
AI Engineering (AI-инженерия. Построение приложений с использованием базовых моделей)
Авторы: Chip Huyen
Издательство: O'Reilly Media, Inc.
Объём: 534 страниц
Chip Huyen о том, как строить AI-приложения вокруг базовых моделей: проектирование запросов, RAG, агенты, дообучение, оценивание и эксплуатация.
Стек AI-инженерии по Chip Huyen
Базовые модели
GPT-4, Claude, Gemini, Llama: выбор модели и понимание её сильных и слабых сторон
Запрос и контекст
Проектирование запросов, примеры в контексте, пошаговые рассуждения и системные инструкции
RAG и слой знаний
RAG-архитектура, векторные хранилища и векторные представления
Агенты и инструменты
Агентные сценарии, вызов функций и оркестрация
Дообучение и адаптация
SFT, RLHF, LoRA и проектирование обучающих наборов
Связанная глава
Hands-On Large Language Models
Визуальное введение в LLM: токенизация, векторные представления и трансформеры
Ключевые идеи книги
AI Engineering — не то же самое, что ML Engineering
Появление моделей как сервиса снизило порог входа. AI Engineering — это построение приложений вокруг , а не обучение моделей с нуля.
Оценивание — центральная тема
Чем глубже AI встроен в продукт, тем дороже ошибки. Поэтому системная проверка, автоматизированное оценивание с помощью другой модели и продуктовые метрики здесь обязательны.
От простого к сложному
Рабочая рамка проста: начни с проектирования запросов, добавляй RAG при необходимости, а к дообучению переходи только тогда, когда это действительно оправдано.
Рабочие ограничения
, стоимость вывода модели, устойчивость и мягкая деградация сервиса — это не второстепенные детали, а основа доставки и эксплуатации интеллектуальных функций продукта.
Связанная глава
ML System Design
Практическое руководство по проектированию ML-систем для интервью
Структура книги: 10 глав
Часть I: Основа
Introduction to Building AI Applications
Переход от ML к генеративному AI, преимущества базовых моделей, токены, мультимодальность, типовые сценарии и AI как платформа.
Understanding Foundation Models
Данные и языки, трансформеры и механизм внимания, параметры и контекстное окно, этап дообучения после основной тренировки и галлюцинации.
Часть II: Разработка AI-приложений
Evaluation Methodology
Почему оценивание AI сложно, энтропия и перплексия, функциональная и нефункциональная корректность.
Evaluate AI Systems
Оценивание с помощью другой модели, попарные сравнения, бенчмарки и их ограничения, человеческая базовая линия и продуктовая валидация.
Prompt Engineering
Структура запросов, примеры в контексте, пошаговые рассуждения, системные промпты и демократизация разработки.
RAG and Agents
Архитектура RAG, векторные хранилища, стратегии разбиения на чанки, агенты и вызов функций.
Finetuning
Когда дообучение оправдано, SFT и RLHF, проектирование обучающих наборов, LoRA и эффективная адаптация.
Часть III: AI Engineering в эксплуатации
Dataset Engineering
Сбор и подготовка данных, разметка, синтетические данные и контур улучшения данных.
Inference Optimization
Задержка и пропускная способность, квантование, пакетирование, кеширование и оптимизация стоимости.
AI Engineering Architecture and User Feedback
Архитектура AI-приложений, сбор обратной связи, непрерывные улучшения и операционный контур для GenAI.
Оценивание: ключевая тема книги
Chip Huyen делает оценивание качества центральной темой AI Engineering. Две полные главы посвящены методологии и практике оценки:
Метрики
Перплексия, BLEU, ROUGE, семантическое сходство и метрики под конкретную задачу
Оценивание моделью
Одна модель оценивает ответы другой: как устроить судейство, где возникают смещения и зачем нужна калибровка
Проверка в продукте
A/B-тесты, обратная связь от пользователей, согласование с бизнес-метриками
Серия подкастов по главам
Книгу разбирают Александр Поломодов (CTO Т-Банка) и Евгений Сергеев (Engineering Director, Flo).
Выпуск #1
Preface & Intro Chapter
- Обзор книги и структура из 10 глав
- Переход от ML к GenAI
- Токены и мультимодальность
- Проектирование запросов и демократизация
- Интеграция MCP и Claude Desktop
Выпуск #2
Understanding Foundation Models
- Стадии обучения моделей
- Трансформеры и механизм внимания
- Параметры и контекстное окно
- Этап дообучения: SFT и RLHF
- Галлюцинации и их причины
Связанные главы
- Жизненный цикл ML: от данных и обучения до рабочей среды и контуров обратной связи - Даёт базовую карту жизненного цикла ML-системы: данные, выпуск, рабочий контур и следующий цикл улучшений.
- Оценивание и наблюдаемость для AI-систем - Выделяет оценивание, ручную проверку и расследование деградаций в отдельный инженерный контур.
- Сервинг моделей и архитектура вывода - Подробно разбирает рабочий путь вывода: бюджеты задержек, маршрутизацию по железу, резервные сценарии и стоимость.
- Hands-On Large Language Models (short summary) - Даёт основу по устройству LLM, которая нужна для осмысленного выбора архитектурных подходов.
- Prompt Engineering for LLMs (short summary) - Раскрывает проектирование запросов и контекста как часть архитектуры AI-приложения.
- Developing Apps with GPT-4 and ChatGPT (short summary) - Показывает прикладной путь от API и прототипа к рабочему AI-приложению с базовыми защитными ограничениями.
- An Illustrated Guide to AI Agents (short summary) - Продолжает тему через агентные паттерны: инструменты, планирование, память и оркестрацию.
- AI Engineering Interviews (short summary) - Закрепляет те же идеи через практические вопросы, компромиссы и архитектурные кейсы.