Проектирование запросов быстро упирается в потолок, если сводить его к поиску удачной формулировки, а не к устройству всего контекста вокруг модели.
Глава показывает, почему циклы работы LLM, RAG, агенты и рабочие цепочки меняют сам предмет разговора: качество ответа начинает зависеть от всей системы, а не от одного текста запроса.
Для интервью и архитектурных обсуждений это особенно полезно, потому что разговор быстро переходит от промпта к качеству извлечения контекста, управлению состоянием и оцениванию.
Практическая польза главы
Проектирование контекста
Глава помогает увидеть, что качество ответа зависит не только от текста запроса, но и от того, как система собирает контекст вокруг модели.
RAG и рабочие цепочки
Через LLM Loop, RAG и агентные сценарии книга связывает промпт с данными, инструментами и порядком шагов внутри системы.
Оценивание и качество
По ней удобно обсуждать наборы примеров, эталонные ответы, A/B-тесты и типичные ошибки модели, а не только «удачные» промпты.
Материал для интервью
Это хороший каркас, чтобы на интервью перейти от проектирования промпта к архитектуре: извлечение контекста, агенты, оценивание и границы системы.
Источник
Книжный куб
Короткий обзор книги от Александра Поломодова.
Prompt Engineering for LLMs
Авторы: John Berryman, Albert Ziegler
Издательство: O'Reilly Media, Inc.
Объём: 282 страниц
John Berryman и Albert Ziegler о том, как проектировать запросы для LLM, собирать контекст, использовать RAG и агентные сценарии и оценивать качество ответа.
Ключевая идея: цикл работы большой языковой модели (LLM Loop)
Авторы вводят фрейм LLM Loop — рабочий цикл большой языковой модели. Главный сдвиг: качество ответа держится не на одной удачной формулировке, а на том, как система находит контекст, собирает запрос и обрабатывает результат. Сломайте любой из этих шагов — и хорошая формулировка уже не спасёт:
Извлечение контекста
Поиск нужных данных и документов
Нарезка на фрагменты
Подготовка удобных для модели кусков контекста
Оценка
Отбор самых полезных фрагментов
Сборка
Упаковка инструкций и контекста в запрос
Постобработка
Проверка, форматирование и безопасная выдача ответа
Связанная глава
AI Engineering (Chip Huyen)
Более широкий взгляд на генерацию с извлечением контекста (RAG), агентов, дообучение и эксплуатацию AI-систем.
Структура книги: 3 части, 11 глав
Часть I: Основы работы с большими языковыми моделями (LLM)
Базовая интуиция, без которой остальные приёмы превращаются в карго-культ: как устроены модели, как они обучаются и почему продолжение текста стало диалогом.
Introduction to Prompt Engineering
Почему кажутся «магией», как развивались языковые модели и почему стало отдельной инженерной дисциплиной.
Understanding LLMs
как модель продолжения: токены, авторегрессия, , температура и основы трансформера.
Moving to Chat
От режима продолжения текста к чату: RLHF, модели инструкционного и диалогового типа, цена выравнивания и эволюция API. Проектирование запроса как «постановка пьесы» со сценами, ролями и репликами.
Designing LLM Applications
Ключевой фрейм Loop: → нарезка на фрагменты → оценка → сборка запроса → постобработка.
Часть II: Ключевые техники
Что реально влияет на ответ: несколько примеров в запросе, против выдумок модели и сборка промпта, которая не разваливается на длинном контексте.
Prompt Content
Статический контент вроде инструкций и нескольких примеров в запросе против динамического контекста.: лексический и нейронный поиск, векторные представления, векторные хранилища и иерархическое суммирование.
Assembling the Prompt
Как уложиться в лимит контекста: анатомия промпта, форматы документов и гибкая длина фрагментов. Valley of Meh: середина промпта «проседает», поэтому важное лучше держать ближе к краям.
Taming the Model
Анатомия ответа модели: вводная часть, стартовые и конечные маркеры, последовательность остановки и потоковая выдача. Logprobs для оценки уверенности. Выбор модели как компромисс между качеством, ценой и задержкой.
Связанная глава
Hands-On Large Language Models
Визуальное объяснение генерации с извлечением контекста (RAG), агентов и LangChain
Часть III: Продвинутые темы
Здесь начинаются системы, а не отдельные запросы: агенты с памятью и инструментами, рабочие цепочки и оценка качества, без которой регресс не поймать.
Conversational Agency
: проектирование инструментов, обработка ошибок и опасные действия. Паттерны рассуждения вроде CoT и ReAct. Сборка агента и пользовательский опыт.
LLM Workflows
Когда рабочая цепочка лучше агента. Задачи как строительные блоки, шаблонные промпты, агентные цепочки, агенты с состоянием, роли и делегирование.
Evaluating LLM Applications
В офлайн-проверках: наборы примеров, эталонные ответы, автоматическое оценивание другой моделью и SOMA. В онлайне: A/B-тесты и продуктовые метрики.
Looking Ahead
Мультимодальность, пользовательский опыт как часть качества и рост интеллекта и скорости моделей.
Практическое наблюдение: Valley of Meh
Середина промпта «проседает»
Модели обычно лучше «видят» начало и конец промпта. То, что попало в середину, чаще теряется или получает меньший вес — а значит, важная инструкция в этой зоне может просто не сработать.
Рекомендация авторов:
- Важные инструкции — в начало, особенно в системную инструкцию
- Критичный контекст — ближе к концу
- Менее важное — в середину
Актуальность в 2026: от промпта к проектированию контекста
С момента выхода книги заметно улучшились, и часть приёмов из неё потеряла остроту: модели лучше понимают пользователя без сложных промптов, а многие сильные практики уже встроены в инструменты и платформы. Дефицит сместился с формулировки на то, что и в каком виде модель вообще получает на вход.
Проектирование контекста
у Андрея Карпати: вместо охоты за идеальной формулировкой инженер собирает всё окружение модели — данные, историю, инструменты и ограничения. Цена ошибки сместилась туда же: чаще модель отвечает плохо не из-за слов запроса, а из-за того, что нужного контекста в нём просто нет.
PromptOps
Промпт в продакшене — это код: его версионируют, следят за качеством запросов и автоматизируют подготовку контекста, чтобы тихую деградацию заметить раньше пользователя.
Вывод: синтаксис API устаревает быстро, а способ мышления — нет, и именно его книга и даёт. стал повсеместным, цепочка рассуждений превратилась в стандартный инструмент для многих AI-агентов — но решает по-прежнему то, какой контекст вы кладёте в модель и как проверяете, что она ответила. Авторы честно предупреждали об этом сами: API устареют, базовые идеи останутся.
Связанные главы
- AI Engineering (short summary) - Более широкий рабочий контур: архитектура систем на больших языковых моделях (LLM), оценивание, защитные ограничения и эксплуатация.
- Hands-On Large Language Models (short summary) - Визуальный фундамент по работе с большими языковыми моделями (LLM): токенизация, векторные представления, трансформеры, генерация с извлечением контекста (RAG) и прикладные паттерны.
- An Illustrated Guide to AI Agents (short summary) - Продолжение про агентов: планирование, память, рефлексия, инструменты и многоагентная координация.
- Developing Apps with GPT-4 and ChatGPT (short summary) - Стартовый прикладной слой: работа с API, базовое проектирование запросов и ранние продуктовые сценарии.