Проектирование запросов быстро упирается в потолок, если сводить его к поиску удачной формулировки, а не к устройству всего контекста вокруг модели.
Глава показывает, почему циклы работы LLM, RAG, агенты и рабочие цепочки меняют сам предмет разговора: качество ответа начинает зависеть от всей системы, а не от одного текста запроса.
Для интервью и архитектурных обсуждений это особенно полезно, потому что разговор быстро переходит от промпта к качеству извлечения контекста, управлению состоянием и оцениванию.
Практическая польза главы
Проектирование контекста
Глава помогает увидеть, что качество ответа зависит не только от текста запроса, но и от того, как система собирает контекст вокруг модели.
RAG и рабочие цепочки
Через LLM Loop, RAG и агентные сценарии книга связывает промпт с данными, инструментами и порядком шагов внутри системы.
Оценивание и качество
По ней удобно обсуждать наборы примеров, эталонные ответы, A/B-тесты и типичные ошибки модели, а не только «удачные» промпты.
Материал для интервью
Это хороший каркас, чтобы на интервью перейти от проектирования промпта к архитектуре: извлечение контекста, агенты, оценивание и границы системы.
Источник
Книжный куб
Короткий обзор книги от Александра Поломодова.
Prompt Engineering for LLMs
Авторы: John Berryman, Albert Ziegler
Издательство: O'Reilly Media, Inc.
Объём: 282 страниц
John Berryman и Albert Ziegler о том, как проектировать запросы для LLM, собирать контекст, использовать RAG и агентные сценарии и оценивать качество ответа.
Ключевая идея: LLM Loop
Авторы вводят фрейм LLM Loop — рабочий цикл, в котором ответ модели зависит не от одной удачной формулировки, а от того, как система получает контекст, собирает запрос и обрабатывает результат:
Извлечение контекста
Поиск нужных данных и документов
Нарезка на фрагменты
Подготовка удобных для модели кусков контекста
Оценка
Отбор самых полезных фрагментов
Сборка
Упаковка инструкций и контекста в запрос
Постобработка
Проверка, форматирование и безопасная выдача ответа
Связанная глава
AI Engineering (Chip Huyen)
Более широкий взгляд на RAG, агентов, дообучение и эксплуатацию AI-систем.
Структура книги: 3 части, 11 глав
Часть I: Основы LLM
Устройство и эволюция моделей, их обучение и переход от режима продолжения текста к диалоговому взаимодействию.
Introduction to Prompt Engineering
Почему LLM кажутся «магией», как развивались языковые модели и почему стало отдельной инженерной дисциплиной.
Understanding LLMs
LLM как модель продолжения: токены, авторегрессия, , температура и основы трансформера.
Moving to Chat
От режима продолжения текста к чату: RLHF, модели инструкционного и диалогового типа, цена выравнивания и эволюция API. Проектирование запроса как «постановка пьесы» со сценами, ролями и репликами.
Designing LLM Applications
Ключевой фрейм LLM Loop: → нарезка на фрагменты → оценка → сборка запроса → постобработка.
Часть II: Ключевые техники
Несколько примеров в запросе, RAG для снижения ошибок модели и грамотная сборка промпта.
Prompt Content
Статический контент вроде инструкций и нескольких примеров в запросе против динамического контекста. RAG: лексический и нейронный поиск, векторные представления, векторные хранилища и иерархическое суммирование.
Assembling the Prompt
Как уложиться в лимит контекста: анатомия промпта, форматы документов и гибкая длина фрагментов. Valley of Meh: середина промпта «проседает», поэтому важное лучше держать ближе к краям.
Taming the Model
Анатомия ответа модели: вводная часть, стартовые и конечные маркеры, последовательность остановки и потоковая выдача. Logprobs для оценки уверенности. Выбор модели как компромисс между качеством, ценой и задержкой.
Связанная глава
Hands-On Large Language Models
Визуальное объяснение RAG, агентов и LangChain
Часть III: Продвинутые темы
Агенты с памятью и инструментами, рабочие цепочки и оценка качества.
Conversational Agency
: проектирование инструментов, обработка ошибок и опасные действия. Паттерны рассуждения вроде CoT и ReAct. Сборка агента и пользовательский опыт.
LLM Workflows
Когда рабочая цепочка лучше агента. Задачи как строительные блоки, шаблонные промпты, агентные цепочки, агенты с состоянием, роли и делегирование.
Evaluating LLM Applications
В офлайн-проверках: наборы примеров, эталонные ответы, автоматическое оценивание другой моделью и SOMA. В онлайне: A/B-тесты и продуктовые метрики.
Looking Ahead
Мультимодальность, пользовательский опыт как часть качества и рост интеллекта и скорости моделей.
Практическое наблюдение: Valley of Meh
Середина промпта «проседает»
Модели обычно лучше «видят» начало и конец промпта. Информация в середине чаще теряется или получает меньший вес.
Рекомендация авторов:
- Важные инструкции — в начало, особенно в системную инструкцию
- Критичный контекст — ближе к концу
- Менее важное — в середину
Актуальность в 2026: от промпта к проектированию контекста
С момента выхода книги LLM заметно улучшились: модели стали лучше понимать пользователя даже без сложных промптов, а многие сильные практики уже встроены в инструменты и платформы.
Проектирование контекста
у Андрея Карпати: фокус на полном окружении модели — данных, истории, инструментах и ограничениях — вместо охоты за идеальной формулировкой.
PromptOps
Версионирование промптов, мониторинг качества запросов и автоматизация подготовки контекста.
Вывод: Базовые принципы книги по-прежнему полезны. RAG стал повсеместным, а цепочка рассуждений превратилась в стандартный инструмент для многих AI-агентов. Авторы честно предупреждали: API устареют, но базовые идеи останутся.
Связанные главы
- AI Engineering (short summary) - Более широкий рабочий контур: архитектура LLM-систем, оценивание, защитные ограничения и эксплуатация.
- Hands-On Large Language Models (short summary) - Визуальный фундамент по LLM: токенизация, векторные представления, трансформеры, RAG и прикладные паттерны.
- An Illustrated Guide to AI Agents (short summary) - Продолжение про агентов: планирование, память, рефлексия, инструменты и многоагентная координация.
- Developing Apps with GPT-4 and ChatGPT (short summary) - Стартовый прикладной слой: работа с API, базовое проектирование запросов и ранние продуктовые сценарии.