Prompt engineering быстро упирается в потолок, если рассматривать его как подбор удачной формулировки, а не как проектирование контекста.
Глава показывает, почему LLM loop, RAG, agents и workflows меняют предмет разговора: качество ответа начинает зависеть от устройства всей цепочки, а не от одного prompt.
На интервью и в архитектурных обсуждениях это позволяет говорить про context engineering, retrieval quality, state management и evaluation вместо бытовых советов про промпты.
Практическая польза главы
Практика проектирования
Переводите знания о prompt engineering методах и контроле качества model outputs в архитектурные решения по data flow, model serving и контрольным точкам качества.
Качество решений
Оценивайте систему через метрики модели и платформы одновременно: precision/recall, latency, drift, стоимость и операционные риски.
Interview articulation
Структурируйте ответ как цепочку data -> model -> serving -> monitoring, показывая где возникают ограничения и как вы ими управляете.
Trade-off framing
Явно фиксируйте компромиссы по prompt engineering методах и контроле качества model outputs: скорость экспериментов, качество, explainability, resource budget и сложность поддержки.
Источник
Книжный куб
Обзор книги от Александра Поломодова
Prompt Engineering for LLMs
Авторы: John Berryman, Albert Ziegler
Издательство: O'Reilly Media, Inc.
Объём: 282 страниц
John Berryman и Albert Ziegler (создатели GitHub Copilot): LLM Loop, RAG, agents, workflows и переход к context engineering.
Ключевая идея: LLM Loop
Авторы вводят фреймворк LLM Loop — цикл работы с моделью:
Retrieval
Получение контекста
Snippetizing
Нарезка на фрагменты
Scoring
Оценка релевантности
Assembly
Сборка промпта
Post-process
Обработка ответа
Связанная глава
AI Engineering (Chip Huyen)
Более широкий взгляд: RAG, agents, finetuning, production
Структура книги: 3 части, 11 глав
Часть I: Основы LLM
Устройство и эволюция моделей, их обучение и переход к диалогам.
Introduction to Prompt Engineering
Почему LLM выглядят как «магия», эволюция языковых моделей, prompt engineering как инженерная дисциплина.
Understanding LLMs
LLM как completion engine: токены, авторегрессия, галлюцинации, temperature, основы трансформера.
Moving to Chat
От completion к chat: RLHF, instruct vs chat, alignment tax, эволюция API. Промптинг как «постановка пьесы» (сцены/роли/реплики).
Designing LLM Applications
Ключевой фрейм LLM Loop: retrieval → snippetizing → scoring → prompt assembly → post-processing.
Часть II: Ключевые техники
Few-shot примеры, RAG для снижения галлюцинаций, форматирование промптов.
Prompt Content
Static (инструкции, few-shot) vs dynamic контент. RAG: lexical vs neural, эмбеддинги, векторные хранилища, иерархическая суммаризация.
Assembling the Prompt
Упаковка в лимит контекста, анатомия промпта, форматы документов, elastic snippets. Valley of Meh: середина промпта «проседает», важное — ближе к концу.
Taming the Model
Анатомия completion: preamble, start/end markers, stop-sequence, streaming. Logprobs для уверенности. Выбор модели: качество/цена/латентность.
Связанная глава
Hands-On Large Language Models
Визуальное объяснение RAG, агентов и LangChain
Часть III: Продвинутые темы
Агенты с памятью и инструментами, workflows, оценка качества.
Conversational Agency
Tool use: проектирование инструментов, обработка ошибок, опасные действия. Reasoning-паттерны: CoT, ReAct. Сборка агента и UX.
LLM Workflows
Когда workflow лучше агента. Задачи как кирпичики, шаблонные промпты. Agent-driven workflow, stateful task agents, роли и делегирование.
Evaluating LLM Applications
Offline: example suites, gold standard, LLM-as-judge, SOMA. Online: A/B тесты и метрики.
Looking Ahead
Multimodality, UI/UX как часть качества, рост интеллекта и скорости моделей.
Практический инсайт: Valley of Meh
Середина промпта «проседает»
Модели лучше «видят» начало и конец промпта. Информация в середине часто игнорируется или обрабатывается хуже.
Рекомендация авторов:
- Важные инструкции — в начало (system prompt)
- Критичный контекст — ближе к концу
- Менее важное — в середину
Актуальность в 2026: Prompt → Context Engineering
С момента выхода книги LLM-технологии шагнули вперёд. Качество моделей выросло — они лучше понимают пользователя даже без сложных промптов. Лучшие техники уже встроены в инструменты.
Context Engineering
Андрей Карпати (2025): фокус на предоставлении модели полного окружения (данные, история, инструменты) вместо подбора идеальной формулировки.
PromptOps
Версионирование промптов, мониторинг качества запросов, автоматизация подготовки контекста.
Вывод: Фундаментальные принципы книги по-прежнему полезны. RAG теперь повсеместен, chain-of-thought стал стандартом в AI-агентах. Авторы честно предупреждали: API устареют, но базовые идеи останутся.
Связанные главы
- AI Engineering (short summary) - Более широкий production-контекст: архитектура LLM-систем, evaluation, guardrails и эксплуатация.
- Hands-On Large Language Models (short summary) - Визуальный фундамент по LLM: токенизация, эмбеддинги, трансформеры, RAG и практические паттерны.
- An Illustrated Guide to AI Agents (short summary) - Продолжение по агентам: planning, memory, reflection, tools и multi-agent координация.
- Developing Apps with GPT-4 and ChatGPT (short summary) - Стартовый прикладной слой: API-практика, базовый prompt engineering и early product use-cases.