Источник
Книжный куб
Обзор книги от Александра Поломодова
Prompt Engineering for LLMs
Авторы: John Berryman, Albert Ziegler
Издательство: O'Reilly Media, Inc.
Объём: 282 страниц
John Berryman и Albert Ziegler (создатели GitHub Copilot): LLM Loop, RAG, agents, workflows и переход к context engineering.
ОригиналКлючевая идея: LLM Loop
Авторы вводят фреймворк LLM Loop — цикл работы с моделью:
Retrieval
Получение контекста
Snippetizing
Нарезка на фрагменты
Scoring
Оценка релевантности
Assembly
Сборка промпта
Post-process
Обработка ответа
Связанная глава
AI Engineering (Chip Huyen)
Более широкий взгляд: RAG, agents, finetuning, production
Структура книги: 3 части, 11 глав
Часть I: Основы LLM
Устройство и эволюция моделей, их обучение и переход к диалогам.
Introduction to Prompt Engineering
Почему LLM выглядят как «магия», эволюция языковых моделей, prompt engineering как инженерная дисциплина.
Understanding LLMs
LLM как completion engine: токены, авторегрессия, галлюцинации, temperature, основы трансформера.
Moving to Chat
От completion к chat: RLHF, instruct vs chat, alignment tax, эволюция API. Промптинг как «постановка пьесы» (сцены/роли/реплики).
Designing LLM Applications
Ключевой фрейм LLM Loop: retrieval → snippetizing → scoring → prompt assembly → post-processing.
Часть II: Ключевые техники
Few-shot примеры, RAG для снижения галлюцинаций, форматирование промптов.
Prompt Content
Static (инструкции, few-shot) vs dynamic контент. RAG: lexical vs neural, эмбеддинги, векторные хранилища, иерархическая суммаризация.
Assembling the Prompt
Упаковка в лимит контекста, анатомия промпта, форматы документов, elastic snippets. Valley of Meh: середина промпта «проседает», важное — ближе к концу.
Taming the Model
Анатомия completion: preamble, start/end markers, stop-sequence, streaming. Logprobs для уверенности. Выбор модели: качество/цена/латентность.
Связанная глава
Hands-On Large Language Models
Визуальное объяснение RAG, агентов и LangChain
Часть III: Продвинутые темы
Агенты с памятью и инструментами, workflows, оценка качества.
Conversational Agency
Tool use: проектирование инструментов, обработка ошибок, опасные действия. Reasoning-паттерны: CoT, ReAct. Сборка агента и UX.
LLM Workflows
Когда workflow лучше агента. Задачи как кирпичики, шаблонные промпты. Agent-driven workflow, stateful task agents, роли и делегирование.
Evaluating LLM Applications
Offline: example suites, gold standard, LLM-as-judge, SOMA. Online: A/B тесты и метрики.
Looking Ahead
Multimodality, UI/UX как часть качества, рост интеллекта и скорости моделей.
Практический инсайт: Valley of Meh
Середина промпта «проседает»
Модели лучше «видят» начало и конец промпта. Информация в середине часто игнорируется или обрабатывается хуже.
Рекомендация авторов:
- Важные инструкции — в начало (system prompt)
- Критичный контекст — ближе к концу
- Менее важное — в середину
Актуальность в 2026: Prompt → Context Engineering
С момента выхода книги LLM-технологии шагнули вперёд. Качество моделей выросло — они лучше понимают пользователя даже без сложных промптов. Лучшие техники уже встроены в инструменты.
Context Engineering
Андрей Карпати (2025): фокус на предоставлении модели полного окружения (данные, история, инструменты) вместо подбора идеальной формулировки.
PromptOps
Версионирование промптов, мониторинг качества запросов, автоматизация подготовки контекста.
Вывод: Фундаментальные принципы книги по-прежнему полезны. RAG теперь повсеместен, chain-of-thought стал стандартом в AI-агентах. Авторы честно предупреждали: API устареют, но базовые идеи останутся.