Источник
Telegram: book_cube
Обзор книги от Александра Поломодова
Hands-On Large Language Models
Авторы: Jay Alammar, Maarten Grootendorst
Издательство: O'Reilly Media, Inc.
Объём: 428 страниц
Jay Alammar и Maarten Grootendorst: визуальный путеводитель по LLM с ~300 иллюстрациями — токенизация, эмбеддинги, трансформеры, RAG.
ОригиналОб авторах
Книгу написали два эксперта в ML/AI, известных своими визуальными объяснениями сложных концепций:
Jay Alammar
Engineering Fellow в Cohere, автор культовых визуальных гайдов по ML и NLP. Его диаграммы используются в документации NumPy, pandas и на курсах deeplearning.ai.
jalammar.github.ioMaarten Grootendorst
Data Scientist, автор open-source библиотек BERTopic и KeyBERT. Специалист в тематическом моделировании и эмбеддингах.
newsletter.maartengrootendorst.comФилософия книги
Авторы придерживаются подхода "интуиция первична": сначала развивается качественное понимание концепций через визуализации, а затем оно подкрепляется формальным описанием и примерами кода.
~300 оригинальных иллюстраций
Механизмы self-attention, токенизаторы, многомерные пространства эмбеддингов — всё разъясняется через наглядные схемы, графики и рисунки.
Весь код доступен на GitHub.
Связанная глава
AI Engineering (Chip Huyen)
Продвинутый взгляд на production-практики: RAG, agents, finetuning
Структура книги
Книга состоит из трёх частей и 12 глав: от основ LLM к их использованию для решения задач, и заканчивая методами обучения моделей.
IПонимание языковых моделей
Первая часть закладывает фундамент, объясняя устройство языковых моделей.
Введение в языковые модели
Эволюция от "bag of words" через word embeddings к архитектуре трансформеров. Чем LLM отличаются от предыдущих подходов.
Токенизация и эмбеддинги
Как работает токенизатор LLM. Сравнение типов токенов: слова, подслова, символы, байты. Построение эмбеддингов от word2vec до современных подходов.
Внутри трансформера
Forward-pass модели: обработка входных токенов, вычисление матрицы внимания, выбор следующего токена. Интуитивное объяснение Self-Attention. Оптимизации: KV-cache.
IIИспользование предобученных моделей
Практические способы применения готовых LLM и эмбеддингов для решения прикладных задач.
Классификация текста
Применение LLM для задач классификации с минимальным обучением
Кластеризация и тематическое моделирование
BERTopic — библиотека одного из авторов для анализа тем
Инженерия промптов
Chain of Thought, ReAct, Tree of Thought и другие техники
Продвинутая генерация текстов
LangChain, агенты, Memory, Tools — сложные пайплайны
Семантический поиск и RAG
Retrieval-Augmented Generation — расширение знаний модели
Мультимодальные модели
Текст + изображения: CLIP, BLIP-2, Vision-Language
IIIОбучение и тонкая настройка
Создание своих моделей и адаптация существующих LLM под конкретные задачи.
Создание моделей эмбеддингов
Обучение собственных текстовых эмбеддингов для специфических доменов
Fine-tuning для классификации
Дообучение representation models под задачи классификации
Fine-tuning генеративных моделей
Тонкая настройка LLM для генерации текста в конкретном стиле или домене
Для кого эта книга
- Начинающих и продвинутых специалистов в ML/NLP
- Разработчиков и аналитиков, внедряющих LLM в проекты
- Всех, кто хочет уверенно ориентироваться в современных моделях: ChatGPT, Mistral, Claude