PagedAttention, спекулятивное декодирование, MoE и Blackwell

Современное развёртывание ИИ опирается на сервинг-движки с виртуализацией памяти, разреженную маршрутизацию экспертов и аппаратную точность меньше байта, чтобы обслуживать огромные модели с высокой скоростью и низкой стоимостью. Эти три технологии представляют передний край производственной LLM-инфраструктуры.

1. Оптимизации сервинга LLM-инференса: PagedAttention и спекулятивное декодирование

Во время генерации текста LLM кэширует тензоры Key (K) и Value (V) каждого предыдущего токена в VRAM, чтобы не пересчитывать их на каждом шаге. Управление этим KV-кэшем и преодоление последовательного узкого места потокеновой генерации — две крупнейшие задачи сервинга инференса.

• PagedAttention (vLLM) — виртуальная память для KV-кэша.

• Проблема фрагментации. Исторически движки инференса заранее выделяли непрерывный участок VRAM для каждого запроса исходя из максимально возможной длины последовательности модели (например, 32 768 токенов). Если пользователь генерировал лишь 200 токенов, более 99% зарезервированной VRAM оставались пустыми, расточая от 60% до 80% памяти GPU из-за внутренней и внешней фрагментации.
• Страничная организация в стиле ОС. Вдохновлённый виртуальной памятью операционных систем, PagedAttention делит KV-кэш каждой последовательности на малые блоки фиксированного размера (например, 16 токенов на блок), которые могут располагаться не последовательно в любом месте физической VRAM. Лёгкая таблица блоков отображает логические блоки токенов на физические адреса памяти GPU на лету внутри ядра attention.
• Совместное использование памяти (Copy-on-Write). Поскольку блоки независимы, несколько запросов, разделяющих один системный промпт или генерирующих параллельные продолжения (например, beam search), указывают на одни и те же физические блоки KV в VRAM, резко сокращая использование памяти и позволяя значительно увеличить размер батчей.

• Спекулятивное декодирование — преодоление последовательного узкого места.

• Почему авторегрессионная генерация медленная. Генерация 100 токенов требует 100 последовательных прямых проходов. Поскольку каждый проход обрабатывает лишь один новый токен, GPU проводит большую часть времени, читая веса модели из VRAM, а его тензорные ядра почти простаивают.
• Конвейер «черновик-проверка». Спекулятивное декодирование сочетает огромную целевую модель (например, 70B параметров) с крошечной сверхбыстрой черновой моделью (например, 1B–3B параметров или лёгкие предсказательные головы вроде Medusa / EAGLE).
• Параллельная проверка. Крошечная черновая модель быстро угадывает следующие K токенов (например, 5 токенов) последовательно. Затем огромная целевая модель обрабатывает все 5 угаданных токенов одновременно за один параллельный прямой проход, проверяя их вероятности. Поскольку проверка 5 токенов параллельно занимает почти ровно столько же времени, сколько генерация 1 токена, система принимает все совпадающие токены сразу — обеспечивая ускорение генерации в 2×–3× при математически идентичном качестве выхода.

2. Mixture-of-Experts (MoE) и экспертный параллелизм

Плотные модели активируют 100% своих параметров для каждого токена, делая запуск огромных моделей непомерно дорогим. Архитектуры Mixture-of-Experts (MoE) отделяют общий объём знаний модели от вычислительной стоимости на токен.

• Как работают слои MoE (Mixtral и DeepSeek).

• В блоке MoE Transformer единственная плотная сеть прямого распространения (FFN) заменяется пулом меньших независимых FFN, называемых экспертами (например, 8 экспертов в Mixtral 8x7B или 256 мелкозернистых экспертов в DeepSeek-V3).
• Лёгкая обучаемая маршрутизирующая сеть (Gating Network) просматривает каждый входящий токен и направляет его только к top-K наиболее релевантным экспертам (обычно от 2 до 8 экспертов). Модель может хранить в памяти более 600B параметров, активируя лишь 37B параметров на токен, достигая огромного интеллекта модели за долю вычислительной стоимости.
• Общие эксперты и балансировка без вспомогательных потерь. Современные MoE-проекты вроде DeepSeek выделяют несколько общих экспертов, обрабатывающих каждый токен для захвата общих базовых знаний, в то время как маршрутизируемые эксперты специализируются на нишевых областях. Динамические корректировки смещения предотвращают «коллапс маршрутизации» (когда маршрутизатор перегружает несколько популярных экспертов и игнорирует остальных).

• Экспертный параллелизм (EP) между GPU.

• Поскольку MoE-модель имеет сотни экспертов, они не помещаются на одном GPU. Экспертный параллелизм распределяет разных экспертов по разным GPU (например, эксперты 1–4 на GPU 0, эксперты 5–8 на GPU 1).
• Коммуникация All-to-All. Когда GPU 0 обрабатывает батч токенов, его маршрутизатор может назначить часть токенов экспертам, находящимся на GPU 3. Поэтому каждый слой MoE выполняет рассылку All-to-All: отправляет скрытые состояния токенов по высокоскоростным соединениям NVLink/InfiniBand тому GPU, на котором находится назначенный эксперт, вычисляет FFN эксперта и выполняет второй шаг объединения All-to-All для возврата результатов.

3. NVIDIA Blackwell (B200) и Transformer Engine второго поколения (FP4)

Представленная для масштабирования триллионопараметровых моделей рассуждений и MoE, архитектура NVIDIA Blackwell (B200) переработала как многочиповую упаковку, так и числовую точность меньше байта.

• Унифицированная двухкристальная архитектура.

• Один GPU B200 содержит 208 миллиардов транзисторов на двух кристаллах с ограничением по размеру ретикулы, соединённых интерфейсом NV-HBI (High-Bandwidth Interface) со скоростью 10 ТБ/с. Для ядер CUDA и программных фреймворков оба кристалла работают как единый унифицированный GPU с нулевыми штрафами за когерентность кэша.
• Пропускная способность памяти HBM3e. Оснащённый 192 ГБ VRAM HBM3e с пропускной способностью 8 ТБ/с (более чем вдвое больше 3,35 ТБ/с у H100), Blackwell напрямую нацелен на узкие места пропускной способности памяти при работе с KV-кэшами и загрузке весов MoE.

• Transformer Engine второго поколения и NVFP4.

• Пока Hopper представил 8-битную плавающую точку (FP8), Transformer Engine второго поколения Blackwell опускает вычисления на тензорных ядрах до 4-битной плавающей точки (FP4), снова удваивая сырую вычислительную пропускную способность (до 20 петафлопс плотных FP4-вычислений на GPU) и вдвое сокращая объём памяти по сравнению с FP8.
• Решение проблемы динамического диапазона FP4 с помощью микротензорного масштабирования (NVFP4). Стандартные 4-битные числа имеют лишь 16 возможных значений, что обычно разрушает точность, когда в нейронных активациях появляются экстремальные выбросы. Blackwell решает это аппаратно с помощью двухуровневого микромасштабирования: вместо применения одного коэффициента масштабирования к большой матрице Blackwell группирует веса и активации в крошечные блоки по 16 элементов, назначая каждому такому блоку собственный высокоточный коэффициент масштабирования FP8 вместе с глобальным тензорным масштабом FP32.
• Аппаратно-ускоренная квантизация. Transformer Engine динамически проверяет диапазоны тензоров слой за слоем и преобразует значения между FP16/BF16, FP8 и NVFP4 прямо внутри конвейера тензорных ядер без дополнительных обращений к памяти.