Русские новости
Последний

AI

Иллюстративное изображение: деталь кристалла процессора, не GPU NVIDIA, о котором идёт речь в статье.

Внутри cuda-convnet: слои AlexNet на двух GPU и эпоха ImageNet

Веховая работа AlexNet 2012 года опиралась на низкоуровневую GPU-инженерию (cuda-convnet) и разделённую архитектуру на двух GPU и напрямую запустила быструю гонку за более глубокими и эффективными моделями компьютерного

Иллюстративное изображение: деталь кристалла CPU 1980-х годов, не GPU.

Tensor Cores, Triton, остаточные сети и vision transformer

С 2015 года по сегодняшний день глубокое обучение прошло путь от настраиваемого вручную GPU-кода на C++ и свёрточных сетей до аппаратно ускоряемых матричных движков и архитектур Transformer. Эти три вехи определяют, как

Иллюстративное изображение: блок памяти микроконтроллера, не GPU, о котором идёт речь в статье.

Самовнимание, ядра CUDA и FlashAttention

Современные Transformer опираются на матричную математику самовнимания, высокоуровневые GPU-компиляторы вроде Triton и учитывающие память CUDA-ядра вроде FlashAttention, чтобы обрабатывать огромные последовательности ток

Иллюстративные стойки центра обработки данных в Фермилабе, а не конкретная установка для обучения ИИ.

Как CUDA обеспечивает работу глубокого обучения

CUDA (Compute Unified Device Architecture) — это платформа параллельных вычислений и модель программирования NVIDIA, которая позволяет фреймворкам глубокого обучения выполнять тяжёлые математические вычисления на GPU. Ра

Иллюстративная деталь кристалла процессора, а не GPU NVIDIA, о котором идёт речь в статье.

Принятие CUDA: от ранних экспериментов с GPU до прорыва AlexNet

Исследователи ИИ начали осознавать огромное преимущество CUDA в производительности для нейронных сетей в период с 2006 по 2009 год, а окончательный массовый прорыв произошёл в 2012 году. До этого сдвига нейронные сети по

Иллюстративная деталь кристалла процессора, а не GPU NVIDIA, о котором идёт речь в статье.

AlexNet: инженерия CUDA за прорывом 2012 года

В 2012 году прорыв AlexNet доказал, что глубокие нейронные сети в сочетании с GPU с поддержкой CUDA могут превзойти десятилетия традиционной инженерии компьютерного зрения. На соревновании ImageNet Large Scale Visual Rec