Принятие CUDA: от ранних экспериментов с GPU до прорыва AlexNet

Исследователи ИИ начали осознавать огромное преимущество CUDA в производительности для нейронных сетей в период с 2006 по 2009 год, а окончательный массовый прорыв произошёл в 2012 году. До этого сдвига нейронные сети повсеместно считались слишком медленными и вычислительно затратными, чтобы быть практичными.

Ключевые вехи в принятии CUDA

• 2006 (Выпуск CUDA): NVIDIA запустила CUDA, позволив исследователям программировать GPU на стандартном C/C++ вместо сложных графических шейдеров (вроде OpenGL).

• 2007–2008 (Ранние эксперименты с нейронными сетями): Первые последователи начали переносить алгоритмы нейронных сетей на CUDA. В 2008 году исследователь Раджат Райна и команда Эндрю Нга в Стэнфорде продемонстрировали, что GPU с CUDA могут обучать глубокие сети доверия до 70 раз быстрее, чем многоядерные CPU.

• 2009–2010 (Рекордные бенчмарки): Лаборатория Юргена Шмидхубера (включая Дана Чирешана) использовала GPU с ускорением CUDA для обучения глубоких нейронных сетей, побивших рекорды распознавания рукописного текста (MNIST), доказав, что более глубокие сети можно обучать без специализированных суперкомпьютеров.

• 2012 (Переломный момент AlexNet): Определяющий момент наступил на конкурсе ImageNet. Алекс Крижевский, Илья Суцкевер и Джеффри Хинтон использовали пользовательские ядра CUDA на двух GPU NVIDIA GTX 580 для обучения AlexNet, сократив частоту ошибок классификации изображений почти вдвое по сравнению с традиционными методами. Эта победа запустила современную революцию глубокого обучения.

• 2014 (Запуск cuDNN): После взлёта AlexNet NVIDIA выпустила cuDNN (библиотеку CUDA Deep Neural Network), предоставив каждому исследователю ИИ оптимизированные готовые строительные блоки GPU для фреймворков вроде Caffe, Theano, TensorFlow и PyTorch.

Почему это изменило всё

До CUDA обучение нейронной сети среднего размера на CPU занимало недели или месяцы, делая исследования методом проб и ошибок практически невозможными. CUDA сократила это время обучения до дней или часов, позволив исследователям масштабировать наборы данных, наращивать число слоёв и изобретать современные архитектуры, такие как трансформеры и большие языковые модели.