Центральный процессор в несколько раз обошёл по производительности связку сразу из восьми графических процессоров при глубоком обучении нейросетей. Звучит как что-то из научной фантастики, не так ли? Но исследователи из Университета Райса (Rice University) с помощью Intel Xeon доказали, что это реально.
Графические процессоры всегда намного лучше подходили для глубокого обучения нейросетей, нежели центральные процессоры. Это связано с архитектурой GPU, которые состоят из множества мелких ядер, которые способны параллельно выполнять очень много небольших задач, что как раз и требуется для тренировки нейросетей. Но оказалось, что и центральные процессоры при должном подходе могут быть очень эффективны в глубоком обучении.
Сообщается, что при использовании алгоритма глубокого обучения SLIDE процессор Intel Xeon с 44 ядрами оказался в 3,5 раза производительнее, нежели связка из восьми ускорителей вычислений NVIDIA Tesla V100. Пожалуй, это первый раз, когда CPU не только сравнялся с GPU в подобном сценарии, но и превзошёл их, причём очень заметно.
В выпущенном университетом пресс-релизе говорится, что алгоритм SLIDE не нуждается в графических процессорах, так как использует совершенно иной подход. Обычно при обучении нейросетей используется методика обратного распространения ошибки обучения, которая использует перемножение матриц, которое является идеальной нагрузкой для GPU. В свою очередь SLIDE превращает обучение в проблему поиска, которая решается с помощью хеш-таблиц.
Источник: 3dnews.ru
