В прошлый понедельник, 19 августа, я был горд и взволнован, чтобы представить Cerebras Wafer Scale Engine (WSE) на моем выступлении HotChips.
WSE (произносится как «мудрый») — это крупнейший из когда-либо произведенных коммерческих чипов, созданный для решения проблемы вычислений с глубоким обучением. WSE — это 1,2 триллиона транзисторов, упакованных в один чип размером 215 мм x 215 мм с 400 000 оптимизированных для ИИ ядер, соединенных межсоединением со скоростью 100 Пбит/с. Ядра питаются от 18 ГБ сверхбыстрой встроенной памяти с беспрецедентной пропускной способностью 9 ПБ/с.
Почему это важно? Мы считаем, что глубокое обучение — самая важная вычислительная нагрузка нашего времени. Его требования уникальны, а спрос растет беспрецедентными темпами. Большие учебные задачи часто требуют пета- или даже экзамасштабных вычислений: обучение больших моделей с современными процессорами обычно занимает дни или даже месяцы.
Нам нужен новый процессор для глубокого обучения. В этом разговоре я представил Cerebras WSE — правильный процессор для этой работы, разработанный с нуля для ускорения обучения глубокому обучению с месяцев до минут. В нашей презентации я описываю основную технологию, лежащую в основе WSE, почему большие чипы являются ответом на вычисления с глубоким обучением, а также инженерные проблемы, с которыми мы столкнулись при создании первого в мире движка в масштабе пластины.
Просмотрите слайды здесь, свяжитесь с нами, чтобы узнать больше, или просмотрите нашу страницу карьера, если вы заинтересованы в присоединении к нашей невероятной команде.
