Суперкомпьютер Frontier на базе AMD использует 3 000 своих 37 000 графических процессоров MI250X для достижения колоссального количества прогонов LLM в 1 триллион параметров, сравнимого с ChatGPT-4

Суперкомпьютер Frontier устанавливает новые рекорды в области обучения LLM благодаря процессорам AMD EPYC и графическим процессорам Instinct

Суперкомпьютер Frontier — ведущий суперкомпьютер в мире и единственная действующая в настоящее время экзафлопсная машина. Эта машина оснащена оборудованием AMD EPYC & Instinct, которое не только обеспечивает высочайшую производительность высокопроизводительных вычислений , но и является вторым по эффективности суперкомпьютером на планете . Отчет об Arxiv , представленный отдельными лицами, показал, что суперкомпьютер Frontier достиг способности обучать один триллион параметров посредством «настройки гипер параметров», устанавливая новый отраслевой стандарт.

Прежде чем мы перейдем к сути, давайте кратко рассмотрим, что есть в суперкомпьютере Frontier. Суперкомпьютер от ORNL был разработан с нуля с использованием процессоров AMD EPYC Trento третьего поколения и графических ускорителей Instinct MI250X. Он установлен в Национальной лаборатории Ок-Ридж (ORNL) в Теннесси, США, где им управляет Министерство энергетики (DOE). В настоящее время он достиг производительности 1,194 экзафлопс/с при использовании 8 699 904 ядер. Архитектура HPE Cray EX сочетает в себе процессоры AMD EPYC третьего поколения, оптимизированные для высокопроизводительных вычислений и искусственного интеллекта, с ускорителями AMD Instinct 250X и межсоединением Slingshot-11. Frontier удалось сохранить первое место в списке суперкомпьютеров Top500.org, продемонстрировав свое доминирование.

Новые рекорды, достигнутые Frontier, являются результатом реализации эффективных стратегий по обучению LLM и наиболее эффективному использованию бортового оборудования. Команда смогла добиться заметных результатов благодаря обширному тестированию 22 миллиардов, 175 миллиардов и 1 триллиона параметров, а полученные цифры являются результатом оптимизации и тонкой настройки процесса обучения модели. Результаты были достигнуты за счет использования до 3000 AI-ускорителей AMD MI250X, которые показали свое мастерство, несмотря на то, что являются относительно устаревшим аппаратным обеспечением.

Что еще интереснее, так это то, что весь суперкомпьютер Frontier содержит 37 000 графических процессоров MI250X, поэтому можно представить, какую производительность можно получить при использовании всего пула графических процессоров для питания LLM. AMD также находится на пороге внедрения своих графических ускорителей MI300 в совершенно новых суперкомпьютерах с надежной экосистемой ROCm 6.0 , которая еще больше повысит производительность искусственного интеллекта.

Будущее ждет сегмент серверов и центров обработки данных, и важно отметить, что Frontier в настоящее время использует оборудование, которое не является относительно новым в отрасли. Учитывая постоянный прогресс в сегменте генеративного искусственного интеллекта, очевидно, что рынкам потребуется больше вычислительной мощности, поэтому достижения в области аппаратного обеспечения, предназначенного для этого сегмента, жизненно важны для развития следующего поколения.