AMD поделилась некоторыми интересными данными о возможностях своего оборудования RDNA 3 GPU и XDNA NPU в ориентированных на потребителя рабочих нагрузках искусственного интеллекта.
Графические процессоры AMD RDNA 3 и NPU XDNA обеспечивают надежный набор ориентированных на потребителя возможностей искусственного интеллекта на платформах ПК
Нет никаких сомнений в том, что AMD опередила рынок, предлагая возможности искусственного интеллекта более широкой аудитории ПК благодаря внедрению XDNA NPU в свои APU Ryzen. Первый NPU был выпущен еще в 2023 году с APU Phoenix «Ryzen 7040» и недавно был обновлен серией Hawk Point «Ryzen 8040». Помимо NPU, архитектура графического процессора AMD RDNA 3 также включает в себя большое количество выделенных ядер искусственного интеллекта, которые могут обрабатывать эти рабочие нагрузки, и компания пытается закрепить свой импульс с помощью своего программного пакета ROCm.
Во время последнего вебинара «Встреча с экспертами» компания AMD обсудила, как ее пакет Radeon Graphics, такой как серия RDNA 3, предоставляет геймерам, создателям и разработчикам ряд оптимизированных рабочих нагрузок, в том числе:
- Улучшение качества видео
- Удаление фонового шума
- Преобразование текста в изображение (GenAI)
- Большие языковые модели (GenAI)
- Редактирование фотографий
- Редактирование видео
- Апскейлинг
- Преобразование текста в изображение
- Обучение модели (Linux)
- Платформа ROCm (Linux)
Начиная с графической архитектуры AMD RDNA 3, новейшие графические процессоры, установленные в графических процессорах Radeon RX 7000 и процессорах Ryzen 7000/8000, обеспечивают более чем двукратное повышение производительности искусственного интеллекта между поколениями.
Эти продукты с графическими процессорами предлагают до 192 ускорителей искусственного интеллекта, которые оптимизированы для рабочих нагрузок FP16, оптимизированы в нескольких средах машинного обучения, таких как Microsoft DirectML, Nod.AI Shark и ROCm, а также имеют большие пулы выделенной видеопамяти, что важно для обработки больших наборов данных ( до 48 ГБ), а также имеют более высокую пропускную способность, которая повышается за счет технологии Infinity Cache.
По данным AMD, большинство вариантов использования ИИ на платформе ПК включают модели LLM и Diffusion, которые в основном зависят от вычислительных возможностей FP16 и возможностей памяти оборудования, на котором они работают. Некоторые модели, такие как SDXL (Diffusion), привязаны к вычислительным ресурсам и требуют около 4–16 ГБ памяти, тогда как Llama2-13B и Mistral-8x 7B привязаны к памяти и могут использовать до 23 ГБ памяти.
Как упоминалось ранее, AMD предлагает широкий спектр оборудования, поддерживающего специальное ускорение искусственного интеллекта. Даже видеокарта компании Radeon RX 7600 XT, стоимостью 329 долларов США, имеет 16 ГБ видеопамяти и с точки зрения производительности обеспечивает прирост в 3,6 раза по сравнению с Ryzen 7 8700G в LM Studio, в то время как RX 7900 XT до 8 раз быстрее, чем Ryzen 7 8700G в LM Studio. 8700G.
Производительность LM Studio (чем выше, тем лучше):
- NPU Ryzen 7 8700G: 11 токенов в секунду
- RX 7600 XT 16 ГБ: 40 токенов в секунду
- RX 7900 XT 20 ГБ: 85 токенов в секунду
AMUSE Diffusion (чем меньше, тем лучше):
- NPU Ryzen 7 8700G: 2,6 секунды на изображение
- RX 7600 XT 16 ГБ: 0,97 секунды на изображение
- RX 7900 XT 20 ГБ: 0,6 секунды на изображение
AMD также проводит небольшое сравнение с NVIDIA GeForce RTX, которую зеленая команда называет платформой «Премиум-ПК AI» . Обе линейки предлагают одинаковую поддержку, но AMD показывает, что ее графические процессоры с 16 ГБ памяти продаются по более низкой цене — 329 долларов США (7600 XT), тогда как самый дешевый графический процессор NVIDIA с 16 ГБ памяти начинается примерно с 500 долларов США (4060 TI 16 ГБ). У компании также есть высококлассный стек, который масштабируется до 48 ГБ памяти. AMD ранее также демонстрировала высокую производительность по сравнению с Intel Core Ultra в области искусственного интеллекта по более выгодной цене .
Забегая вперед, AMD рассказывает о том, как развивается ROCm 6.0 и как стек с открытым исходным кодом получает поддержку оборудования потребительского уровня, такого как Radeon RX 7900 XTX, 7900 XT, 7900 GRE, PRO W7900 и PRO W7800. ROCm 6.0 поддерживает модели и алгоритмы машинного обучения PyTorch и ONNX Runtime в ОС Ubuntu 22.03.3 (Linux) и улучшает совместимость за счет добавления INT8 для более сложных моделей.
Компания также пытается сделать ROCm еще более открытым исходным кодом, предлагая разработчикам ряд программных стеков и документации по оборудованию .
AMD и ее пакет ROCm конкурируют с доминирующим стеком NVIDIA CUDA и TensorRT, в то время как Intel также набирает обороты со своим собственным стеком искусственного интеллекта OneAPI . Это три фактора, на которые следует обратить внимание, когда речь идет о рабочих нагрузках ИИ на платформе ПК, поэтому в будущем ожидайте множества инноваций и оптимизаций для существующего оборудования и оборудования следующего поколения.