Время чтения 4 минуты

Компания AMD объявила о полной поддержке модели искусственного интеллекта Llama 3.1 во всем своем портфолио, включая EPYC, Instinct, Ryzen и Radeon.

Модели Llama 3.1 получают поддержку с первого дня на всем оборудовании AMD: процессоры EPYC, процессоры Ryzen, ускорители Instinct и графические процессоры Radeon. Улучшенные возможности ИИ, Instinct MI300X обеспечивает метаданные

Пресс-релиз: Наша стратегия ИИ в AMD сосредоточена на обеспечении экосистемы ИИ с широким портфелем оптимизированных вычислительных движков обучения и вывода, открытыми и проверенными возможностями программного обеспечения и глубоко укоренившимися совместными инновациями с нашими партнерами и клиентами. Высокая производительность, инновации и широкая совместимость являются основополагающими векторами, движущими эту стратегию по мере развития вселенной ИИ. Значительное внимание мы уделяем обеспечению следующего поколения моделей ИИ для всех, делая преимущества ИИ всеобъемлющими.

С Llama 3.1 LLM расширяет длину контекста до 128K, добавляет поддержку 8 языков и представляет Llama 3.1 405B, которая, по данным Meta, является крупнейшей открытой базовой моделью. С Llama 3.1 405B она позволит сообществу разблокировать новые возможности, такие как генерация синтетических данных и дистилляция моделей.

Мы воодушевлены недавним выпуском моделей Llama 3.1 от Meta и запуском их в лабораториях AMD на нашем широком портфолио вычислительных движков, показывающих положительные результаты. В то же время мы хотим продемонстрировать некоторые впечатляющие работы, проделанные нашими командами с Llama 3, и то, что Llama 3.1 означает для клиентов AMD AI.

Графические ускорители AMD Instinct MI300X и Llama 3.1

Каждое поколение моделей приносит новые возможности и производительность сообществу пользователей, и Llama 3.1 не является исключением, революционизируя сложные диалоги с непревзойденным контекстным пониманием, рассуждением и генерацией текста, работая без сбоев на графическом ускорителе и платформе AMD Instinct MI300X с самого начала.

Графические процессоры AMD Instinct MI300X по-прежнему обеспечивают лидирующие показатели емкости памяти и пропускной способности, что позволяет пользователям запускать один экземпляр Llama 3 70B на одном MI300X и одновременно размещать до 8 параллельных экземпляров на одном сервере.

Но с новой моделью параметров 405B, крупнейшей открытой базовой моделью, потребность в объеме памяти важнее, чем когда-либо. Мы подтвердили, что сервер на базе восьми ускорителей AMD Instinct MI300X может вместить всю модель параметров Llama 3.1 405B с использованием типа данных FP16. Это означает, что организации могут получить значительную экономию средств, упрощенное управление инфраструктурой и повышенную эффективность производительности. Это стало возможным благодаря ведущим в отрасли возможностям памяти платформы AMD Instinct MI300X.

Наконец, Meta использовала последние версии ROCm Open Ecosystem и AMD Instinct MI300X GPU в некоторых частях процесса разработки Llama 3.1. Это продолжение нашего текущего сотрудничества с Meta, и мы с нетерпением ждем дальнейшего развития этого продуктивного сотрудничества.

Процессоры AMD EPYC и Llama 3.1

Помимо графических процессоров для центров обработки данных, AMD предлагает ведущую серверную платформу для вычислений в центрах обработки данных, предлагая высокую производительность, энергоэффективность и совместимость с x86 для различных рабочих нагрузок центров обработки данных с нашими процессорами AMD EPYC. ИИ становится все более важной частью многих приложений центров обработки данных, повышая креативность, производительность и эффективность для множества рабочих нагрузок.

Поскольку большинство современных центров обработки данных поддерживают различные рабочие нагрузки, использование процессоров AMD EPYC обеспечивает клиентам лидирующие показатели производительности корпоративных рабочих нагрузок, энергоэффективности и возможность использования ИИ и LLM для вывода, разработки небольших моделей, тестирования и пакетного обучения.

Использование Llama в качестве эталона превратилось в последовательный, простой в доступе и полезный инструмент, помогающий клиентам центров обработки данных определять ключевые характеристики (производительность, задержка, масштаб), которые определяют оценку технологий и инфраструктуры для помощи в моделировании соответствия потребностям серверов центров обработки данных.

Llama 3.1 расширяет ценность источника критически важных справочных данных за счет большего масштаба, гибкости в создании и синтезе данных, увеличенной длины контекста и языковой поддержки для лучшего соответствия глобальным бизнес-потребностям.

Для тех, кто работает в среде только с CPU, с меньшей моделью, такой как Llama 3 8B, наши ведущие процессоры AMD EPYC 4-го поколения обеспечивают убедительную производительность и эффективность без необходимости ускорения GPU. LLM скромного размера, такие как этот, оказываются основополагающими элементами для реализаций ИИ корпоративного класса.

Возможность тестирования производительности CPU-only с помощью инструментов Llama 3 дала многочисленным клиентам понимание того, что существует множество классов рабочих нагрузок, которые они могут разрабатывать и развертывать на легкодоступной вычислительной инфраструктуре. По мере того, как рабочие нагрузки становятся все более требовательными, а модели становятся больше, та же самая инфраструктура сервера AMD EPYC становится мощным и эффективным хостом для размещения передовых решений ускорения GPU, таких как AMD Instinct или другие сторонние ускорители.

ПК AMD AI и Llama 3.1

Не программист? Нет проблем! Используйте всю мощь Meta’s Llama 3.1 на кончиках пальцев с процессорами AMD Ryzen AI.

Хотя разработчики могут использовать блоки кода и репозитории для начала работы с Llama 3.1, AMD стремится к демократизации ИИ и снижению барьера для входа в сферу ИИ — именно поэтому мы объединились с LM Studio, чтобы представить модель Llama 3.1 от Meta владельцам ПК с процессорами AMD AI.

Чтобы попробовать его, перейдите в  LM Studio  и испытайте современный, полностью локальный чат-бот на базе Llama 3.1 всего за несколько кликов. Теперь вы можете использовать его для набора писем, проверки документов, генерации кода и многого другого!

Графические процессоры AMD Radeon и Llama 3.1

Для пользователей, желающих локально управлять генеративным ИИ, графические процессоры AMD Radeon могут использовать возможности обработки ИИ на устройстве, чтобы открыть новые возможности и получить доступ к персонализированной производительности ИИ в режиме реального времени.

LLM больше не являются прерогативой крупных предприятий с выделенными ИТ-отделами, запускающими сервисы в облаке. Благодаря объединенной мощности избранных настольных графических процессоров AMD Radeon и программного обеспечения AMD ROCm новые LLM с открытым исходным кодом, такие как Llama 2 и 3 от Meta, включая недавно выпущенную Llama 3.1, означают, что даже малые предприятия могут запускать свои индивидуальные инструменты ИИ локально, на стандартных настольных ПК или рабочих станциях, без необходимости хранить конфиденциальные данные в сети.

Настольные системы AMD AI, оснащенные графическим процессором Radeon PRO W7900 с программным обеспечением AMD ROCm 6.1 и процессорами Ryzen Threadripper PRO, представляют собой новое клиентское решение для тонкой настройки и выполнения вывода на LLM с высокой точностью.

Заключение

Поскольку мы расширяем границы ИИ, сотрудничество между AMD и Meta играет решающую роль в продвижении ИИ с открытым исходным кодом. Совместимость Llama 3.1 с графическими процессорами AMD Instinct MI300X, центральными процессорами AMD EPYC, ИИ AMD Ryzen, графическими процессорами AMD Radeon и AMD ROCm предлагает пользователям разнообразный выбор оборудования и программного обеспечения, гарантируя непревзойденную производительность и эффективность. AMD по-прежнему стремится предоставлять передовые технологии, которые способствуют инновациям и росту во всех секторах.