После запуска NVIDIA Chat с RTX AMD теперь предлагает пользователям своего собственного локализованного чат-бота с искусственным интеллектом на основе GPT на базе LLM, который может работать на процессорах Ryzen AI и графических процессорах Radeon 7000.

У NVIDIA Chat с RTX появился конкурент: AMD представляет собственного локализованного чат-бота на базе LLM, который может работать на процессорах Ryzen AI и графических процессорах Radeon 7000

В прошлом месяце NVIDIA запустила своего AI-чат-бота « Chat with RTX », который доступен на графических процессорах RTX 40 и RTX 30 и ускоряется с помощью набора функций TensorRT-LLM, который обеспечивает более быстрые результаты GenAI на основе данных, которые вы предоставляете ему со своего компьютера. ПК или, другими словами, локализованный набор данных. Теперь AMD предлагает своего собственного чат-бота GPT на базе LLM, который может работать на различном оборудовании, например, на компьютерах Ryzen AI, включающих APU Ryzen 7000 и Ryzen 8000 с NPU XDNA, а также новейшие графические процессоры Radeon 7000 с ядрами AI-ускорителей. .

Компания AMD опубликовала блог, в котором предоставляет руководство по установке, как использовать свое оборудование для запуска собственного локализованного чат-бота на основе LLM (больших языковых моделей) на основе GPT. Для процессоров AMD Ryzen AI вы можете получить стандартную копию LM Studio для Windows , а для графических процессоров Radeon RX 7000 — техническую предварительную версию ROCm . Полное руководство представлено ниже:

1. Загрузите правильную версию LM Studio:

Для процессоров AMD Ryzen	Для видеокарт AMD Radeon RX серии 7000
ЛМ Студия – Windows	LM Studio — техническая превью ROCm

2. Запустите файл.

3. На вкладке поиска скопируйте и вставьте следующий поисковый запрос в зависимости от того, что вы хотите запустить:

а. Если вы хотите запустить Mistral 7b, найдите: « TheBloke/OpenHermes-2.5-Mistral-7B-GGUF » и выберите его из результатов слева. Обычно это будет первый результат. В этом примере мы используем Мистраль.

б. Если вы хотите запустить LLAMA v2 7b, найдите « TheBloke/Llama-2-7B-Chat-GGUF » и выберите его из результатов слева. Обычно это будет первый результат.

в. Здесь вы также можете поэкспериментировать с другими моделями.

4. На правой панели прокрутите вниз, пока не увидите  файл модели Q4 KM  . Нажмите «Загрузить».

а. Мы рекомендуем  Q4 KM  для большинства моделей на Ryzen AI. Подождите, пока он закончит загрузку.

5. Перейдите на вкладку чата. Выберите модель в центральном раскрывающемся меню вверху по центру и дождитесь завершения загрузки.

6. Если у вас есть  компьютер AMD  Ryzen AI,  вы можете начать общение!

а. Если у вас  видеокарта AMD  Radeon , пожалуйста:

я. Проверьте «Разгрузка графического процессора» на правой боковой панели.

ii. Переместите ползунок до упора на «Макс».

iii. Убедитесь, что AMD ROCm отображается как обнаруженный тип графического процессора.

iv. Начать чат!

Наличие локализованного чат-бота на базе искусственного интеллекта может значительно облегчить жизнь и работу, если его правильно настроить. Вы можете эффективно выполнять свою работу и получать правильные результаты на основе ваших запросов и пути данных, на который ориентирован LLM. NVIDIA и AMD ускоряют темпы внедрения функций искусственного интеллекта для аппаратного обеспечения потребительского уровня, и это только начало; в будущем ожидайте новых инноваций, поскольку сегмент ПК с искусственным интеллектом достигнет новых высот.