Поскольку Nvidia и Intel недавно представили своих локальных чат-ботов с искусственным интеллектом, похоже, что AMD не хочет оставаться в стороне и также опубликовала собственное решение для владельцев процессоров Ryzen и Radeon. За пять или шесть шагов пользователи могут начать взаимодействовать с чат-ботом на базе искусственного интеллекта, который работает на их локальном оборудовании, а не в облаке — опыта программирования не требуется.
Руководство AMD требует, чтобы пользователи имели либо чип Ryzen AI для ПК, либо графический процессор серии RX 7000. Сегодня Ryzen AI доступен только на высокопроизводительных APU Ryzen на базе Phoenix и Hawk Point со встроенной графикой Radeon 780M или 760M. Это говорит о том, что, хотя Ryzen 5 8600G поддерживается, Ryzen 5 8500G может не работать… за исключением того, что в самом приложении в качестве требования указан только «ЦП с поддержкой AVX2», что означает, что он должен работать (возможно, очень медленно) в широком диапазоне линейка процессоров.
Пользователям необходимо загрузить и установить LM Studio , у которой есть версия ROCm для пользователей серии RX 7000 — еще раз обратите внимание, что стандартный пакет также работает с процессорами Intel и графическими процессорами Nvidia. После установки и запуска LM Studio просто найдите нужный LLM, например Llama 2 7B, оптимизированный для чата. AMD рекомендует использовать модели с маркировкой «Q4 K M», которая указывает на определенный уровень квантования (4 бита) и другие характеристики. В то время как пользователи процессоров Ryzen на данный момент могут свободно обсуждать это с ботом — и неясно, используется ли вообще NPU, но мы предполагаем, что это не так — пользователям графических процессоров серии RX 7000 придется открыть правую сторону. панели и вручную включите разгрузку графического процессора и полностью перетащите ползунок разгрузки в положение «макс».
Учебное пособие AMD означает, что существует по крайней мере один простой в использовании официальный метод запуска чат-ботов с искусственным интеллектом на любом потребительском оборудовании AMD, Intel и Nvidia. Неудивительно, что Nvidia была первой со своим приложением Chat with RTX , которое, естественно, работает только на графических процессорах Nvidia. Чат с RTX, пожалуй, является наиболее совершенным из решений, поскольку он может анализировать документы, видео и другие файлы. Кроме того, поддержка этого чат-бота Nvidia распространяется еще на 30-ю серию, а поддержка 20-й серии может рассматриваться.
Между тем, решения Intel в области искусственного интеллекта CPU/NPU и GPU находятся в затруднительном положении . Вместо использования приложения для демонстрации местного чат-бота с искусственным интеллектом Intel продемонстрировала, как можно использовать Python для его написания. Хотя пользователям придется писать код не так уж и долго, наличие какого-либо кода вообще станет барьером для многих потенциальных пользователей. Кроме того, ответы чата отображаются в командной строке, что не совсем кричит о «передовом искусственном интеллекте». Вместо этого вы можете попробовать LM Studio, хотя, похоже, он пока не имеет поддержки Intel GPU или NPU, поэтому он будет просто использовать ваш процессор.
Хотя у AMD нет собственного приложения для чат-ботов с искусственным интеллектом, такого как Nvidia, в плане функций она, похоже, продвинулась дальше, чем Intel, поскольку имеется, по крайней мере, аппаратная поддержка графического процессора ROCm. Следующим шагом для AMD, вероятно, станет создание собственной версии Chat с RTX или, по крайней мере, работа с разработчиками LM Studio, чтобы обеспечить больше функций для оборудования AMD. Возможно, мы даже увидим функциональность искусственного интеллекта, интегрированную в набор драйверов Radeon Adrenalin — AMD действительно проводит оптимизацию искусственного интеллекта на уровне драйверов , а набор драйверов часто получает новые функции, такие как Fluid Motion Frames .