Ускорители искусственного интеллекта Intel Gaudi 2 являются наиболее жизнеспособной альтернативой чипам NVIDIA, а компания Hugging Face продемонстрировала свою способность генерировать текст с помощью Llama 2.

Ускорители Intel Gaudi 2 продемонстрированы в генерации текста с использованием Llama 2 LLM с открытым исходным кодом, содержащей до 70 миллиардов параметров

По мере того как Intel расширяет свою экосистему программного обеспечения для искусственного интеллекта, компания ориентируется на самые популярные рабочие нагрузки искусственного интеллекта, включая LLM (большие языковые модели). Работа стала возможной благодаря использованию Habana Optimum , который служит библиотеками интерфейсных преобразователей и диффузоров, а также процессоров Intel Habana Gaudi, таких как Gaudi 2. Компания уже продемонстрировала возможности искусственного интеллекта и производительность своих процессоров Gaudi 2 по сравнению с графическими процессорами NVIDIA A100, которые являются одним из них. из популярных вариантов на рынке, но Gaudi 2 проделывает похвальную работу, предлагая более высокую производительность при конкурентоспособной совокупной стоимости владения.

В качестве последней демонстрации Hugging Face демонстрирует простоту генерации текста с помощью Llama 2 (7b, 13b, 70b) с использованием того же конвейера Optimum Habana и ИИ-ускорителя Intel Gaudi 2. Конечный результат показывает, что чип Gaudi 2 не только мог принимать одиночные/множественные запросы, но и был очень прост в использовании, а также мог обрабатывать пользовательские плагины в сценариях.

В условиях, когда революция генеративного искусственного интеллекта (GenAI) в самом разгаре, генерация текста с помощью моделей трансформеров с открытым исходным кодом, таких как Llama 2, стала притчей во языцех. Энтузиасты искусственного интеллекта, а также разработчики стремятся использовать генеративные способности таких моделей для своих собственных сценариев использования и приложений. В этой статье показано, насколько легко генерировать текст с помощью моделей семейства Llama 2 (7b, 13b и 70b) с использованием Optimum Habana и специального класса конвейера — вы сможете запускать модели всего с помощью нескольких строк кода!

Этот пользовательский класс конвейера был разработан, чтобы обеспечить большую гибкость и простоту использования. Более того, он обеспечивает высокий уровень абстракции и осуществляет сквозную генерацию текста, которая включает предварительную и постобработку. Существует несколько способов использования конвейера: вы можете запустить  run_pipeline.py скрипт из репозитория Optimum Habana, добавить класс конвейера в свои собственные скрипты Python или инициализировать с его помощью классы LangChain.

Мы представили собственный конвейер генерации текста на ИИ-ускорителе Intel Gaudi 2, который принимает в качестве входных данных один или несколько запросов. Этот конвейер обеспечивает большую гибкость с точки зрения размера модели, а также параметров, влияющих на качество генерации текста. Кроме того, его очень легко использовать и подключать к вашим сценариям, и он совместим с LangChain.

Intel намерена ускорить развитие своего сегмента искусственного интеллекта в ближайшие годы. В этом году компания планирует представить третью итерацию Gaudi, известную как Gaudi 3, которая, как ожидается, будет использовать 5-нм техпроцесс и, как сообщается, будет быстрее, чем NVIDIA H100, и по значительно более низкой цене. Аналогичным образом, компания также планирует перейти на полностью собственную разработку с использованием графического процессора Falcon Shores следующего поколения, который ожидается в 2025 году. Компания также открывает возможности искусственного интеллекта, такие как интерфейс Llama 2 с PyTorch, для своего потребительского уровня. Графические процессоры Arc A-серии .