NVIDIA еще больше повышает производительность искусственного интеллекта в 3 раза для графических процессоров GeForce RTX, ПК RTX и рабочих станций RTX с помощью новейшего драйвера

Май 22, 2024 | Железо и Программы | Нет комментариев

0
(0)
Время чтения 2 минуты

NVIDIA еще больше повысила производительность искусственного интеллекта своих графических процессоров GeForce RTX и платформ RTX AI для ПК с помощью последней версии драйвера R555 .

Графические процессоры NVIDIA GeForce RTX и ПК с RTX предлагают самую высокую производительность искусственного интеллекта во всех сегментах, теперь увеличенную в 3 раза благодаря новейшим драйверам

Во время сегодняшней сборки Microsoft NVIDIA анонсировала ряд новых оптимизаций производительности искусственного интеллекта, которые теперь доступны на платформе RTX, включая графические процессоры GeForce RTX, рабочие станции и ПК.

Новые оптимизации специально нацелены на ряд LLM (больших языковых моделей), которые лежат в основе новейшего опыта генеративного искусственного интеллекта. Используя новейшие драйверы R555, графические процессоры NVIDIA RTX и платформы AI для ПК теперь обеспечивают до 3 раз более высокую производительность искусственного интеллекта с помощью ONNX Runtime (ORT) и DirectML. Эти два инструмента используются для локального запуска моделей искусственного интеллекта на ПК с Windows.

В дополнение к этому WebNN также был ускорен с помощью RTX через DirectML. Это интерфейс прикладного программирования, позволяющий веб-разработчикам развертывать новые модели искусственного интеллекта. Microsoft работает с NVIDIA над дальнейшим повышением производительности графического процессора RTX и добавлением поддержки DirectML в PyTorch. Ниже приведен полный список возможностей, которые новые драйверы R555 предлагают для графических процессоров GeForce RTX и ПК с RTX:

  • Поддержка метакоманды DQ-GEMM для обработки квантования только по весу INT4 для LLM.
  • Новые методы нормализации RMSNorm для моделей Llama 2, Llama 3, Mistral и Phi-3.
  • Механизмы группового и многозапросного внимания, а также внимание скользящего окна для поддержки Mistral
  • Обновления KV на месте для улучшения внимания
  • Поддержка GEMM тензоров, не кратных 8, для улучшения производительности контекстной фазы.
Источник изображения: NVIDIA

В тестах производительности ORT, генеративного расширения искусственного интеллекта, выпущенного Microsoft, NVIDIA показывает прирост по всем направлениям как для типов данных INT4, так и для FP16. Повышение производительности происходит до трех раз благодаря методам оптимизации, добавленным в эти расширения для LLM, таких как Phi-3, Llama 3, Gemma и Mistral.

Помимо этих улучшений, NVIDIA лидирует в сфере потребительских ПК с искусственным интеллектом благодаря своему мощному пакету TensorRT и TensorRT-LLM . Компания также предлагает широкий спектр решений на базе аппаратного обеспечения искусственного интеллекта, встроенного в ее графические процессоры, например тензорных ядер.

Эти решения включают в себя революционную технологию DLSS Super Разрешение , NVIDIA ACE , RTX Remix , Omniverse , Broadcast , RTX Video и ряд других технологий. Графические процессоры NVIDIA обеспечивают производительность вычислений искусственного интеллекта до 1300 TOPS, что намного опережает самые быстрые чипы, вышедшие в этом году, которые, как ожидается, превысят лишь 100 TOPS. Кроме того, эти ПК будут оснащены новейшими графическими процессорами NVIDIA RTX, что еще больше усилит платформу RTX AI для ПК и продвинет сегмент AI в потребительском пространстве.

Насколько публикация полезна?

Нажмите на звезду, чтобы оценить!

Средняя оценка 0 / 5. Количество оценок: 0

Оценок пока нет. Поставьте оценку первым.

Подпишитесь на нашу рассылку

AliExpress WW

0 Комментариев

Оставить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

 

Не копируйте текст!