Время чтения 2 минуты

NVIDIA еще больше повысила производительность искусственного интеллекта своих графических процессоров GeForce RTX и платформ RTX AI для ПК с помощью последней версии драйвера R555 .

Графические процессоры NVIDIA GeForce RTX и ПК с RTX предлагают самую высокую производительность искусственного интеллекта во всех сегментах, теперь увеличенную в 3 раза благодаря новейшим драйверам

Во время сегодняшней сборки Microsoft NVIDIA анонсировала ряд новых оптимизаций производительности искусственного интеллекта, которые теперь доступны на платформе RTX, включая графические процессоры GeForce RTX, рабочие станции и ПК.

Новые оптимизации специально нацелены на ряд LLM (больших языковых моделей), которые лежат в основе новейшего опыта генеративного искусственного интеллекта. Используя новейшие драйверы R555, графические процессоры NVIDIA RTX и платформы AI для ПК теперь обеспечивают до 3 раз более высокую производительность искусственного интеллекта с помощью ONNX Runtime (ORT) и DirectML. Эти два инструмента используются для локального запуска моделей искусственного интеллекта на ПК с Windows.

В дополнение к этому WebNN также был ускорен с помощью RTX через DirectML. Это интерфейс прикладного программирования, позволяющий веб-разработчикам развертывать новые модели искусственного интеллекта. Microsoft работает с NVIDIA над дальнейшим повышением производительности графического процессора RTX и добавлением поддержки DirectML в PyTorch. Ниже приведен полный список возможностей, которые новые драйверы R555 предлагают для графических процессоров GeForce RTX и ПК с RTX:

• Поддержка метакоманды DQ-GEMM для обработки квантования только по весу INT4 для LLM.
• Новые методы нормализации RMSNorm для моделей Llama 2, Llama 3, Mistral и Phi-3.
• Механизмы группового и многозапросного внимания, а также внимание скользящего окна для поддержки Mistral
• Обновления KV на месте для улучшения внимания
• Поддержка GEMM тензоров, не кратных 8, для улучшения производительности контекстной фазы.

В тестах производительности ORT, генеративного расширения искусственного интеллекта, выпущенного Microsoft, NVIDIA показывает прирост по всем направлениям как для типов данных INT4, так и для FP16. Повышение производительности происходит до трех раз благодаря методам оптимизации, добавленным в эти расширения для LLM, таких как Phi-3, Llama 3, Gemma и Mistral.

Помимо этих улучшений, NVIDIA лидирует в сфере потребительских ПК с искусственным интеллектом благодаря своему мощному пакету TensorRT и TensorRT-LLM . Компания также предлагает широкий спектр решений на базе аппаратного обеспечения искусственного интеллекта, встроенного в ее графические процессоры, например тензорных ядер.

Эти решения включают в себя революционную технологию DLSS Super Разрешение , NVIDIA ACE , RTX Remix , Omniverse , Broadcast , RTX Video и ряд других технологий. Графические процессоры NVIDIA обеспечивают производительность вычислений искусственного интеллекта до 1300 TOPS, что намного опережает самые быстрые чипы, вышедшие в этом году, которые, как ожидается, превысят лишь 100 TOPS. Кроме того, эти ПК будут оснащены новейшими графическими процессорами NVIDIA RTX, что еще больше усилит платформу RTX AI для ПК и продвинет сегмент AI в потребительском пространстве.