QNAP NAS плюс RTX равны локальной мощности искусственного интеллекта

Новостное издание StorageReview запускает чат-бота с искусственным интеллектом на NAS на базе видеокарты Nvidia RTX A4000, размещая возможности ChatGPT на локальном сервере. Создатели компьютерного оборудования YouTube обычно имеют склонность к необычному и глупому, но StorageReview создал решение, уникальность которого не уступает своей полезности.

Как видно из встроенного видео на YouTube выше, Джордан из StorageReview справился с этой задачей без особых усилий и усилий. Основой проекта является QNAP TS-h1290FX , готовый NAS с 12 слотами NVMe, процессором AMD Epyc и 256 ГБ оперативной памяти «из коробки». Причина использования этого конкретного NAS двоякая: он позволяет добавлять внутренний графический процессор и поддерживает программу виртуализации гипервизора QNAP для создания виртуальных машин (ВМ). К этой оболочке добавлен Nvidia RTX A4000, графический процессор Ampere, который является самой мощной однослотовой видеокартой Nvidia. 

Имея NAS, заполненный терабайтами данных, и готовую к использованию рабочую лошадку RTX, Джордан может использовать новую программу Chat with RTX, разработку Nvidia, которая настраивает работу ChatGPT на ПК с вашей видеокартой, которая может использовать локальные файлы для данных. 

Наличие NAS с искусственным интеллектом внутри может показаться непрактичным, но для мира, который становится все более зависимым от искусственного интеллекта, это решение имеет большой смысл. Использование искусственного интеллекта в корпоративном мире включает в себя анализ и оптимизацию данных и производительности, что потенциально связано с конфиденциальными данными, которые не хотелось бы размещать в открытом Интернете. Онлайн-модель ChatGPT обучается самостоятельному использованию, что вполне оправданно отпугивает пользователей с конфиденциальными данными от потенциальной утечки в базу данных ИИ. Наличие локального чат-бота с искусственным интеллектом, отключенного от открытого Интернета, но подключенного к вашим данным для этих решений, потенциально может изменить правила игры для компаний, ориентированных на безопасность , а размещение этого инструмента на NAS позволяет каждому в сети получить доступ к инструментам искусственного интеллекта. 

Этот проект чрезвычайно полезен в технологической среде YouTube, которая становится все более ориентированной на новинки. Добавление возможностей ChatGPT к NAS, который сам по себе является мощной станцией (накопители NVMe емкостью 15 ТБ становятся все более распространенными в корпоративных условиях, а этот зверь QNAP подходит для 12 из них), не составляет труда для компаний, которые хотят использовать способность ИИ сделать себя более конкурентоспособными в быстро развивающемся мире. Здесь также можно избежать некоторых моральных проблем или страхов, связанных с языковыми моделями ИИ: использование полностью автономной языковой модели защищает вас от кражи ИИ ваших ответов, а обучение бота только на ваших данных гарантирует отсутствие пиратства или кражи данных. других сохраняется после того, как вы загрузите модель LLM для работы в приложении чата.