Сервисами ИИ можно пользоваться не только онлайн, но и на собственном компьютере. Никакие данные провайдеру не передаются. Однако производительность в этом случае во многом зависит от вашего собственного оборудования.
Общим для онлайн-сервисов искусственного интеллекта является то, что они предоставляются в центрах обработки данных. Это требует больших усилий и инвестиций, поэтому за использование иногда взимается плата. Кроме того, все запросы передаются провайдеру, а также используются для обучения ИИ.
Если вы предпочитаете хранить личные данные, вопросы и интересы на своем компьютере, вы можете использовать модели искусственного интеллекта без подключения к Интернету . Мы представляем подходящее программное обеспечение для этого.
Ваш собственный компьютер должен обеспечить вычислительную мощность. Результаты зачастую не так хороши, как у ИИ в дата-центре, но во многих случаях достаточны для домашнего использования.
Скорость отклика также медленнее, но это зависит от возможностей железа.
Что такое модель ИИ?
Модель ИИ — это математическое представление. Он используется для прогнозирования результата данной проблемы на основе входных данных.
Модели ИИ используют алгоритмы и машинное обучение, чтобы со временем улучшать свои прогнозы и адаптировать их к новым ситуациям. Чат-боты, такие как Chat-GPT (генеративный предварительно обученный преобразователь), называются моделями большого языка (LLM).
Модели ИИ обучаются с использованием разных данных и языков, обычно используется английский. Запросы можно делать на немецком языке, и ответы обычно также на немецком языке. Однако вопросы на английском языке часто приводят к лучшим результатам.
Чтобы модель ИИ была пригодна в качестве чат-бота, ее необходимо не только снабдить данными (предварительное обучение), но и оптимизировать под соответствующую задачу (тонкая настройка). Только тогда он сможет дополнять тексты или отвечать на вопросы.
Предварительное обучение требует очень больших вычислительных ресурсов и, следовательно, дорого. Ряд моделей теперь доступен по лицензиям с открытым исходным кодом, например, от Meta, Microsoft и Google. На этой основе может осуществляться менее сложная тонкая настройка чат-ботов.
Если вы хотите получить представление об этом, зайдите на https://huggingface.co . После нажатия на «Модели» вы увидите список доступных предложений. Новые добавляются или обновляются почти каждый час.
По большей части вы можете опробовать модели в разделе «Inference API». Вы можете использовать фильтры в левой части окна, чтобы ограничить выбор областью применения или языком.
Модели для меньшего объема оперативной памяти. Загружаемые модели искусственного интеллекта часто настолько велики, что не подходят для использования на ПК. Размер зависит от объема обучающих данных и точности.
Благодаря квантованию объем и, следовательно, требования к оперативной памяти могут быть уменьшены, а скорость обработки увеличена. Сложные вычислительные процессы упрощаются за счет представления их меньшим количеством битов, что, однако, снижает качество модели. Эти модели можно узнать по таким дополнениям, как «Q4» или «INT4» в названии (4-битное целое число).
Найдите наиболее эффективную подсказку: чат-боты обучены использовать естественный язык. Таким образом, вы можете задавать вопросы ИИ, как человек. Модели с дополнением «Instruct» ожидают структурированные запросы, например в виде «[INST] задача [/INST]». Это можно использовать, чтобы поручить ИИ взять на себя определенную роль, что может привести к лучшим результатам.
GPT4All: ИИ для вашего ПК
GPT4All значительно упрощает использование локальной системы чата с искусственным интеллектом. Программное обеспечение предлагает загрузку выбранных моделей ИИ, и вы можете использовать чат без особых усилий по настройке.
Для GPT4All требуется процессор с поддержкой AVX/AVX2, который должен быть доступен на моделях примерно 2011 года выпуска. Для работы программы требуется ПК с оперативной памятью не менее восьми ГБ. Он работает значительно быстрее, если его поддерживает графический чип — желательно от Nvidia. Что именно необходимо, зависит от соответствующей модели ИИ.
После нажатия «Установщик Ubuntu» загрузите файл «gpt4all-installer-linux.run» с https://gpt4all.io . Мы специально тестировали установку под Ubuntu 22.04.3 и Linux Mint 21.3. После того, как вы сохранили файл запуска в каталоге «Загрузки», выполните следующие шесть команд в терминале:
sudo apt update
sudo apt install libxcb-xinerama0 libxcb-cursor0
mkdir ~/Desktop
cd ~/Downloads
chmod +x ./gpt4all-installer-linux.run
./gpt4all-installer-linux.runСледуйте инструкциям мастера установки. После завершения скопируйте средство запуска программы из папки ~/Desktop в ~/Desktop.
Используйте GPT4All для чатов
После первого запуска нажмите «Загрузить модели». GPT4All предлагает несколько моделей разного размера и качества. Для каждой модели указан размер загрузки (от 4 до 8 ГБ) и минимальные требования к оперативной памяти.
Рекомендуются Mistral Open Orca или Mistral Instruct (8 ГБ ОЗУ) и Hermes или Snoozy (16 ГБ ОЗУ) . Для чатов на немецком языке используйте «EM German Mistral». Нажмите «Скачать» для нужной модели.
Также предлагаются модели Chat-GPT-3.5 Turbo и Chat-GPT-4, но для них требуется ключ API, который вы получите после регистрации на https://openai.com .
Использование является платным и оплачивается в зависимости от количества и объема запросов. При использовании этих моделей GPT4All передает данные в Open AI.
После загрузки выберите модель вверху окна. Затем введите запрос в строку ввода. В моделях с открытым исходным кодом скорость ответа зависит от аппаратного обеспечения. Без поддержки графического процессора процесс занимает значительно больше времени.
Используйте GPT4All со своими документами
Знание всех моделей ИИ заканчивается с датой последнего использования обучающих данных. В ограниченной степени база данных может быть расширена собственными документами, содержимое которых затем учитывается в результатах.
В GPT4All также необходимо установить модель Sbert (Sentence Embedding) . Затем нажмите на предпоследний значок на панели инструментов и нажмите «Добавить и удалить». Укажите папку, содержащую текстовые или PDF-файлы по теме.
Введите имя коллекции в поле «Имя коллекции…» и нажмите «Добавить». Затем закройте окно и активируйте сбор. Отправьте запрос, в котором теперь написано «поиск в локальной документации». GPT4All показывает, какие документы он учёл под ответом.
Обратите внимание, что GPT4All использует локальные документы в качестве контекста, который направляет ответ в нужном направлении. По крайней мере, с моделью ЭМ немецкого «Мистраля» возможен запрос типа «Суммировать содержание всех документов».
Однако из-за особенностей работы ИИ результат относится не только к контенту, но и GPT4All генерирует текст с учетом используемых документов.
0 Комментариев