Как установить GPT4All и настроить ответы по своим документам

Инструкция написана для Windows 11, в Windows 10 шаги те же. На macOS и Linux отличается только установщик. Интерфейс программы на английском, поэтому действия ниже описаны по смыслу: ищите раздел с чатом, список моделей, раздел документов и настройки.

Оцените возможности компьютера

Щёлкните правой кнопкой по кнопке «Пуск», откройте «Система» и посмотрите объём оперативной памяти — от него зависит выбор модели.

• 8 ГБ — компактные модели, ответы по несколько слов в секунду;
• 16 ГБ — модели среднего размера, этого хватает для пересказов и вопросов по документам;
• 32 ГБ и дискретная видеокарта — ответы почти без ожидания.

Освободите на диске хотя бы 15 ГБ. Если процессор старше примерно десяти лет, программа может не запуститься: ей нужны современные наборы инструкций.

Скачайте и установите программу

Откройте официальную страницу GPT4All и нажмите загрузку версии для Windows. Запустите скачанный файл из папки «Загрузки» и пройдите установку, оставив настройки по умолчанию. Лишних галочек и сторонних программ в установщике нет.

Скачайте модель

Откройте раздел со списком моделей. У каждой подписан размер файла и требуемая память — выбирайте ту, чей размер заметно меньше вашей свободной оперативной памяти. Для начала подойдёт компактная модель на 3–4 млрд параметров.

Нажмите загрузку и дождитесь окончания: это несколько минут при обычном домашнем интернете. Если нужной модели в списке нет, её можно скачать отдельно в формате GGUF и положить файл в папку моделей — адрес папки указан в настройках программы.

Проверьте чат

Перейдите в раздел чата, выберите скачанную модель в списке сверху и задайте простой вопрос. Первый ответ приходит с задержкой: модель загружается в память. Если появилась ошибка о нехватке памяти, закройте браузер и другие тяжёлые программы либо возьмите модель поменьше.

Задайте системную инструкцию

В настройках модели найдите поле системной инструкции и напишите, как отвечать: только по-русски, коротко, по делу, не выдумывать факты, а при нехватке данных прямо об этом сказать. Эта короткая инструкция улучшает ответы сильнее, чем любые технические параметры.

Подготовьте папку с документами

Соберите файлы, по которым нужны ответы, в одну папку. Лучше всего программа работает с текстовыми файлами, документами и PDF, в которых есть текстовый слой. Отсканированные страницы без распознанного текста она прочитать не сможет.

• Начните с небольшой папки — десяток-два файлов. Так разбор закончится за минуты, и вы поймёте, насколько ответы полезны.
• Не указывайте весь диск целиком: программа будет долго читать лишнее и забьёт память.
• Разложите разные темы по разным папкам: тогда в чате можно подключать только нужную.

Подключите папку в программе

Откройте раздел работы с документами и добавьте подготовленную папку: укажите её название и путь. Программа начнёт читать файлы и строить по ним указатель — в списке видно, сколько документов обработано. Большая папка может разбираться десятки минут, и в это время компьютер будет заметно загружен.

Когда разбор закончится, вернитесь в чат и включите эту коллекцию документов для текущего разговора. Теперь задавайте вопросы по содержимому файлов: в ответе программа покажет, на какие документы опиралась.

Проверьте ответы и работу без интернета

Задайте два-три вопроса, ответы на которые вы знаете точно, и сверьте их с источниками, которые показала программа. Так вы поймёте, насколько можно доверять выводам: локальная модель иногда пересказывает документ неточно, поэтому важные цифры лучше проверять в самом файле.

Напоследок отключите Wi-Fi и задайте ещё один вопрос — ответ должен прийти как обычно. Готово: GPT4All работает без интернета, а ваши документы остаются только на вашем компьютере.

Если что-то пошло не так