Как установить Jan и настроить локальный чат с нейросетью

Инструкция написана для Windows 11, в Windows 10 всё то же самое. На macOS и Linux отличается только установщик. Интерфейс программы на английском, поэтому ниже каждое действие описано по смыслу, а не точным названием кнопки: названия разделов между версиями меняются.

Прикиньте, что выдержит компьютер

Щёлкните правой кнопкой по кнопке «Пуск», откройте «Система» и посмотрите объём оперативной памяти. От него зависит, какую модель получится запустить.

• 8 ГБ — только самые компактные модели, ответы медленные;
• 16 ГБ — модели среднего размера, этого хватает для писем, пересказов и перевода;
• 32 ГБ плюс дискретная видеокарта — ответы почти без задержек.

Освободите на диске 15–20 ГБ про запас: файлы моделей крупные, и вторую модель захочется скачать для сравнения. Если локальные модели вам не нужны и вы будете работать только с облачной по своему ключу, требований к железу практически нет.

Скачайте и установите программу

Откройте официальный сайт Jan и нажмите кнопку загрузки — сайт предложит версию для вашей системы. Запустите скачанный файл из папки «Загрузки» и дождитесь окончания установки. Лишних галочек и сторонних программ в установщике нет.

Скачайте локальную модель

В программе есть раздел с каталогом моделей — обычно он называется словом Hub или открывается из списка выбора модели в чате. Найдите в списке модель и посмотрите на размер файла: он должен быть заметно меньше свободной оперативной памяти.

• Для первого раза берите модель на 3–4 млрд параметров: она весит немного и быстро отвечает.
• Если у модели несколько вариантов сжатия, выбирайте средний — сильно сжатые отвечают хуже.
• Нужен хороший русский — ищите модели, у которых поддержка русского указана отдельно.

Нажмите загрузку и дождитесь окончания. Папку, в которой лежат модели, видно в настройках программы: оттуда их можно удалить вручную, если закончится место.

Начните первый разговор

Откройте новый чат, выберите скачанную модель в списке сверху и задайте вопрос. Первый ответ приходит с задержкой: модель сначала загружается в память. Если появилась ошибка о недостатке памяти, закройте браузер и другие тяжёлые программы или возьмите модель поменьше.

Создайте помощника со своей инструкцией

В Jan можно сохранить роль, которая подставляется в каждый новый чат. Откройте настройки помощника и напишите инструкцию простыми словами: отвечать только по-русски, коротко, без вступлений, не придумывать факты, а при нехватке данных задавать вопрос. От такой инструкции качество ответов меняется сильнее, чем от большинства технических настроек.

Для разных задач удобно держать разных помощников: один переписывает письма, другой пересказывает документы, третий объясняет код.

Подстройте скорость ответов

В настройках модели найдите параметр выгрузки вычислений на видеокарту и размер контекста. Чем больше работы уходит на видеокарту, тем быстрее ответы, но при переборе появится ошибка нехватки видеопамяти. Большой контекст нужен для работы с длинными текстами, но забирает память и замедляет ответы. Меняйте параметры по одному и перезагружайте модель после каждого изменения.

При необходимости подключите облачную модель

Если у вас есть ключ доступа к облачной модели, откройте настройки, найдите раздел поставщиков моделей и вставьте ключ в поле нужного поставщика. После этого облачная модель появится в том же списке выбора, что и локальные, и переключаться между ними можно в любом разговоре.

Проверьте работу без интернета

Отключите Wi-Fi и задайте локальной модели ещё один вопрос. Ответ должен прийти как обычно — значит, всё считается у вас на компьютере. Переписка при этом остаётся в папке программы, её можно скопировать на другой компьютер вместе с историей.

Готово: Jan установлен, локальная модель работает без интернета, помощник настроен под ваши задачи, а при необходимости рядом доступна и облачная модель.

Если что-то пошло не так