Ollama — бесплатная программа с открытым кодом, которая запускает большие языковые модели прямо на вашем компьютере. Вы скачиваете модель один раз, после чего общаетесь с ней как с чат-ботом, но без интернета и без отправки текста на чужие серверы. Работает на Windows, macOS и Linux.
Главное отличие от онлайн-сервисов в том, что вся работа идёт у вас. Запрос не покидает компьютер, переписка не хранится в чужом аккаунте, платить за обращения не нужно, а лимитов нет — ограничение одно: мощность вашего железа. Платой за это становится качество: модель, которая помещается в домашний компьютер, пишет заметно слабее крупных облачных моделей и знает меньше.
Что умеет Ollama
- Библиотека моделей — на сайте разработчика собраны популярные открытые модели для текста, кода и разбора изображений. Каждая выложена в нескольких размерах: от маленькой, которая запустится почти на любом ноутбуке, до большой для компьютера с мощной видеокартой.
- Приложение с окном чата — после установки есть обычное окно: выбрали модель, написали вопрос, получили ответ. Разбираться в командной строке для этого не нужно.
- Работа из командной строки — тем, кому так удобнее, доступны короткие команды: скачать модель, запустить разговор, посмотреть список установленных, удалить ненужную.
- Полная работа без интернета — сеть нужна один раз, чтобы скачать модель. Дальше можно отключиться: в самолёте, на даче и в дороге модель работает так же.
- Локальный сервер для других программ — Ollama поднимает на компьютере адрес, к которому обращаются другие приложения. Так к локальной модели подключают редакторы кода, программы для заметок и свои небольшие инструменты.
- Использование видеокарты — если в компьютере есть подходящая видеокарта, Ollama задействует её и отвечает в разы быстрее. На компьютерах Apple с их собственными процессорами ускорение работает сразу.
- Свои настройки модели — можно сохранить модель с постоянной инструкцией («отвечай кратко и по-русски») и своими параметрами, чтобы не повторять её в каждом разговоре.
- Облачные модели — по данным разработчика, в программе можно запускать модели не только у себя, но и в облаке Ollama; для этого нужен аккаунт, и запрос в этом случае уходит на серверы сервиса.
Кому подходит
- Тем, кто не хочет отправлять рабочие тексты в онлайн-сервисы: черновики договоров, внутренние документы, переписку.
- Тем, кому нужна нейросеть без аккаунта, подписки и лимитов на количество вопросов.
- Тем, кто работает там, где интернета нет или он нестабильный.
- Разработчикам: локальная модель подключается к редактору кода и своим программам через адрес на компьютере.
- Тем, кто просто хочет понять, как это устроено внутри: модели открытые, их можно менять и сравнивать.
- Не подходит, если нужен готовый сильный помощник на слабом ноутбуке и русский интерфейс: программа на английском, а на слабом железе ответы будут медленными и простыми.
Плюсы
- Данные не уходят с компьютера
- Бесплатно и без лимитов на количество вопросов
- Работает без интернета после скачивания модели
- Открытый код и большая библиотека готовых моделей
- Подключается к другим программам на компьютере
Минусы
- Интерфейс только на английском
- Нужны оперативная память и место на диске
- Модели слабее крупных облачных нейросетей
- Без видеокарты ответы приходят медленно
- Часть возможностей удобнее использовать из командной строки
Сколько стоит
Сама программа бесплатна и с открытым кодом, без рекламы и платной версии. Модели из библиотеки тоже скачиваются бесплатно — у каждой своя лицензия, и у части из них коммерческое применение ограничено, это написано на странице модели.
Платить придётся только за железо, если нынешнего компьютера не хватает: больше оперативной памяти или видеокарта с большим объёмом памяти заметно ускоряют работу. Отдельно оплачиваются облачные модели Ollama, но для локального запуска они не нужны.
Как установить
- Проверьте компьютер: для маленьких моделей нужно не меньше 8 ГБ оперативной памяти и несколько гигабайт свободного места на диске, для моделей побольше — 16 ГБ и больше.
- Откройте официальный сайт ollama.com и скачайте установщик для своей системы — Windows, macOS или Linux.
- Запустите файл. Установка проходит без вопросов и не предлагает сторонних программ; права администратора обычно не требуются.
- Откройте приложение и скачайте первую модель — лучше начать с небольшой, чтобы понять, насколько быстро отвечает ваш компьютер.
- Напишите вопрос по-русски в окне чата. Первый ответ может появиться с задержкой: модель загружается в память.
Частые вопросы
Работает ли Ollama в России?
Да, сайт открывается, программа и модели скачиваются, а дальше всё работает на вашем компьютере, так что от доступа в интернет результат не зависит.
Какой компьютер нужен?
Для самых маленьких моделей достаточно обычного ноутбука с 8 ГБ оперативной памяти, но отвечать он будет медленно. Комфортнее с 16 ГБ и больше, а главное ускорение даёт видеокарта с собственной памятью или компьютер Apple на процессоре Apple.
Данные точно никуда не уходят?
При локальном запуске — да: модель работает на вашем компьютере, и переписка остаётся там же. Интернет нужен, только чтобы скачать модель и обновить программу. Исключение — облачные модели: их запросы уходят на серверы сервиса, и это видно по названию модели.
Есть ли русский язык?
Интерфейса на русском нет. Но сами модели понимают русский и отвечают по-русски, качество зависит от модели: крупные справляются неплохо, маленькие путают падежи и строят неловкие фразы.
Чем Ollama отличается от LM Studio?
Задача одна — запускать модели у себя. LM Studio сделана как обычная программа с подробным окном настроек и поиском моделей внутри, Ollama устроена проще и лучше подходит, когда локальную модель нужно подключить к другим программам на компьютере.
