Ollama: что это, зачем нужна и чем отличается от облачного API

Ollama — это программа, которая запускает большие языковые модели у вас на компьютере и даёт к ним доступ через чат в терминале и через локальный API. Если говорить совсем просто, это «менеджер и сервер моделей»: он скачивает модель, загружает её в память и отвечает на запросы. Ниже разберём, что такое Ollama и для чего она нужна, какие модели можно запустить, что нужно от железа и чем локальный запуск отличается от работы через облачный API.

Ollama: что это такое простыми словами

Языковая модель — это большой файл с весами. Чтобы получить от него текст, нужна программа, которая загрузит файл в память видеокарты или процессора и будет принимать запросы. Ollama берёт эту работу на себя. Вы вводите одну команду, она скачивает нужную модель, запускает её и открывает интерфейс.

Ключевые свойства, о которых говорит документация проекта:

• работает на macOS, Windows и Linux, есть и официальный Docker-образ ollama/ollama;
• предоставляет REST API; по умолчанию сервер слушает 127.0.0.1:11434;
• поддерживает OpenAI-совместимые маршруты под /v1, так что многие готовые клиенты подключаются без доработок;
• умеет запускать открытые модели из своего каталога и, с недавнего времени, облачные модели, о которых ниже;
• при локальном запуске ваши запросы остаются на вашей машине: в FAQ проекта сказано, что при локальной работе Ollama не видит ваши запросы и данные.

Установка и первый запуск

В README проекта для macOS и Linux приведена команда установки скриптом, для Windows PowerShell-эквивалент, а также ручная загрузка установщика:

curl -fsSL https://ollama.com/install.sh | sh

Скрипт выполняется с вашими правами, поэтому прочитайте его перед запуском или установите программу вручную со страницы загрузки на ollama.com. После установки запуск модели выглядит так:

ollama run gemma4

Название gemma4 взято из README; каталог моделей постоянно обновляется, актуальные имена смотрите на ollama.com/library. При первом запуске модель скачивается (это может быть несколько гигабайт), затем открывается чат. Какие модели сейчас загружены и где они работают, показывает ollama ps: колонка Processor сообщает, что модель целиком на GPU, целиком на CPU или поделена между ними.

Какие модели можно запустить

Ollama работает с открытыми моделями: теми, чьи веса опубликованы. Список большой и меняется, поэтому конкретных названий здесь не приводим: смотрите каталог. У каждой модели на странице указаны размеры вариантов (число параметров), размер файла и возможности, например поддержка изображений или вызова инструментов.

Закрытые модели, такие как Claude или GPT от Anthropic и OpenAI, локально не запускаются: их веса недоступны. К ним обращаются по API, например через шлюз Zukko↗.

Что нужно от железа

Главное ограничение — память. Модель загружается целиком, и её вес плюс память под контекст должны поместиться в видеопамять (быстрый вариант) либо в оперативную память (медленнее). Размер файла указан на странице модели. Точных чисел для вашей машины здесь не дать: они зависят от модели и квантования.

Что полезно знать по документации Ollama:

• поддерживаются видеокарты NVIDIA (с минимальной вычислительной способностью 5.0 и подходящим драйвером), а также другие семейства, список в разделе Hardware support;
• если модели не хватает видеопамяти, часть слоёв уходит на процессор, и скорость падает;
• Docker на macOS не получает доступ к GPU, поэтому там лучше ставить приложение напрямую;
• длина контекста по умолчанию зависит от видеопамяти: менее 24 GiB это 4k токенов, от 24 до 48 GiB это 32k, от 48 GiB это 256k. Для агентов и инструментов рекомендуется не меньше 64 000 токенов, а большее окно требует больше памяти.

Как обратиться к модели по API

Родной API Ollama:

curl http://localhost:11434/api/chat -d '{
  "model": "gemma4",
  "messages": [{"role": "user", "content": "Почему небо голубое?"}],
  "stream": false
}'

Для Python есть пакет ollama, а для любого кода под openai SDK достаточно сменить адрес:

from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1/", api_key="ollama")  # ключ не проверяется
r = client.chat.completions.create(
    model="gemma4",
    messages=[{"role": "user", "content": "Объясни, что такое токен"}],
)
print(r.choices[0].message.content)

Этим же приёмом можно позже направить приложение на облачный шлюз, поменяв только адрес, ключ и имя модели. Про выбор между локальным запуском и API есть отдельная заметка: локальная нейросеть или API↗.

Для чего Ollama нужна на практике

• Локальные эксперименты и разработка. Можно писать код с LLM без затрат на токены и без интернета.
• Работа с чувствительными данными. Запросы не уходят с машины.
• Обучение и знакомство с моделями. Легко попробовать разные модели и размеры.
• Автоматизация на своём сервере. Скрипты, боты, интеграции, которым хватает небольшой модели.
• Тесты. Локальный сервер удобен как заглушка для проверки кода, который потом пойдёт в облако.

Локальный запуск или облачный API

Есть и промежуточный вариант: облачный режим самой Ollama, где модели работают на серверах проекта. Подробности смотрите в документации Ollama, а о самом подходе «нейросеть по API» рассказывает заметка что такое API нейросети↗.

Считаем на примере

Допустим, разработчик делает 200 запросов в день, 30 дней, по 1 000 токенов входа и 300 выхода: 6 000 запросов, 6M токенов входа и 1.8M выхода в месяц. Цены Zukko на 18 октября 2026, $ за 1M токенов:

• glm-5.3-flash (0.04 / 0.04): 6 × 0.04 + 1.8 × 0.04 = $0.24 + $0.072 = $0.312;
• deepseek-v4.1-flash (0.013 / 0.038): 6 × 0.013 + 1.8 × 0.038 = $0.078 + $0.0684 = $0.1464;
• claude-sonnet-5-5 (0.4 / 2): 6 × 0.4 + 1.8 × 2 = $2.4 + $3.6 = $6.

Эти суммы стоит сопоставить не с нулём, а с расходами на железо, которое должно тянуть нужную модель, и с вашим временем на настройку. Для редких запросов облако нередко оказывается проще; для постоянной нагрузки на небольшой модели локальный запуск может окупиться. Актуальные цены: GET https://api.zukko.pro/v1/models.

Частые вопросы

Ollama бесплатная?

Сама программа для локального запуска распространяется открыто. Платить придётся за железо и электричество. Условия облачного режима и тарифы смотрите на сайте Ollama.

Можно ли запустить в Ollama Claude или ChatGPT?

Нет: это закрытые модели. Ollama запускает открытые модели из каталога. К Claude и GPT обращаются по API.

Нужен ли интернет?

Только чтобы скачать модель. После этого локальная модель работает без сети.

Как использовать Ollama вместе со шлюзом?

Пишите код на OpenAI SDK, а адрес, ключ и модель берите из настроек: локально http://localhost:11434/v1/, в облаке https://api.zukko.pro/v1. Доступ из России к шлюзу: оплата СБП, картой MasterCard или криптой.

Если хотите попробовать облачные модели рядом с локальными, создайте ключ в кабинете↗ и подключите его в тот же код, поменяв base_url.