Как запустить нейросеть локально с Ollama: Полный гид по железу и настройке в 2026 году
Локальный запуск нейросетей перестал быть уделом энтузиастов с серверами за $10,000. В 2026 году благодаря инструменту Ollama и формату квантования GGUF любой разработчик с современной видеокартой или ноутбуком Apple Silicon может запустить мощнейшие открытые модели прямо на своем рабочем месте со скоростью 40-90 токенов в секунду.
AM LABРасчет видеопамяти (VRAM) и выбор видеокарты
Главное золотое правило локального ИИ: вся модель целиком должна помещаться в быструю видеопамять (VRAM). Если модель не влезает хотя бы на 500 МБ, она сбрасывает слои в медленную оперативную память компьютера (System RAM), и скорость падает в 10-20 раз!
Формула расчета необходимой видеопамяти: VRAM (ГБ) = (Количество параметров в миллиардах * Бит на вес / 8) * 1.25 (запас на KV-кэш контекста)
- 8 ГБ VRAM (RTX 3060 8GB, RTX 4060): идеально для моделей 7B-8B в 4-битном квантовании (Qwen 2.5 7B, Llama 3.1 8B).
- 12-16 ГБ VRAM (RTX 3060 12GB, RTX 4070 Ti, RTX 4080): золотой стандарт для моделей 14B (Qwen 2.5 Coder 14B, DeepSeek-R1-Distill-14B).
- 24 ГБ VRAM (RTX 3090 / 4090): запуск моделей 32B с комфортным контекстом 16k токенов.
- Apple Silicon Mac (M2/M3/M4 с 36-128 ГБ Unified Memory): возможность запускать даже гигантские модели 70B на одном устройстве!
Развертывание связки Ollama + Open-WebUI через Docker Compose
Разверните полноценную автономную студию с графическим веб-интерфейсом и поддержкой GPU:
version: '3.8'
services:
ollama:
image: ollama/ollama:latest
container_name: ollama
restart: always
ports:
- "11434:11434"
volumes:
- ./ollama_data:/root/.ollama
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities: [gpu]
open-webui:
image: ghcr.io/open-webui/open-webui:main
container_name: open-webui
restart: always
ports:
- "3000:8080"
environment:
- OLLAMA_BASE_URL=http://ollama:11434
volumes:
- ./openwebui_data:/app/backend/data
depends_on:
- ollamaСоздание собственного Modelfile с кастомным поведением
Вы можете создать собственную модель на базе открытых весов со встроенным системным промптом и нужной температурой:
- 1Создайте текстовый файл Modelfile:
- 2FROM qwen2.5-coder:14b
- 3PARAMETER temperature 0.2
- 4PARAMETER top_p 0.95
- 5PARAMETER num_ctx 32768
- 6SYSTEM "Ты — ведущий инженер по информационной безопасности. Твоя задача — находить уязвимости SQL-инъекций и XSS в коде на Go и Python."
- 1Соберите модель командой:
- 2ollama create sec-auditor -f Modelfile
- 1Запустите:
- 2ollama run sec-auditor
Аппаратная верификация и метрики кремния
vllm serve how-to-run-ai-locally-ollama-guide --tensor-parallel-size 4 --gpu-memory-utilization 0.95 --max-model-len 32768 --kv-cache-dtype fp8
Artur Moiseyev
AI Systems Architect
Независимый AI-исследователь и архитектор распределенных систем. Разрабатываю мультиагентные системы, открытые reasoning-модели и инфраструктуру реального времени.
Связанные статьи справочника
AM LABQwen 2.5 Coder 32B и 72B: Открытая модель, догнавшая Claude 3.5 Sonnet в реальном программировании
Серия моделей Qwen 2.5 Coder от Alibaba установила новые рекорды в бенчмарках EvalPlus и SWE-bench. Тестируем квантование 32B на потребительских GPU и подключение к Cursor и Cline.
AM LABGroq LPU против NVIDIA H100: Битва за скорость инференса и энергоэффективность в 2026 году
Почему LPUs достигают 500+ токенов/сек на Llama 3.3 70B, тогда как GPU упираются в пропускную способность памяти HBM. Сравнение детерминированной памяти SRAM и кластеров GPU.
AM LABЛучшие открытые нейросети для видеокарт RTX 3060 и 4060: Тир-лист моделей для 8 и 12 ГБ VRAM
Практический тир-лист открытых моделей для популярных видеокарт: какие квантования (Q4_K_M, EXL2) дают максимальную скорость без падения точности на 8 и 12 ГБ VRAM.