Битва квантований 2026: EXL2 против GGUF и AWQ (Скорость токенов, VRAM и потеря качества)
Сжатие весов нейросети (Quantization) из исходного 16-битного формата (FP16) в 4-битный — обязательный шаг для локального инференса. Однако между форматами GGUF, EXL2 и AWQ существует колоссальная разница в архитектуре вычислений, скорости работы и поддержке железа. Разбираем реальные тесты на видеокартах NVIDIA RTX 3090 и 4090.
AM LABАрхитектурные отличия трех форматов
- GGUF (llama.cpp): Универсальный швейцарский нож. Умеет сбрасывать часть слоев в системную оперативную память (CPU Offloading), работает на Mac Metal, AMD и Intel. Идеален для запуска моделей, которые слегка не влезают в VRAM.
- EXL2 (ExLlamaV2): Высокоскоростной монстр для чистых видеокарт NVIDIA. Поддерживает дробный битрейт (например, 4.25 bpw) и использует оптимизированные кастомные ядра CUDA. Выдает фантастическую скорость, но категорически не умеет работать через процессор.
- AWQ (Activation-aware Weight Quantization): Корпоративный стандарт для серверов vLLM. Сохраняет 1% самых важных весов в повышенной точности, минимизируя потерю перплексии.
Результаты тестов: Токены в секунду на модели Qwen 2.5 14B (RTX 4090)
- GGUF (Q4_K_M через llama.cpp): 68 токенов в секунду.
- AWQ (4-bit через vLLM): 94 токена в секунду.
- EXL2 (4.0 bpw через ExLlamaV2): 142 токена в секунду (абсолютный рекорд скорости!)
Запуск инференса на ExLlamaV2 на Python
Пример высокоскоростного скрипта генерации:
from exllamav2 import ExLlamaV2, ExLlamaV2Config, ExLlamaV2Cache, ExLlamaV2Tokenizer
from exllamav2.generator import ExLlamaV2BaseGenerator
model_dir = "./models/Qwen2.5-Coder-14B-EXL2-4.0bpw"
config = ExLlamaV2Config(model_dir)
model = ExLlamaV2(config)
cache = ExLlamaV2Cache(model, max_seq_len=8192)
model.load()
tokenizer = ExLlamaV2Tokenizer(config)
generator = ExLlamaV2BaseGenerator(model, cache, tokenizer)
output = generator.generate_simple("Напиши быструю функцию сортировки на C++", max_new_tokens=500)
print(output)Аппаратная верификация и метрики кремния
vllm serve benchmarking-exl2-vs-gguf-vs-awq-hardware --tensor-parallel-size 4 --gpu-memory-utilization 0.95 --max-model-len 32768 --kv-cache-dtype fp8
Artur Moiseyev
AI Systems Architect
Независимый AI-исследователь и архитектор распределенных систем. Разрабатываю мультиагентные системы, открытые reasoning-модели и инфраструктуру реального времени.
Связанные статьи справочника
AM LABQwen 2.5 Coder 32B и 72B: Открытая модель, догнавшая Claude 3.5 Sonnet в реальном программировании
Серия моделей Qwen 2.5 Coder от Alibaba установила новые рекорды в бенчмарках EvalPlus и SWE-bench. Тестируем квантование 32B на потребительских GPU и подключение к Cursor и Cline.
AM LABGroq LPU против NVIDIA H100: Битва за скорость инференса и энергоэффективность в 2026 году
Почему LPUs достигают 500+ токенов/сек на Llama 3.3 70B, тогда как GPU упираются в пропускную способность памяти HBM. Сравнение детерминированной памяти SRAM и кластеров GPU.
AM LABКак запустить нейросеть локально с Ollama: Полный гид по железу и настройке в 2026 году
Запуск Llama 3.3, Qwen 2.5 Coder и DeepSeek-R1 офлайн на своем компьютере: расчет видеопамяти (VRAM), квантование GGUF, настройка Modelfile и Docker Compose.