Запустите небольшую модель на текущем компьютере и измерьте результат. Покупку имеет смысл привязывать к конкретной нехватке памяти или скорости.
Что занимает память
RAM — оперативная память компьютера; VRAM — память дискретной видеокарты. Для полного размещения модели на GPU важна свободная VRAM. У систем с объединённой памятью CPU и GPU используют общий ресурс, часть которого нужна операционной системе.
Помимо весов модели, память расходуют контекст, KV-кэш и рабочие буферы. Параллельные запросы увеличивают нагрузку. Размер файла на SSD нельзя считать полным требованием к памяти.
Оценка весов: только отправная точка
Грубая арифметика для плотной модели: число параметров × число бит / 8. Для 8 млрд параметров при 4 битах получается около 4 ГБ только на веса. Реальный файл и расход памяти отличаются из-за формата, метаданных и неквантизованных компонентов. Это расчёт, не измерение.
| Плотная модель | Условные веса при 4 битах | Что добавится |
|---|---|---|
| 3 млрд параметров | Около 1,5 ГБ | Контекст, буферы, служебные данные |
| 8 млрд параметров | Около 4 ГБ | То же; большой контекст может заметно увеличить расход |
| 14 млрд параметров | Около 7 ГБ | Запас сверх весов обязателен |
| 32 млрд параметров | Около 16 ГБ | Нельзя рассчитывать на размещение целиком в 16 ГБ VRAM |
На что смотреть в характеристиках
- GPU: объём памяти, поддержка точной модели карты выбранной программой, драйвер и ОС. Проверяйте таблицы совместимости NVIDIA, AMD и других платформ.
- RAM: свободная память после запуска ОС, браузера и рабочих приложений. Частичная выгрузка с GPU в RAM может снизить скорость.
- CPU: поддерживаемые инструкции, число ядер и пропускная способность памяти. Работа на CPU возможна в совместимых движках, но её скорость нужно измерять.
- SSD: место для нескольких файлов моделей, кэша и обновлений. SSD хранит файлы, но не заменяет VRAM.
- Питание и охлаждение: учитывайте длительную нагрузку, шум, корпус и требования производителя карты.
Три сценария проверки
Ноутбук без дискретной GPU
Проверьте небольшую квантизованную модель, короткий контекст и один запрос. Оцените приемлемость задержки для черновиков.
ПК с видеокартой
Выберите файл с запасом относительно свободной VRAM. Сравните полный GPU-запуск и частичную выгрузку.
Изображения и видео
Сверяйте требования конкретного workflow: разрешение, число кадров, дополнительные модели. Оценки для текстовых LLM сюда не переносятся.
Несколько пользователей
Проверяйте очередь, одновременные запросы и время ответа под нагрузкой. Успешный одиночный запуск ещё не характеризует сервер.
Чек-лист перед покупкой
- Запишите точную модель, файл, квантизацию, контекст и тип задач.
- Проверьте совместимость программы с ОС и GPU.
- Найдите измерение на сопоставимых настройках или протестируйте нужную конфигурацию.
- Посчитайте стоимость оборудования, электричества и обслуживания.
- Покупайте под измеренное ограничение, а не под количество параметров в рекламе.
Ollama: поддержка оборудования · LM Studio: системные требования · ComfyUI: требования. Расчёт объёма весов и порядок выбора оборудования — редакционные пояснения, не гарантия совместимости.
Выберите сценарий и получите короткий план первого опыта.
Собрать свой план