И когда компьютеры снова станут персональными. Мы поговорили с экспертом в машинном обучении Денисом Кузнеделевым, который разрабатывает методы сжатия нейросетей почти без потери качества, и расспросили его о том, как сжимать нейросети и что в этом сложного.
10 сентября 2026У современного ИИ две проблемы: безопасность данных и массивность моделей. Большие языковые модели (LLM) работают на серверах высокотехнологичных дата-центров, и каждый пользователь, переписываясь с нейросетями, отправляет запросы и получает ответы через интернет. Преимущества и недостатки такой схемы можно сравнить с тем, как мы собираем вещи, отправляясь в путешествие. Использование облачной нейросети — это как если бы вы отказались от личного гардероба и арендовали одежду там, куда поехали. Кстати, такие услуги — одежда в аренду — уже предлагаются путешественникам в Японии.
С одной стороны, это хорошо и удобно, потому что вам не нужно хранить базу данных ИИ на своём устройстве и следить за её актуальностью (насколько это много памяти, скажем чуть дальше). В случае с путешествиями вам не нужно платить за место для багажа, не надо переживать о его сохранности, не приходится заботиться, не устарели ли и не запачкались ли ваши вещи, — об этом заботится сервис.
Но, с другой стороны, вы жертвуете приватностью.
Если вы берёте гардероб в аренду, вы не знаете, что происходит с одеждой до и после вашего использования. Обычно мы спокойно берём в аренду коньки или туфли в боулинге, но бельё, например, даже в магазин вернуть не получится, если не подошло. Кое-какие вещи должны оставаться личными: это часть гигиены. И мы не только про одежду.
Тем, кто предпочитает путешествовать со своим чемоданом, надо научиться брать с собой немного вещей и компактно их складывать — но так, чтобы с собой было всё нужное и ничего не помялось в чемодане. Тем, кто хочет использовать персональную нейросеть, надо «сжать» ИИ до компактных размеров — но так, чтобы сохранить интеллект модели и скорость работы.
Сегодня уже существуют модели, достаточно компактные для того, чтобы установить их у себя на домашнем компьютере. Но они всё равно довольно тяжёлые и, как правило, заметно глупее облачных. Кроме того, такие модели, скорее всего, на вашем ноутбуке будут работать медленно, если вы не позаботились, чтобы там была мощная видеокарта (для игр, видеомонтажа или майнинга).
Подсказка для тех, кто хочет покопаться в личной нейросети. Что можно установить на домашний компьютер, например MacBook Air, чтобы нормально работало? Только модели, которые имеют ограничения по количеству параметров:
| Будут нормально работать — модели до 3 млрд параметров | Будут работать, но с трудом — модели до 8 млрд параметров |
| LLaMA 3 с 1 млрд параметров — весит до 3 ГБ | LLaMA 3 с 8 млрд параметров — весит до 16 ГБ |
| LLaMA 3 с 3 млрд параметров — весит до 7 Гб | Mistral с 7 млрд параметров — весит до 14 ГБ |
| Gemma с 2 млрд параметров — весит до 4 ГБ | Qwen с 8 млрд параметров — весит до 18 ГБ |
| Phi-3 Mini с 3,8 млрд параметров — весит до 8 ГБ |
Для сравнения: топовые модели, доступные в облаке, — ChatGPT, Gemini, DeepSeek, LLaMA — используют уже около триллиона параметров (если что, один триллион равен тысяче миллиардов). Это разница в интеллекте моделей, которую вы заметите.
Цель современных разработчиков — сделать умную и быструю нейросеть, которая поместится на смартфоне или ноутбуке и не будет поглощать всю доступную вычислительную мощность. Такое решение вернёт нам контроль над нашими данными и позволит использовать ИИ для чувствительной информации без опасений. Это как мечты о суперодежде из универсальной ткани, которая и греет, и остужает, и лёгкая, и не мнётся, и не пачкается — можно взять пару вещей и они закроют все потребности в путешествии.
И решение уже близко! Правда, пока только для ИИ. Про суперодежду мы расскажем, когда появятся новости.
Денис помог нам разложить технологию сжатия в набор простых списков идей разного уровня сложности.
ИИ хранит информацию в виде чисел, каждый токен кодируется их набором. Отдельные числа сами по себе не имеют явной интерпретации, но вместе они помогают модели учитывать связи между токенами и контекст их использования (с какими токенами они чаще встречаются). Это значит, что, работая с нейросетями, мы работаем с числами. И значения чисел важны для понимания смысла слов, а значит, для интеллекта модели.
Как правило, большие модели обладают большими способностями. Методы, сжимающие нейронные сети за счёт уменьшения числа параметров, обычно приводят к существенному снижению качества работы модели и ухудшению пользовательского опыта. Мы этого не хотим.
Для работы нейросети требуются не только вычислительные мощности, но и память компьютера. Она используется для перекачки больших массивов чисел (через которые закодированы информация) при обработке запроса и формировании ответа, а на это требуется время. Чем больше информации надо обрабатывать, тем дольше работает нейросеть
Компьютеры имеют дело с записями чисел в виде нулей и единиц. Количество символов при записи одного числа — битов — может различаться, хотя на практике часто встречаются форматы на 8, 16 или 32 бита. Больше 32 сейчас в нейросетях не используется, это максимальный уровень детализации. Большинство нейросетей используют 16-битную запись.
Если мы сокращаем запись одного числа с 16 бит (символов) до 8, мы сокращаем общее количество символов в системе в два раза! Но сократить длину записи числа с 16 бит до 8 — это примерно то же самое, что округлить число или уменьшить количество знаков после запятой: иногда значение не меняется совсем, а иногда может измениться довольно существенно.
Один из методов сжатия нейросетей заключается в том, чтобы сократить длину записи чисел до необходимого минимума. Этот метод называется «квантизация». Можно провести аналогию с тем, как некоторые туристы, собираясь в пеший поход с рюкзаком на три недели, укорачивают шнурки и даже ручку зубной щётки: остаётся только щетина и немного пластика. Получается квантизация походного снаряжения.
Когда сжимаешь ИИ методом квантизации и сокращаешь 16-значное число до 8 знаков, неизбежно возникают ошибки. Разные методы квантизации имеют разные преимущества и недостатки.
Например, NVFP4 (NVIDIA FP4) — 4-битный формат квантизации с плавающей точкой, где масштаб хранится в FP8-формате, один масштаб на 16 параметров. Обеспечивает более точное представление весов, чем MXFP4, с потерей качества около 4–6% (сохраняет до 94–96% качества модели), но работает медленнее примерно на 10–20%. Используется для аккуратного сжатия моделей с минимальной потерей качества.
Или MXFP4 (Microscaling FP4) — более грубый 4-битный формат с масштабом в виде степеней двойки (E8M0), один масштаб на 32 параметра. Быстрее NVFP4, но с большей потерей качества (около 10–12%, сохраняет 88–90% качества с улучшениями). Предназначен для ускорения работы моделей с некоторым снижением точности.&tab;
Новый метод MR-GPTQ предлагает изящный способ минимизации ошибок — это улучшенный способ сжатия, который сначала аккуратно сжимает самые чувствительные параметры, а потом менее уязвимые. Такой подход помогает сохранить качество модели (до 96% для NVFP4 и до 93% для MXFP4), при этом не замедляя работу. Метод основан на базовом GPTQ, но добавляет оптимизацию масштабов и умные правила, чтобы уменьшить ошибки при округлении параметров и компенсировать их.
В методе MR-GPTQ для улучшения точности квантизации весов модели применяются так называемые повороты. Веса — это матрица числовых значений в базе данных ИИ, а поворот — преобразование всех её значений, при котором сохраняется соотношение весов между собой. Это позволяет изменить распределение весов так, чтобы уменьшить выбросы и сделать их более «сглаженными» и близкими к нормальному (гауссовскому) распределению. В результате квантизация становится более точной, так как параметры меньше отличаются друг от друга по масштабу и округление приводит к меньшей ошибке.
Применение квантизации MR-GPTQ значительно ускоряет работу моделей за счёт уменьшения объёма данных для работы компьютера. Основное время работы нейросети уходит не на вычисления, а на перекачку параметров в памяти, поэтому уменьшение длины записи чисел с 16 до 8 или 4 бит даёт ускорение примерно в 2–4 раза. А на пользовательской видеокарте RTX 5090 было достигнуто шестикратное ускорение генерации! Такое нам нужно.
Хотите больше тяжёлых хардкорных объяснений? Вы можете пойти дальше и изучить кое-что ещё:
1. Почитайте статью Дениса и команды, которая называется Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization.
2. Подпишитесь на канал Дениса в Телеграме под названием «КПД», что означает «Квантование, прунинг и дистилляция» — всё это методы сжатия ИИ. Начать можно как раз с поста про MR-GPTQ.
Сжатие — это один из ключевых факторов, который определит, как ИИ будет использоваться в ближайшие годы.
Дата-сайентисты прогнозируют, что методы сжатия нейросетей приведут к трём приятным последствиям:
Подобные разработки ведут и другие исследовательские центры: например, Австрийский институт технологий (AIT) — в активном сотрудничестве с Яндексом, Cornell Lab (США), Samsung Research (Южная Корея), Huawei.
Так что мы полны оптимизма и в ближайшем будущем ждём большого прорыва на пути к компактным нейросетям, благодаря которому автономный ИИ поместится в колонке Алисы или даже в левом наушнике Яндекс Дропс.
