Что не так с нейросетями сегодня
У современного ИИ две проблемы: безопасность данных и массивность моделей. Большие языковые модели (LLM) работают на серверах высокотехнологичных дата-центров, и каждый пользователь, переписываясь с нейросетями, отправляет запросы и получает ответы через интернет. Преимущества и недостатки такой схемы можно сравнить с тем, как мы собираем вещи, отправляясь в путешествие. Использование облачной нейросети — это как если бы вы отказались от личного гардероба и арендовали одежду там, куда поехали. Кстати, такие услуги — одежда в аренду — уже предлагаются путешественникам в Японии.
С одной стороны, это хорошо и удобно, потому что вам не нужно хранить базу данных ИИ на своём устройстве и следить за её актуальностью (насколько это много памяти, скажем чуть дальше). В случае с путешествиями вам не нужно платить за место для багажа, не надо переживать о его сохранности, не приходится заботиться, не устарели ли и не запачкались ли ваши вещи, — об этом заботится сервис.
Но, с другой стороны, вы жертвуете приватностью.
Если вы берёте гардероб в аренду, вы не знаете, что происходит с одеждой до и после вашего использования. Обычно мы спокойно берём в аренду коньки или туфли в боулинге, но бельё, например, даже в магазин вернуть не получится, если не подошло. Кое-какие вещи должны оставаться личными: это часть гигиены. И мы не только про одежду.
Тем, кто предпочитает путешествовать со своим чемоданом, надо научиться брать с собой немного вещей и компактно их складывать — но так, чтобы с собой было всё нужное и ничего не помялось в чемодане. Тем, кто хочет использовать персональную нейросеть, надо «сжать» ИИ до компактных размеров — но так, чтобы сохранить интеллект модели и скорость работы.
Неужели нет доступных решений?
Сегодня уже существуют модели, достаточно компактные для того, чтобы установить их у себя на домашнем компьютере. Но они всё равно довольно тяжёлые и, как правило, заметно глупее облачных. Кроме того, такие модели, скорее всего, на вашем ноутбуке будут работать медленно, если вы не позаботились, чтобы там была мощная видеокарта (для игр, видеомонтажа или майнинга).
Подсказка для тех, кто хочет покопаться в личной нейросети. Что можно установить на домашний компьютер, например MacBook Air, чтобы нормально работало? Только модели, которые имеют ограничения по количеству параметров:
| Будут нормально работать — модели до 3 млрд параметров | Будут работать, но с трудом — модели до 8 млрд параметров |
| LLaMA 3 с 1 млрд параметров — весит до 3 ГБ | LLaMA 3 с 8 млрд параметров — весит до 16 ГБ |
| LLaMA 3 с 3 млрд параметров — весит до 7 Гб | Mistral с 7 млрд параметров — весит до 14 ГБ |
| Gemma с 2 млрд параметров — весит до 4 ГБ | Qwen с 8 млрд параметров — весит до 18 ГБ |
| Phi-3 Mini с 3,8 млрд параметров — весит до 8 ГБ |
