Лимит в розетке. Часть 1

На днях я задал своему помощнику вопрос, который, подозреваю, задавал себе каждый, кто плотно работает с нейросетью. Какая самая мощная нейросеть, которую можно поставить у себя дома, чтобы железо при этом стоило вменяемых денег? Причина простая. Мне очень нравится та, которой я пользуюсь, но у меня постоянно кончаются лимиты. И дело не в том, что я плохо оптимизирую. Это ограничения вендора, то есть той компании, которая нейросеть продаёт, они у неё в настройках, и я на них повлиять не могу. Хотелось бы без ограничений и с сопоставимым качеством. Честно говоря, я ждал ответа вида «вот такая машина, вот столько стоит».

Ответ оказался другим, и он, скажем так, отрезвил.

Сначала про то, что такое нейросеть физически, потому что без этого непонятно, где она ломается. Это огромный файл с числами. Чтобы она работала, файл должен целиком лежать в оперативной памяти компьютера, причём именно в оперативной, той, что быстрая, диск тут не считается. Самые сильные из открытых нейросетей, которые вообще можно скачать, весят сотни гигабайт, а самая крупная больше терабайта. Домашнего компьютера с такой памятью не существует, это уже серверная стойка. В домашнюю машину влезают те, что поменьше, и они, соответственно, глупее. На коротких задачах отстают немного. Но на длинной работе, когда надо держать в голове большой проект и делать двадцать шагов подряд, разница накапливается, и вот там её видно.

Ладно, допустим, я согласен на чуть глупее. Дальше начинается второе, и оно хуже. В прошлом посте я писал, что у нейросети нет памяти и она перед каждым ответом заново перечитывает всё, что лежит у неё на столе. Так вот скорость этого перечитывания зависит от железа. Есть замер: на одной из самых дорогих настольных машин, какие вообще продаются, большая открытая нейросеть читает вопрос объёмом в десяток страниц почти пятнадцать минут. Пятнадцать минут она его просто читает, до первой буквы ответа. И так перед каждым шагом. То есть я хотел убрать лимит, а получил бы другой лимит. Только он висит не у вендора в настройках, а у меня в розетке.