Он ничего не помнит

В конце августа я разбирался, почему мой помощник стал обходиться дороже, чем должен. Задачи те же, а счёт растёт. Замерил и увидел цифру, которая меня, скажем так, отрезвила: три четверти всего, что он может держать в голове за один раз, уходило на чтение его же собственных записок. До первого полезного действия. То есть я платил за то, чтобы он каждый раз перечитывал свою биографию.

Чтобы было понятно, откуда это берётся, надо сказать вещь, которую про нейросети обычно вслух не говорят. У неё нет памяти. Совсем. Когда ты пишешь ей сообщение, она получает всю переписку с самого начала, целиком, и читает заново. Каждый раз. Ощущение, что она «помнит» разговор, есть только потому, что разговор ей каждый раз подкладывают под нос. И те «воспоминания», которые некоторые сервисы показывают в настройках, устроены так же: это записки, их кладут ей на стол вместе с твоим вопросом.

Точнее, память тут вообще неточное слово. Это больше похоже на стол. На стол помещается сколько-то листов, и всё, что на столе, она видит. Чего на столе нет, того для неё не существует. Она не забыла, она этого никогда не знала.

И вот из этого следует всё, что люди про нейросети замечают, но не могут объяснить. Почему длинный чат тупеет: листов всё больше, и на каждый твой вопрос она сначала перечитывает всю гору, включая давно неважное. Почему назавтра она «не помнит», о чём вы договорились: вчерашний разговор на столе не лежит. Почему в какой-то момент она начинает противоречить сама себе: стол переполнился, старое либо выкинули, либо сжали в короткий пересказ, а в пересказе подробности теряются. У меня за один день, 31 августа, такое сжатие случилось двадцать один раз. Двадцать один раз за сутки мой помощник просыпался с конспектом вместо памяти.

Что я с этим сделал, если коротко. Разложил записки в два слоя: короткое оглавление, которое читается всегда, и полные тексты, которые открываются, только когда нужны. Как в книге: сначала содержание, а нужная глава уже по номеру. Стало дешевле, это факт, а насколько он от этого поумнел, честно говоря, ещё не мерил.

Но интереснее другое, и вот в чём прикол. Помощник, который ничего не помнит, заставил меня писать записки так, чтобы их понял человек с улицы. Без «ну ты помнишь», без «как в прошлый раз», потому что прошлого раза для него не было. И выяснилось, что эти записки мне самому нужны не меньше: свои же дела я теперь понимаю лучше, чем до него. Вот это я не планировал.

Так что если у тебя нейросеть «стала тупить» в длинном чате, совет один. Не спорь с ней и не пиши «ты же помнишь». Она не помнит. Открой новый чат и первым сообщением положи на стол только то, что нужно для задачи, обычно это три абзаца. Всё остальное для неё и так не существовало.