Почему без людей нейросеть становится чёрным ящиком

Нейросеть умна, в этом сомнений нет. Но вы не понимаете, что у неё внутри происходит. Человек может проверить её работу и заметить ошибки. Без этой проверки контроль пропадает, и она превращается в чёрный ящик.

И однажды вы просыпаетесь и понимаете, что она натворила дел, о которых вы даже не знали.

Поэтому, если владелец бизнеса скажет мне «поставлю нейросеть и уволю менеджеров», первым делом я отвечу: не увольняйте всех. Оставьте двух, самых продвинутых, тех, кто готов работать с технологиями.

Почему двух, если один тоже справится? Потому что это люди. Им нужно уходить в отпуск и подменять друг друга. Если единственный менеджер уйдёт в отпуск, присматривать за нейросетью будет уже некому.

Эти люди нужны, чтобы проверять её работу. Нейросеть делает документ, презентацию или PDF быстро и красиво. А потом начинаешь читать и видишь, сколько там ерунды: за что-то будет стыдно, что-то может стоить денег, особенно в юридических документах. Даже если натравить на результат вторую нейросеть, проверять всё равно человеку.

При этом проверять всё одинаково не нужно. Доверяй, но проверяй, только степень доверия можно регулировать:
• что-то не проверять вовсе: вы уже убедились, что она делает это хорошо, и ничего важного там нет;
• что-то проверять в обычном порядке;
• что-то скрупулёзно.

Регулировать это может только человек, который остался в процессе и понимает, что происходит. Уберите его, и нейросеть станет чёрным ящиком.