Ошибки ИИ и человека имеют ключевые отличия

Исследователями Натаном Сандерсом и Брюсом Шнайдером была опубликована статья про ошибки систем ИИ. По их мнению, опираясь на личный опыт, каждый человек может предугадать ошибки других людей.

Допустим, многие наверняка ошибутся при решении математической задачи. Мы ждем повторения ошибок – как правило, одна ошибка влечет за собой другую. Мы ждем их увеличения или уменьшения в зависимости от усталости и отвлекающих моментов. И люди ошибаются часто по незнанию – кто ошибается с вычислениями, тот плохо знаком с этой темой.

По мере совершения ошибок современными ИИ, мы могли бы пользоваться нашими возможностями для исправления их результатов. А вот у больших языковых моделей (LLM) ошибки отличаются.

Порой кажется, что ИИ ошибаются случайно, без связки с определенной темой. Ошибки LLM распределены равномерно в разных областях знаний. Для модели нет различий в ошибках при решении математических задач или в том, что капуста съела козу. 

При этом ошибки ИИ нельзя отнести к невежеству. LLM с полной уверенностью будет как утверждать неверное, так и рассуждать о правдивом. Из-за кажущейся непоследовательности LLM не стоит проявлять доверие к их суждениям при решении многоступенчатых задач. При использовании модели ИИ в решении бизнес-задач мало убедиться, что она знает механизмы прибыли – важно понять, что она не забудет, что такое деньги.

Некоторые оплошности ИИ схожи с человеческими. Например, небольшое изменение запроса к LLM приводит к противоположным ответам из-за чувствительности ИИ к подсказкам. С другой стороны, такое же поведение свойственно людям. Если иначе сформулировать вопрос в экспресс-опросе, то и ответ будет другим.

К тому же, LLM склонна к повтору слов, которые часто употреблялись в обучающих данных. Так, модель угадывает знакомое название места – «Америка», когда слышит вопрос про другую экзотическую страну. Так может проявляться в LLM, как и у человека, эффект привязки – говорится первое, что на ум пришло. Человек также «отвлекается» при прочтении текста, но запоминает информацию в начале и в конце. Исследователи нашли способ устранения этого недостатка – обучение ИИ получению информации из длинных текстов.

Иногда поведение LLM-моделей похоже на человеческое. Так, исследователи утверждают, что LLM-модели лучше работают за вознаграждение или при получении угрозы. Кроме того, методы «взлома» LLM (сделать так, чтобы выставленные разработчиками ограничения были забыты) напоминают социальную инженерию. К примеру, прикинуться другим человеком или посчитать запрос шуткой.

Авторы резюмируют, что иногда людям свойственно совершать непонятные ошибки, что бывает редко и указывает на серьезные проблемы. Таких людей стараются не допускать к должностям, требующим принятия решений. Также важно ограничить системы ИИ задачами исходя из их возможностей и не забывать о том, какими последствиями чреваты их ошибки.