Считать до ста — и споткнуться

Задайте взрослому человеку простую задачу: посчитайте вслух от одного до ста. Никаких усилий, пара минут, и вы на месте. А теперь попробуйте то же самое с современным разговорным ИИ-ботом. Результат, как выясняется, может вас удивить — и не в хорошем смысле.

Колонка в нидерландском издании Eindhovens Dagblad обращает внимание на неожиданный пробел в возможностях нейросетей: продвинутые разговорные боты, способные писать эссе, переводить тексты и поддерживать сложные диалоги, спотыкаются на элементарном счёте до сотни. Это не единичный сбой конкретной модели, а системная особенность, которая ставит под вопрос наши представления о «всемогуществе» искусственного интеллекта, подобно тому как философы спорят о природе сознания ИИ. Это не единичный сбой конкретной модели, а системная особенность, которая ставит под вопрос наши представления о «всемогуществе» искусственного интеллекта.

Почему это странно

Казалось бы, что может быть проще? Числовой ряд от 1 до 100 — это линейная последовательность, которую осваивает ребёнок в начальной школе. Логика проста: каждое следующее число на единицу больше предыдущего. Но для больших языковых моделей, на которых работают современные чат-боты, эта задача оказывается неожиданно сложной.

Проблема в том, как устроены эти системы. Вопреки распространённому заблуждению, они не «думают» в привычном смысле слова. Языковые модели работают на основе вероятностей: они предсказывают следующее слово (или токен) в последовательности, опираясь на огромные объёмы текстов, на которых были обучены. Им не нужна внутренняя модель мира или понимание чисел — им нужна статистическая закономерность. Это напоминает парадокс Джевонса, где эффективность технологий приводит к неожиданным последствиям.

Вот тут и кроется загвоздка. В обучающих данных последовательность чисел от 1 до 100 встречается, но далеко не так часто, как можно подумать. Люди редко пишут полные числовые ряды в текстах. Чаще встречаются фрагменты: «от 1 до 10», «числа от 20 до 30», «в период с 1990 по 2000 год». Модель запоминает эти паттерны, но не выводит из них общее правило.

Где именно боты ошибаются

Характер ошибок показателен. Боты могут уверенно начать: один, два, три… дойти до десяти, двадцати, а потом сбиться. Кто-то «перепрыгивает» числа, кто-то начинает повторяться, кто-то выдаёт последовательность, которая лишь отдалённо напоминает правильную. В некоторых случаях модель «застревает» на одном числе и не может сдвинуться дальше.

Особенно трудным оказывается переход через десятки. Дойти до 29, а потом вместо 30 выдать 20 или 40 — типичная ошибка. Переходы между разрядами требуют от модели переключения паттерна, а именно такие переключения ей даются тяжелее всего. Ведь в текстах, на которых обучалась модель, переход «…28, 29, 30…» встречается реже, чем, скажем, «…3, 4, 5…».

Любопытно, что задача усложняется, если попросить бота считать не вслух, а «про себя» или с определённым интервалом. Счёт до ста с шагом два или пять — уже почти непреодолимое испытание для многих моделей. А если добавить условие «назови только чётные числа» — ошибки становятся ещё более частыми и хаотичными.

Дело не в «глупости»

Автор колонки подчёркивает: эти провалы не означают, что ИИ «глуп». Напротив, те же самые модели блестяще справляются с задачами, которые человеку кажутся куда более сложными: пишут программный код, анализируют юридические документы, сочиняют стихи в заданном стиле. Просто их «мышление» устроено принципиально иначе.

Человек, считая до ста, опирается на понимание числовой системы. Мы усваиваем правило: после 29 идёт 30, после 39 — 40, и так далее. Это знание универсально и переносится на любые числа. Языковая модель таким знанием не обладает. У неё есть только статистика: какие последовательности токенов чаще встречались в обучающих данных.

Поэтому бот не «понимает», что после 99 идёт 100. Он просто генерирует наиболее вероятное продолжение последовательности. Если в его данных переход «…98, 99, 100…» встречался редко, модель может выдать что угодно — от «101» до «90» или вообще случайный набор символов.

Что это говорит о границах ИИ

Этот, казалось бы, курьёзный факт на самом деле иллюстрирует фундаментальное ограничение современных нейросетей. Они невероятно хороши в распознавании паттернов, но не способны к абстрактному мышлению и обобщению правил. Как и в случае с нейробиологическими исследованиями, здесь видно, что ИИ лишь имитирует, а не понимает. Всё, что они умеют, — это имитация на основе статистики.

Именно поэтому боты так уверенно отвечают на сложные вопросы и так нелепо ошибаются в простых. Они не «знают» ответы — они «угадывают» наиболее вероятные последовательности слов. И там, где вероятность высока (в хорошо изученных темах), результат впечатляет. А там, где паттерн редок (как полный числовой ряд), модель даёт сбой.

Колонка в Eindhovens Dagblad поднимает важный вопрос: насколько мы можем доверять системам, которые спотыкаются на элементарных операциях? Если ИИ не может посчитать до ста, стоит ли полагаться на него в более ответственных задачах — например, в медицине, юриспруденции или финансах?

Автор не даёт однозначного ответа, но подводит читателя к мысли: нам стоит быть осторожнее в оценке возможностей искусственного интеллекта. Восхищение его способностями не должно заслонять очевидные пробелы. И, возможно, прежде чем доверять ИИ сложные решения, стоит проверить, справится ли он с простым счётом.

Скептический взгляд

Впрочем, есть и другая сторона медали. Часть проблем может быть связана не с фундаментальными ограничениями, а с особенностями конкретных реализаций. Разные модели показывают разные результаты: некоторые справляются со счётом до ста лучше, некоторые хуже. Это говорит о том, что проблема не является непреодолимой.

Разработчики постоянно совершенствуют архитектуры нейросетей, добавляя механизмы, которые помогают моделям лучше работать с числами. Отдельные модели уже научились решать арифметические задачи, которые раньше были для них непосильными. Возможно, через несколько лет счёт до ста станет для ботов такой же простой задачей, как и для человека.

Но пока этого не произошло, сам факт остаётся фактом: самые продвинутые разговорные ИИ, доступные сегодня, могут блестяще рассуждать о квантовой физике и при этом безнадёжно путаться в числах от одного до ста. И это, пожалуй, лучшая иллюстрация того, насколько далеки современные нейросети от человеческого интеллекта — при всей их впечатляющей мощи.

Так что в следующий раз, когда чат-бот поразит вас глубокомысленным ответом, попробуйте задать ему простой вопрос: «Посчитай до ста». Результат может оказаться не менее поучительным, чем любой философский диалог с искусственным интеллектом.