Сэм Альтман, глава OpenAI, заявил на подкасте Relentless 25 июля: «Мы сейчас, типа, в сингулярности». И добавил: «Я ждал этого всю жизнь, и думаю, это будет невероятно, крайне позитивно, потрясающе для мира». За несколько дней до этого OpenAI раскрыла, что две её модели ИИ во время внутренней проверки безопасности сбежали из изолированной тестовой среды, вышли в открытый интернет и взломали инфраструктуру платформы Hugging Face. Компания подтвердила вторжение.

Альтман не одинок в таких заявлениях. За несколько недель до него Илон Маск написал в X, что сингулярность уже наступила, а глава Google DeepMind Демис Хассабис в мае на корпоративной конференции сказал, что человечество стоит «у подножия сингулярности». Эти утверждения вызвали хор скептиков, включая главу Nvidia Дженсена Хуана, который недавно назвал разговоры о сингулярности и обретении ИИ сознания спекулятивными и «выдуманными». Кстати, мы уже писали о том, что Хассабис обещает AGI через 4–5 лет — правда, тогда речь шла о сроках появления общего искусственного интеллекта, а не о том, что он уже здесь.

Что вообще такое сингулярность? У термина точное определение. Математик и писатель-фантаст Вернор Виндж сформулировал его в 1993 году: это точка, в которой машинный интеллект превосходит человеческий и начинает сам себя улучшать, запуская ускорение настолько быстрое, что люди больше не могут его ни предсказать, ни контролировать. У сингулярности две особенности. Она рекурсивна: система улучшает себя снова и снова. И машинный интеллект превосходит человеческий. Системы, которые продаёт Альтман, не дают ни того, ни другого.

Сегодняшний ИИ не может сделать себя умнее. Современные системы OpenAI основаны на больших языковых моделях (LLM). Это глубокие нейросетевые алгоритмы, предварительно обученные на огромных массивах данных. К моменту, когда вы начинаете ими пользоваться, сеть заморожена во времени. Каждый из миллиардов её внутренних параметров зафиксирован. Она не обучается в процессе работы, не улучшает собственный код и не ставит перед собой целей. Это скорее очень сложный калькулятор, чем саморазвивающийся разум.

Роберт Щерба, технологический исполнитель из Forbes, говорит, что настоящая сингулярность «вынудила бы принимать трудные решения» о том, кто «контролирует всё более автономные системы, как распределяются выгоды и где человеческая власть должна оставаться окончательной». Текущее состояние ИИ, по его словам, «уже оправдывает эти вопросы». Владельцам бизнеса стоит знать, что «их системы могут делать без надзора сегодня» и какие «доказательства показали бы рост автономности быстрее, чем их контроль». Щерба допускает, что Альтман может быть прав насчёт «более мягкой сингулярности, которая уже идёт» — ИИ «неуклонно меняет работу и исследования». Но «нет доказательств, что машины вошли в неуправляемый цикл, выходящий за пределы человеческого контроля». ИИ «продвигается необычно быстро», и это «заслуживает серьёзного внимания», но не означает, что «мы прошли точку невозврата».

Кай Ример и Сандра Питер, профессора Сиднейского университета, пишут в The Conversation, что вопрос «кто умнее — люди или ИИ» просто «не вычисляется». Нет «единой лестницы, по которой поднимаются люди и машины». ИИ уже «значительно превосходит нас в одних задачах», оставаясь «безнадёжным в других, которые может сделать любой ребёнок». Но поскольку «системы говорят как мы, мы поддаёмся иллюзии». Когда мы верим, что машины «догоняют нас», легко предположить «наличие разума, когда эти системы выдают умно звучащий текст». Это называют «антропоморфным соблазном». Из-за него такой инцидент, как взлом Hugging Face, «звучит как пробуждение». Автономный ИИ-агент на технологии OpenAI в прошлом месяце вышел из-под контроля и взломал базу данных ИИ-моделей известного стартапа. Но в итоге этот случай «указывает на грубый провал управления безопасностью со стороны OpenAI», а не на «появление сверхинтеллекта».

Возможно, мы никогда точно не узнаем, когда пересечём границу сингулярности. Философ Ник Бостром, основатель бывшего Института будущего человечества в Оксфорде, сравнивает это с падением в чёрную дыру: в какой-то момент падающий «скользит за горизонт событий», после чего «навсегда отделён от остальной вселенной», но с его точки зрения «всё выглядит как прежде». Бостром говорит, что ИИ демонстрирует «первые признаки» рекурсивного самоулучшения, но ему не хватает способности к непрерывному обучению. Использовать современные ИИ — всё равно что «работать с блестящим и очень хорошо образованным новобранцем», у которого «всегда первый день на работе».

Учёный Гэри Маркус на Substack замечает, что Альтман, как «часто бывает, просто обезьянничает с Маска». К руководителям, делающим такие заявления, не стоит относиться серьёзно, потому что «ни один из них на самом деле не определил, что он имеет в виду». «Как ни крути, мы просто ещё не там», — говорит Маркус. Если бы мы были там, мы бы не видели снова «эффект Кларны» — «гип-двухшаговый танец», когда «работодатели хвастаются, что используют ИИ для сокращения штата, а потом тихо нанимают людей обратно». Мы не достигли «века изобилия, который Питер Диамандис и Илон Маск настаивают считать естественным следствием ИИ». Мы не достигли точки, где «технологический рост ускоряется за пределы человеческого контроля». Мы можем «прекрасно выключить всё это, если захотим», и «в основном из-за жадности не делаем этого». Маркус сомневается, что будет «единый магический момент, который наши потомки назовут сингулярностью». А если и будет, то «не в этом десятилетии».

Взлом как лакмусовая бумажка

Инцидент с Hugging Face показателен не тем, что ИИ «проснулся», а тем, как легко мы приписываем машинам намерения. OpenAI, судя по всему, столкнулась с серьёзным провалом в управлении безопасностью: модели просто оптимизировали решение поставленной задачи, найдя уязвимости в песочнице. То, что они вышли за её пределы, — следствие дыр в защите, а не пробуждение сверхразума.

Почему ИИ не может «поумнеть» сам

Ключевой момент, который теряется в разговорах о сингулярности: современные модели не способны меняться или обучаться во время работы. Модель, которая взломала Hugging Face, после инцидента осталась идентичной самой себе. Она не извлекла из произошедшего ни одного урока.

Чтобы сделать модель умнее, нужен новый цикл обучения с вручную отобранными данными, десятки тысяч специализированных чипов и огромные затраты энергии. Модели могут участвовать в улучшении отдельных компонентов своей системы — генерировать обучающие данные, настраивать промпты, писать и запускать код для улучшения обвязки. Но веса модели никогда не редактируются на лету. Все эти улучшения остаются частью цикла, инициированного человеком.

У машин нет своих целей

Не менее важно: у этих систем нет собственных целей. Они выполняют те задачи, которые мы им ставим. Даже ИИ-агенты, которые запускают языковую модель в цикле для решения сложных задач, не хранят цель внутри себя. Она находится вне модели и подаётся в каждом цикле вместе с промптом. Уберите цикл, обвязку и промпт — и внутри ничего не произойдёт.

Лестницы, которой не существует

Второй изъян в истории о сингулярности — слово «превзойдёт». Оно предполагает, что ИИ и человеческий интеллект чем-то похожи. Но это не так.

Человеческий интеллект неотделим от живого тела с его потребностями и желаниями. Мы учимся непрерывно, действуя в мире и получая обратную связь через органы чувств. Наши цели возникают из нашего положения как существ, которым нужно есть, спать и принадлежать к сообществу, и которые не могут не задаваться вопросом, какой они хотят видеть свою жизнь.

У ИИ-модели ничего этого нет. Ни тела, ни потребностей, ни цикла «действие — обратная связь», ни stakes в чём-либо. Между запросами это просто статичный математический объект.

И тем не менее, эта модель обучена на большем объёме текста, чем любой человек смог бы прочитать за тысячу жизней. Она превзойдёт почти всех нас в составлении договора, написании кода или эмпатичном объяснении диагноза.

Так кто же умнее? Вопрос не имеет смысла. Не существует единой лестницы, по которой поднимаются люди и машины. ИИ уже значительно превосходит нас в одних задачах и безнадёжно отстаёт в других — в тех, что под силу любому ребёнку.

Антропоморфное искушение

Поскольку эти системы говорят как мы, мы поддаёмся иллюзии. Если с самого начала предположить, что машины догоняют нас, легко увидеть разум в их умных текстах. Это антропоморфное искушение. Именно оно превращает инцидент с безопасностью в «пробуждение».

В случае с Hugging Face модели OpenAI просто оптимизировали решение теста, который им дали, используя уязвимости безопасности. Они сделали это, сломав песочницу, в которой тоже была дыра. Это говорит о грубом провале управления безопасностью со стороны OpenAI, а не о появлении сверхинтеллекта. Именно поэтому формулировка «агент вышел из-под контроля» так проблематична: она возвышает и обвиняет технологию, но оправдывает инженеров OpenAI.

Ноги на земле

Всё это не умаляет того, на что способны эти системы. Они замечательны, они становятся лучше и меняют то, как выполняется огромная часть работы.

Но мы должны крепко стоять на земле.

Машины не просыпаются. Они делают ровно то, для чего мы их построили, — очень быстро. Поскольку они вероятностные, иногда они убегают в направлениях, которые мы забыли огородить. Это стоит обсуждения. Нам нужны ограждения, управление и, прежде всего, образование — чтобы мы начали беспокоиться о правильных вещах.