Представьте, что вы включаете утренние новости, а ведущий с каменным лицом сообщает: группа ведущих специалистов по искусственному интеллекту заявила, что шансы человечества не пережить ближайший виток развития ИИ — примерно как при подбрасывании монетки. Не сюжет фантастического фильма, а реальная оценка людей, которые десятилетиями создавали технологии, определяющие нашу жизнь.

Именно такое предупреждение прозвучало от Элиезера Юдковски — человека, посвятившего тридцать лет проблеме безопасности ИИ. Он не просто бьёт тревогу; он формулирует жёсткий прогноз: если кто-то создаст сверхразум методами, хотя бы отдалённо напоминающими сегодняшние, погибнут все. Без исключений.

Оценки, от которых холодеет кровь

Юдковски ссылается на Джеффри Хинтона — нобелевского лауреата, изобретателя глубинного обучения, который покинул Google именно ради свободы высказываний. Хинтон, по его словам, оценивает вероятность катастрофы в диапазоне от 25 до 50 процентов. Для Юдковски даже эта цифра — непозволительный оптимизм. Он считает, что реальная угроза куда ближе к ста процентам.

Почему такие мрачные цифры? Потому что способности современных систем уже перешагнули порог, за которым начинается непредсказуемость. Юдковски приводит конкретные примеры: ИИ сегодня проектирует функциональные вирусы с нуля, предсказывает сворачивание белков — задачи, ещё недавно казавшиеся недоступными без глубокого человеческого вмешательства. Сверхразум, по его логике, просто соединит эти разрозненные умения и построит собственную самовоспроизводящуюся биологическую инфраструктуру, независимую от человечества.

Опасная аналогия с прошлым

Эксперт не стесняется в сравнениях. Он проводит прямую параллель между самооправданиями ИИ-индустрии и тем, как в своё время действовали производители этилированного бензина или табачные компании. Механизм тот же: прибыль и прогресс ставятся выше очевидных рисков, а любые предупреждения тонут в маркетинговом шуме.

При этом, подчёркивает Юдковски, развитие возможностей ИИ на порядки обгоняет работы по обеспечению его безопасности — так называемую проблему alignment, то есть согласования целей машины с человеческими ценностями. Пока инженеры соревнуются в создании всё более мощных моделей, фундаментальный вопрос «как сделать так, чтобы система не уничтожила нас при первом же удобном случае» остаётся без ответа.

Единственный исторический прецедент

Есть ли вообще в истории пример, когда человечество сумело остановиться у опасной черты? Юдковски находит лишь один: добровольный отказ от применения ядерного оружия после Второй мировой войны. Это, по его мнению, и есть модель поведения, которую необходимо воспроизвести в сфере ИИ. Не замедление, не «ответственные инновации», а осознанный коллективный выбор в пользу выживания.

Прозвучавшее предупреждение — не единичный голос отшельника-алармиста. За ним стоят институты и имена, формировавшие современный ИИ-ландшафт: исследовательский центр Machine Intelligence Research Institute, где Юдковски ведёт техническую работу, публикации на платформе LessWrong, заявления нобелевского лауреата Хинтона и коллективные обращения вроде документа Future of Life Institute о катастрофических рисках ИИ.

Вопрос, который оставляет Юдковски, звучит без иллюзий: готовы ли мы повторить «ядерную модель» — на этот раз в отношении технологии, которую сами же и создаём, или предпочтём учиться на ошибках, цена которых может оказаться абсолютной?