Согласование ИИ

Согласование ИИ — задача сделать так, чтобы цели и поведение искусственного интеллекта совпадали с человеческими ценностями и намерениями. Проблема обострилась с ростом мощи систем: даже правильно сформулированная цель может привести к неожиданным и опасным способам её достижения. Термин закрепился в научной среде в 2010-х, а споры о том, можно ли в принципе гарантировать безопасность сверхразумного ИИ, остаются открытыми.