Археологические памятники по всему миру разграбляются с пугающей скоростью, но заметить это со стороны почти невозможно. Ночью кто-то вскопал древний курган, унёс всё ценное — а наутро земля выглядит так, будто её просто потревожил ветер или скот. Даже на спутниковых снимках следы раскопок теряются среди естественной эрозии и сельскохозяйственных работ.

Но каждая лопата оставляет свой след. Команда из Microsoft AI for Good Research Lab вместе с некоммерческой организацией Iconem, специализирующейся на документировании культурного наследия, и спутниковой компанией Planet Labs научила искусственный интеллект видеть эти следы. Система анализирует спутниковые изображения и находит признаки разграбления на тысячах археологических объектов.

Почему это сложнее, чем кажется

Следить за памятниками в отдалённых или охваченных конфликтом регионах — задача почти невыполнимая. Многие объекты разбросаны по огромным территориям, куда небезопасно или просто невозможно отправить людей. Спутниковые снимки дают альтернативу, но традиционно их анализ требовал ручного сравнения изображений за разные годы. Эксперты часами вглядывались в пиксели, пытаясь заметить свежие ямы или изменившийся рельеф.

Это знакомая нам по другим материалам об ИИ история: сравнение изображений отнимает у человека массу времени, тогда как для алгоритма это рутинная задача. Но здесь сложность в том, что улики едва заметны. Новые ямы, сдвиги почвы, изменение того, как поверхность отражает свет, — всё это легко спутать с природными процессами или обычной фермерской деятельностью.

Самый большой датасет в своём роде

Чтобы обучить систему, исследователи собрали крупнейший набор данных такого типа: 1943 археологических памятника в Афганистане. Из них 898 подтверждены как разграбленные, а 1045 сохранились нетронутыми. За основу взяли Археологический справочник Афганистана, а затем археологи-эксперты проверили и дополнили данные, используя снимки Google Earth, ESRI и Bing. Каждый объект классифицировали по наличию признаков намеренного повреждения, зафиксированных до конца 2023 года.

Затем подключили спутниковые снимки PlanetScope с разрешением 4,7 метра на пиксель. Данные охватывали период с января 2016 по декабрь 2023 года — почти восемь лет ежемесячных изображений для каждого объекта. Чтобы анализ был точнее, археологи вручную очертили границы всех памятников. Эти пространственные маски задавали точный контур каждого объекта, и учёные могли проверить, помогает ли ограничение области анализа именно археологической зоной, а не окружающим ландшафтом, улучшить обнаружение разграбления.

Два подхода к одной задаче

Команда испытала два принципиально разных способа детекции. Первый опирался на глубокое обучение: модели ResNet и EfficientNet обучались прямо на фрагментах спутниковых снимков. Второй использовал более традиционные методы машинного обучения — Random Forest и XGBoost, — которым на вход подавали либо вручную рассчитанные спектральные и текстурные признаки, либо данные, извлечённые из современных фундаментальных моделей дистанционного зондирования, таких как DINOv3, SatCLIP и Prithvi-EO.

Разница оказалась разительной. ResNet-50, предобученный на ImageNet и снабжённый масками границ объектов, достиг F1-меры 0,926. Лучшая из традиционных конфигураций — эмбеддинги местоположения SatCLIP в паре с классификатором Random Forest — дотянула лишь до 0,710. Для задачи, где цена ошибки высока в обе стороны — пропустить разграбленный объект или ложно пометить целый, — такой разрыв критичен.

Простые модели неожиданно выиграли

Один из самых неожиданных результатов: новейшие фундаментальные модели не дали преимущества. Их эмбеддинги, обученные на гигантских наборах спутниковых данных, показали примерно ту же эффективность, что и простые вручную созданные признаки, а иногда и хуже. Исследователи предполагают, что разграбление оставляет очень локальные следы — в основном мелкие изменения текстуры, — тогда как универсальные модели ориентированы на более широкие паттерны.

Анализ важности признаков с помощью SHAP показал, что сильнейшим предиктором оказалась выраженность границ в ближнем инфракрасном диапазоне. Проще говоря, модель особенно хорошо улавливала резкие контуры, которые остаются после раскопок. Большинство других значимых признаков были мерами текстуры: контраст, энтропия, однородность, рассчитанные по небольшим фрагментам красного, зелёного и ближнего инфракрасного каналов. Вместо поиска крупных областей, которые «выглядят иначе», модель замечала нечто более тонкое — грубую, нерегулярную текстуру потревоженной земли.

Подсказка, которая решает всё

Практически самый важный вывод оказался простым: модель работает гораздо лучше, когда ей говорят, куда смотреть. Используя вручную нарисованные маски с точными границами каждого археологического объекта, исследователи дали ИИ чёткую область для анализа. Это позволило сосредоточиться именно на памятнике, а не на фоновом ландшафте, и резко повысило точность обнаружения следов разграбления.

Маски и время: как детали повышают точность

Исследователи обнаружили, что подача модели не всего снимка, а только области археологического памятника резко улучшает результаты. В некоторых конфигурациях показатель F1 вырос более чем на 40 процентных пунктов — это самый большой прирост точности за всё исследование. Без таких масок алгоритм сканировал окружающий ландшафт: дороги, поля, современные постройки и другие объекты создавали шум и мешали распознать следы разграбления. Сужение зоны анализа до самого памятника убрало лишние сигналы и позволило модели сосредоточиться на характерных признаках.

Время съёмки тоже сыграло неожиданную роль. Когда исследователи обучали отдельные модели на снимках одного года, лучшие результаты давали изображения примерно 2020 года. Для более ранних и более поздних лет точность падала. Авторы связывают это с хронологией разграблений: большинство случаев в их датасете произошло до 2021 года, поэтому самые явные следы раскопок видны именно на снимках того периода. Со временем ветер, дождь, эрозия и растительность сглаживают неровности, и нарушенные участки сливаются с окружающей землёй.

Мониторинг, а не вердикт

Разработчики позиционируют систему как инструмент для сортировки и мониторинга, а не как окончательного судью. Её задача — помочь специалистам охватить больше территорий и выделить места, требующие пристального внимания. Дальше команда планирует проверить, работает ли подход за пределами Афганистана. В качестве потенциальных регионов названы Сирия, Судан и Египет — там также есть памятники под угрозой разграбления.

Есть и серьёзное ограничение: сейчас системе нужны археологи, которые вручную очерчивают границы памятников и размечают обучающие примеры. Чтобы технология стала практичной в больших масштабах, исследователи хотят применить полуавтоматическое обучение и методы активного обучения. Это уменьшит объём ручной разметки, и в идеале система сможет адаптироваться к новым регионам без полной разметки каждого объекта с нуля.

Чтобы ускорить эту работу, команда выложила код и методологию датасета в открытый доступ. Другие исследователи могут тестировать, улучшать и расширять подход. Статья пока доступна как препринт и не прошла формальное рецензирование.