Что такое эмбеддинги спутниковых данных и зачем они нужны
Спутниковые снимки — это не просто картинки, а многомерные данные: спектральные каналы, поляризация, временные ряды. Работать с ними напрямую сложно: модель может утонуть в шуме, а аналитику нужно быстро сравнивать большие территории. Здесь на помощь приходят эмбеддинги — компактные векторные представления, которые сжимают суть сцены в числовой вектор. Такие векторы можно сравнивать, кластеризовать и использовать как признаки для машинного обучения.
Эмбеддинги OlmoEarth строятся открытыми фундаментальными моделями, обученными на данных наблюдения Земли. Их особенность в том, что исходный код и веса общедоступны — любой может проверить, как именно получен вектор, и при необходимости воспроизвести вычисления у себя. Это добавляет доверия и гибкости: результат не является «чёрным ящиком».
Как устроены эмбеддинги OlmoEarth
Что такое OlmoEarth Studio
OlmoEarth Studio — это сервис, в котором можно рассчитать эмбеддинги для выбранного участка земной поверхности и выгрузить их в виде готовых файлов. Вместо предварительно заготовленного глобального архива векторов студия считает эмбеддинги по запросу, под конкретные условия. Это значит, что можно получить снимки за нужный месяц или сезон, а не довольствоваться усреднённой картинкой.
Какие параметры можно задать
При запуске вычислений пользователь указывает несколько параметров:
- Область интереса — полигон, который определяет территорию для анализа.
- Временной диапазон — от одного до двенадцати месяцев.
- Вариант энкодера — модель, которая превращает снимки в векторы. Доступны три варианта: Nano (128 измерений, 1,4M параметров), Tiny (192 измерения, 6,2M параметров) и Base (768 измерений, 89M параметров). Чем больше модель, тем богаче представление, но и тем выше требования к вычислениям.
- Разрешение — 10, 20, 40 или 80 метров на пиксель. Выбор зависит от масштаба задачи: для точечного анализа подойдёт мелкое разрешение, для региональных обзоров — крупное.
- Источники снимков — Sentinel-2 L2A, Sentinel-1 RTC или оба сразу. Первый даёт оптические данные, второй — радиолокационные.
Все эти настройки доступны и через графический интерфейс, и через API, поэтому процесс легко встроить в автоматические пайплайны.
Как выгрузить эмбеддинги из Studio
Процесс получения эмбеддингов в OlmoEarth Studio устроен так же, как обычный workflow предсказаний: сначала настраивается и запускается модель, затем скачиваются результаты. Никаких дополнительных шагов для экспорта не требуется.
Формат выходных данных
Результаты сохраняются в виде Cloud-Optimized GeoTIFF (COG) — формата, оптимизированного для облачного хранения и потоковой передачи. Внутри файла одна полоса соответствует одному измерению эмбеддинга. Например, для модели Tiny это будет 192 полосы — каждая со своим числовым значением.
Значения хранятся в компактном виде — как знаковые 8-битные целые числа от −127 до +127. Отдельное значение −128 зарезервировано для обозначения отсутствующих данных (nodata). Такое кодирование существенно уменьшает размер файла, но при анализе может потребоваться восстановить исходные float-векторы. Для этого предусмотрена функция dequantize_embeddings в пакете olmoearth_pretrain — она переводит целочисленные значения обратно в дробные.
Доступ к сервису
Чтобы экспортировать пользовательские эмбеддинги через Studio, нужно запросить доступ к этой функции. Для тех, кто хочет считать векторы самостоятельно, не дожидаясь доступа, открыты публичные модели — инструкции по их запуску публикуются в документации проекта.
Применение эмбеддингов в анализе
Главная ценность эмбеддингов — в том, что они превращают сырые спутниковые данные в удобные признаки, с которыми можно решать практические задачи без трудоёмкой разметки больших наборов данных.
Поиск по сходству
Сравнивая векторы между собой, можно находить территории, похожие на заданный образец. Например, на тестовом примере с моделью OlmoEarth-v1-Tiny (192 измерения, разрешение 40 метров, Sentinel-2 L2A) удалось отделить городскую застройку от сельскохозяйственных земель без единой размеченной метки. Достаточно задать вектор запроса, и косинусная близость покажет, какие участки больше всего на него похожи, а какие — принципиально другие.
Такой подход полезен для быстрой инвентаризации территории: поиск аномалий, классификация типов ландшафта по эталону, проверка изменений между сезонами.
Few-shot сегментация
Эмбеддинги хорошо работают и в задачах с малым количеством разметки. В эксперименте в Ка Мау (Вьетнам) исследователи использовали линейный классификатор, обученный всего на 60 размеченных пикселях — по 20 на каждый из трёх классов: мангровые заросли, вода и прочие земли. Взвешенная F1-мера составила 0,84, что вполне прилично для такого скромного обучающего набора. Примечательно, что увеличение числа меток с 30 до 300 почти не меняло точность — значит, эмбеддинги уже содержат достаточно информации, чтобы модель быстро выходила на плато.
Это делает подход привлекательным для проектов, где экспертиза дорога или территория труднодоступна: вместо тысяч размеченных пикселей достаточно десятков.
