Анализ космических снимков

  • география
  • информатика
  • Дает 100 баллов на ЕГЭ

Съёмка Земли из космоса широко используется в различных сферах бизнеса и при чрезвычайных ситуациях, для изучения и экологического мониторинга нашей планеты. Как «чёрные ящики» на самолёте, сотни спутников постоянно записывают завораживающую картину происходящих на наших глазах драматических изменений мира, в котором мы живём, — как в глобальном, так и в местном масштабе. Для космических снимков не существует границ и закрытых зон, нет «слишком далёких» и недоступных мест.

Для анализа огромного массива космических данных используются самые передовые технологии обработки и анализа изображений и самые разнообразные алгоритмы. Геоинформатика — это также цифровые карты, системы навигации и совместная работа миллионов мобильных устройств, пространственное моделирование и анализ больших данных. Геоинформационные инструменты и системы развиваются быстро, но объём данных дистанционного зондирования Земли растёт ещё быстрее. Нам нужны новые подходы, новые идеи и новые энтузиасты!

При этом космические снимки и инструменты работы с ними сегодня доступны как никогда ранее. Открытые данные, общедоступные космические снимки и карты на их основе, геоинформационные системы с открытым кодом, станции для приема информации прямо со спутников, стоящие на крыше вашей школы и собираемые самими учащимися — это сегодняшние реалии отрасли. Большая наука, изучающая нашу планету, и успешные информационные бизнесы во многом построены на тех же данных и инструментах, с которыми Вы будете работать, если станете участниками нашего профиля.

Команда разработчиков

  • АНО «Прозрачный мир»
  • ООО «Лоретт»

Отборочные этапы

В рамках первого этапа участникам предстоит решить задачи по географии и информатике.

Задания второго этапа будут нацелены на освоение участниками навыков работы по следующим темам.

  • Пространственные данные и работа с ними, системы географических координат.

  • Геопорталы и работа с ними, источники открытых пространственных данных.

  • Геоинформационные системы и работа в них с пространственными данными: QGIS, GRASS, ArcGIS, ScanEx Image Processor, DTclassifier, Semi-Automaic Classification Plugin, etc. (в том числе, – программирование на Python в среде QGIS и/или GRASS).

  • Основные алгоритмы классификация растровых изображений: нейросетевые алгоритмы, decision tree, метод опорных векторов, kNN, etc.

  • Алгоритмы change detection.

  • Вегетационные индексы и другие метрики, рассчитываемые как функции от значений яркости спектральных каналов оптических снимков.

  • Работа в Google Earth Engine.

Задания второго этапа будут оформлены в виде курса на платформе Stepik. Взаимодействие с участниками будет осуществляться через информационный канали чат профиля в Telegram или другом мессенджере. Количество попыток для решения каждого задания на Stepik будет рассчитываться с учётом того, что каждый член команды может вводить решения независимо. В этом отношении команды в составе 4-х человека будут иметь преимущество по попыткам перед командами в составе 3-х человек.

Заключительный этап

Задача заключительного этапа будет посвящена алгоритмам и методам «бизнес-разведки» с использованием космических снимков, то есть анализу состояния и текущей динамики наблюдаемых наземных объектов, который позволяет делать выводы, важные для принятия бизнес решений. В качестве объектов будут выбраны сельскохозяйственные угодья и объекты нефтегазового сектора.

Задание будет разбито на несколько подзадач.

  1. Оценка площади и динамики используемых сельхозугодий по определённому региону, с определением доли заброшенных сельскохозяйственных земель и площадей, занятых различными сельскохозяйственными культурами. Для разделения указанных классов участникам необходимо будет анализировать сезонную динамику вегетационных индексов и других показателей, которые меняются по-разному для разных сельскохозяйственных культур, заброшенных полей и естественных травянистых экосистем. В большинстве случаев это потребует использования космических снимков из разных источников, с разными характеристиками и с различным пространственным разрешением (включая, вероятно, и радарные снимки, позволяющие получать данные при любом облачном покрове). Участники должны будут продемонстрировать не только умение работать с источниками открытых данных, но и умение получать сравнимые показатели на основе снимков различных типов.

  2. Оценка долговременных трендов в использовании земель того же региона: определение площади сельхозугодий, заброшенных за определённый многолетний период, а также доли таких угодий, (а) вновь вернувшихся в сельскохозяйственный оборот, (б) окончательно заброшенных и заросших древесной и кустарниковой растительностью.

  3. Оценка активности нефтедобычи в период во время и после текущей пандемии коронавируса по наблюдаемым из космоса признакам, для одного или нескольких из основных нефтедобывающих регионов мира. Среди возможных наблюдаемых показателей: количество и время работы факелов сжигаемого попутного газа на эксплуатируемых месторождениях; количество и динамика транспортных средств на обсуживающих дорогах; положение подвижных крышек на крупных нефтехранилищах; активность и маршруты морских нефтеналивных танкеров.

По первым двум подзадачам участники создают карты (наборы пространственных данных) различных типов сельхозугодий и их динамики за указанный период, с разделением на соответствующие классы и подсчётом их площадей.

По третьей подзадаче участники создают методику/алгоритм оценки объёма нефтедобычи на изучаемых эксплуатируемых месторождениях по наблюдаемым из космоса признакам. Они также получают динамику этих показателей за изучаемый период и на её основе делают выводы о динамике нефтедобычи.

Знания:

Для того, чтобы правильно интерпретировать то,что вы видите на космических снимках, необходимы знания из разных областей географии и некоторых областей биологии. В частности, с самого начала участникам будут необходимы:

  • Хорошее знание физической географии в целом и изучаемых регионов, особенно в части растительности и ландшафтов (в том числе агроландшафтов) — чтобы анализировать распределение и характер растительности в зависимости от различных физических факторов: рельефа, гидрологии, геологии, климата и пр.

  • Хорошее знание экономической географии и основных видов природопользования изучаемых регионов — чтобы разобраться, какая хозяйственная деятельность человека формирует ландшафты, которые вы видите на космических снимках.

  • Знание основ функционирования и динамики различных экосистем (растительных сообществ) — чтобы анализировать, связаны ли наблюдаемые изменения на снимках из космоса с сезонными явлениями, со сменой одних растительных сообществ другими (сукцессиями) или с воздействием человека.

Hard Skills:

Рекомендуются для всех участников команды к финалу:

  • Владение хотя бы простейшими приёмами работы с пространственными данными в геоинформационных системах, включая загрузку и визуализацию наборов векторных и растровых данных, редактирование векторных данных, работа с каналами и гистограммами космических снимков, подсчёты площадей и простейшая геообработка векторных данных (обрезка, пересечение, объединение). Выбор конкретного программного обеспечения остаётся на усмотрение участников и их наставников. Набор возможных ГИС-систем включает, но не ограничивается следующими пакетами: QGIS (сборка от российской компании «NextGIS» или международная версия), GRASS GIS, SNAP, ArcGIS, ScanEx Image Processor, DTclassifier, Semi-Automaic Classification Plugin, gvSIG.

  • Умение работать с основными источниками пространственных данных (космических снимков, различных электронных карт) в интернете, навыки работы с геопорталами. Задания всех этапов олимпиады, особенно второго и заключительного этапов, будут опираться на общедоступные космические снимки и другие данные.

  • Владение методами / алгоритмами классификации растровых изображений: нейросетевые алгоритмы, decision tree, метод опорных векторов, kNN или другие – чтобы выявлять по космическим снимкам и картографировать те или иные объекты или типы растительности. Не требуется знать всё разнообразие алгоритмов – достаточно уверенно владеть одним-двумя.

  • Владение хатя бы одним методом / алгоритмом анализа изменений (change detection) – чтобы по паре разновременных космических снимков выявлять изменения, произошедшие между ними.

  • Владение методами расчёта вегетационных индексов и других метрик, рассчитываемых как функции от значений яркости спектральных каналов оптических снимков. Динамика этих индексов поможет вам разные типы растительности (например, поля, засеянные разными культурами).

  • Умение проводить простейшие статистические расчеты для пространственных данных: оценивать ваши результаты по пробным участкам, строить матрицу ошибок.

  • Владение английским языком (чтение) или умение использовать онлайн-переводчики.

Рекомендуются, в первую очередь для участников-дешифровщиков:

  • Умение «читать» географические карты, находить на них нужные территории и объекты.

  • Умение интерпретировать космические снимки, визуально определять по ним характер растительного покрова и различные объекты.

  • Умение анализировать причины того или иного распределения и характера растительности, а также изменений растительного покрова в зависимости от различных факторов: рельефа, гидрологии, геологии, климата и хозяйственной деятельности человека.

Рекомендуются, в первую очередь для участников-программистов:

  • Программирование на одном или нескольких языках программирования. Прежде всего, рекомендуется Python (который используется в среде QGIS и/или GRASS) и Perl (рекомендуется ActivePerl, используется для доступа к некоторым данным и для автоматизации их обработки), дополнительно – JavaScript (лучше всего подходит для задач в среде Google Earth Engine) и R (на нём реализованы некоторые бесплатные алгоритмы анализа и классификации).

  • Использование библиотек работы с пространственными данными GDAL/OGR.

  • Работа в среде Google Earth Engine.

Soft Skills:

Для выполнения командной работы важны такие навыки как умение слушать друг друга, распределять задачи, брать ответственность за свою часть работы.

  • Для решения задач олимпиады будут требоваться знания и навыки, которых не приобретают в школе, поэтому важна готовность учиться в процессе олимпиады. В частности, способность (и готовность) осваивать новые навыки и инструменты (прежде всего, речь о программном обеспечении и работе с геоинформационными системами).

  • Потребуется  найти ответы на сложные комплексные вопросы, поэтому нужно умение самостоятельно находить и анализировать информацию, сопоставлять данные из различных источников.

  • Важны аккуратность и последовательность, в частности, в такой работе как очерчивание объектов на карте / космическом снимке.

Численность команды и роли

Число участников команды: 3 или 4 человека.

  • Информатики-программисты: 1 или 2 человека.
    Основные задачи: прежде всего, обработка растровых изображений, классификация, работа с пространственными данными и геоинформационными системами, вероятное написание скриптов для массивной или автоматизированной обработки пространственных данных. Программисты разрабатывают / осваивают методики расчёта вегетационных индексов и других показателей, сезонная динамика которых позволяет разделит соответствующие классы, дорабатывают алгоритмы и готовят их демонстрационные версии на финале.
  • Географы/биологи-дешифровщики: 1 или 2 человека.
    Основные задачи: работа с геоинформационными системами, дешифрирование космических снимков, анализ результатов дешифрирования. Дешифровщики изучают дешифровочные признаки различных классов объектов на разных типах космических снимков и ищут источники данных и дополнительную информацию, проводят визуальную проверку корректности выделения объектов, сделанного с помощью алгоритмов. Скорее всего, в значительной мере именно дешифровщики подводят итоги и оформляют результаты решения задач в виде картографических материалов.

Вместе с тем, роли могут по-разному распределяться между участниками для решения каждой задачи. Соотношение и важность ролей при решении каждой задачи может быть различной и, вероятно, будет различной. При решении одних задач ведущая роль будет принадлежать программисту / программистам, при решении других – географу-дешифровщику / географам-дешифровщикам.

На втором отборочном этапе возможно (и даже желательно) параллельное решение задач разными членами команды. Вместе с тем, какая-то из задач может на определённом этапе потребовать участия всех членов команды.

Для заключительного этапа мы предварительно предполагаем, что третья подзадача будет решаться командой параллельно с первыми двумя, в то время как вторая будет решаться после решения первой. Соответственно, над каждой из подзадач одномоментно может работать пара, дешифровщик и программист. В команде из трёх человек один программист может обслуживать двух дешифровщиков, работающих над двумя разными задачами.

Однако, на всех этапах эффективное распределение ролей внутри команды является прерогативой и ответственностью самой команды.

Роли могут пересекаться. Умение работать с геоинформационными системами необходимо на определённом уровне всем участникам.

Материалы для участников

Основы ГИС и ДЗЗ:

Подробнее про дешифрирование космических снимков:

Статьи по использованию некоторых программных инструментов ГИС:

Полезные ссылки по Google Earth Engine от ведущего вебинара:

Учебные материалы по GEE:

Геопорталы — онлайновые ГИС:

Это веб-сайты с интерактивными картами и космическими снимками, позволяющие рассматривать снимки и другие данные онлайн, а также часто — выполнять с ними простые операции. Как правило, не позволяют сгрузить космические снимки на ваш компьютер в нормальном ГИС-формате без потери информации.

  • Яндекс.Карты: самый популярный отечественный геопортал. С помощью «Конструктора карт» позволяет также создавать и редактировать векторные пространственные данные, экспортировать и импортировать их в ГИС-форматах KML, GPX и GeoJSON .
  • Google Maps: ещё один общеизвестный портал, который также даёт возможность и самостоятельно создавать и редактировать векторные пространственные данные, экспортировать и импортировать их в ГИС-форматах KML/KMZи GPX (через «Мои места» —> «Карты»).
  • Google Планета Земля (Google Earth): https://earth.google.com, https://www.google.com/earth/
  • Google Earth Pro, которую необходимо скачать и установить на ваш компьютер как самостоятельную программу: русскоязычная версияанглоязычная версия
  • Публичная кадастровая карта «Росреестра»: https://pkk5.rosreestr.ruпубличная-кадастровая-карта.рф
  • Геопортал российской компании «СКАЭКС» Космоснимки.RU
  • Cервис «Карта пожаров», построенный на платформе «Космоснимков»: http://fires.ru/, http://fires.kosmosnimki.ru
  • Сервис LandLook Геологической службы США (US Geological Survey, USGS). Просмотр доступных снимков среднего разрешения – Landsat и Sentinel. Возможности рисования объектов, оформления и печати карт.
  • Съёмка со спутников Landsat в близком к реальному времени
  • Sentinel Hub: ещё один сервис для просмотра разных доступных онлайн снимков среднего и низкого разрешения от Европейского космического агентства. Позволяет также скачивать космические снимки, хотя и не в исходных форматах.
  • WorldView: аналогичный сервис от Американского космического агенства (НАСА). Много возможностей визуализации разных слоев с экологической информацией.
  • Геопортал Роскосмоса: https://gptl.ru/https://pod.gptl.ru/ (портал открытых данных ДЗЗ)
  • Портал «Всемирной лесной вахты» (Global Forest Watch): очень важный источник информации о лесах мира и пространственных данных по ним.
  • Сайт Лаборатории Global Land Analysis & Discovery (GLAD): сайт лаборатории Университета штата Мэриленд (США), авторов целого ряда важных глобальных продуктов на основе космических снимков. Сайт содержит ряд важных ГИС данных, научных публикаций и ссылок на другие ресурсы. Целый ряд ГИС-данных и мозаик космических снимков, созданных лабораторией можно посмотреть на интерактивной карте GLAD Interactive Maps & Download data (https://glad.umd.edu/gladmaps/globalmap.php).
  •  Global Forest Change: проект Лаборатории Global Land Analysis & Discovery (GLAD) (https://glad.umd.edu/) Университета штата Мэриленд (США) на движке Google Earth Engine. Интерактивная карта визуализирует результаты анализа временных серий снимков Landsat с 2000 года – карты лесного покрова и его изменений, а также мозаики снимков Landsat.

Источники ГИС-данных и космических снимков в ГИС-формате:

  • EarthExplorer: портал Геологической службы США (US Geological Survey, USGS), с которого можно бесплатно скачать космические снимки Landsat, Sentinel-2, MODIS и некоторые другие, а также различные пространственные данные (как правило, созданные на основе снимков). Про то, как отсюда сгружать, можно прочесть здесь.
  • GloVis: ещё один портал Геологической службы США (US Geological Survey, USGS), с которого также можно скачать космические снимки Landsat и другие.
  • Copernicus Open Access Hub: портал Европейского космического агенства, с которых можно скачать бесплатно снимки со спутников Sentinel, в том числе – бесплатные радарные снимки Sentinel-1.
  • Sentinel Hub: ещё один сервис для просмотра разных доступных онлайн снимков среднего и низкого разрешения от Европейского космического агентства. Позволяет также скачивать космические снимки, хотя и не в исходных форматах.
  • Open Street Maps: открытые картографические данные на весь мир, получаемые путем совместного картографирования пользователями (crowdmapping).
  • Fire Information for Resource Management System (FIRMS): портал НАСА, позволяющий не только посмотреть, но и сгрузить данные о пожарах («горячих точках»), полученных путем обработки данных со спутников в дальнем (тепловом) инфракрасном диапазоне. Доступ как к актуальным, так и к архивным данным. Статья про получение данных (правда, про немного устаревшую версию портала) здесь.
  • Global Forest Change 2000–2018 Data Download: с этой странички Лаборатории Global Land Analysis & Discovery (GLAD) можно сгрузить данные об изменениях лесного покрова мира, полученные на основе обработки космических снимков Landsat за 2000-2018 годы. Здесь же можно сгрузить и подготовленные лабораторией мозаики космических снимков Landsat. Посмотреть эти данные онлайн можно здесь.
  • GLAD Landsat Analysis Ready Data and Tools: проект GLAD Университета штата Мэриленд (США), в рамках которого они дают бесплатный доступ всем желающим к 16-тидневным композитам Landsat на весь мир за много лет, созданным по методике GLAD. Данные предоставляются в формате, готовом для обработки алгоритмами классификации и change detection. Также предоставляется доступ к инструментам обработки и анализа этих снимков.
  • Портал «Всемирной лесной вахты» (Global Forest Watch): очень важный источник информации о лесах мира и пространственных данных по ним. Большинство наборов пространственных данных можно не только посмотреть на портале, но и сгрузить в ГИС-форматах.
  • Описание разных источников открытых геолого-геофизических данных

Разборы задач предыдущих лет:

Вебинары 2018/19 года — разбор задач второго этапа:

  • Первый вебинар (01.12.2018): базовые навыки работы с ГИС, пространственные данные, проекции.

  • Второй вебинар (02.12.2018): работа с космическими снимками в QGIS, пример классификации (полностью аналогичный Задаче А (Картографирование влажных тропических лесов) и Задаче Б (Картографирование сухих тропических лесов) раздела «Картографирование лесов и изменений лесного покрова» второго блока задач 2018/19 года). К сожалению, запись этого вебинара не сохранилась. Отчасти, аналогичные задачи мы разбирали на вебинаре 05.12.2019 по задачам первого блока второго этапа за 2019/20 гг.

  • Третий вебинар (10.12.2018): разбор задач первого блока, раздел «Базовые навыки», а также де факто Задачи Г (Выделение сгоревших территорий в бореальных лесах) и Задачи Д (Анализ изменений. Гари 2018 года), перенесённых из первого блока в раздел «Картографирование лесов и изменений лесного покрова».

  • Четвёртый вебинар (22.12.2018): разбор задач второго блока, преимущественно раздела «Задачи на пространственный анализ», а также Задачи В (Анализ изменений (сhange detection) лесного покрова в тропических лесах) из раздела «Картографирование лесов и изменений лесного покрова».

  • Пятый вебинар (06.01.2019): разбор задач третьего блока — «Картографирование тропических плантаций» (самые сложные задачи второго этапа 2018/19 года).

Вебинары 2019/20 года – разбор задач второго этапа, подготовка к финалу, разбор задач финала:

  • Вебинар (05.12.2019): консультация по задачам первого блока второго этапа за 2019/20 гг. Разбор задач, аналогичных задачам первого и, отчасти, Задачи А (Полисто-Ловацкие болота) и Задачи Б (Ленточные боры) второго блока. Вопросы поиска и отбора космических снимков Landsat, работа с каналами и гистограммами в QGIS, склеивание каналов, простейшее визуальное дешифрирование, автоматическая классификация снимков с помощью DTclassifier.
  • Вебинар (17.02.2020): разбор задач на автоматическую классификацию, выделение однородных объектов по космическим снимкам — Задачи А (Полисто-Ловацкие болота) и Задачи Б (Ленточные боры) второго блока задач; а также задач на анализ изменений (change detection) – Задачи В (Гари 2019 года в Восточной Сибири) второго блока задач и Задачи Г (Анализ изменений лесного покрова в тропических лесах Мадагаскара) третьего блока. Также была разобрана единственная Задача А четвёртого блока — Валидация результатов дешифрирования. Расчет матрицы ошибок.
  • Вебинар (22.02.2020): первый вебинар по оперативной обработке снимков с метеорологических спутников, принятых на наземные станции приема, работа с форматом HDF. Презентация. Участникам было предложено задание для самостоятельной работы (см. последний слайд презентации) — для отработки навыков, необходимых для решения одной из задач финала.
  • Вебинар 01.03.2020: второй вебинар по оперативной обработке снимков, созданию маски облачности; разбор результатов и ошибок участников; ответы на вопросы. Инструкция по загрузке снимков MODIS в формате HDF в QGIS.
  • Вебинар 15.03.2020: вебинар по основам работы в среде Google Earth Engine; разбор соответствующих задач второго этапа.
  • Вебинар 23.03.2020: вебинар по организационным вопросам распределённого финала.
  • Короткий вебинар 26.03.2020: быстрый разбор типичных ошибок по Задаче 1 на финале, по итогам тренировочных обработок первых пролётов 25 и 26 марта: работа со SNAP и масками облачности.
  • Разбор задач по географии: разбор задач финала предметного тура по географии.
  • Разбор Задач 2 и 3 командного тура финала:  change detection: типичные ошибки и возможные пути решения второй задачи; расчёт оценки ошибки по классу Change по результатам валидации на основе стратифицированной выборки, ошибки команд.

Рынки НТИ

  • AeroNet
  • AutoNet
  • EnergyNet
  • MariNet
  • NeuroNet