Анализ космических снимков
- география
- информатика
- Дает 100 баллов на ЕГЭ
Съёмка Земли из космоса широко используется в различных сферах бизнеса и при чрезвычайных ситуациях, для изучения и экологического мониторинга нашей планеты. Как «чёрные ящики» на самолёте, сотни спутников постоянно записывают завораживающую картину происходящих на наших глазах драматических изменений мира, в котором мы живём, — как в глобальном, так и в местном масштабе. Для космических снимков не существует границ и закрытых зон, нет «слишком далёких» и недоступных мест.
Для анализа огромного массива космических данных используются самые передовые технологии обработки и анализа изображений и самые разнообразные алгоритмы. Геоинформатика — это также цифровые карты, системы навигации и совместная работа миллионов мобильных устройств, пространственное моделирование и анализ больших данных. Геоинформационные инструменты и системы развиваются быстро, но объём данных дистанционного зондирования Земли растёт ещё быстрее. Нам нужны новые подходы, новые идеи и новые энтузиасты!
При этом космические снимки и инструменты работы с ними сегодня доступны как никогда ранее. Открытые данные, общедоступные космические снимки и карты на их основе, геоинформационные системы с открытым кодом, станции для приема информации прямо со спутников, стоящие на крыше вашей школы и собираемые самими учащимися — это сегодняшние реалии отрасли. Большая наука, изучающая нашу планету, и успешные информационные бизнесы во многом построены на тех же данных и инструментах, с которыми вы будете работать, если станете участниками профиля «Анализ космических снимков и геопространственных данных».
Команда разработчиков
- АНО «Прозрачный мир»
- ООО «Лоретт»
Отборочные этапы
В рамках первого этапа участникам предстоит решить задачи по географии и информатике.
Задания второго этапа будут нацелены на освоение участниками навыков работы по следующим темам.
-
Пространственные данные и работа с ними, системы географических координат.
-
Геопорталы и работа с ними, источники открытых пространственных данных.
-
Геоинформационные системы и работа в них с пространственными данными: QGIS, GRASS, ArcGIS, ScanEx Image Processor, DTclassifier, Semi-Automaic Classification Plugin, etc. (в том числе, – программирование на Python в среде QGIS и/или GRASS).
-
Основные алгоритмы классификация растровых изображений: нейросетевые алгоритмы, decision tree, метод опорных векторов, kNN, etc.
-
Алгоритмы change detection.
-
Вегетационные индексы и другие метрики, рассчитываемые как функции от значений яркости спектральных каналов оптических снимков.
-
Работа в Google Earth Engine.
Задания второго этапа будут оформлены в виде курса на платформе Stepik. Взаимодействие с участниками будет осуществляться через информационный канали чат профиля в Telegram или другом мессенджере. Количество попыток для решения каждого задания на Stepik будет рассчитываться с учётом того, что каждый член команды может вводить решения независимо. В этом отношении команды в составе 4-х человека будут иметь преимущество по попыткам перед командами в составе 3-х человек.
Заключительный этап
Задача заключительного этапа будет посвящена алгоритмам и методам «бизнес-разведки» с использованием космических снимков, то есть анализу состояния и текущей динамики наблюдаемых наземных объектов, который позволяет делать выводы, важные для принятия бизнес решений. В качестве объектов будут выбраны сельскохозяйственные угодья и объекты нефтегазового сектора.
Задание будет разбито на несколько подзадач.
-
Оценка площади и динамики используемых сельхозугодий по определённому региону, с определением доли заброшенных сельскохозяйственных земель и площадей, занятых различными сельскохозяйственными культурами. Для разделения указанных классов участникам необходимо будет анализировать сезонную динамику вегетационных индексов и других показателей, которые меняются по-разному для разных сельскохозяйственных культур, заброшенных полей и естественных травянистых экосистем. В большинстве случаев это потребует использования космических снимков из разных источников, с разными характеристиками и с различным пространственным разрешением (включая, вероятно, и радарные снимки, позволяющие получать данные при любом облачном покрове). Участники должны будут продемонстрировать не только умение работать с источниками открытых данных, но и умение получать сравнимые показатели на основе снимков различных типов.
-
Оценка долговременных трендов в использовании земель того же региона: определение площади сельхозугодий, заброшенных за определённый многолетний период, а также доли таких угодий, (а) вновь вернувшихся в сельскохозяйственный оборот, (б) окончательно заброшенных и заросших древесной и кустарниковой растительностью.
-
Оценка активности нефтедобычи в период во время и после текущей пандемии коронавируса по наблюдаемым из космоса признакам, для одного или нескольких из основных нефтедобывающих регионов мира. Среди возможных наблюдаемых показателей: количество и время работы факелов сжигаемого попутного газа на эксплуатируемых месторождениях; количество и динамика транспортных средств на обсуживающих дорогах; положение подвижных крышек на крупных нефтехранилищах; активность и маршруты морских нефтеналивных танкеров.
По первым двум подзадачам участники создают карты (наборы пространственных данных) различных типов сельхозугодий и их динамики за указанный период, с разделением на соответствующие классы и подсчётом их площадей.
По третьей подзадаче участники создают методику/алгоритм оценки объёма нефтедобычи на изучаемых эксплуатируемых месторождениях по наблюдаемым из космоса признакам. Они также получают динамику этих показателей за изучаемый период и на её основе делают выводы о динамике нефтедобычи.
Знания:
Для того, чтобы правильно интерпретировать то,что вы видите на космических снимках, необходимы знания из разных областей географии и некоторых областей биологии. В частности, с самого начала участникам будут необходимы:
-
Хорошее знание физической географии в целом и изучаемых регионов, особенно в части растительности и ландшафтов (в том числе агроландшафтов) — чтобы анализировать распределение и характер растительности в зависимости от различных физических факторов: рельефа, гидрологии, геологии, климата и пр.
-
Хорошее знание экономической географии и основных видов природопользования изучаемых регионов — чтобы разобраться, какая хозяйственная деятельность человека формирует ландшафты, которые вы видите на космических снимках.
-
Знание основ функционирования и динамики различных экосистем (растительных сообществ) — чтобы анализировать, связаны ли наблюдаемые изменения на снимках из космоса с сезонными явлениями, со сменой одних растительных сообществ другими (сукцессиями) или с воздействием человека.
Hard Skills:
Рекомендуются для всех участников команды к финалу:
-
Владение хотя бы простейшими приёмами работы с пространственными данными в геоинформационных системах, включая загрузку и визуализацию наборов векторных и растровых данных, редактирование векторных данных, работа с каналами и гистограммами космических снимков, подсчёты площадей и простейшая геообработка векторных данных (обрезка, пересечение, объединение). Выбор конкретного программного обеспечения остаётся на усмотрение участников и их наставников. Набор возможных ГИС-систем включает, но не ограничивается следующими пакетами: QGIS (сборка от российской компании «NextGIS» или международная версия), GRASS GIS, SNAP, ArcGIS, ScanEx Image Processor, DTclassifier, Semi-Automaic Classification Plugin, gvSIG.
-
Умение работать с основными источниками пространственных данных (космических снимков, различных электронных карт) в интернете, навыки работы с геопорталами. Задания всех этапов олимпиады, особенно второго и заключительного этапов, будут опираться на общедоступные космические снимки и другие данные.
-
Владение методами / алгоритмами классификации растровых изображений: нейросетевые алгоритмы, decision tree, метод опорных векторов, kNN или другие – чтобы выявлять по космическим снимкам и картографировать те или иные объекты или типы растительности. Не требуется знать всё разнообразие алгоритмов – достаточно уверенно владеть одним-двумя.
-
Владение хатя бы одним методом / алгоритмом анализа изменений (change detection) – чтобы по паре разновременных космических снимков выявлять изменения, произошедшие между ними.
-
Владение методами расчёта вегетационных индексов и других метрик, рассчитываемых как функции от значений яркости спектральных каналов оптических снимков. Динамика этих индексов поможет вам разные типы растительности (например, поля, засеянные разными культурами).
-
Умение проводить простейшие статистические расчеты для пространственных данных: оценивать ваши результаты по пробным участкам, строить матрицу ошибок.
-
Владение английским языком (чтение) или умение использовать онлайн-переводчики.
Рекомендуются, в первую очередь для участников-дешифровщиков:
-
Умение «читать» географические карты, находить на них нужные территории и объекты.
-
Умение интерпретировать космические снимки, визуально определять по ним характер растительного покрова и различные объекты.
-
Умение анализировать причины того или иного распределения и характера растительности, а также изменений растительного покрова в зависимости от различных факторов: рельефа, гидрологии, геологии, климата и хозяйственной деятельности человека.
Рекомендуются, в первую очередь для участников-программистов:
-
Программирование на одном или нескольких языках программирования. Прежде всего, рекомендуется Python (который используется в среде QGIS и/или GRASS) и Perl (рекомендуется ActivePerl, используется для доступа к некоторым данным и для автоматизации их обработки), дополнительно – JavaScript (лучше всего подходит для задач в среде Google Earth Engine) и R (на нём реализованы некоторые бесплатные алгоритмы анализа и классификации).
-
Использование библиотек работы с пространственными данными GDAL/OGR.
-
Работа в среде Google Earth Engine.
Soft Skills:
Для выполнения командной работы важны такие навыки как умение слушать друг друга, распределять задачи, брать ответственность за свою часть работы.
-
Для решения задач олимпиады будут требоваться знания и навыки, которых не приобретают в школе, поэтому важна готовность учиться в процессе олимпиады. В частности, способность (и готовность) осваивать новые навыки и инструменты (прежде всего, речь о программном обеспечении и работе с геоинформационными системами).
-
Потребуется найти ответы на сложные комплексные вопросы, поэтому нужно умение самостоятельно находить и анализировать информацию, сопоставлять данные из различных источников.
-
Важны аккуратность и последовательность, в частности, в такой работе как очерчивание объектов на карте / космическом снимке.
Численность команды и роли
Число участников команды: 3 или 4 человека.
- Информатики-программисты: 1 или 2 человека.
Основные задачи: прежде всего, обработка растровых изображений, классификация, работа с пространственными данными и геоинформационными системами, вероятное написание скриптов для массивной или автоматизированной обработки пространственных данных. Программисты разрабатывают / осваивают методики расчёта вегетационных индексов и других показателей, сезонная динамика которых позволяет разделит соответствующие классы, дорабатывают алгоритмы и готовят их демонстрационные версии на финале. - Географы/биологи-дешифровщики: 1 или 2 человека.
Основные задачи: работа с геоинформационными системами, дешифрирование космических снимков, анализ результатов дешифрирования. Дешифровщики изучают дешифровочные признаки различных классов объектов на разных типах космических снимков и ищут источники данных и дополнительную информацию, проводят визуальную проверку корректности выделения объектов, сделанного с помощью алгоритмов. Скорее всего, в значительной мере именно дешифровщики подводят итоги и оформляют результаты решения задач в виде картографических материалов.
Вместе с тем, роли могут по-разному распределяться между участниками для решения каждой задачи. Соотношение и важность ролей при решении каждой задачи может быть различной и, вероятно, будет различной. При решении одних задач ведущая роль будет принадлежать программисту / программистам, при решении других – географу-дешифровщику / географам-дешифровщикам.
На втором отборочном этапе возможно (и даже желательно) параллельное решение задач разными членами команды. Вместе с тем, какая-то из задач может на определённом этапе потребовать участия всех членов команды.
Для заключительного этапа мы предварительно предполагаем, что третья подзадача будет решаться командой параллельно с первыми двумя, в то время как вторая будет решаться после решения первой. Соответственно, над каждой из подзадач одномоментно может работать пара, дешифровщик и программист. В команде из трёх человек один программист может обслуживать двух дешифровщиков, работающих над двумя разными задачами.
Однако, на всех этапах эффективное распределение ролей внутри команды является прерогативой и ответственностью самой команды.
Роли могут пересекаться. Умение работать с геоинформационными системами необходимо на определённом уровне всем участникам.
Материалы для участников
Основы ГИС и ДЗЗ:
- Плавное введение в ГИС
- Если вы планируете использовать QGIS, сборку от компании «НекстГИС», — Документация на NextGIS QGIS (или здесь).
- Если вы планируете использовать GRASS GIS — Начало работы с GRASS GIS 7
- Как собрать и показать снимок Landsat из отдельных каналов в QGIS
- Космические снимки: работа с каналами и гистограммами
- Первый вебинар (01.12.2018): базовые навыки работы с ГИС, пространственные данные, проекции
Подробнее про дешифрирование космических снимков:
- Книга Fundamentals of Remote Sensing (англ. язык)
- Технические характеристики инструментов ДЗЗ и их носителей
- Интерпретация комбинаций каналов данных Landsat TM / ETM+
- Вегетационные индексы
Статьи по использованию некоторых программных инструментов ГИС:
- QuickMapServices — быстрая работа с базовыми картами в QGIS
- Опыт классификации космоснимка Landsat с помощью Semi-Automatic Classification Plugin в QGIS
- Опыт классификации космоснимка Sentinel- 2a с помощью Semi-Automatic Classification Plugin в QGIS
- Обработка и интерпретация данных Landsat 8 (OLI) средствами GRASS GIS 7
- Обработка многозональных космоснимков в MultiSpec
- Классификация космического снимка с обучением с помощью QGIS и GRASS
- Классификация растровых данных при помощи DTclassifier для QGIS
- Классификация растровых данных с помощью деревьев решений в R
- Классификация данных ДЗЗ используя метод опорных векторов и imageSVM
- Нейросетевая обработка данных в ГИС GRASS и R
- Примеры использования инструментов GDAL
- Пример использования утилит GDAL для вычисления яркостных характеристик снимков
- Использование языка PERL для автоматизации работы с пространственными данными в среде Windows
Полезные ссылки по Google Earth Engine от ведущего вебинара:
- Решение задач второго этапа 2019-20 года: (задача 1), (задача 2), (задача 3) на javascript.
- Плюс пример тематической классификации снимков на javascript.
- То же самое – для python api: решение задач и пример.
- Пример готового приложения на Google Earth Engine от ведущего вебинара.
- Инсталляция python API-GEE.
- Плагин по GEE для QGIS (работает только с третьей (международной) версией, со сборкой «НекстГИС» на основе второй версии работать не будет)
Учебные материалы по GEE:
Геопорталы — онлайновые ГИС:
Это веб-сайты с интерактивными картами и космическими снимками, позволяющие рассматривать снимки и другие данные онлайн, а также часто — выполнять с ними простые операции. Как правило, не позволяют сгрузить космические снимки на ваш компьютер в нормальном ГИС-формате без потери информации.
- Яндекс.Карты: самый популярный отечественный геопортал. С помощью «Конструктора карт» позволяет также создавать и редактировать векторные пространственные данные, экспортировать и импортировать их в ГИС-форматах KML, GPX и GeoJSON .
- Google Maps: ещё один общеизвестный портал, который также даёт возможность и самостоятельно создавать и редактировать векторные пространственные данные, экспортировать и импортировать их в ГИС-форматах KML/KMZи GPX (через «Мои места» —> «Карты»).
- Google Планета Земля (Google Earth): https://earth.google.com, https://www.google.com/earth/
- Google Earth Pro, которую необходимо скачать и установить на ваш компьютер как самостоятельную программу: русскоязычная версия, англоязычная версия
- Публичная кадастровая карта «Росреестра»: https://pkk5.rosreestr.ru, публичная-кадастровая-карта.рф
- Геопортал российской компании «СКАЭКС» Космоснимки.RU
- Cервис «Карта пожаров», построенный на платформе «Космоснимков»: http://fires.ru/, http://fires.kosmosnimki.ru
- Сервис LandLook Геологической службы США (US Geological Survey, USGS). Просмотр доступных снимков среднего разрешения – Landsat и Sentinel. Возможности рисования объектов, оформления и печати карт.
- Съёмка со спутников Landsat в близком к реальному времени
- Sentinel Hub: ещё один сервис для просмотра разных доступных онлайн снимков среднего и низкого разрешения от Европейского космического агентства. Позволяет также скачивать космические снимки, хотя и не в исходных форматах.
- WorldView: аналогичный сервис от Американского космического агенства (НАСА). Много возможностей визуализации разных слоев с экологической информацией.
- Геопортал Роскосмоса: https://gptl.ru/, https://pod.gptl.ru/ (портал открытых данных ДЗЗ)
- Портал «Всемирной лесной вахты» (Global Forest Watch): очень важный источник информации о лесах мира и пространственных данных по ним.
- Сайт Лаборатории Global Land Analysis & Discovery (GLAD): сайт лаборатории Университета штата Мэриленд (США), авторов целого ряда важных глобальных продуктов на основе космических снимков. Сайт содержит ряд важных ГИС данных, научных публикаций и ссылок на другие ресурсы. Целый ряд ГИС-данных и мозаик космических снимков, созданных лабораторией можно посмотреть на интерактивной карте GLAD Interactive Maps & Download data (https://glad.umd.edu/gladmaps/globalmap.php).
- Global Forest Change: проект Лаборатории Global Land Analysis & Discovery (GLAD) (https://glad.umd.edu/) Университета штата Мэриленд (США) на движке Google Earth Engine. Интерактивная карта визуализирует результаты анализа временных серий снимков Landsat с 2000 года – карты лесного покрова и его изменений, а также мозаики снимков Landsat.
Источники ГИС-данных и космических снимков в ГИС-формате:
- EarthExplorer: портал Геологической службы США (US Geological Survey, USGS), с которого можно бесплатно скачать космические снимки Landsat, Sentinel-2, MODIS и некоторые другие, а также различные пространственные данные (как правило, созданные на основе снимков). Про то, как отсюда сгружать, можно прочесть здесь.
- GloVis: ещё один портал Геологической службы США (US Geological Survey, USGS), с которого также можно скачать космические снимки Landsat и другие.
- Copernicus Open Access Hub: портал Европейского космического агенства, с которых можно скачать бесплатно снимки со спутников Sentinel, в том числе – бесплатные радарные снимки Sentinel-1.
- Sentinel Hub: ещё один сервис для просмотра разных доступных онлайн снимков среднего и низкого разрешения от Европейского космического агентства. Позволяет также скачивать космические снимки, хотя и не в исходных форматах.
- Open Street Maps: открытые картографические данные на весь мир, получаемые путем совместного картографирования пользователями (crowdmapping).
- Fire Information for Resource Management System (FIRMS): портал НАСА, позволяющий не только посмотреть, но и сгрузить данные о пожарах («горячих точках»), полученных путем обработки данных со спутников в дальнем (тепловом) инфракрасном диапазоне. Доступ как к актуальным, так и к архивным данным. Статья про получение данных (правда, про немного устаревшую версию портала) здесь.
- Global Forest Change 2000–2018 Data Download: с этой странички Лаборатории Global Land Analysis & Discovery (GLAD) можно сгрузить данные об изменениях лесного покрова мира, полученные на основе обработки космических снимков Landsat за 2000-2018 годы. Здесь же можно сгрузить и подготовленные лабораторией мозаики космических снимков Landsat. Посмотреть эти данные онлайн можно здесь.
- GLAD Landsat Analysis Ready Data and Tools: проект GLAD Университета штата Мэриленд (США), в рамках которого они дают бесплатный доступ всем желающим к 16-тидневным композитам Landsat на весь мир за много лет, созданным по методике GLAD. Данные предоставляются в формате, готовом для обработки алгоритмами классификации и change detection. Также предоставляется доступ к инструментам обработки и анализа этих снимков.
- Портал «Всемирной лесной вахты» (Global Forest Watch): очень важный источник информации о лесах мира и пространственных данных по ним. Большинство наборов пространственных данных можно не только посмотреть на портале, но и сгрузить в ГИС-форматах.
- Описание разных источников открытых геолого-геофизических данных
Разборы задач предыдущих лет:
Вебинары 2018/19 года — разбор задач второго этапа:
-
Первый вебинар (01.12.2018): базовые навыки работы с ГИС, пространственные данные, проекции.
-
Второй вебинар (02.12.2018): работа с космическими снимками в QGIS, пример классификации (полностью аналогичный Задаче А (Картографирование влажных тропических лесов) и Задаче Б (Картографирование сухих тропических лесов) раздела «Картографирование лесов и изменений лесного покрова» второго блока задач 2018/19 года). К сожалению, запись этого вебинара не сохранилась. Отчасти, аналогичные задачи мы разбирали на вебинаре 05.12.2019 по задачам первого блока второго этапа за 2019/20 гг.
-
Третий вебинар (10.12.2018): разбор задач первого блока, раздел «Базовые навыки», а также де факто Задачи Г (Выделение сгоревших территорий в бореальных лесах) и Задачи Д (Анализ изменений. Гари 2018 года), перенесённых из первого блока в раздел «Картографирование лесов и изменений лесного покрова».
-
Четвёртый вебинар (22.12.2018): разбор задач второго блока, преимущественно раздела «Задачи на пространственный анализ», а также Задачи В (Анализ изменений (сhange detection) лесного покрова в тропических лесах) из раздела «Картографирование лесов и изменений лесного покрова».
-
Пятый вебинар (06.01.2019): разбор задач третьего блока — «Картографирование тропических плантаций» (самые сложные задачи второго этапа 2018/19 года).
Вебинары 2019/20 года – разбор задач второго этапа, подготовка к финалу, разбор задач финала:
- Вебинар (05.12.2019): консультация по задачам первого блока второго этапа за 2019/20 гг. Разбор задач, аналогичных задачам первого и, отчасти, Задачи А (Полисто-Ловацкие болота) и Задачи Б (Ленточные боры) второго блока. Вопросы поиска и отбора космических снимков Landsat, работа с каналами и гистограммами в QGIS, склеивание каналов, простейшее визуальное дешифрирование, автоматическая классификация снимков с помощью DTclassifier.
- Вебинар (17.02.2020): разбор задач на автоматическую классификацию, выделение однородных объектов по космическим снимкам — Задачи А (Полисто-Ловацкие болота) и Задачи Б (Ленточные боры) второго блока задач; а также задач на анализ изменений (change detection) – Задачи В (Гари 2019 года в Восточной Сибири) второго блока задач и Задачи Г (Анализ изменений лесного покрова в тропических лесах Мадагаскара) третьего блока. Также была разобрана единственная Задача А четвёртого блока — Валидация результатов дешифрирования. Расчет матрицы ошибок.
- Вебинар (22.02.2020): первый вебинар по оперативной обработке снимков с метеорологических спутников, принятых на наземные станции приема, работа с форматом HDF. Презентация. Участникам было предложено задание для самостоятельной работы (см. последний слайд презентации) — для отработки навыков, необходимых для решения одной из задач финала.
- Вебинар 01.03.2020: второй вебинар по оперативной обработке снимков, созданию маски облачности; разбор результатов и ошибок участников; ответы на вопросы. Инструкция по загрузке снимков MODIS в формате HDF в QGIS.
- Вебинар 15.03.2020: вебинар по основам работы в среде Google Earth Engine; разбор соответствующих задач второго этапа.
- Вебинар 23.03.2020: вебинар по организационным вопросам распределённого финала.
- Короткий вебинар 26.03.2020: быстрый разбор типичных ошибок по Задаче 1 на финале, по итогам тренировочных обработок первых пролётов 25 и 26 марта: работа со SNAP и масками облачности.
- Разбор задач по географии: разбор задач финала предметного тура по географии.
- Разбор Задач 2 и 3 командного тура финала: change detection: типичные ошибки и возможные пути решения второй задачи; расчёт оценки ошибки по классу Change по результатам валидации на основе стратифицированной выборки, ошибки команд.
Рынки НТИ
- AeroNet
- AutoNet
- EnergyNet
- MariNet
- NeuroNet
- Все вопросы можно задать по электронной почте:
- onti-kosmosnimki@googlegroups.com