Лес текстура: Воздушный вид сверху лес, текстура лесной вид сверху природа горы фон

Идея здесь в том, что вместо того, чтобы полагаться исключительно на спектральную информацию каждой отдельной ячейки в нашем растре, мы должны принять во внимание спектральную информацию «окрестности» вокруг ячейки.Если окружающие клетки имеют аналогичные значения, мы можем предположить, что они одинаково отражают свет и что их текстура довольно стабильна (как скошенное травяное поле). Но если они демонстрируют больший разброс в своих значениях, мы можем предположить, что они несколько иначе отражают свет и что их текстура более грубая (как крона взрослого дерева). Таким образом, растр «текстуры» предоставляет информацию не только о цвете , но также о форме .

Чтобы получить этот последний слой, мы выполняем операцию Focal Statistics как для диапазона G, так и для диапазона NIR нашего изображения NAIP со статистикой Range и окном 7 x 7.При разрешении 1 м окно 7 x 7 примерно соответствует площади кроны зрелого дерева. В заключение мы усреднили значения этих двух растров вместе с помощью Калькулятора растра.

Растр «текстуры» изображения NAIP. Обратите внимание на то, что река Уилламетт (в центре) выглядит очень темно-синей (низкое значение, гладкая поверхность), в то время как Forest Park (слева) выглядит коричнево-коричневой (более высокое значение, более грубая поверхность).

Увеличено с учетом растра «текстуры» и исходного изображения.Обратите внимание на то, как плоские травянистые поверхности выглядят синими (низкие значения), а полог — коричнево-коричневым (более высокие значения).

Загрузка этих шести входных данных в мою классификацию дала довольно впечатляющие результаты. Для получения подходящего уровня точности требовалось запросить больше классов, чем требовалось в исходном неконтролируемом алгоритме. Я начал с 50 классов, а затем вручную перекомпоновал их, чтобы сформировать единый слой навеса посредством визуального осмотра. Я также использовал несколько методов сглаживания после классификации, в том числе применение фильтра большинства для устранения небольших отверстий в областях с навесом и использование растрового изображения с пороговой структурой в качестве маски для более точного выделения деревьев в затененных областях.

Выходной слой навеса из изображений NAIP после постклассификационного сглаживания и маскирования. Обратите внимание, что в лесопарках под навесом все еще есть дыры — эти надоедливые тени!

Выходной слой навеса наложен на исходное изображение (слева) и исходное изображение (справа) для сравнения. Классификация хорошо сочетается с навесом, хотя в некоторых местах она имеет тенденцию переоценивать границы кроны. Он также по-прежнему страдает некоторыми трудностями при распознавании теней.

В конце концов, я обнаружил, что методология Бихи в сочетании с некоторым сглаживанием и маскированием после классификации создала довольно впечатляющий слой навеса. Сохранялись проблемы с обнаружением деревьев в затененных частях изображения, что остается основным недостатком этого подхода. Но по сравнению с более трудоемким процессом сбора обучающих данных для контролируемой классификации этот метод намного легче и эффективнее, и хорошо работает для получения быстрых и точных карт городского леса.

Вам также не нужно быть экспертом по дистанционному зондированию, чтобы запустить его! Чтобы получить данные NAIP для вашего штата или города, перейдите сюда или найдите отдельные плитки в Earth Explorer.

Вы студент, который хочет профессионального роста в карьере аналитика ГИС? Вы хотите развить навыки пространственного анализа в практической учебной среде?

Следите за датами открытых заявок этой осенью и обращайтесь к нам с вопросами о программе!

между системами классификации текстуры почвы с использованием алгоритма случайного леса

Введение

Термин «текстура почвы» означает распределение частиц почвы (минеральных зерен) в почве в соответствии с их размером (диаметром).Диапазон диаметров отдельных частиц почвы подразделяется на дискретные интервалы, которые также известны как фракции или категории по размеру зерна (например, помеченные как песок, ил или глина). В мире существует множество систем классификации, которые различаются пределами размеров диаметра для каждой фракции зерна или количеством фракций.

Наиболее предпочтительным представлением такой классификации является градуировочная кривая. Кривая сортировки — это кумулятивная функция, описывающая соотношение между процентным содержанием фракции почвы и диаметром частиц, где вертикальная ось ( y -ось) определяет процент каждой фракции, а горизонтальная ось ( x -ось) определяет почву. размеры частиц в логарифмическом масштабе.Точка на кривой показывает процентное отношение к массе материала, размер которого меньше диаметра в данной точке на оси x графика.

Многие экологические проблемы, в которых данные о почве служат входными данными для имитационных моделей, не ограничиваются национальными границами и поэтому требуют международного сотрудничества для поиска решений. Классификация почв по их механическому составу — один из основных методов описания почв. Однако лишь несколько стран используют одни и те же фракции частиц в своих системах классификации текстуры почвы.Следовательно, необходимо преобразование описания текстуры частиц между различными системами. ¹

Посредством описания текстуры почвы, также известного как гранулометрический состав (PSD), можно прогнозировать различные важные свойства почвы (например, насыщенную гидравлическую проводимость, кривую влагоудержания почвы, доступную влагоемкость, тепловую проводимость и др.). Так называемые педотрансферные функции (PTF) часто основываются на фракциях песка, ила и глины ²³⁴ определенной системы классификации, ⁵ например, системы классификации USDA.Не все страны используют эту систему классификации; как следствие, базы данных из этих стран не могут предоставить нам исходные данные для таких расчетов или моделей. Примером существующих инструментов, которые были разработаны для вышеупомянутых задач, является модель Rosetta, которая была разработана для оценки PTF и основана на нейронных сетях. ⁶ Эта модель работает исключительно с использованием системы классификации USDA, поэтому, если имеющиеся данные не классифицируются в этой системе, часто бывает желательно выполнить переклассификацию.Также в других задачах часто бывает необходимо провести трансформацию текстурных классификаций, когда данные из разных источников должны быть объединены и использованы вместе.

Настоящее исследование посвящено описанию реклассификации текстурной системы с помощью предложенной модели в наборе данных из Словакии, который первоначально был обозначен Национальной системой классификации. Однако авторы статьи предполагают, что предлагаемую методологию можно использовать в более общем плане и что представленная информация также применима при работе с другими системами классификации текстуры почвы и в других странах.Помимо систем классификации, которые мы изучали в этой статье (система классификации Копецки, используемая в Чешской Республике и Словакии, и система USDA), в почвоведческом сообществе широко известны различные другие системы классификации, например, классификация текстуры почвы ФАО (также известная как Европейская почвенная карта или HYPRES ), французская классификация текстуры почвы Aisne, французская классификация текстуры почвы GEPPA, немецкая классификация текстуры почвы Bodenartendiagramm, немецкая классификация текстуры почвы Standortserkundungs-Anweisung классификация лесных почв, немецкая классификация текстуры почвы Landwirtschaftliche Boden для пахотных почв, британская служба почвенного исследования Англии и Уэльса, классификация текстуры почвы Австралии, классификация текстуры почвы Бельгии и т. д. ⁷

Некоторые исследователи уже предложили подгонку измеренных PSD в различные непрерывные параметрические кривые. При достижении такого соотношения можно получить процентное соотношение зернистой фракции в рассматриваемом образце для любого размера диаметра частицы, что означает, что можно получить значения, необходимые для выполнения перевода из одной системы классификации текстуры в Другой. Несколько авторов провели сравнительные исследования различных моделей PSD, чтобы определить лучшую модель для групп почв, выбранных для их исследований. ⁷⁸⁹¹⁰

Представленные результаты вышеупомянутых работ несколько отличаются друг от друга, и в целом подходящей модели PSD нет. В некоторых из этих моделей также есть различные необязательные параметры, выбор которых основан на ноу-хау исследователя. Если это не будет выполнено правильно, результаты вычислений могут быть искажены. Поскольку преобразование системы текстуры почвы обычно является лишь предпосылкой для решения некоторых последующих задач, это смещение распространяется при последующем моделировании или другой работе.Таким образом, для достижения более общих и точных результатов при решении задач, связанных с преобразованиями между различными системами текстуры почвы, авторы настоящей статьи предлагают гибридный подход, который имеет потенциал для получения улучшенных результатов. Хотя авторы продолжают рекомендовать использование упомянутых параметрических моделей PSD в предлагаемой методологии, окончательный прогноз делается с помощью алгоритма ансамблевого машинного обучения, основанного на деревьях регрессии, то есть так называемого алгоритма случайного леса (RF), ¹¹ который строится поверх выходных данных моделей, которые служат членами ансамбля.

Материалы и методы

Описание области исследования и доступных наборов данных

Интересующий район — Загорская низменность — расположен в Центральной Европе, а точнее в западной Словацкой Республике. Он ограничен рекой Моравой на западе, а горный массив Малые Карпаты образует естественную границу на востоке. Большая часть Загорской низменности состоит из неогеновых отложений морского происхождения и более молодых четвертичных отложений, покрывающих поверхность равнин, которые в основном представлены глинистыми песками, дрейфующими песками и песчаными глинами. ¹² Основные почвообразующие факторы низменности являются азональными, например, аккумулирующая активность ручьев и наводнения, нарушающие почву, наряду с эрозией почв. Наиболее распространенными почвами здесь являются чернозем, аренозол и речные почвы речных равнин реки Моравы. В черноземах наблюдается интенсивный процесс накопления органического вещества почвы; поэтому они подходят для большого количества различных видов растений.

Напротив, аренозоли — это почвы на ранней стадии развития, и они почти не содержат непрерывной растительности на своей поверхности, из-за чего содержание органического вещества очень низкое.Они подходят для выращивания культур с меньшими потребностями, таких как рожь. Fluvisols периодически разрушаются наводнениями. Их профиль часто постоянно загружается новыми слоями паводковых наносов (ила). ¹²

Системы классификации, использованные в этом исследовании

Среди различных систем классификации почв, основанных на структуре почвы, наиболее часто используемые в Словацкой Республике следующие:

• 1. Система классификации текстур Копецкого, которая выделяет четыре категории классов частиц.Первая категория (глина) содержит частицы диаметром менее 0,01 мм, вторая категория (ил) — частицы, диаметр которых ограничен интервалом 0,01-0,05 мм, третья категория (порошкообразный песок) — частицы диаметром 0,05-0,1 мм, и частицы четвертой категории (песок) с размерами в интервале 0,1-2,0 мм.

• 2. Хорошо известной классификацией, очень часто используемой (также в Словакии), является система классификации USDA, которая основана на классификации почв по процентному содержанию глины (до 0.002 мм), ила (0,002-0,05 мм) и песка (0,05-2 мм). Визуальное представление классификации USDA представляет собой треугольную классификационную диаграмму. На этой диаграмме выделены 12 основных классов зерен (глина, илистая глина, супесчаная глина, супесчаный суглинок, суглинок, илистый суглинок, песок, суглинистый песок, супесчаный суглинок, суглинок, илистый суглинок и ил), в которых он находится. можно классифицировать образцы.

Сравнение этих двух систем классификации ясно показывает различное количество фракций в каждой из них и несогласованные пределы для каждой фракции.А именно, доля глинистых частиц в системе классификации USDA достигает значения 0,002 мм, в то время как классификация Копецки устанавливает этот предел на уровне 0,01 мм. При решении различных задач, для которых необходимо иметь данные о текстуре почвы в классификации USDA (например, упомянутый пример с применением модели Rosetta), наборы данных, использующие систему классификации Копецки, несовместимы, что может быть проблемой. Как мы уже упоминали, в мире существует множество различных систем классификации текстур.Следовательно, подобные ситуации могут возникать чаще, и методология, которую авторы хотели бы предложить в этой статье, может быть в целом полезной.

Описание используемых наборов данных

В этой статье были использованы два набора данных:

• 1. Данные A — данные, для которых доступна вся кривая сортировки, на основе которых можно рассчитать значения PSD как для классификации Копецки, так и для классификации USDA.

• 2. Данные B — доступны данные только с интервалами зернистости текстуры по классификации Копецкого.

Набор данных A

Образцы взяты из Загорской низменности. ¹³ Количество образцов — 43. Образцы сушили на воздухе и просеивали; был проведен текстурный и другие анализы. После того, как эти анализы были выполнены, набор данных содержал следующие параметры: кривая зерна, приведенная насыпная плотность _d и точки высыхающих ветвей кривой влагоудержания. Кроме того, данные для каждого образца также содержат объем гумуса в почве, значение насыщенной гидравлической проводимости K и географические координаты отдельных образцов.Недавно был получен набор данных A, и для каждого образца также доступна полная кривая оценки, на основе которой были сделаны показания процентных значений классификаций Копецки и Министерства сельского хозяйства США. Поскольку для этого набора данных доступна текстурная информация для обеих классификаций (Копецки и USDA), эти данные использовались для создания и проверки модели, которая служит для преобразования текстурного описания почвы из классификации Копецки в систему классификации USDA.

Набор данных B

Этот набор данных содержит данные, полученные в результате предыдущей работы, которая проводилась в районе Загорской низменности в Словакии.В общей сложности было взято 140 проб почвы из различных мест в этой области, но точное географическое местоположение не было записано при отборе проб. ¹⁴

Образцы почвы были оценены аналогичными лабораторными методами, как и в предыдущем наборе данных. Образцы почвы сушили на воздухе и просеивали для физического анализа. Гранулометрический анализ по четырем категориям зерен был проведен с использованием методов Кассагранде. Категория I означает процентное содержание глины (диаметр <0.01 мм), категории II - ила (0,01-0,05 мм), категории III - мелкого песка (0,05-0,1 мм) и категории IV - песка (0,1-2,0 мм). Для образцов грунта также были измерены объемная плотность в сухом состоянии, плотность частиц, пористость и насыщенная гидравлическая проводимость. Точки высыхающих ветвей ПТФ для значений напора -2,5, -56, -209, -558, -976 и -3060 см были оценены с использованием оборудования избыточного давления (установленного для определения pF с керамическими пластинами). Поскольку они были в достаточно большом количестве, эти данные позже (не в этой работе) использовались для получения PTF с использованием модели, управляемой данными.

Модели PSD и их соответствие

Девять параметрических моделей PSD, участвовавших в этом исследовании, были оценены и сравнены для получения функций PSD. Модели были разработаны с использованием процедуры оптимизации, чтобы выбрать наиболее подходящий набор параметров для каждой модели. Выбранные модели: модели Фредлунда с тремя и четырьмя параметрами (FR3, FR4), модель Вейбулла с тремя параметрами (WB3), модель Андерссона с четырьмя параметрами (AND4), модель ван Генухтена с тремя параметрами (VG3), два Модели Гомперца (GP2, GP4), а также логарифмическая (LG) и экспоненциальная (EXP) модели.Эти модели ранее применялись в различных работах, например, в Zhao et al., ¹⁵ для определения гидрологических свойств почв, прилегающих к плотинам, построенным в Китае. Части моделей были выбраны в соответствии с результатами, полученными Botula et al. ⁷

В модели FR3 Fredlund необходимо оптимизировать три параметра ¹⁶ , т.е. a, b и c , и она использует предопределенные параметры d _f = 0,001 мм и d _м ( d _f = 0.0001 мм — это параметр, связанный с количеством мелких частиц в почве, а d _м — диаметр минимально допустимого размера частиц). Модель FR4 содержит четыре параметра, т. Е. a, b, c и d _f , которые должны быть найдены с помощью процедуры оптимизации, и предопределенный параметр d _m . Модель WB3 с тремя параметрами, то есть a, b и c (и двумя предопределенными параметрами: d _min = 0.002 мм и d _max = 2,0 мм), ранее использовался в Refs. 17 и 18 для создания кривых PSD для нескольких различных почв. AND4 — это четырехпараметрическая модель (параметры a, b, c, e ), разработанная Яухиайненом, ¹⁹ на основе оригинальной теории текстурных и водоудерживающих свойств почвы, представленной Андерссоном. ²⁰ Модели VG2 и VG3 были предложены Хаверкампом и Парланжем ² на основе исходной модели кривой влагоудержания почвы ван Генухтена (разработанной в 1980 году).Модель VG3 была впоследствии разработана на основе первой производной версии VG2 с двумя параметрами, когда использовалось соотношение m = 1 — 1 / n. VG3 считает оба подгоночных параметра m и n разными и независимыми друг от друга и использует три дополнительных параметра ( a, b и c ). Модели GP2 и GP4 представляют собой две формы модели Гомперца с двумя и четырьмя параметрами ( a, b ) и ( a, b, c и e ).Их кривые представляют собой частные случаи логистической кривой, которая является более общей, чем нормальная. Уравнение этой кривой представляет собой несимметричную замкнутую форму. Обе модели ранее использовались для извлечения кривых PSD Сильва и др. ²¹ для почв в Бразилии и Nemes ⁸ для почв в Германии и Нидерландах. Частицы почвы, выраженные в этих моделях, подчиняются распределению Гомперца. Наконец, логарифмическая модель и модель EXP содержат два параметра — параметры LG a и b и параметры EXP c и b.

Все перечисленные модели использовались для определения функций PSD методом оптимизации. В методе L-BFGS-B используются ограничения блока, что означает, что для каждой переменной (параметра модели) задаются нижняя и верхняя границы. Этот метод представляет собой модификацию квазиньютоновского метода с ограниченной памятью. ²² Реализован на языке R. ²³ Целью этой оптимизации было прогнозирование точек кривой зернистости каждой моделью как можно ближе к наблюдаемым данным путем поиска подходящих параметров модели.Решаемая задача должна определяться целевой функцией, которая в данной статье предлагается иметь следующий вид:

Таблица 1.

Модели PSD, использованные в этом исследовании.

Описание и настройка модели RF

Обычный процесс поиска наилучшей модели для получения правильной теоретической параметрической функции PSD означает применение большего количества методов, например, моделей из таблицы 1, сравнения их предсказательной способности с помощью наблюдаемых данные и некоторый статистический показатель согласия, а затем, наконец, выбор наиболее эффективной модели.Однако обычно не существует лучшей параметрической модели, которая превосходила бы при любых обстоятельствах. Различные параметрические модели часто показывают разную степень точности в разных почвах и разных средах, поэтому применение одной параметрической модели часто приводит к функциональной взаимосвязи, которая может быть более точной в одной части текстурной области, но менее подходящей для других частей. Одним из возможных решений этой проблемы является применение методологии ансамбля, которая использует лучшие характеристики различных параметрических моделей для достижения более общих результатов от подгонки данных к фактическим измеренным значениям.Более того, как было доказано в этом исследовании, такая метамодель обычно имеет возможность исправлять систематические ошибки, если они производятся отдельными моделями (недооценка, переоценка, мультипликативная ошибка и т. Д.).

Цель методологии ансамбля — объединить выходные данные нескольких моделей, чтобы улучшить обобщаемость / надежность, которые могут быть получены из любой из составляющих моделей. Девять параметрических моделей, описанных выше, были использованы для получения параметрических кривых PSD, выбранных для настоящего исследования.Выходы этих параметрических моделей являются входными данными для модели ансамбля, а именно модели, управляемой данными, основанной на алгоритме RF, что означает, что использовался тип суммирования ансамбля. Стекинг представляет концепцию (1) базовых моделей (моделей PSD) и (2) метамодели, которая вычисляет окончательные результаты и заменяет процедуру усреднения, используемую, например, в упаковке. Таким образом, стекинг пытается узнать, какие базовые модели более надежны, чем другие, используя упомянутую метамодель (RF в решенной задаче), чтобы выяснить, как лучше всего объединить выходные данные базовых моделей для достижения окончательных результатов.Результаты базовых моделей де-факто являются новыми данными для задачи обучения, и для решения этой проблемы используется RF-алгоритм.

RF-алгоритм состоит из набора деревьев регрессии (в этом исследовании авторы обращаются к проблеме регрессии; он также может быть заполнен деревьями классификации в случае изучения проблемы классификации). Результирующее предсказание RF представляет собой среднее значение этих многих выходных данных дерева, каждый из которых выращивается на выборке начальной загрузки обучающих данных.Пользователь выбирает количество деревьев, которые будут в ансамбле RF. Выборка начальной загрузки означает, что каждое дерево обучается с использованием выборки, полученной путем случайного рисования N наблюдений с заменами из исходного набора данных, где N — количество переменных в этом наборе данных. С каждым из этих загружаемых обучающих наборов получается свое дерево. Для регрессии значения, предсказанные каждым деревом, усредняются для получения предсказания RF. Более подробную информацию и более математически обоснованное объяснение ВЧ-алгоритма можно найти у Бреймана. ¹¹

Оптимизация модели RF

Управляемые данными модели должны быть оптимизированы для получения надежных и максимально точных результатов. Оптимизация модели в основном означает поиск оптимальных параметров модели. RF имеет три настраиваемых параметра: ntree (количество деревьев для роста), mtry (количество переменных, случайным образом выбираемых в качестве кандидатов в каждом разбиении дерева) и nodeize (минимальный размер конечных узлов). , что в первую очередь влияет на конечную точность модели.В этой работе используются две концепции для настройки RF: поиск по сетке и повторная перекрестная проверка.

Поиск по сетке разработан в процессе оптимизации для выбора значений для каждого параметра модели путем последовательного выбора их из сетки предопределенных значений и последующего вычисления с этими параметрами. Лучшее сочетание параметров выбирается из той итерации, в которой была достигнута наивысшая степень точности модели.

Эта точность оценивается как среднее значение нескольких прогонов так называемого процесса перекрестной проверки.В данной статье используется так называемая повторная перекрестная проверка. ¹⁸ В этом процессе начальный шаг состоит из случайного разделения обучающих данных на несколько наборов данных приблизительно равного размера, называемых сверток. В процессе обучения все свертки, кроме одной, используются в качестве входных данных для модели, а одна неиспользованная свертка используется в качестве данных проверки. Этот процесс выполняется столько раз, сколько складок создано с каждой комбинацией параметров. Повторная перекрестная проверка означает, что первоначальное случайное разбиение обучающих данных на свертки повторяется более одного раза.Это повторение применяется для получения более общей оценки модели. Точность модели на каждой итерации поиска по сетке фактически представляет собой среднее значение оцененной статистики (например, среднеквадратичную ошибку (RMSE)) из всех прогонов модели с одним набором параметров, например, если есть два повторения и пять раз, результирующая статистика представляет собой среднее значение из 10 значений.

Эта концепция настройки преследует две цели в этом исследовании: (1) поиск лучших параметров алгоритма RF и (2) оценка точности предложенной модели, которую можно ожидать для будущих данных.

Результаты и обсуждение

Подбор параметрических функций PSD

При преобразовании классификации текстуры почвы из системы Копецки в классификацию USDA необходимо экстраполировать только одну точку PSD, т. Е. Найти значение кривой зерна для диаметра частиц почвы 0,002 мм. Другие фракции USDA могут быть получены из системы классификации Копецки с помощью основных арифметических операций. Тем не менее, с более общей точки зрения, когда необходимо иметь дело с другими системами классификации, и требуется моделировать больше точек или разных точек кривой зернистости, методология такая же, как предложенная в этой статье для этой. точка.Более того, в предыдущих работах при нахождении процентного содержания неизвестных фракций в образце почвы в основном решались задачи интерполяции. ^7,15 В этой работе необходимо решить проблему экстраполяции на левом хвосте распределения PSD, которая является более сложной, поэтому методология, несомненно, будет подходящей для решения относительно более простых задач интерполяции.

На рисунке 1 показаны результаты подгонки различных функций PSD к данным текстуры почвы, измеренным с помощью подхода, описанного в разделе «Материалы и методы».Как видно из графического представления в левой части корреляционной матрицы и коэффициентов корреляции в ее правой части, большинство моделей работают достаточно хорошо. Это особенно заметно в последнем столбце корреляционной матрицы, где оценивается корреляция модели с измеренными данными. Результаты аналогичны результатам, полученным в других работах. ^7,15 Дополнительные статистические коэффициенты, которые служат для оценки соответствия модели, доступны в таблице 2.Эти коэффициенты оценивают соответствие между измеренными и вычисленными значениями. Используемые статистические данные: средняя ошибка (ME), средняя абсолютная ошибка (MAE), среднеквадратическая ошибка (MSE), RMSE, процентное смещение между смоделированными и наблюдаемыми значениями (PBIAS%) и коэффициент корреляции Пирсона ( r ).

Рисунок 1.

Корреляционная матрица моделей PSD и измеренных данных (в столбце глины).

Таблица 2.

Меры согласия для моделей PSD.

На рис. 2 показана оценка лучших моделей для различных почв по их абсолютным ошибкам. В каждой выборке данных (набор данных A) модель с наименьшей ошибкой при прогнозировании точки кривой зернистости 0,002 мм, необходимой для перевода в классификацию USDA, обозначена цветовым ключом. Как видно, не существует единой лучшей модели, которую можно было бы предпочесть ни для всего набора выборок данных, ни для образцов различных типов почв. Это означает, что предложенная методология ансамбля, которая представляет собой комбинацию всех успешных моделей, может быть полезна в этой задаче.

Рисунок 2.

Оценка фитингов PSD для различных типов почвы USDA.

Как видно из таблицы 2, некоторые модели не подходят для задач экстраполяции, связанных с подгонкой PSD, поэтому они были исключены из окончательного ансамблевого моделирования. Эта непригодность для экстраполяции особенно очевидна для модели Вейбулла. Так обстоит дело не только в представленном исследовании, но также может рассматриваться как общий результат. Это можно объяснить следующим образом: помимо эмпирических результатов, которые были получены в результате вычислительного эксперимента, выполненного в этой работе и оцененного в таблице 2, важной проблемой для этой модели является то, что параметр d _min должен быть установлен для минимальные диаметры частиц почвы, которые предположительно присутствуют в образце.Однако в случае экстраполяции левого хвоста это неизвестная информация, которую ищут, поэтому ее нельзя правильно установить заранее. Второй моделью, которая была исключена из окончательного моделирования, была модель LG, поскольку для некоторых образцов с помощью этой модели были рассчитаны отрицательные значения содержания глины. Это означает, что результаты семи моделей, наконец, послужили исходными данными для ансамблевого моделирования.

Согласно статистическим значениям в таблице 2, оценки результатов по различным статистическим коэффициентам различаются, например, модель EXP оценивается как лучшая модель по коэффициенту корреляции ( r ), а модель FR4 оценивается как лучшая модель от RMSE.Различные статистические данные согласия оценивают различные аспекты подгонки, например, один акцент делается больше с точки зрения дисперсии, а другие статистические данные лучше отражают систематическую ошибку. Например, хотя на рисунке 1 можно увидеть, что лучший коэффициент корреляции для модели EXP, ее прогноз имеет мультипликативные ошибки, которые не очевидны, если используется оценка только по коэффициенту корреляции (см. Рисунок 1, левая сторона).

В этой статье авторы предлагают методологию, вдохновленную идеей ансамблевого обучения, в которой алгоритм RF построен на основе прогнозов, вычисленных различными параметрическими моделями PSD (они являются входными данными для RF) и оптимальным окончательным результат получается с этим ансамблем.

Подбор RF-алгоритма

При создании окончательной модели для подгонки PSD необходимо решить две основные задачи: (1) найти оптимальную модель (например, оптимальные параметры RF-алгоритма, которые подходят для решаемой задачи) и (2) для оценки ожидаемой производительности модели. Прогнозируемые значения фракций глины USDA в семи моделях PSD, полученных из набора данных A, использовались для калибровки модели или так называемого обучения.Этот набор данных используется, потому что на этапе обучения моделирования на основе данных необходимо знать не только входные данные (доли зерен Копецки), но также измеренные выходы (фракции глины USDA), которые в этом случае известны, как указано в описания набора данных.

Основная проблема с обучающим набором данных в этой задаче заключается в том, что он относительно небольшой (43 образца). Обычный, так называемый подход набора проверок, который включает случайное разделение доступного набора образцов на две части, то есть обучающий набор и набор проверки или удержания, ¹⁸ здесь не подходит.Вместо этого метода авторы использовали подход многократной перекрестной проверки, описанный в разделе «Материалы и методы» данной статьи. Благодаря ноу-хау сообщества интеллектуального анализа данных, выраженному в различных книгах и статьях, в основном использовалась пятикратная перекрестная проверка с двумя повторениями. Результирующая РЧ-модель основана на лучших параметрах, полученных в результате перекрестных проверок. Ожидаемая точность модели вычисляется с использованием вычисленных и наблюдаемых данных из складок, удерживаемых на каждой итерации перекрестной проверки.

У подобранной модели RF есть следующие параметры: 500 деревьев, четыре переменные, случайным образом выбранные в качестве кандидатов на каждом разбиении дерева, и конечные узлы с минимальным размером 5. Как уже было сказано в разделе «Материалы и методы», Цель перекрестной проверки заключалась не только в том, чтобы найти эти оптимальные параметры, но и в оценке точности предложенной модели, которую можно было ожидать для будущих данных. Прецизионность с использованием коэффициента регрессии r была оценена для ансамблевой модели преобразования текстуры почвы из классификации Копецкого в классификацию USDA как 0.971 и используя RMSE как 0,0343. Когда эти значения сравниваются с результатами отдельных моделей модели ансамбля (см. Таблицу 2), можно видеть, что ни одна модель не достигла такой степени точности; Таким образом, была подтверждена полезность ансамблевого подхода для данного исследования.

Некоторые модели, управляемые данными, такие как искусственные нейронные сети, часто подвергались критике из-за их характера «черного ящика». Верно, что эти модели обычно не предназначены для описания и обычно не подходят для умозаключений.Из-за этого авторы использовали RF-модель в этой работе, поскольку она не только генерирует очень точные оценки и считается одним из наиболее эффективных алгоритмов на основе данных, но также предлагает некоторую информацию, которая помогает понять смоделированную задачу. Модель RF также включала возможность измерения важности или влияния каждой из ее переменных. ¹¹ Для каждого дерева записывается MSE в части данных вне пакета. Затем то же самое делается после перестановки каждой переменной-предиктора.Затем различия между ними усредняются по всем деревьям, и таким образом получается важность переменной (например, измеряется снижение точности после перестановки переменных по всем деревьям). Важность каждой переменной предложенной ансамблевой модели (например, прогнозируемые значения 10 параметрических моделей PSD) масштабируется от 0 до 100 и отображается на рисунке 3. С помощью этой оценки можно увидеть, какая модель более важна и полезно для окончательного прогноза.Наиболее важными из них являются модель EXP и модель Гомперца с двумя параметрами. Хотя авторы хотели бы подчеркнуть общую полезность предложенной методологии, следует сказать, что в случае других задач, особенно в случае задач интерполяции, другие модели могут иметь большее влияние на модель ансамбля. Этот результат позволяет нам предположить, что в контексте ансамблевого моделирования коэффициент корреляции более важен для выбора модели, чем другие статистические меры, оценивающие ошибки (такие как MSE, RMSE и т. Д.), потому что эти коэффициенты ошибок лучше, например, для обеих моделей Фредлунда (см. Таблицу 2). Это верно только в контексте ансамблевого моделирования; в противном случае следует выбирать модели Фредлунда (когда выбор делается только между отдельными моделями для окончательного моделирования). Это можно объяснить лучшей способностью ансамбля исправлять систематические ошибки, чем отдельные неточности. Удивительно, но модель Андерссона, не самая точная, играет довольно важную роль в финальном ансамбле.Это связано с тем, что модель Андерссона имеет небольшую степень корреляции с обеими лучшими моделями (рис. 2), поэтому это означает, что она разная. Эффективный ансамбль должен состоять из предикторов, которые не только достаточно точны, но и отличаются друг от друга в том смысле, что прогнозируемые ошибки возникают в разных областях входного пространства. ²⁴ Очевидно, что объединение нескольких идентичных моделей не приводит к увеличению точности. Из оценки на рисунке 3 видно, что механизм ансамбля также может исключать модель, если она избыточна (в нашем случае модель Ван Генухтена).

Рисунок 3.

Важность отдельных моделей PSD в окончательном ансамбле RF.

Авторы хотели бы выделить следующий практический аспект ансамблевого моделирования. Согласно так называемой теореме без бесплатного обеда , никогда заранее не ясно, какая модель PSD лучше всего подходит для конкретной задачи. По этой причине обычно необходимо попробовать больше моделей. На основе результатов этой статьи можно сказать, что, когда уже установлено больше моделей PSD, вместо выбора и использования только лучшей, лучше составить ансамблевое прогнозирование на основе всех этих уже установленных моделей PSD. (или на основе подмножества этих моделей).Формирование ансамбля обычно приводит к повышению точности, что также было подтверждено в тематическом исследовании в этой статье, а ансамблевое прогнозирование относительно легко выполнить, когда уже доступны подогнанные модели для конкретной задачи.

Заключение

В этой работе авторы исследовали, может ли парадигма ансамбля привести к некоторым улучшениям в задаче преобразования текстуры почвы, когда существующие модели PSD используются в качестве элементов ансамбля. Эта парадигма была проверена с использованием набора данных о почве из Словакии; однако предложенная методология также применима при работе с системами классификации текстуры почвы, используемыми в других странах.Повышение точности было продемонстрировано в упомянутом тематическом исследовании, а в статье документально подтверждено, что ансамблевая модель работала лучше, чем любая из ее составляющих. Прецизионность была оценена с помощью коэффициента регрессии для ансамблевой модели преобразования текстуры почвы из классификации Копецкого в классификацию USDA как 0,971 (очень близко к 1). Когда эти значения сравниваются с результатами отдельных параметрических моделей PSD модели ансамбля (см. Таблицу 2), которые в конечном итоге могут использоваться отдельно для такого преобразования, можно видеть, что ни одна модель не достигла такой степени точности, как предложил ансамбль РФ.Результаты также должны быть проверены в будущем на других наборах данных и для преобразования других систем классификации.