Регрессия изучает: Как работает регрессия МНК—ArcGIS Pro

Содержание

Как работает регрессия МНК—ArcGIS Pro

Регрессионный анализ – это, пожалуй, наиболее часто используемый метод статистики в общественных науках. Регрессия используется для оценки отношений между двумя или более атрибутами объектов. Определение и измерение отношения позволяют вам лучше понять, что происходит на месте, предсказать, где что-то случится, или начать проверять причины, почему события случаются в тех местах, где это происходит.

Метод наименьших квадратов (МНК) — наиболее известный метод регрессионного анализа. Его можно рассматривать как отправную точку для всех способов пространственного регрессионного анализа. Метод обеспечивает построение глобальной модели переменной или процесса, которые вы хотите изучить или предсказать; он создает уравнение регрессии, отражающее происходящий процесс.

Существует целый ряд ресурсов, содержащих подробную информацию как о МНК, так и о Географически взвешенной регрессии. Начните с Основ регрессионного анализа. Затем поработайте с обучающим руководством по регрессионному анализу. В этом разделе объясняется, как интерпретировать результаты вашего анализа, что поможет вам лучше понять выходные данные и показатели диагностики МНК.

Входные данные

Чтобы запустить инструмент МНК, укажите Входной класс объектов с полем уникального ID, Зависимую переменную, которую требуется смоделировать/объяснить/спрогнозировать, и список Независимых значений. Кроме того, нужно будет указать путь к выходному классу объектов и, если это необходимо, пути к выходному файлу отчета, выходной таблице коэффициентов и выходной таблице диагностики.

Интерпретация результатов МНК

Выходные данные, создаваемые инструментом МНК, включают выходной класс объектов-невязок МНК, статистические результаты и показатели проверок в окне Сообщения, а также некоторые дополнительные данные, в частности, выходной отчет в формате файла PDF, таблица коэффициентов независимых переменных и таблица проверок регрессии. Ниже представлено описание каждого из этих элементов в виде серии шагов от запуска регрессии МНК до интерпретации результатов его работы.

После запуска МНК просмотрите отчет МНК, записанный в виде сообщений во время выполнения инструмента в файл, хранящийся по указанному вами в параметре Выходной файл отчета пути.

Просмотрите сводный отчет, используя приведенные ниже инструкции.

Компоненты и объяснения Статистического отчета о МНК.

Доступ к статистическому отчету

Оценка производительности модели. Оба значения Множественный R-2 и Скорректированный R-2 являются показателями производительности модели. Возможные значения варьируются от 0.0 до 1.0. Значение Скорректированного R-2 всегда несколько ниже, нежели Множественного R-2, поскольку отражает сложность модели (количество переменных), что, в свою очередь, связано с целостностью данных, поэтому гораздо точнее отражает производительность модели. Добавление независимых переменных в модель, как правило, повышает значение Множественного R-2, но понижает при этом значение Скорректированного R-2. Предположим, вы создаете регрессионную модель домовых краж (количество домовых краж по каждому кварталу является зависимой переменной, y). Значение Скорректированного R-2, равное 0,39 показывает, что ваша модель (или независимые переменные, промоделированные с использованием линейной регрессии) объясняет порядка 39 процентов случаев поведения зависимой переменной. Иными словами, ваша модель описывает около 39% домовых краж.Значения R-2 определяют производительность модели.
Оценка каждой независимой переменной в модели: Коэффициент, Вероятность или Устойчивая вероятность и Фактор, увеличивающий дисперсию (VIF). Коэффициент для каждой независимой переменной отражает силу и тип отношений между независимой и зависимой переменной. Если коэффициент отрицательный, отношения являются «негативными» (например, чем больше расстояние от центра города, тем меньше количество домовых краж). Если значение положительно, связь между показателями прямая (например, чем больше население, тем больше количество домовых краж). Коэффициенты приводятся в тех же единицах, что и связанные с ними независимые переменные (коэффициент 0. 005 связан с переменной, представляющей численность населения, которую можно указать как 0.005 человек). Коэффициент отражает ожидаемое изменение в зависимой переменной для каждого изменения в связанной независимой переменной, хранящей все остальные константы переменных (например, при добавлении очередного жильца в квартал (который «хранит» все остальные независимые переменные), ожидается повышение значения домовых краж на 0,005). T-критерий используется для проведения оценки того, являются ли независимые переменные значимыми. Нулевая гипотеза означает, что для всех случаев коэффициент близок к нулю (и, соответственно, не подходит для моделирования). В случаях, когда вероятность или устойчивая вероятность (p-значения) являются очень маленькими, шанс того, что коэффициент равен нулю, также невелик. Если критерий Кенкера (см. ниже) является статистически значимым, используйте значения устойчивой вероятности для оценки статистической значимости независимых переменных. Статистические значимости вероятности помечены звездочкой (*). Независимая переменная, связанная со статистически значимым коэффициентом, важна для модели регрессии, если теоретическое/часто встречаемое значение поддерживает корректное отношение с зависимой переменной, если моделируемое отношение является, в основном, линейным и если переменная не является избыточной для всех остальных независимых переменных в модели. Фактор, увеличивающий дисперсию, измеряет избыточность среди независимых переменных. Предполагается, что независимые переменные, связанные со значениями фактора VIF, больше, чем 7,5 должны быть удалены (по одному) из модели регрессии. Если, например, в модели имеется переменная населения (количество человек) и переменная трудящихся (количество работающих человек), явную связь между ними можно найти по высокому значению VIF, увеличивающего дисперсию, который показывает, что обе переменных говорят об одном и том же, следовательно, одну из них из модели можно удалить.Оценка того, какие переменные являются статистически значимыми.
Оценка значимости модели. Показатели Соединенная F-статистика и Соединенная статистика Вальда отвечают за общую статистическую значимость модели. Соединенная F-статистика является надежным только в том случае, когда Статистика Кенкера (BP) (см. ниже) не является статистически значимым. В противном случае желательно проанализировать Соединенную статистику Вальда, чтобы определить общую значимость модели. Нулевая гипотеза для обоих критериев подразумевает, что независимые переменные в модели являются неэффективными. Для уровня надежности в 95%, a p-значение (вероятность) менее 0.05 показывает статистическую значимость модели.Оценка общей статистической значимости регрессионной модели.
Оценка стационарности. Статистика Кенкера (BP) (стьюдентизированная Кенкером статистика Бреуша-Пагана) – это тест на определение того, имеют ли независимые переменные в модели постоянную связь с зависимой переменной как в географическом пространстве, так и в пространстве данных. Если модель согласована в географическом пространстве, то процессы, представленные независимыми переменными, ведут себя одинаково по всей области исследования (являются стационарными). Если модель согласована в пространстве данных, то разница в отношениях между предсказанными значениями и каждой независимой переменной не меняется при изменении самой переменной (в модели нет гетероскедастичности). Предположим, вы хотите предсказать преступление, и на входе у вас есть одна независимая переменная. У модели будет сомнительная зависимость дисперсии от случайной величины, если предсказания были более точными для участков с низкими значениями медианы, нежели для участков с большим значением. Нулевая гипотеза для этого критерия заключается в том, что модель является стационарной. Для 95% уровня надежности p-значение (вероятность) менее 0.05 означает статистически значимую зависимость дисперсии от случайной величины и/или нестационарность. В случае, когда результаты критерия являются статистически значимыми, проанализируйте стандартные ошибки и вероятности коэффициента надежности для оценки эффективности каждой независимой переменной. Регрессионные модели со статистически значимой нестационарностью зачастую являются отличными данными для анализа Географически взвешенной регрессии (ГВР). Оценка стационарности: если критерий Кенкера статистически значимый (*), примите во внимание устойчивые вероятности, чтобы оценить, статистически значимые ваши независимые коэффициенты или нет.
Оценка смещения модели. Статистика Жака-Бера показывает, являются ли невязки (полученные/известные зависимые переменные минус предсказанные/ожидаемые значения) нормально распределенными. Нулевая гипотеза для данного критерия заключается в том, что невязки распределены нормально, поэтому, если вы построите для них гистограмму, она будет выглядеть как классическая колоколообразная кривая или Гауссово распределение. Когда p-значение (вероятность) для этого критерия мала (например, менее 0.05 для 95% уровня надежности), невязки не распределены нормально, это значит, что модель смещена. Если у вас есть статистически значимая пространственная автокорреляция невязок (см. ниже), смещение может быть результатом ошибок спецификации модели (потеря ключевой переменной в модели). Результаты такой модели являются ненадежными. Статистически значимое значение критерия Жака-Бера также можно получить при попытке смоделировать нелинейные отношения, если данные содержат значительные выбросы или наблюдается сильная зависимость дисперсии от случайной величины.Оценка смещения модели.
Оценка пространственной автокорреляции невязок. Всегда запускайте инструмент Пространственная автокорреляция (Индекс Морана I) для невязок регрессии, чтобы убедиться, что они пространственно случайны. Статистически значимая кластеризация высоких и/или низких невязок (пере- или недооценка модели) показывает, что в модели потеряна ключевая переменная (ошибка спецификации). Результаты МНК не могут быть достоверными в таком случае.Используйте инструмент Пространственная автокорреляция, чтобы убедиться, что данные о невязках модели не являются пространственно автокоррелированными.
Обратитесь к разделу Почему не работает модель регрессии в документе Основы регрессионного анализа, чтобы убедиться, что ваша модель МНК корректно определена. Если возникают трудности при поиске правильной модели регрессии, инструмент Исследовательская регрессия может оказаться полезным. Замечания по интерпретации в конце сводного отчета МНК напоминают о цели каждого статистического критерия и помогают найти решений, если ваша модель не проходит один или несколько диагностических проверок. Отчет о МНК включает замечания, которые помогают интерпретировать выходные данные.

Если вы указали путь к дополнительному выходному файлу отчета, создается PDF-файл со всей информацией в сводном отчете и дополнительными графиками, позволяющими оценить вашу модель. На первой странице отчета представлены сведения о каждой независимой переменной. Как и в первом разделе сводного отчета (см. пункт 2 выше), вы используете эту информацию, чтобы определить, являются ли коэффициенты для каждой независимой переменной статистически значимыми и содержат ли ожидаемый знак (+/-). Если критерий Кенкера статистически значимый (см. пункт 4 выше), то можно доверять только устойчивым вероятностям, чтобы оценить, помогает ли переменная вашей модели или нет. Статистически значимые коэффициенты содержат знак звездочки (*) рядом со своими p-значениями для вероятностей и/или столбцов устойчивой вероятности. По информации на этой странице также можно определить, являются ли независимые переменные избыточными (проблемная мультиколлинеарность). Если теория не говорит иное, независимые переменные с большими значениями Фактора увеличения дисперсии (VIF) следует удалить по одной, пока значения VIF для всех оставшихся независимых переменных не будут меньше 7,5.

Раздел 1 выходного отчета.

В следующей разделе выходного файла отчета перечисляются результаты диагностических проверок OLS. На этой странице также представлены замечания по интерпретации, описывающие необходимость каждой проверки. Если ваша модель не проходит одну из этих проверок, в таблице типичных проблем с регрессией можно найти серьезность каждой проблемы и возможный путь ее устранения. Графики на остальных страницах отчета также помогают вам выявить и устранить проблемы с моделью.

Раздел 2 выходного отчета.

В третьем разделе выходного файла отчета представлены гистограммы с распределением каждой переменной в модели, а также диаграммы рассеивания, показывающие отношения зависимой и независимой переменной. Если у вас возникают проблемы со смещением модели (это обозначается статистически значимым p-значением Жака-Бера), найдите в гистограммах распределения с асимметрией и попробуйте преобразовать эти переменные, чтобы увидеть, устраняет ли это смещение и улучшается ли производительность модели. Диаграммы рассеивания показывают, какие переменные являются лучшими предикторами. Используйте эти диаграммы рассеивания, чтобы проверить переменные на наличие нелинейных отношений. В некоторых случаях преобразование одной или нескольких переменных устраняет нелинейные отношения и смещение модели. Выбросы в данных также могут привести к получению смещенной модели. Проверьте гистограммы и диаграммы рассеивания на наличие таких данных или отношений. Попробуйте запустить модель с выбросами и без них, чтобы оценить, как они влияют на результаты. Вы можете обнаружить, что выброс – это некорректные данные (введенные или записанные с ошибкой) и сможете удалить связанный объект из набора данных. Если выброс отражает корректные данные и сильно влияет на результаты анализа, вы можете провести ваш анализ с выбросами и без них.

Раздел 3 выходного отчета.

После получения правильно настроенной модели переоценки и недооценки будут отражать случайный шум. Если вам нужно создать гистограмму случайного шума, обычно это кривая с нормальным распределением (в виде колокола). Четвертый раздел выходного файла отчета представляет гистограмму переоценок и недооценок модели. Полосы на гистограмме отображают фактическое распределение, а синяя линия сверху диаграммы показывает форму, которую бы приняла гистограмма, если остатки имели нормальное распределение. Вряд ли вы получите идеальные результаты, поэтому следует проверить критерий Жака-Бера, чтобы определить, является ли отклонение от нормального распределение статистически значимым или нет.

Раздел 4 выходного отчета.

Диагностика Кенкера позволяет определить, меняются ли моделируемые отношения в изучаемой области (нестационарность) или зависят от величины переменной, которую вы пытаетесь предсказать (зависимость дисперсии от случайной величины). Географически взвешенная регрессия позволяет устранить проблемы с нестационарностью. На графике в разделе 5 файла выходного отчета будет показано, имеется ли проблема с зависимостью дисперсии от случайной величины. На диаграмме рассеивания (см. ниже) показано отношение остаточных и прогнозируемых значений модели. Предположим, вы моделируете частоту преступлений. Если на графике показана коническая форма с точкой слева и расширением справа от графика, это указывает на то, что ваша модель хорошо прогнозирует расположения с низкой частотой преступлений, и плохо прогнозирует расположения с высокой частотой преступлений.

Раздел 5 выходного отчета.

На последней странице отчета показаны все настройки параметров, использованные при создании отчета.

Изучите невязки модели в выходном классе объектов. Пере- и недооценки для правильно настроенной модели регрессии будут распределены случайно. Кластеризация переоценок и/или недооценок является доказательством того, что потеряна как минимум одна независимая переменная. Проверьте «рисунок» невязок модели, чтобы посмотреть, не говорит ли он о том, какие переменные могли быть утеряны. Иногда запуск инструмента Анализ горячих точек для нее может помочь определить более общие закономерности. Дополнительные стратегии для обработки неправильно определенной модели см. в разделе Что вам не говорят о регрессионном анализе.

Результат МНК: Картографическое представление невязок

Просмотрите таблицы коэффициентов и проверок. Создавать их необязательно. Если вы находитесь в процессе поиска эффективной модели, можно обойтись без них. Но этот процесс итеративен, поэтому может быть перепробовано огромное количество моделей (с разными независимыми переменными) до тех пор, пока не будет найдена лучшая. Вы можете использовать Скорректированный информационный критерий Акаике (AICc) в отчете, чтобы сравнить модели между собой. Модель с меньшим значением AICc лучше (то есть, наиболее точно отражает данные наблюдений).

Для сравнения регрессионных моделей можно использовать значение AICc.

Создание таблиц коэффициентов и диагностики для ваших итоговых моделей МНК позволяет фиксировать важные элементы отчета МНК. Таблица коэффициентов содержит список использованных в модели независимых переменных с их коэффициентами, стандартизированными коэффициентами, стандартными ошибками и вероятностями. Коэффициент представляет собой оценку того, насколько изменится зависимая переменная при изменении связанной с ней независимой переменной на 1 единицу. Единицы коэффициентов соответствуют независимым переменным. Если, например, у вас есть независимая переменная для общего количества населения, то и единица коэффициента для этой переменной будет отражать население; если другая независимая переменная будет для расстояния (в метрах) от железнодорожной станции, то единицы такого коэффициента будут отражать метры. Если эти коэффициенты конвертировать в среднеквадратические отклонения, то они будут называться стандартизированными коэффициентами. Стандартизированные коэффициенты могут использоваться для того, чтобы можно было сравнить силу влияния, которое имеют другие независимые переменные на зависимую переменную. Независимая переменная с наибольшим абсолютным значением стандартизированного коэффициента (т.е. после того, как вы отбросите знаки +/-) будет иметь наибольшую силу влияния на зависимую переменную. Следует иметь ввиду, что при интерпретации коэффициентов необходимо принимать в расчет стандартную ошибку. Стандартные ошибки указывают, насколько вероятно получить такие же коэффициенты при повторном отборе данных и перекалибровке модели множество раз. Большие значения стандартных ошибок для коэффициента означают, что в процессе повторов будет получен широкий диапазон возможных значений коэффициента; малые значения стандартных ошибок явно говорят о его постоянстве.

Таблица коэффициентов включает вычисленные коэффициенты, стандартные ошибки и вероятности переменных.

Таблица диагностики содержит результаты для каждого критерия, а также пояснения по интерпретации этих результатов.

Таблица диагностики включает заметки об интерпретации результатов проверок модели.

Дополнительные ресурсы

Существует целый ряд хороших ресурсов, которые помогут вам узнать больше о регрессии МНК на странице Ресурсы о пространственной статистике. Начните с Основ регрессионного анализа или обратитесь к Руководство по регрессионному анализу. Примените регрессионный анализ к собственным данным, изучите таблицу типичных проблем и статью Что вам не говорят о регрессионном анализе для поиска дополнительных стратегий. Если возникают трудности при поиске правильно определенной модели, инструмент Исследовательская регрессия может оказаться полезным.

Можно также воспользоваться ресурсами ниже:

Mitchell, Andy. The ESRI Guide to GIS Analysis, Volume 2. ESRI Press, 2005.
Wooldridge, J. M. Introductory Econometrics: A Modern Approach. South-Western, Mason, Ohio, 2003.
Hamilton, Lawrence C. Regression with Graphics. Brooks/Cole, 1992.

Отзыв по этому разделу?

5 видов регрессии и их свойства. При помощи построения регрессионных… | by Margarita M | NOP::Nuances of Programming

Линейная и логистическая регрессии обычно являются первыми видами регрессии, которые изучают в таких областях, как машинное обучение и наука о данных. Оба метода считаются эффективными, так как их легко понять и использовать. Однако, такая простота также имеет несколько недостатков, и во многих случаях лучше выбирать другую регрессионную модель. Существует множество видов регрессии, каждый из которых имеет свои достоинства и недостатки.

Мы познакомимся с 7 наиболее распространенными алгоритмами регрессии и опишем их свойства. Также мы узнаем, в каких ситуация и с какими видами данных лучше использовать тот или иной алгоритм. В конце мы расскажем о некоторых инструментах для построения регрессии и поможем лучше разобраться в регрессионных моделях в целом!

Линейная регрессия

Регрессия — это метод, используемый для моделирования и анализа отношений между переменными, а также для того, чтобы увидеть, как эти переменные вместе влияют на получение определенного результата. Линейная регрессия относится к такому виду регрессионной модели, который состоит из взаимосвязанных переменных. Начнем с простого. Парная (простая) линейная регрессия — это модель, позволяющая моделировать взаимосвязь между значениями одной входной независимой и одной выходной зависимой переменными с помощью линейной модели, например, прямой.

Более распространенной моделью является множественная линейная регрессия, которая предполагает установление линейной зависимости между множеством входных независимых и одной выходной зависимой переменных. Такая модель остается линейной по той причине, что выход является линейной комбинацией входных переменных. Мы можем построить модель множественной линейной регрессии следующим образом:

Y = a_1*X_1 + a_2*X_2 + a_3*X_3 ……. a_n*X_n + b

Где a_n — это коэффициенты, X_n — переменные и b — смещение. Как видим, данная функция не содержит нелинейных коэффициентов и, таким образом, подходит только для моделирования линейных сепарабельных данных. Все очень просто: мы взвешиваем значение каждой переменной X_n с помощью весового коэффициента a_n. Данные весовые коэффициенты a_n, а также смещение b вычисляются с применением стохастического градиентного спуска. Посмотрите на график ниже в качестве иллюстрации!

Иллюстрация поиска оптимальных параметром для линейной регрессии с помощью градиентного спуска

Несколько важных пунктов о линейной регрессии:

Она легко моделируется и является особенно полезной при создании не очень сложной зависимости, а также при небольшом количестве данных.
Обозначения интуитивно-понятны.
Чувствительна к выбросам.

Полиномиальная регрессия

Для создания такой модели, которая подойдет для нелинейно разделяемых данных, можно использовать полиномиальную регрессию. В данном методе проводится кривая линия, зависимая от точек плоскости. В полиномиальной регрессии степень некоторых независимых переменных превышает 1. Например, получится что-то подобное:

Y = a_1*X_1 + (a_2)²*X_2 + (a_3)⁴*X_3 ……. a_n*X_n + b

У некоторых переменных есть степень, у других — нет. Также можно выбрать определенную степень для каждой переменной, но для этого необходимы определенные знания о том, как входные данные связаны с выходными. Сравните линейную и полиномиальную регрессии ниже.

Линейная и полиномиальная регрессии с нелинейно разделенными данными

Несколько важных пунктов о полиномиальной регрессии:

Моделирует нелинейно разделенные данные (чего не может линейная регрессия). Она более гибкая и может моделировать сложные взаимосвязи.
Полный контроль над моделированием переменных объекта (выбор степени).
Необходимо внимательно создавать модель. Необходимо обладать некоторыми знаниями о данных, для выбора наиболее подходящей степени.
При неправильном выборе степени, данная модель может быть перенасыщена.

Гребневая (ридж) регрессия

В случае высокой коллинеарности переменных стандартная линейная и полиномиальная регрессии становятся неэффективными. Коллинеарность — это отношение независимых переменных, близкое к линейному. Наличие высокой коллинеарности можно определить несколькими путями:

Коэффициент регрессии не важен, несмотря на то, что, теоретически, переменная должна иметь высокую корреляцию с Y.
При добавлении или удалении переменной из матрицы X, коэффициент регрессии сильно изменяется.
Переменные матрицы X имеют высокие попарные корреляции (посмотрите корреляционную матрицу).

Сначала можно посмотреть на функцию оптимизации стандартной линейной регрессии для лучшего понимания того, как может помочь гребневая регрессия:

min || Xw — y ||²

Где X — это матрица переменных, w — веса, y — достоверные данные. Гребневая регрессия — это корректирующая мера для снижения коллинеарности среди предикторных переменных в регрессионной модели. Коллинеарность — это явление, в котором одна переменная во множественной регрессионной модели может быть предсказано линейно, исходя из остальных свойств со значительной степенью точности. Таким образом, из-за высокой корреляции переменных, конечная регрессионная модель сведена к минимальным пределам приближенного значения, то есть она обладает высокой дисперсией.

Гребневая регрессия добавляет небольшой фактор квадратичного смещения для уменьшения дисперсии:

min || Xw — y ||² + z|| w ||²

Такой фактор смещения выводит коэффициенты переменных из строгих ограничений, вводя в модель небольшое смещение, но при этом значительно снижая дисперсию.

Несколько важных пунктов о гребневой регрессии:

Допущения данной регрессии такие же, как и в методе наименьших квадратов, кроме того факта, что нормальное распределение в гребневой регрессии не предполагается.
Это уменьшает значение коэффициентов, оставляя их ненулевыми, что предполагает отсутствие отбора признаков.

Регрессия по методу «лассо»

В регрессии лассо, как и в гребневой, мы добавляем условие смещения в функцию оптимизации для того, чтобы уменьшить коллинеарность и, следовательно, дисперсию модели. Но вместо квадратичного смещения, мы используем смещение абсолютного значения:

min || Xw — y ||² + z|| w ||

Существует несколько различий между гребневой регрессией и лассо, которые восстанавливают различия в свойствах регуляризаций L2 и L1:

Встроенный отбор признаков — считается полезным свойством, которое есть в норме L1, но отсутствует в норме L2. Отбор признаков является результатом нормы L1, которая производит разреженные коэффициенты. Например, предположим, что модель имеет 100 коэффициентов, но лишь 10 из них имеют коэффициенты отличные от нуля. Соответственно, «остальные 90 предикторов являются бесполезными в прогнозировании искомого значения». Норма L2 производит неразряженные коэффициенты и не может производить отбор признаков. Таким образом, можно сказать, что регрессия лассо производит «выбор параметров», так как не выбранные переменные будут иметь общий вес, равный 0.
Разряженность означает, что незначительное количество входных данных в матрице (или векторе) имеют значение, отличное от нуля. Норма L1 производит большое количество коэффициентов с нулевым значением или очень малые значения с некоторыми большими коэффициентами. Это связано с предыдущим пунктом, в котором указано, что лассо исполняет выбор свойств.
Вычислительная эффективность: норма L1 не имеет аналитического решения в отличие от нормы L2. Это позволяет эффективно вычислять решения нормы L2. Однако, решения нормы L1 не обладают свойствами разряженности, что позволяет использовать их с разряженными алгоритмами для более эффективных вычислений.

Регрессия «эластичная сеть»

Эластичная сеть — это гибрид методов регрессии лассо и гребневой регрессии. Она использует как L1, так и L2 регуляризации, учитывая эффективность обоих методов.

min || Xw — y ||² + z_1|| w || + z_2|| w ||²

Практическим преимуществом использования регрессии лассо и гребневой регрессии является то, что это позволяет эластичной сети наследовать некоторую стабильность гребневой регрессии при вращении.

Несколько важных пунктов о регрессии эластичной сети:

Она создает условия для группового эффекта при высокой корреляции переменных, а не обнуляет некоторые из них, как метод лассо.
Нет ограничений по количеству выбранных переменных.

Вывод

Вот и все! 5 распространенных видов регрессии и их свойства. Все данные методы регуляризации регрессии (лассо, гребневая и эластичной сети) хорошо функционирует при высокой размерности и мультиколлинеарности среди переменных в наборе данных.

Перевод статьи George Seif: 5 Types of Regression and their properties

Что такое регрессионный анализ и зачем его использовать?

Почему Алхимик?
Планы и цены
- Решения
  - Услуги
    - Ресурсы
      Запросить демонстрацию
      Alchemer — невероятно надежная программная платформа для онлайн-опросов. Он постоянно признается одним из лучших инструментов для проведения опросов, доступных на G2, FinancesOnline и других. Чтобы сделать это еще проще, мы создали серию блогов, которые помогут вам лучше понять, как получить максимальную отдачу от вашей учетной записи Alchemer.
      Регрессионный анализ — это мощный статистический метод, позволяющий исследовать взаимосвязь между двумя или более интересующими переменными.
      
      Хотя существует множество типов регрессионного анализа, по своей сути все они исследуют влияние одной или нескольких независимых переменных на зависимую переменную.
      Регрессионный анализ дает подробные сведения, которые можно применить для дальнейшего улучшения продуктов и услуг.
      Здесь, в Alchemer, мы предлагаем практические обучающие мероприятия по применению, во время которых клиенты учатся тому, как стать суперпользователями нашего программного обеспечения.
      Чтобы понять ценность этих учебных мероприятий, мы рассылаем участникам дополнительные опросы с целью узнать, что им понравилось, а что нет, и что мы можем улучшить для будущих занятий.
      Данные, собранные в ходе этих опросов, позволяют нам измерить уровни удовлетворенности, которые наши посетители связывают с нашими мероприятиями, и какие переменные влияют на эти уровни удовлетворенности.
      Может быть, это темы, затронутые на отдельных сессиях мероприятия? Продолжительность сеансов? Предоставляемые услуги питания или общественного питания? Стоимость участия? Любая из этих переменных может повлиять на уровень удовлетворенности посетителей.
      Выполнив регрессионный анализ данных этого опроса, мы можем определить, повлияли ли эти переменные на общую удовлетворенность посетителей, и если да, то в какой степени.
      Затем эта информация информирует нас о том, какие элементы сессий были хорошо восприняты и на чем нам нужно сосредоточить внимание, чтобы участники были более удовлетворены в будущем.
      Что такое регрессионный анализ и что означает выполнение регрессии?
      Регрессионный анализ — это надежный метод определения того, какие переменные влияют на интересующую тему. Процесс выполнения регрессии позволяет уверенно определить, какие факторы имеют наибольшее значение, какие факторы можно игнорировать и как эти факторы влияют друг на друга.
      Чтобы полностью понять регрессионный анализ, необходимо понимать следующие термины:
      - Зависимая переменная: Это основной фактор, который вы пытаетесь понять или предсказать.
      - Независимые переменные: Это факторы, которые, как вы предполагаете, влияют на вашу зависимую переменную.
      В приведенном выше примере обучения работе с приложением удовлетворенность посетителей мероприятием является нашей зависимой переменной. Охватываемые темы, продолжительность сеансов, питание и стоимость билета — наши независимые переменные.
      Как работает регрессионный анализ?
      Для проведения регрессионного анализа вам необходимо определить зависимую переменную, на которую, как вы предполагаете, влияет одна или несколько независимых переменных.
      Затем вам нужно будет создать полный набор данных для работы. Проведение опросов интересующей вас аудитории — отличный способ создать этот набор данных. Ваш опрос должен включать вопросы, касающиеся всех интересующих вас независимых переменных.
      Давайте продолжим использовать наш пример обучения работе с приложением. В этом случае мы хотели бы измерить исторические уровни удовлетворенности событиями за последние три года или около того (или любой период времени, который вы считаете статистически значимым), а также любую возможную информацию в отношении независимых переменных.
      Возможно, нам особенно любопытно, как цена билета на мероприятие повлияла на уровень удовлетворенности.
      Чтобы начать исследовать, существует ли взаимосвязь между этими двумя переменными, мы начнем с нанесения этих точек данных на график, который будет выглядеть как следующий теоретический пример.
      (Построение графика ваших данных — это первый шаг к выяснению того, есть ли связь между вашими независимыми и зависимыми переменными)
      Наша зависимая переменная (в данном случае уровень удовлетворенности событием) должна быть нанесена на y- ось, а наша независимая переменная (цена билета на мероприятие) должна быть отложена по оси абсцисс.
      После того, как ваши данные нанесены на график, вы можете начать видеть корреляции. Если бы приведенная выше теоретическая диаграмма действительно отражала влияние цен на билеты на удовлетворенность мероприятием, то мы могли бы с уверенностью сказать, что чем выше цена билета, тем выше уровень удовлетворенности мероприятием.
      Но как определить, в какой степени цена билета влияет на удовлетворенность мероприятием?
      Чтобы начать отвечать на этот вопрос, проведите линию через середину всех точек данных на графике. Эта линия называется вашей линией регрессии, и ее можно точно рассчитать с помощью стандартной статистической программы, такой как Excel.
      Мы еще раз воспользуемся теоретической диаграммой, чтобы изобразить, как должна выглядеть линия регрессии.
      Линия регрессии представляет отношение между вашей независимой переменной и вашей зависимой переменной.
      Excel даже предоставит формулу для наклона линии, которая добавит дополнительный контекст взаимосвязи между вашими независимыми и зависимыми переменными.
      Формула для линии регрессии может выглядеть примерно так: Y = 100 + 7X + член ошибки .
      Это говорит вам о том, что если «X» отсутствует, то Y = 100. Если X — наше увеличение цены билета, это информирует нас о том, что если цена билета не увеличится, удовлетворенность событием все равно увеличится на 100 баллов.
      Вы заметите, что формула наклона, рассчитанная в Excel, включает погрешность. Линии регрессии всегда учитывают член ошибки, потому что в действительности независимые переменные никогда не являются точными предикторами зависимых переменных. Это имеет смысл, если посмотреть на влияние цен на билеты на удовлетворенность мероприятием — очевидно, что помимо цены на удовлетворенность мероприятия влияют и другие переменные.
      Ваша линия регрессии — это просто оценка, основанная на доступных вам данных. Таким образом, чем больше ваш член ошибки, тем менее определенно ваша линия регрессии.
      Почему вашей организации следует использовать регрессионный анализ?
      Регрессионный анализ — полезный статистический метод, который можно использовать в организации для определения степени влияния конкретных независимых переменных на зависимые переменные.
      Возможные сценарии проведения регрессионного анализа для получения ценных и действенных бизнес-идей безграничны.
      В следующий раз, когда кто-то в вашем бизнесе выдвинет гипотезу о том, что один фактор, независимо от того, можете ли вы контролировать этот фактор или нет, влияет на часть бизнеса, предложите провести регрессионный анализ, чтобы определить, насколько вы должны быть уверены в эта гипотеза! Это позволит вам принимать более обоснованные бизнес-решения, более эффективно распределять ресурсы и, в конечном счете, увеличивать прибыль.
      
      Определение, принцип работы и расчет
      Что такое линия наилучшего соответствия?
      Линия наилучшего соответствия относится к линии, проходящей через точечную диаграмму точек данных, которая лучше всего выражает взаимосвязь между этими точками. Статистики обычно используют метод наименьших квадратов (иногда известный как обычный метод наименьших квадратов или OLS), чтобы получить геометрическое уравнение для линии либо путем ручных расчетов, либо с помощью программного обеспечения.
      Прямая линия будет результатом простого линейного регрессионного анализа двух или более независимых переменных. Множественная регрессия, включающая несколько связанных переменных, в некоторых случаях может давать кривую линию.
      Ключевые выводы
      - Линия наилучшего соответствия — это прямая линия, минимизирующая расстояние между ней и некоторыми данными.
      - Линия наилучшего соответствия используется для выражения отношения на диаграмме рассеяния различных точек данных.
      - Это результат регрессионного анализа, который можно использовать в качестве инструмента прогнозирования индикаторов и ценовых движений.
      - В финансах линия наилучшего соответствия используется для выявления тенденций или корреляций в рыночных доходах между активами или во времени.
      Линия наилучшего соответствия
      Понимание линейки наилучшего соответствия
      Линия наилучшего соответствия оценивает прямую линию, которая минимизирует расстояние между собой и местом, где наблюдения попадают в некоторый набор данных. Линия наилучшего соответствия используется для отображения тенденции или корреляции между зависимой переменной и независимой переменной (переменными). Его можно изобразить визуально или в виде математического выражения.
      
      Линия наилучшего соответствия является одним из наиболее важных понятий в регрессионном анализе. Регрессия относится к количественному показателю связи между одной или несколькими независимыми переменными и результирующей зависимой переменной. Регрессия полезна профессионалам в самых разных областях, от науки и государственной службы до финансового анализа.
      Линия Best Fit.
      Линия наилучшего соответствия и регрессионного анализа
      Чтобы выполнить регрессионный анализ, статистик собирает набор точек данных, каждая из которых включает полный набор зависимых и независимых переменных. Например, зависимой переменной может быть цена акций фирмы, а независимыми переменными могут быть индекс Standard and Poor’s 500 и уровень безработицы в стране, при условии, что акции не котируются в S&P 500. Набором выборки может быть каждая из этих три набора данных за последние 20 лет.
      
      На диаграмме эти точки данных будут отображаться в виде точечной диаграммы, набора точек, которые могут быть организованы, а могут и не располагаться вдоль какой-либо линии. Если линейный узор очевиден, можно нарисовать линию наилучшего соответствия, которая сводит к минимуму расстояние этих точек от этой линии. Если организующая ось не видна визуально, регрессионный анализ может создать линию на основе метода наименьших квадратов. Этот метод строит линию, которая минимизирует квадрат расстояния каждой точки от линии наилучшего соответствия.
      Чтобы определить формулу для этой строки, статистик вводит эти три результата за последние 20 лет в программу регрессии. Программное обеспечение выводит линейную формулу, которая выражает причинно-следственную связь между индексом S&P 500, уровнем безработицы и ценой акций рассматриваемой компании. Это уравнение является формулой для линии наилучшего соответствия.
      
      Это инструмент прогнозирования, предоставляющий аналитикам и трейдерам механизм прогнозирования будущей цены акций фирмы на основе этих двух независимых переменных.
      Как рассчитать линию наилучшего соответствия
      Регрессия с двумя независимыми переменными, такая как рассмотренный выше пример, даст формулу со следующей базовой структурой:
      y= c + b ₁ (x ₁) + b ₂ (x ₂)
      В этом уравнении y — зависимая переменная, c — константа, b ₁ — первый коэффициент регрессии, а x ₁ — первая независимая переменная. Второй коэффициент и вторая независимая переменная равны b ₂ и х _2, соответственно. Исходя из приведенного выше примера, цена акции будет равна y, S&P 500 будет равна x ₁, а уровень безработицы будет равен x ₂. Коэффициент каждой независимой переменной представляет собой степень изменения y для каждой дополнительной единицы этой переменной.
      
      Если S&P 500 увеличится на единицу, результирующая цена y или акции вырастет на величину коэффициента. То же самое верно и для второй независимой переменной, уровня безработицы. В простой регрессии с одной независимой переменной этот коэффициент представляет собой наклон линии наилучшего соответствия. В этом примере или любой регрессии с двумя независимыми переменными наклон представляет собой сочетание двух коэффициентов. Константа c представляет собой точку пересечения оси Y с линией наилучшего соответствия.
      Как найти линию наилучшего соответствия?
      Существует несколько подходов к оценке линии наилучшего соответствия некоторым данным. Самый простой и грубый способ заключается в том, чтобы визуально оценить такую линию на точечной диаграмме и изобразить ее как можно лучше.
      Более точный метод включает метод наименьших квадратов. Это статистическая процедура для нахождения наилучшего соответствия набору точек данных путем минимизации суммы смещений или невязок точек на построенной кривой. Это основной метод, используемый в регрессионном анализе.
      Всегда ли линия наилучшего соответствия прямая?
      По определению линия всегда прямая, поэтому линия наилучшего соответствия является линейной. Однако кривая также может использоваться для описания наилучшего соответствия набору данных. Действительно, кривая наилучшего соответствия может быть квадратной (x ²), кубической (x ³), квадратичной (x ⁴), логарифмической (ln), квадратным корнем (√) или чем-либо еще, что может быть математически описывается уравнением. Обратите внимание, однако, что часто предпочтение отдается более простым объяснениям подгонки.
      Как линия наилучшего соответствия используется в финансах?
      Для финансовых аналитиков метод оценки линии наилучшего соответствия может помочь количественно оценить взаимосвязь между двумя или более переменными, такими как цена акций и прибыль на акцию (EPS). Выполняя этот тип анализа, инвесторы часто пытаются предсказать будущее поведение цен на акции или других факторов, экстраполируя эту линию во времени.