Какие требования в модели регрессионного анализа. Корреляционно-регрессионный анализ в Excel: инструкция выполнения. Математическое определение регрессии

Современная политическая наука исходит из положения о взаимосвязи всех явлений и процессов в обществе. Невозможно понимание событий и процессов, прогнозирование и управление явлениями политической жизни без изучения связей и зависимостей, существующих в политической сфере жизнедеятельности общества. Одна из наиболее распространенных задач политического исследования состоит в изучении связи между некоторыми наблюдаемыми переменными. Помогает решить эту задачу целый класс статистических приемов анализа, объединенных общим названием «регрессионный анализ» (или, как его еще называют, «корреляционно-регрессионный анализ»). Однако если корреляционный анализ позволяет оценить силу связи между двумя переменными, то с помощью регрессионного анализа можно определить вид этой связи, прогнозировать зависимость значения какой-либо переменной от значения другой переменной.

Для начала вспомним, что такое корреляция. Корреляционным называют важнейший частный случай статистической связи, состоящий в том, что равным значениям одной переменной соответствуют различные средние значения другой. С изменением значения признака х закономерным образом изменяется среднее значение признака у, в то время как в каждом отдельном случае значение признака у (с различными вероятностями) может принимать множество различных значений.

Появление в статистике термина «корреляция» (а политология привлекает для решения своих задач достижения статистики, которая, таким образом, является смежной политологии дисциплиной) связано с именем английского биолога и статистика Френсиса Галь- тона, предложившего в XIX в. теоретические основы корреляционно- регрессионного анализа. Термин «корреляция» в науке был известен и ранее. В частности, в палеонтологии еще в XVIII в. его применил французский ученый Жорж Кювье. Он ввел так называемый закон корреляции, при помощи которого по найденным в ходе раскопок останкам животных можно было восстановить их облик.

Известна история, связанная с именем этого ученого и его законом корреляции. Так, в дни университетского праздника студенты, решившие подшутить над известным профессором, натянули на одного студента козлиную шкуру с рогами и копытами. Тот залез в окно спальни Кювье и закричал: «Я тебя съем». Профессор проснулся, посмотрел на силуэт и ответил: «Если у тебя есть рога и копыта, то ты - травоядное животное и съесть меня не можешь. А за незнание закона корреляции получишь двойку». Повернулся на другой бок и уснул. Шутка шуткой, но на этом примере мы наблюдаем частный случай применения множественного корреляционно-регрессионного анализа. Здесь профессор, исходя из знания значений двух наблюдаемых признаков (наличие рогов и копыт), на основании закона корреляции вывел среднее значение третьего признака (класс, к которому относится данное животное - травоядное). В данном случае речь не идет о конкретном значении этой переменной (т.е. данное животное могло принимать различные значения по номинальной шкале - это мог быть и козел, и баран, и бык...).

Теперь перейдем к термину «регрессия». Собственно говоря, он не связан со смыслом тех статистических задач, которые решаются при помощи этого метода. Объяснение термину можно дать только исходя из знания истории развития методов изучения связей между признаками. Одним из первых примеров исследований такого рода была работа статистиков Ф. Гальтона и К. Пирсона, пытавшихся обнаружить закономерность между ростом отцов и их детей по двум наблюдаемым признакам (где X- рост отцов и У- рост детей). В ходе своего исследования они подтвердили начальную гипотезу о том, что в среднем у высоких отцов вырастают в среднем высокие дети. Этот же принцип действует в отношении низких отцов и детей. Однако если бы ученые на этом остановились, то их труды никогда не упоминались бы в учебниках по статистике. Исследователи обнаружили еще одну закономерность в рамках уже упоминавшейся подтвержденной гипотезы. Они доказали, что у очень высоких отцов рождаются в среднем высокие дети, но не сильно отличающиеся ростом от детей, чьи отцы хоть и выше среднего, но не сильно отличаются от средневысокого роста. То же и у отцов с очень маленьким ростом (отклоняющимся от средних показателей низкорослой группы) - их дети в среднем не отличались по росту от сверстников, чьи отцы были просто невысокими. Функцию, описывающую эту закономерность, они и назвали функцией регрессии. После этого исследования все уравнения, описывающие подобные функции и построенные сходным образом, стали именовать уравнениями регрессии.

Регрессионный анализ - один из методов многомерного статистического анализа данных, объединяющий совокупность статистических приемов, предназначенных для изучения или моделирования связей между одной зависимой и несколькими (или одной) независимыми переменными. Зависимая переменная по принятой в статистике традиции называется откликом и обозначается как V Независимые переменные называются предикторами и обозначаются как X. В ходе анализа некоторые переменные окажутся слабо связанными с откликом и будут в конечном счете исключены из анализа. Оставшиеся переменные, связанные с зависимой, могут именоваться еще факторами.

Регрессионный анализ дает возможность предсказать значения одной или нескольких переменных в зависимости от другой переменной (например, склонность к неконвенциональному политическому поведению в зависимости от уровня образования) или нескольких переменных. Рассчитывается он на PC. Для составления регрессионного уравнения, позволяющего измерить степень зависимости контролируемого признака от факторных, необходимо привлечь профессиональных математиков-программистов. Регрессионный анализ может оказать неоценимую услугу при построении прогностических моделей развития политической ситуации, оценке причин социальной напряженности, при проведении теоретических экспериментов. Регрессионный анализ активно используется для изучения влияния на электоральное поведение граждан ряда социально-демографических параметров: пола, возраста, профессии, места проживания, национальности, уровня и характера доходов.

Применительно к регрессионному анализу используют понятия независимой и зависимой переменных. Независимой называют переменную, которая объясняет или служит причиной изменения другой переменной. Зависимой называют переменную, значение которой объясняют воздействием первой переменной. Например, на президентских выборах в 2004 г. определяющими факторами, т.е. независимыми переменными, выступили такие показатели, как стабилизация материального положения населения страны, уровень известности кандидатов и фактор incumbency. В качестве зависимой переменной в данном случае можно считать процент голосов, поданных за кандидатов. Аналогично в паре переменных «возраст избирателя» и «уровень электоральной активности» независимой является первая, зависимой - вторая.

Регрессионный анализ позволяет решать следующие задачи:

• 1) установить сам факт наличия или отсутствия статистически значимой связи между Ки X;
• 2) построить наилучшие (в статистическом смысле) оценки функции регрессии;
• 3) по заданным значениям X построить прогноз для неизвестного У
• 4) оценить удельный вес влияния каждого фактора X на У и соответственно исключить из модели несущественные признаки;
• 5) посредством выявления причинных связей между переменными частично управлять значениями Рпутем регулирования величин объясняющих переменных X.

Регрессионный анализ связан с необходимостью выбора взаимно независимых переменных, влияющих на значение исследуемого показателя, определения формы уравнения регрессии, оценки параметров при помощи статистических методов обработки первичных социологических данных. В основе этого вида анализа лежит представление о форме, направлении и тесноте (плотности) взаимосвязи. Различают парную и множественную регрессию в зависимости от количества исследуемых признаков. На практике регрессионный анализ обычно выполняется совместно с корреляционным. Уравнение регрессии описывает числовое соотношение между величинами, выраженное в виде тенденции к возрастанию или убыванию одной переменной величины при возрастании или убывании другой. При этом ра зл и ч а ют л инейную и нелинейную регрессии. При описании политических процессов в равной степени обнаруживаются оба варианта регрессии.

Диаграмма рассеяния для распределения взаимозависимости интереса к статьям на политические темы (У) и образования респондентов (X) представляет собой линейную регрессию (рис. 30).

Рис. 30.

Диаграмма рассеяния для распределения уровня электоральной активности (У) и возраста респондента (А) (условный пример) представляет собой нелинейную регрессию (рис. 31).

Рис. 31.

Для описания взаимосвязи двух признаков (А"и У) в модели парной регрессии используют линейное уравнение

где а, - случайная величина погрешности уравнения при вариации признаков, т.е. отклонение уравнения от «линейности».

Для оценки коэффициентов а и b используют метод наименьших квадратов, предполагающий, что сумма квадратов отклонений каждой точки на диаграмме разброса от линии регрессии должна быть минимальной. Коэффициенты а ч Ь могут быть вычислены при помощи системы уравнений:

Метод оценки наименьших квадратов дает такие оценки коэффициентов а и Ь, при которых прямая проходит через точку с координатами х и у, т.е. имеет место соотношение у = ах + Ь. Графическое изображение уравнения регрессии называется теоретической линией регрессии. При линейной зависимости коэффициент регрессии представляет на графике тангенс угла наклона теоретической линии регрессии к оси абсцисс. Знак при коэффициенте показывает направление связи. Если он больше нуля, то связь прямая, если меньше - обратная.

В приведенном ниже примере из исследования «Политический Петербург-2006» (табл. 56) показана линейная взаимосвязь представлений граждан о степени удовлетворенности своей жизнью в настоящем и ожиданиями изменений качества жизни в будущем. Связь прямая, линейная (стандартизованный коэффициент регрессии равен 0,233, уровень значимости - 0,000). В данном случае коэффициент регрессии невысокий, однако он превышает нижнюю границу статистически значимого показателя (нижнюю границу квадрата статистически значимого показателя коэффициента Пирсона).

Таблица 56

Влияние качества жизни горожан в настоящем на ожидания

(Санкт-Петербург, 2006 г.)

* Зависимая переменная: «Как Вы думаете, как изменится Ваша жизнь в ближайшие 2-3 года?»

В политической жизни значение изучаемой переменной чаше всего одновременно зависит от нескольких признаков. Например, на уровень и характер политической активности одновременно оказывают влияние политический режим государства, политические традиции, особенности политического поведения людей данного района и социальная микрогруппа респондента, его возраст, образование, уровень дохода, политическая ориентация и т.д. В этом случае необходимо воспользоваться уравнением множественной регрессии , которое имеет следующий вид:

где коэффициент Ь. - частный коэффициент регрессии. Он показывает вклад каждой независимой переменной в определение значений независимой (результирующей) переменной. Если частный коэффициент регрессии близок к 0, то можно сделать вывод, что непосредственной связи между независимыми и зависимой переменными нет.

Расчет подобной модели можно выполнить на PC, прибегнув к помоши матричной алгебры. Множественная регрессия позволяет отразить многофакторность социальных связей и уточнить меру воздействия каждого фактора в отдельности и всех вместе на результирующий признак.

Коэффициент, обозначаемый Ь, называется коэффициентом линейной регрессии и показывает силу связи между вариацией факторного признака X и вариацией результативного признака Y Данный коэффициент измеряет силу связи в абсолютных единицах измерения признаков. Однако теснота корреляционной связи признаков может быть выражена и в долях среднего квадратического отклонения результативного признака (такой коэффициент называется коэффициентом корреляции). В отличие от коэффициента регрессии b коэффициент корреляции не зависит от принятых единиц измерения признаков, а стало быть, он сравним для любых признаков. Обычно считают связь сильной, если / > 0,7, средней тесноты - при 0,5 г 0,5.

Как известно, максимально тесная связь - это связь функциональная, когда каждое индивидуальное значение Y может быть однозначно поставлено в соответствие значению X. Таким образом, чем ближе коэффициент корреляции к 1, тем ближе связь к функциональной. Уровень значимости для регрессионного анализа не должен превышать 0,001.

Коэффициент корреляции долгое время рассматривался как основной показатель тесноты связи признаков. Однако позднее таким показателем стал коэффициент детерминации. Смысл этого коэффициента в следующем - он отражает долю общей дисперсии результирующего признака У , объясняемую дисперсией признака X. Находится он простым возведением в квадрат коэффициента корреляции (изменяющегося от 0 до 1) и в свою очередь для линейной связи отражает долю от 0 (0%) до 1 (100%) значений признака Y, определяемую значениями признака X. Записывается он как I 2 , а в результирующих таблицах регрессионного анализа в пакете SPSS - без квадрата.

Обозначим основные проблемы построения уравнения множественной регрессии.

• 1. Выбор факторов, включаемых в уравнение регрессии. На этой стадии исследователь сначала составляет общий список основных причин, которые согласно теории обусловливают изучаемое явление. Затем он должен отобрать признаки в уравнение регрессии. Основное правило отбора: факторы, включаемые в анализ, должны как можно меньше коррелировать друг с другом; только в этом случае можно приписать количественную меру воздействия определенному фактору-признаку.
• 2. Выбор формы уравнения множественной регрессии (на практике чаще пользуются линейной или линейно-логарифмической). Итак, для использования множественной регрессии исследователь сначала должен построить гипотетическую модель влияния нескольких независимых переменных на результирующую. Чтобы полученные результаты были достоверны, необходимо, чтобы модель точно соответствовала реальному процессу, т.е. связь между переменными должна быть линейной, нельзя проигнорировать ни одну значимую независимую переменную, точно так же нельзя включать в анализ ни одну переменную, не имеющую прямого отношения к изучаемому процессу. Кроме того, все измерения переменных должны быть предельно точными.

Из приведенного описания вытекает ряд условий применения этого метода, без соблюдения которых нельзя приступить к самой процедуре множественого регрессионного анализа (МРА). Только соблюдение всех из нижеперечисленных пунктов позволяет корректно осуществлять регрессионный анализ.

В статистическом моделировании регрессионный анализ представляет собой исследования, применяемые с целью оценки взаимосвязи между переменными. Этот математический метод включает в себя множество других методов для моделирования и анализа нескольких переменных, когда основное внимание уделяется взаимосвязи между зависимой переменной и одной или несколькими независимыми. Говоря более конкретно, регрессионный анализ помогает понять, как меняется типичное значение зависимой переменной, если одна из независимых переменных изменяется, в то время как другие независимые переменные остаются фиксированными.

Во всех случаях целевая оценка является функцией независимых переменных и называется функцией регрессии. В регрессионном анализе также представляет интерес характеристика изменения зависимой переменной как функции регрессии, которая может быть описана с помощью распределения вероятностей.

Задачи регрессионного анализа

Данный статистический метод исследования широко используется для прогнозирования, где его использование имеет существенное преимущество, но иногда это может приводить к иллюзии или ложным отношениям, поэтому рекомендуется аккуратно его использовать в указанном вопросе, поскольку, например, корреляция не означает причинно-следственной связи.

Разработано большое число методов для проведения регрессионного анализа, такие как линейная и обычная регрессии по методу наименьших квадратов, которые являются параметрическими. Их суть в том, что функция регрессии определяется в терминах конечного числа неизвестных параметров, которые оцениваются из данных. Непараметрическая регрессия позволяет ее функции лежать в определенном наборе функций, которые могут быть бесконечномерными.

Как статистический метод исследования, регрессионный анализ на практике зависит от формы процесса генерации данных и от того, как он относится к регрессионному подходу. Так как истинная форма процесса данных, генерирующих, как правило, неизвестное число, регрессионный анализ данных часто зависит в некоторой степени от предположений об этом процессе. Эти предположения иногда проверяемы, если имеется достаточное количество доступных данных. Регрессионные модели часто бывают полезны даже тогда, когда предположения умеренно нарушены, хотя они не могут работать с максимальной эффективностью.

В более узком смысле регрессия может относиться конкретно к оценке непрерывных переменных отклика, в отличие от дискретных переменных отклика, используемых в классификации. Случай непрерывной выходной переменной также называют метрической регрессией, чтобы отличить его от связанных с этим проблем.

История

Самая ранняя форма регрессии - это всем известный метод наименьших квадратов. Он был опубликован Лежандром в 1805 году и Гауссом в 1809. Лежандр и Гаусс применили метод к задаче определения из астрономических наблюдений орбиты тел вокруг Солнца (в основном кометы, но позже и вновь открытые малые планеты). Гаусс опубликовал дальнейшее развитие теории наименьших квадратов в 1821 году, включая вариант теоремы Гаусса-Маркова.

Термин «регресс» придумал Фрэнсис Гальтон в XIX веке, чтобы описать биологическое явление. Суть была в том, что рост потомков от роста предков, как правило, регрессирует вниз к нормальному среднему. Для Гальтона регрессия имела только этот биологический смысл, но позже его работа была продолжена Удни Йолей и Карлом Пирсоном и выведена к более общему статистическому контексту. В работе Йоля и Пирсона совместное распределение переменных отклика и пояснительных считается гауссовым. Это предположение было отвергнуто Фишером в работах 1922 и 1925 годов. Фишер предположил, что условное распределение переменной отклика является гауссовым, но совместное распределение не должны быть таковым. В связи с этим предположение Фишера ближе к формулировке Гаусса 1821 года. До 1970 года иногда уходило до 24 часов, чтобы получить результат регрессионного анализа.

Методы регрессионного анализа продолжают оставаться областью активных исследований. В последние десятилетия новые методы были разработаны для надежной регрессии; регрессии с участием коррелирующих откликов; методы регрессии, вмещающие различные типы недостающих данных; непараметрической регрессии; байесовские методов регрессии; регрессии, в которых переменные прогнозирующих измеряются с ошибкой; регрессии с большей частью предикторов, чем наблюдений, а также причинно-следственных умозаключений с регрессией.

Регрессионные модели

Модели регрессионного анализа включают следующие переменные:

• Неизвестные параметры, обозначенные как бета, которые могут представлять собой скаляр или вектор.
• Независимые переменные, X.
• Зависимые переменные, Y.

В различных областях науки, где осуществляется применение регрессионного анализа, используются различные термины вместо зависимых и независимых переменных, но во всех случаях регрессионная модель относит Y к функции X и β.

Приближение обычно оформляется в виде E (Y | X) = F (X, β). Для проведения регрессионного анализа должен быть определен вид функции f. Реже она основана на знаниях о взаимосвязи между Y и X, которые не полагаются на данные. Если такое знание недоступно, то выбрана гибкая или удобная форма F.

Зависимая переменная Y

Предположим теперь, что вектор неизвестных параметров β имеет длину k. Для выполнения регрессионного анализа пользователь должен предоставить информацию о зависимой переменной Y:

• Если наблюдаются точки N данных вида (Y, X), где N < k, большинство классических подходов к регрессионному анализу не могут быть выполнены, так как система уравнений, определяющих модель регрессии в качестве недоопределенной, не имеет достаточного количества данных, чтобы восстановить β.

• Если наблюдаются ровно N = K, а функция F является линейной, то уравнение Y = F (X, β) можно решить точно, а не приблизительно. Это сводится к решению набора N-уравнений с N-неизвестными (элементы β), который имеет единственное решение до тех пор, пока X линейно независим. Если F является нелинейным, решение может не существовать, или может существовать много решений.
• Наиболее распространенной является ситуация, где наблюдается N > точки к данным. В этом случае имеется достаточно информации в данных, чтобы оценить уникальное значение для β, которое наилучшим образом соответствует данным, и модель регрессии, когда применение к данным можно рассматривать как переопределенную систему в β.

В последнем случае регрессионный анализ предоставляет инструменты для:

• Поиска решения для неизвестных параметров β, которые будут, например, минимизировать расстояние между измеренным и предсказанным значением Y.
• При определенных статистических предположениях, регрессионный анализ использует избыток информации для предоставления статистической информации о неизвестных параметрах β и предсказанные значения зависимой переменной Y.

Необходимое количество независимых измерений

Рассмотрим модель регрессии, которая имеет три неизвестных параметра: β 0 , β 1 и β 2 . Предположим, что экспериментатор выполняет 10 измерений в одном и том же значении независимой переменной вектора X. В этом случае регрессионный анализ не дает уникальный набор значений. Лучшее, что можно сделать, оценить среднее значение и стандартное отклонение зависимой переменной Y. Аналогичным образом измеряя два различных значениях X, можно получить достаточно данных для регрессии с двумя неизвестными, но не для трех и более неизвестных.

Если измерения экспериментатора проводились при трех различных значениях независимой переменной вектора X, то регрессионный анализ обеспечит уникальный набор оценок для трех неизвестных параметров в β.

В случае общей линейной регрессии приведенное выше утверждение эквивалентно требованию, что матрица X Т X обратима.

Статистические допущения

Когда число измерений N больше, чем число неизвестных параметров k и погрешности измерений ε i , то, как правило, распространяется затем избыток информации, содержащейся в измерениях, и используется для статистических прогнозов относительно неизвестных параметров. Этот избыток информации называется степенью свободы регрессии.

Основополагающие допущения

Классические предположения для регрессионного анализа включают в себя:

• Выборка является представителем прогнозирования логического вывода.
• Ошибка является случайной величиной со средним значением нуля, который является условным на объясняющих переменных.
• Независимые переменные измеряются без ошибок.
• В качестве независимых переменных (предикторов) они линейно независимы, то есть не представляется возможным выразить любой предсказатель в виде линейной комбинации остальных.
• Ошибки являются некоррелированными, то есть ковариационная матрица ошибок диагоналей и каждый ненулевой элемент являются дисперсией ошибки.
• Дисперсия ошибки постоянна по наблюдениям (гомоскедастичности). Если нет, то можно использовать метод взвешенных наименьших квадратов или другие методы.

Эти достаточные условия для оценки наименьших квадратов обладают требуемыми свойствами, в частности эти предположения означают, что оценки параметров будут объективными, последовательными и эффективными, в особенности при их учете в классе линейных оценок. Важно отметить, что фактические данные редко удовлетворяют условиям. То есть метод используется, даже если предположения не верны. Вариация из предположений иногда может быть использована в качестве меры, показывающей, насколько эта модель является полезной. Многие из этих допущений могут быть смягчены в более продвинутых методах. Отчеты статистического анализа, как правило, включают в себя анализ тестов по данным выборки и методологии для полезности модели.

Кроме того, переменные в некоторых случаях ссылаются на значения, измеренные в точечных местах. Там могут быть пространственные тенденции и пространственные автокорреляции в переменных, нарушающие статистические предположения. Географическая взвешенная регрессия - единственный метод, который имеет дело с такими данными.

В линейной регрессии особенностью является то, что зависимая переменная, которой является Y i , представляет собой линейную комбинацию параметров. Например, в простой линейной регрессии для моделирования n-точек используется одна независимая переменная, x i , и два параметра, β 0 и β 1 .

При множественной линейной регрессии существует несколько независимых переменных или их функций.

При случайной выборке из популяции ее параметры позволяют получить образец модели линейной регрессии.

В данном аспекте популярнейшим является метод наименьших квадратов. С помощью него получают оценки параметров, которые минимизируют сумму квадратов остатков. Такого рода минимизация (что характерно именно линейной регрессии) этой функции приводит к набору нормальных уравнений и набору линейных уравнений с параметрами, которые решаются с получением оценок параметров.

При дальнейшем предположении, что ошибка популяции обычно распространяется, исследователь может использовать эти оценки стандартных ошибок для создания доверительных интервалов и проведения проверки гипотез о ее параметрах.

Нелинейный регрессионный анализ

Пример, когда функция не является линейной относительно параметров, указывает на то, что сумма квадратов должна быть сведена к минимуму с помощью итерационной процедуры. Это вносит много осложнений, которые определяют различия между линейными и нелинейными методами наименьших квадратов. Следовательно, и результаты регрессионного анализа при использовании нелинейного метода порой непредсказуемы.

Расчет мощности и объема выборки

Здесь, как правило, нет согласованных методов, касающихся числа наблюдений по сравнению с числом независимых переменных в модели. Первое правило было предложено Доброй и Хардином и выглядит как N = t^n, где N является размер выборки, n - число независимых переменных, а t есть числом наблюдений, необходимых для достижения желаемой точности, если модель имела только одну независимую переменную. Например, исследователь строит модель линейной регрессии с использованием набора данных, который содержит 1000 пациентов (N). Если исследователь решает, что необходимо пять наблюдений, чтобы точно определить прямую (м), то максимальное число независимых переменных, которые модель может поддерживать, равно 4.

Другие методы

Несмотря на то что параметры регрессионной модели, как правило, оцениваются с использованием метода наименьших квадратов, существуют и другие методы, которые используются гораздо реже. К примеру, это следующие методы:

• Байесовские методы (например, байесовский метод линейной регрессии).
• Процентная регрессия, использующаяся для ситуаций, когда снижение процентных ошибок считается более целесообразным.
• Наименьшие абсолютные отклонения, что является более устойчивым в присутствии выбросов, приводящих к квантильной регрессии.
• Непараметрическая регрессия, требующая большого количества наблюдений и вычислений.
• Расстояние метрики обучения, которая изучается в поисках значимого расстояния метрики в заданном входном пространстве.

Программное обеспечение

Все основные статистические пакеты программного обеспечения выполняются с помощью наименьших квадратов регрессионного анализа. Простая линейная регрессия и множественный регрессионный анализ могут быть использованы в некоторых приложениях электронных таблиц, а также на некоторых калькуляторах. Хотя многие статистические пакеты программного обеспечения могут выполнять различные типы непараметрической и надежной регрессии, эти методы менее стандартизированы; различные программные пакеты реализуют различные методы. Специализированное регрессионное программное обеспечение было разработано для использования в таких областях как анализ обследования и нейровизуализации.

При наличии корреляционной связи между факторными и результативными признаками врачам нередко приходится устанавливать, на какую величину может измениться значение одного признака при изменении другого на общепринятую или установленную самим исследователем единицу измерения.

Например, как изменится масса тела школьников 1-го класса (девочек или мальчиков), если рост их увеличится на 1 см. В этих целях применяется метод регрессионного анализа.

Наиболее часто метод регрессионного анализа применяется для разработки нормативных шкал и стандартов физического развития.

1. Определение регрессии . Регрессия - функция, позволяющая по средней величине одного признака определить среднюю величину другого признака, корреляционно связанного с первым.

   С этой целью применяется коэффициент регрессии и целый ряд других параметров. Например, можно рассчитать число простудных заболеваний в среднем при определенных значениях среднемесячной температуры воздуха в осенне-зимний период.

2. Определение коэффициента регрессии . Коэффициент регрессии - абсолютная величина, на которую в среднем изменяется величина одного признака при изменении другого связанного с ним признака на установленную единицу измерения.
3. Формула коэффициента регрессии . R у/х = r ху x (σ у / σ x)
   где R у/х - коэффициент регрессии;
   r ху - коэффициент корреляции между признаками х и у;
   (σ у и σ x) - среднеквадратические отклонения признаков x и у.

   В нашем примере ;
   σ х = 4,6 (среднеквадратическое отклонение температуры воздуха в осенне-зимний период;
   σ у = 8,65 (среднеквадратическое отклонение числа инфекционно-простудных заболеваний).
   Таким образом, R у/х - коэффициент регрессии.
   R у/х = -0,96 х (4,6 / 8,65) = 1,8, т.е. при снижении среднемесячной температуры воздуха (x) на 1 градус среднее число инфекционно-простудных заболеваний (у) в осенне-зимний период будет изменяться на 1,8 случаев.

4. Уравнение регрессии . у = М у + R y/x (х - М x)
   где у - средняя величина признака, которую следует определять при изменении средней величины другого признака (х);
   х - известная средняя величина другого признака;
   R y/x - коэффициент регрессии;
   М х, М у - известные средние величины признаков x и у.

   Например, среднее число инфекционно-простудных заболеваний (у) можно определить без специальных измерений при любом среднем значении среднемесячной температуры воздуха (х). Так, если х = - 9°, R у/х = 1,8 заболеваний, М х = -7°, М у = 20 заболеваний, то у = 20 + 1,8 х (9-7) = 20 + 3,6 = 23,6 заболеваний.
   Данное уравнение применяется в случае прямолинейной связи между двумя признаками (х и у).

5. Назначение уравнения регрессии . Уравнение регрессии используется для построения линии регрессии. Последняя позволяет без специальных измерений определить любую среднюю величину (у) одного признака, если меняется величина (х) другого признака. По этим данным строится график - линия регрессии , по которой можно определить среднее число простудных заболеваний при любом значении среднемесячной температуры в пределах между расчетными значениями числа простудных заболеваний.
6. Сигма регрессии (формула) .
   где σ Rу/х - сигма (среднеквадратическое отклонение) регрессии;
   σ у - среднеквадратическое отклонение признака у;
   r ху - коэффициент корреляции между признаками х и у.

   Так, если σ у - среднеквадратическое отклонение числа простудных заболеваний = 8,65; r ху - коэффициент корреляции между числом простудных заболеваний (у) и среднемесячной температурой воздуха в осенне-зимний период (х) равен - 0,96, то

   

7. Назначение сигмы регрессии . Дает характеристику меры разнообразия результативного признака (у).

   Например, характеризует разнообразие числа простудных заболеваний при определенном значении среднемесячной температуры воздуха в осеннне-зимний период. Так, среднее число простудных заболеваний при температуре воздуха х 1 = -6° может колебаться в пределах от 15,78 заболеваний до 20,62 заболеваний.
   При х 2 = -9° среднее число простудных заболеваний может колебаться в пределах от 21,18 заболеваний до 26,02 заболеваний и т.д.

   Сигма регрессии используется при построении шкалы регрессии, которая отражает отклонение величин результативного признака от среднего его значения, отложенного на линии регрессии.

8. Данные, необходимые для расчета и графического изображения шкалы регрессии
   • коэффициент регрессии - R у/х;
   • уравнение регрессии - у = М у + R у/х (х-М x);
   • сигма регрессии - σ Rx/y
9. Последовательность расчетов и графического изображения шкалы регрессии .
   • определить коэффициент регрессии по формуле (см. п. 3). Например, следует определить, насколько в среднем будет меняться масса тела (в определенном возрасте в зависимости от пола), если средний рост изменится на 1 см.
   • по формуле уравнения регрессии (см п. 4) определить, какой будет в среднем, например, масса тела (у, у 2 , у 3 ...)* для определеного значения роста (х, х 2 , х 3 ...).
     ________________
     * Величину "у" следует рассчитывать не менее чем для трех известных значений "х".

     При этом средние значения массы тела и роста (М х, и М у) для определенного возраста и пола известны

   • вычислить сигму регрессии, зная соответствующие величины σ у и r ху и подставляя их значения в формулу (см. п. 6).
   • на основании известных значений х 1 , х 2 , х 3 и соответствующих им средних значений у 1 , у 2 у 3 , а также наименьших (у - σ rу/х)и наибольших (у + σ rу/х) значений (у) построить шкалу регрессии.

     Для графического изображения шкалы регрессии на графике сначала отмечаются значения х, х 2 , х 3 (ось ординат), т.е. строится линия регрессии, например зависимости массы тела (у) от роста (х).

     Затем в соответствующих точках у 1 , y 2 , y 3 отмечаются числовые значения сигмы регрессии, т.е. на графике находят наименьшее и наибольшее значения у 1 , y 2 , y 3 .

10. Практическое использование шкалы регрессии . Разрабатываются нормативные шкалы и стандарты, в частности по физическому развитию. По стандартной шкале можно дать индивидуальную оценку развития детей. При этом физическое развитие оценивается как гармоничное, если, например, при определенном росте масса тела ребенка находится в пределах одной сигмы регрессии к средней расчетной единице массы тела - (у) для данного роста (x) (у ± 1 σ Ry/x).

    Физическое развитие считается дисгармоничным по массе тела, если масса тела ребенка для определенного роста находится в пределах второй сигмы регрессии: (у ± 2 σ Ry/x)

    Физическое развитие будет резко дисгармоничным как за счет избыточной, так и за счет недостаточной массы тела, если масса тела для определенного роста находится в пределах третьей сигмы регрессии (у ± 3 σ Ry/x).

По результатам статистического исследования физического развития мальчиков 5 лет известно, что их средний рост (х) равен 109 см, а средняя масса тела (у) равна 19 кг. Коэффициент корреляции между ростом и массой тела составляет +0,9, средние квадратические отклонения представлены в таблице.

Требуется:

• рассчитать коэффициент регрессии;
• по уравнению регрессии определить, какой будет ожидаемая масса тела мальчиков 5 лет при росте, равном х1 = 100 см, х2 = 110 см, х3= 120 см;
• рассчитать сигму регрессии, построить шкалу регрессии, результаты ее решения представить графически;
• сделать соответствующие выводы.

Условие задачи и результаты ее решения представлены в сводной таблице.

Таблица 1

Решение .

Вывод. Таким образом, шкала регрессии в пределах расчетных величин массы тела позволяет определить ее при любом другом значении роста или оценить индивидуальное развитие ребенка. Для этого следует восстановить перпендикуляр к линии регрессии.

1. Власов В.В. Эпидемиология. - М.: ГЭОТАР-МЕД, 2004. - 464 с.
2. Лисицын Ю.П. Общественное здоровье и здравоохранение. Учебник для вузов. - М.: ГЭОТАР-МЕД, 2007. - 512 с.
3. Медик В.А., Юрьев В.К. Курс лекций по общественному здоровью и здравоохранению: Часть 1. Общественное здоровье. - М.: Медицина, 2003. - 368 с.
4. Миняев В.А., Вишняков Н.И. и др. Социальная медицина и организация здравоохранения (Руководство в 2 томах). - СПб, 1998. -528 с.
5. Кучеренко В.З., Агарков Н.М. и др.Социальная гигиена и организация здравоохранения (Учебное пособие) - Москва, 2000. - 432 с.
6. С. Гланц. Медико-биологическая статистика. Пер с англ. - М., Практика, 1998. - 459 с.

Регрессионный анализ - это метод установления аналитического выражения стохастической зависимости между исследуемыми признаками. Уравнение регрессии показывает, как в среднем изменяется у при изменении любого из x i , и имеет вид:

где у - зависимая переменная (она всегда одна);

х i - независимые переменные (факторы) (их может быть несколько).

Если независимая переменная одна - это простой регрессионный анализ. Если же их несколько (п 2), то такой анализ называется многофакторным.

В ходе регрессионного анализа решаются две основные задачи:

построение уравнения регрессии, т.е. нахождение вида зависимости между результатным показателем и независимыми факторами x 1 , x 2 , …, x n .

оценка значимости полученного уравнения, т.е. определение того, насколько выбранные факторные признаки объясняют вариацию признака у.

Применяется регрессионный анализ главным образом для планирования, а также для разработки нормативной базы.

В отличие от корреляционного анализа, который только отвечает на вопрос, существует ли связь между анализируемыми признаками, регрессионный анализ дает и ее формализованное выражение. Кроме того, если корреляционный анализ изучает любую взаимосвязь факторов, то регрессионный - одностороннюю зависимость, т.е. связь, показывающую, каким образом изменение факторных признаков влияет на признак результативный.

Регрессионный анализ - один из наиболее разработанных методов математической статистики. Строго говоря, для реализации регрессионного анализа необходимо выполнение ряда специальных требований (в частности, x l ,x 2 ,...,x n ; y должны быть независимыми, нормально распределенными случайными величинами с постоянными дисперсиями). В реальной жизни строгое соответствие требованиям регрессионного и корреляционного анализа встречается очень редко, однако оба эти метода весьма распространены в экономических исследованиях. Зависимости в экономике могут быть не только прямыми, но и обратными и нелинейными. Регрессионная модель может быть построена при наличии любой зависимости, однако в многофакторном анализе используют только линейные модели вида:

Построение уравнения регрессии осуществляется, как правило, методом наименьших квадратов, суть которого состоит в минимизации суммы квадратов отклонений фактических значений результатного признака от его расчетных значений, т.е.:

где т - число наблюдений;

j = a + b 1 x 1 j + b 2 x 2 j + ... + b n х n j - расчетное значение результатного фактора.

Коэффициенты регрессии рекомендуется определять с помощью аналитических пакетов для персонального компьютера или специального финансового калькулятора. В наиболее простом случае коэффициенты регрессии однофакторного линейного уравнения регрессии вида y = а + bх можно найти по формулам:

Кластерный анализ

Кластерный анализ - один из методов многомерного анализа, предназначенный для группировки (кластеризации) совокупности, элементы которой характеризуются многими признаками. Значения каждого из признаков служат координатами каждой единицы изучаемой совокупности в многомерном пространстве признаков. Каждое наблюдение, характеризующееся значениями нескольких показателей, можно представить как точку в пространстве этих показателей, значения которых рассматриваются как координаты в многомерном пространстве. Расстояние между точками р и q с k координатами определяется как:

Основным критерием кластеризации является то, что различия между кластерами должны быть более существенны, чем между наблюдениями, отнесенными к одному кластеру, т.е. в многомерном пространстве должно соблюдаться неравенство:

где r 1, 2 - расстояние между кластерами 1 и 2.

Так же как и процедуры регрессионного анализа, процедура кластеризации достаточно трудоемка, ее целесообразно выполнять на компьютере.

Во время учебы студенты очень часто сталкиваются с разнообразными уравнениями. Одно из них - уравнение регрессии - рассмотрено в данной статье. Такой тип уравнения применяется специально для описания характеристики связи между математическими параметрами. Данный вид равенств используют в статистике и эконометрике.

Определение понятия регрессии

В математике под регрессией подразумевается некая величина, описывающая зависимость среднего значения совокупности данных от значений другой величины. Уравнение регрессии показывает в качестве функции определенного признака среднее значение другого признака. Функция регрессии имеет вид простого уравнения у = х, в котором у выступает зависимой переменной, а х - независимой (признак-фактор). Фактически регрессия выражаться как у = f (x).

Какие бывают типы связей между переменными

В общем, выделяется два противоположных типа взаимосвязи: корреляционная и регрессионная.

Первая характеризуется равноправностью условных переменных. В данном случае достоверно не известно, какая переменная зависит от другой.

Если же между переменными не наблюдается равноправности и в условиях сказано, какая переменная объясняющая, а какая - зависимая, то можно говорить о наличии связи второго типа. Для того чтобы построить уравнение линейной регрессии, необходимо будет выяснить, какой тип связи наблюдается.

Виды регрессий

На сегодняшний день выделяют 7 разнообразных видов регрессии: гиперболическая, линейная, множественная, нелинейная, парная, обратная, логарифмически линейная.

Гиперболическая, линейная и логарифмическая

Уравнение линейной регрессии применяют в статистике для четкого объяснения параметров уравнения. Оно выглядит как у = с+т*х+Е. Гиперболическое уравнение имеет вид правильной гиперболы у = с + т / х + Е. Логарифмически линейное уравнение выражает взаимосвязь с помощью логарифмической функции: In у = In с + т* In x + In E.

Множественная и нелинейная

Два более сложных вида регрессии - это множественная и нелинейная. Уравнение множественной регрессии выражается функцией у = f(х 1 , х 2 ...х с)+E. В данной ситуации у выступает зависимой переменной, а х - объясняющей. Переменная Е - стохастическая, она включает влияние других факторов в уравнении. Нелинейное уравнение регрессии немного противоречиво. С одной стороны, относительно учтенных показателей оно не линейное, а с другой стороны, в роли оценки показателей оно линейное.

Обратные и парные виды регрессий

Обратная - это такой вид функции, который необходимо преобразовать в линейный вид. В самых традиционных прикладных программах она имеет вид функции у = 1/с + т*х+Е. Парное уравнение регрессии демонстрирует взаимосвязь между данными в качестве функции у = f (x) + Е. Точно так же, как и в других уравнениях, у зависит от х, а Е - стохастический параметр.

Понятие корреляции

Это показатель, демонстрирующий существование взаимосвязи двух явлений или процессов. Сила взаимосвязи выражается в качестве коэффициента корреляции. Его значение колеблется в рамках интервала [-1;+1]. Отрицательный показатель говорит о наличии обратной связи, положительный - о прямой. Если коэффициент принимает значение, равное 0, то взаимосвязи нет. Чем ближе значение к 1 - тем сильнее связь между параметрами, чем ближе к 0 - тем слабее.

Методы

Корреляционные параметрические методы могут оценить тесноту взаимосвязи. Их используют на базе оценки распределения для изучения параметров, подчиняющихся закону нормального распределения.

Параметры уравнения линейной регрессии необходимы для идентификации вида зависимости, функции регрессионного уравнения и оценивания показателей избранной формулы взаимосвязи. В качестве метода идентификации связи используется поле корреляции. Для этого все существующие данные необходимо изобразить графически. В прямоугольной двухмерной системе координат необходимо нанести все известные данные. Так образуется поле корреляции. Значение описывающего фактора отмечаются вдоль оси абсцисс, в то время как значения зависимого - вдоль оси ординат. Если между параметрами есть функциональная зависимость, они выстраиваются в форме линии.

В случае если коэффициент корреляции таких данных будет менее 30 %, можно говорить о практически полном отсутствии связи. Если он находится между 30 % и 70 %, то это говорит о наличии связей средней тесноты. 100 % показатель - свидетельство функциональной связи.

Нелинейное уравнение регрессии так же, как и линейное, необходимо дополнять индексом корреляции (R).

Корреляция для множественной регрессии

Коэффициент детерминации является показателем квадрата множественной корреляции. Он говорит о тесноте взаимосвязи представленного комплекса показателей с исследуемым признаком. Он также может говорить о характере влияния параметров на результат. Уравнение множественной регрессии оценивают с помощью этого показателя.

Для того чтобы вычислить показатель множественной корреляции, необходимо рассчитать его индекс.

Метод наименьших квадратов

Данный метод является способом оценивания факторов регрессии. Его суть заключается в минимизировании суммы отклонений в квадрате, полученных вследствие зависимости фактора от функции.

Парное линейное уравнение регрессии можно оценить с помощью такого метода. Этот тип уравнений используют в случае обнаружения между показателями парной линейной зависимости.

Параметры уравнений

Каждый параметр функции линейной регрессии несет определенный смысл. Парное линейное уравнение регрессии содержит два параметра: с и т. Параметр т демонстрирует среднее изменение конечного показателя функции у, при условии уменьшения (увеличения) переменной х на одну условную единицу. Если переменная х - нулевая, то функция равняется параметру с. Если же переменная х не нулевая, то фактор с не несет в себе экономический смысл. Единственное влияние на функцию оказывает знак перед фактором с. Если там минус, то можно сказать о замедленном изменении результата по сравнению с фактором. Если там плюс, то это свидетельствует об ускоренном изменении результата.

Каждый параметр, изменяющий значение уравнения регрессии, можно выразить через уравнение. Например, фактор с имеет вид с = y - тх.

Сгруппированные данные

Бывают такие условия задачи, в которых вся информация группируется по признаку x, но при этом для определенной группы указываются соответствующие средние значения зависимого показателя. В таком случае средние значения характеризуют, каким образом изменяется показатель, зависящий от х. Таким образом, сгруппированная информация помогает найти уравнение регрессии. Ее используют в качестве анализа взаимосвязей. Однако у такого метода есть свои недостатки. К сожалению, средние показатели достаточно часто подвергаются внешним колебаниям. Данные колебания не являются отображением закономерности взаимосвязи, они всего лишь маскируют ее «шум». Средние показатели демонстрируют закономерности взаимосвязи намного хуже, чем уравнение линейной регрессии. Однако их можно применять в виде базы для поиска уравнения. Перемножая численность отдельной совокупности на соответствующую среднюю можно получить сумму у в пределах группы. Далее необходимо подбить все полученные суммы и найти конечный показатель у. Чуть сложнее производить расчеты с показателем суммы ху. В том случае если интервалы малы, можно условно взять показатель х для всех единиц (в пределах группы) одинаковым. Следует перемножить его с суммой у, чтобы узнать сумму произведений x на у. Далее все суммы подбиваются вместе и получается общая сумма ху.

Множественное парное уравнение регрессии: оценка важности связи

Как рассматривалось ранее, множественная регрессия имеет функцию вида у = f (x 1 ,x 2 ,…,x m)+E. Чаще всего такое уравнение используют для решения проблемы спроса и предложения на товар, процентного дохода по выкупленным акциям, изучения причин и вида функции издержек производства. Ее также активно применяют в самых разнообразным макроэкономических исследованиях и расчетах, а вот на уровне микроэкономики такое уравнение применяют немного реже.

Основной задачей множественной регрессии является построение модели данных, содержащих огромное количество информации, для того чтобы в дальнейшем определить, какое влияние имеет каждый из факторов по отдельности и в их общей совокупности на показатель, который необходимо смоделировать, и его коэффициенты. Уравнение регрессии может принимать самые разнообразные значения. При этом для оценки взаимосвязи обычно используется два типа функций: линейная и нелинейная.

Линейная функция изображается в форме такой взаимосвязи: у = а 0 + a 1 х 1 + а 2 х 2 ,+ ... + a m x m . При этом а2, a m , считаются коэффициентами «чистой» регрессии. Они необходимы для характеристики среднего изменения параметра у с изменением (уменьшением или увеличением) каждого соответствующего параметра х на одну единицу, с условием стабильного значения других показателей.

Нелинейные уравнения имеют, к примеру, вид степенной функции у=ах 1 b1 х 2 b2 ...x m bm . В данном случае показатели b 1 , b 2 ..... b m - называются коэффициентами эластичности, они демонстрируют, каким образом изменится результат (на сколько %) при увеличении (уменьшении) соответствующего показателя х на 1 % и при стабильном показателе остальных факторов.

Какие факторы необходимо учитывать при построении множественной регрессии

Для того чтобы правильно построить множественную регрессию, необходимо выяснить, на какие именно факторы следует обратить особое внимание.

Необходимо иметь определенное понимание природы взаимосвязей между экономическими факторами и моделируемым. Факторы, которые необходимо будет включать, обязаны отвечать следующим признакам:

• Должны быть подвластны количественному измерению. Для того чтобы использовать фактор, описывающий качество предмета, в любом случае следует придать ему количественную форму.
• Не должна присутствовать интеркорреляция факторов, или функциональная взаимосвязь. Такие действия чаще всего приводят к необратимым последствиям - система обыкновенных уравнений становится не обусловленной, а это влечет за собой ее ненадежность и нечеткость оценок.
• В случае существования огромного показателя корреляции не существует способа для выяснения изолированного влияния факторов на окончательный результат показателя, следовательно, коэффициенты становятся неинтерпретируемыми.

Методы построения

Существует огромное количество методов и способов, объясняющих, каким образом можно выбрать факторы для уравнения. Однако все эти методы строятся на отборе коэффициентов с помощью показателя корреляции. Среди них выделяют:

• Способ исключения.
• Способ включения.
• Пошаговый анализ регрессии.

Первый метод подразумевает отсев всех коэффициентов из совокупного набора. Второй метод включает введение множества дополнительных факторов. Ну а третий - отсев факторов, которые были ранее применены для уравнения. Каждый из этих методов имеет право на существование. У них есть свои плюсы и минусы, но они все по-своему могут решить вопрос отсева ненужных показателей. Как правило, результаты, полученные каждым отдельным методом, достаточно близки.

Методы многомерного анализа

Такие способы определения факторов базируются на рассмотрении отдельных сочетаний взаимосвязанных признаков. Они включают в себя дискриминантный анализ, распознание обликов, способ главных компонент и анализ кластеров. Кроме того, существует также факторный анализ, однако он появился вследствие развития способа компонент. Все они применяются в определенных обстоятельствах, при наличии определенных условий и факторов.