Расчет параметров уравнения регрессии. Метод наименьших квадратов

Простейшим видом уравнения регрессии является парная линейная зависимость.

где y – зависимая переменная (признак-результат),

x – независимая переменная (признак-фактор).

В качестве уравнения регрессии могут быть выбраны различные математические функции: чаще всего исследуется линейная зависимость, парабола, гипербола, степная функция. Но исследование начинается с линейной зависимости, так как результаты поддаются содержательной интерпретации.

При нанесении на поле корреляции точек, координаты которых соответствуют значениям зависимых и независимых переменных выявляется тенденция связи между ними.

Смысл построения уравнения регрессии состоит в описании тенденции зависимости признака-результата от признака-фактора.

Если линия регрессии проходит через все точки поля корреляции, то эта функциональная связь. Так как всегда присутствует ошибка, поэтому нет функциональной связи.

Наличие ошибки связано с тем что:

§ не все факторы, влияющие на результат, учитываются в уравнении регрессии;

§ может быть неправильно выбрано уравнение регрессии или форма связи.

Уравнение регрессии описывает изменения условного среднего значения признака-результата под влиянием конкретных значений признака-фактора, то есть это аналитическая форма тенденции зависимости между изучаемыми признаками. Уравнение регрессии строится на основе фактических значений признаков, и для его использования нужно рассчитать параметры уравнения а и b. Определение значений параметров, как правило, выполняется с использованием методов наименьших квадратов (МНК).

Суть метода состоит в том, что удается минимизировать сумму квадратов отклонений фактических значений признака-результата от теоретических, рассчитанных на основе уравнения регрессии, что оценивает степень аппроксимации поля корреляции уравнением регрессии.

Задача состоит в решении задачи на экстремум, то есть найти при каких значениях параметров а и в функции S достигает минимума.

Проводя дифференцирование, приравниваем частные производные к нулю и , получаем систему уравнений. Решая ее, находим значения параметров а и в.

Параметр в в уравнении регрессии называется коэффициентом регрессии и характеризует на сколько единиц своего измерения изменится признак-результат при изменении признака-фактора на единицу своего измерения. Знак при коэффициенте регрессии характеризует направленность зависимости (прямая или обратная). Параметр а в уравнении регрессии содержательно не интерпретируется, а характеризует лишь расположение линии на графике.

Пример.

Данное уравнение показывает тенденцию зависимости заработной платы (у) от прожиточного минимума (х). Коэффициент в (в данном случае равный 0,92) характеризует следующее: при увеличении на 1 рубль потребительской корзины заработная плата возрастает на 92 копейки

Множественная регрессия.

Уравнение множественной регрессии – аналитическая форма зависимости признака-результата от двух или более признаков-факторов.

в - коэффициент регрессии

В уравнении множественной регрессии их называют условно чистыми коэффициентами. Их можно назвать чистыми коэффициентами, если бы в уравнении регрессии удалось включить все факторы определяющие результат..

Это невозможно пор нескольким причинам:

§ Ограниченный объем совокупности (число факторов должно 5-6 раз, идеально в 10 раз, меньше объема совокупности).

§ Не по всем факторам имеются данные.

§ Не все факторы имеют количественную оценку.

§ Не знаем о факторах, которые реально влияют на результат.

Интерпретация коэффициентов множественной регрессии аналогична интерпретации коэффициентов парной регрессии.

Коэффициент регрессии во множественном уравнении регрессии не равен коэффициенту регрессии в парном уравнении регрессии (при оценке влияния одного итого же фактора), так как в уравнении множественной регрессии величина коэффициента рассчитывается в условиях элиминирования влияния ряда факторов, включенных в уравнение.

39. Факторный анализ: этапы, идея МГК.

Совокупность методов, которые на основе объективно существующих корреляционных взаимосвязей признаков (или объектов) позволяют выявлять скрытые обобщающие характеристики структуры изучаемых объектов и их свойств.

Цели Факторного анализа

1)сокращение числа переменных (data reduction)

2) определение структуры взаимосвязей между переменными (classify data)

1 этап: Построение матрицы попарных корреляций

2 этап : Выделение факторов -Метод главных компонент (МГК)

3 этап: Вращение матрицы факторных нагрузок

Варимакс (Varimax) – для столбцов – минимизируется число переменных

Квартимакс (Quartimax) – для строк – минимизирует число факторов

Эквамакс (Equamax) – комбинация методов Варимакс и Квартимакс