Гетероскедастичность и методы ее выявления. Оценивание регрессии в условиях гетероскедастичности ошибок

Оценка точности регрессионных моделей.

Для оценки точности чаще всего используют два показателя, которые для линейных, так и для нелинейных моделей имеют вид:

1. Средняя ошибка аппроксимации

2. Среднеквадратическая ошибка аппроксимации

8.1. Сущность и причины гетероскедастичности

Второе условие Гаусса – Маркова о гомоскедастичности, то есть равноизменчивости остатков – это одно из важнейших предпосылок МНК.

Так как математическое ожидание остатков в каждом наблюдении равно нулю, то квадраты остатков могут служить оценками их дисперсий.

Эти квадраты остатков входят в ESS (которая минимизируется в МНК) с одинаковыми единичными весами, а это не всегда правомерно, так как на практике гетероскедастичность не так уж редко встречается.

Например, с ростом дохода растёт не только средний уровень потребления, но и разброс в потреблении. Он более присущ субъектам с высоким доходом, так как они имеют больший простор для распределения доходов. Проблема гетероскедастичности более характерна для пространственных выборок. Очевидно, что при наличии гетероскедастичности наблюдениям с большей дисперсией следует в ESS придавать меньший вес и наоборот, а не учитывать их равновзвешенными, как это делается в классическом МНК.

Точка на диаграмме рассеяния, полученная из наблюдения с меньшей дисперсией, более точно определяет направление линии регрессии, чем точка из наблюдения с большей дисперсией.

Последствия гетероскедастичности таковы:

1. Оценки параметров не будут эффективными, то есть не будут иметь наименьшую дисперсию по сравнению с другими оценками; при этом они будут оставаться несмещенными.

2. Дисперсии оценок будут смещены, так как будет смещена дисперсия на одну степень свободы которая используется при вычислении оценок дисперсий всех коэффициентов.

3. Выводы, получаемые на основе завышенных F и t статистик, и интервальные оценки будут ненадёжны.

8.2. Выявление гетероскедастичности

Это достаточно непростая задача; дисперсию σ 2 (ε i ) обычно определить не удаётся, так как для конкретного значения объясняющей переменой х i или конкретного значения вектора x при множественной регрессии мы располагаем лишь единственным значением зависимой переменой у i и можем вычислить единственное модельное значение переменной

Тем не менее, в настоящее время разработан ряд методов и тестов для обнаружения гетероскедастичности:

1. Графический – мы уже говорили, что М (ε i )=0; это значит что дисперсию остатка можно заменить её оценкой, а в качестве этой оценки можно взять величину . В таком случае можно построить график в координатах: есть функция от х i и по нему изучить характер указанной зависимости. Если объясняющих переменных несколько, то проверяется зависимость по каждой переменной х j , то есть изучается зависимость

Можно также исследовать зависимость , так как переменная у является линейной комбинацией всех объясняющих переменных.

2. Тест ранговой корреляции Спирмена

Значения x i и ε i упорядочиваются по возрастанию, и для каждого наблюдения в ряду х и в ряду ε устанавливается свой ранг (номер) в соответствии с этим упорядочением. Разность d i между рангами x и ε для каждого номера наблюдения рассчитывается как

Затем вычисляется коэффициент ранговой корреляции:

.

Известно, что если остатки не коррелируют с объясняющими переменными, то статистика

имеет распределение Стьюдента с числом степеней свободы

df = n−2 .

Если вычисленное значение t – статистики превышает табличное критическое значение при назначенном уровне значимости γ гипотезы Н 0 , то гипотеза об отсутствии гетероскедастичности отвергается и гетероскедастичность признаётся существенной. Критическое значение t– статистики определяется по таблице как

В том случае, если модель регрессии множественная, проверка гипотезы Н 0 выполняется для каждой объясняющей переменной.

3. Тест Гольдфельда–-Квандта

Предполагается, что дисперсия остатков в каждом наблюдении пропорциональна или обратно пропорциональна интересующему нас регрессору, также предполагается, что остатки распределены нормально и нет автокорреляции в остатках.

В случае множественной регрессии тест целесообразно проводить по каждому регрессору отдельно.

Последовательность проведения теста:

а) наблюдения (строки таблицы) упорядочиваются по возрастанию интересующего нас регрессора;

б) упорядоченная таким образом выборка разбивается на 3 подвыборки объемами , , , при этом Можно считать, что Авторы теста предлагают следующие значения: n = 30, k = 11; n = 60, k = 22; n = 100, k = 36…38; n = 300, k = 110 и так далее (см. табл. 8.1).

При проведении регрессионного анализа, основанного на методе наименьших квадратов, на практике следует обратить серьезное внимание на проблемы, связанные с выполнимостью свойств случайных отклонений моделей. Как мы отмечали ранее, свойства оценок коэффициентов регрессии напрямую зависят от свойств случайного члена в уравнении регрессии. Для получения качественных оценок необходимо следить за выполнимостью предпосылок МНК (условий Гаусса− Маркова), т. к. при их нарушении МНК может давать оценки с плохими статистическими свойствами. При этом существуют другие методы определения более точных оценок. Одной из ключевых предпосылок МНК является условие постоянства дисперсий случайных отклонений (см. параграф 5.1, предпосылка2 0 ):

дисперсия случайных отклонений ε i постоянна. D(ε i )=D(ε j ) =σ 2 для любых наблюдений i и j.

Выполнимость данной предпосылки называется гомоскедастич-

ностью (постоянством дисперсии отклонений). Невыполнимость данной предпосылки называется гетероскедастичностью (непостоянством дисперсий отклонений).

В данной главе мы подробно проанализируем суть гетероскедастичности, ее причины и последствия, а также приведем несколько способов смягчения этих последствий.

8.1. Суть гетероскедастичности

При рассмотрении выборочных данных требование постоянства дисперсии случайных отклонений может вызвать определенное недоумение в силу того, что при каждом i-м наблюдении имеется единственное значениеε i . Откуда же появляется разброс? Дело в том, что при рассмотрении выборочных данных мы имеем дело с конкретными реализациями зависимой переменной yi и соответственно c определенными случайными отклонениямиε i , i = 1, 2, ..., n. Но до осуществления выборки эти показатели априори могли принимать произвольные значения на основе некоторых вероятностных распределений. Одним из требований к этим распределениям является равенство дисперсий. Данное условие подразумевает, что несмотря на то что при каждом конкретном наблюдении случайное отклонение может быть большим либо маленьким, положительным либо отрицательным, не должно быть некой априорной причины, вызывающей большую

ошибку (отклонение) при одних наблюдениях и меньшую − при других.

Однако на практике гетероскедастичность не так уж и редка. Зачастую есть основания считать, что вероятностные распределения случайных отклонений ε i при различных наблюдениях будут различными. Это не означает, что случайные отклонения обязательно будут большими при определенных наблюдениях и малыми− при других, но это означает, что априорная вероятность этого велика. Поэтому важно понимать суть этого явления и его последствия.

На рис. 8.1 приведены два примера линейной регрессии − зависимости потребления С от дохода I: C =β 0 +β 1 I +ε .

В обоих случаях с ростом дохода растет среднее значение потребления. Но если на рис. 8.1, а дисперсия потребления остается одной и той же для различных уровней дохода, то на рис. 8.1,б при аналогичной зависимости среднего потребления от дохода дисперсия потребления не остается постоянной, а увеличивается с ростом дохода. Фактически это означает, что во втором случае субъекты с большим доходом в среднем потребляют больше, чем субъекты с меньшим доходом, и, кроме того, разброс в их потреблении более существенен для большего уровня дохода. Фактически люди с большими доходами имеют больший простор для распределения своего дохода. Реалистичность данной ситуации не вызывает сомнений. Разброс значений потребления вызывает разброс точек наблюдения относительно линии регрессии, что и определяет дисперсию случайных отклонений. Динамика изменения дисперсий (распределений) отклонений для данного примера проиллюстрирована на рис. 8.2. При гомоскедастичности

(рис. 8.2, а ) дисперсииε i постоянны, а при гетероскедастичности (рис. 8.2,б ) дисперсииε i изменяются (в нашем примере− увеличиваются).

Проблема гетероскедастичности в большей степени характерна для перекрестных данных и довольно редко встречается при рассмотрении временных рядов. Это можно объяснить следующим образом. При перекрестных данных учитываются экономические субъекты (потребители, домохозяйства, фирмы, отрасли, страны и т. п.), имеющие различные доходы, размеры, потребности и т. д. Но в этом случае возможны проблемы, связанные с эффектом масштаба. Во временных рядах обычно рассматриваются одни и те же показатели в различные моменты времени (например, ВНП, чистый экспорт, темпы инфляции

и т. д. в определенном регионе за определенный период времени). Однако при увеличении (уменьшении) рассматриваемых показателей с течением времени может возникнуть проблема гетероскедастичности.

8.2. Последствия гетероскедастичности

Как отмечалось в разделе 5.1, при рассмотрении классической линейной регрессионной модели МНК дает наилучшие линейные несмещенные оценки (BLUE-оценки) лишь при выполнении ряда предпосылок, одной из которых является постоянство дисперсии отклонений (гомоскедастичность):σ 2 (ε i ) =σ 2 для всех наблюдений i, i = 1, 2, …, n.

При невыполнимости данной предпосылки (при гетероскедастичности) последствия применения МНК будут следующими.

1. Оценки коэффициентов по-прежнему остаются несмещенными и линейными.

2. Оценки не будут эффективными (т. е. они не будут иметь наименьшую дисперсию по сравнению с другими оценками данного параметра). Они не будут даже асимптотически эффективными. Увеличение дисперсии оценок снижает вероятность получения максимально точных оценок.

3. Дисперсии оценок будут рассчитываться со смещением. Смещенность появляется вследствие того, что необъясненная уравнением

менных), которая используется при вычислении оценок дисперсий всех коэффициентов (см. параграф 6.2, (6.23)), не является более несмещенной.

4. Вследствие вышесказанного все выводы, получаемые на основе соответствующих t- и F-статистик, а также интервальные оценки будут ненадежными. Следовательно, статистические выводы, получаемые при стандартных проверках качества оценок, могут быть ошибочными и приводить к неверным заключениям по построенной модели. Вполне вероятно, что стандартные ошибки коэффициентов будут занижены, а следовательно, t-статистики будут завышены. Это может привести к признанию статистически значимыми коэффициентов, таковыми на самом деле не являющимися.

Причину неэффективности оценок МНК при гетероскедастичности легко пояснить следующим примером парной регрессии.

Из рис. 8.3 видно, что для каждого конкретного значения хi СВ Х переменная Y принимает значение уi из некоторого множества, имеющего свое распределение, отличное одно от другого в силу непостоянства дисперсий (сравните распределения для значений у1 и уn ).

По МНК минимизируется сумма квадратов отклонений

∑e i 2 = ∑(y i −b 0 −b 1 x i ) 2 .

Но в этом случае каждое конкретное значение ei 2 в данной сумме имеет одинаковый “вес” вне зависимости от того, получено оно из распределения с маленькой дисперсией (например, e1 2 ) или с большой (например, e2 n ). Но это противоречит логике, т. к. точка, полученная

из распределения с меньшей дисперсией, более точно определяет направление линии регрессии. Поэтому она должна иметь больший “вес”, чем точка из распределения с большей дисперсией. Следовательно, методы оценивания, учитывающие “веса” точек наблюдений, позволяют получать более точные (эффективные) оценки. Учет “весов” точек характерен, например, для метода взвешенных наименьших квадратов, рассмотренного ниже.

8.3. Обнаружение гетероскедастичности

В ряде случаев на базе знаний характера данных появление проблемы гетероскедастичности можно предвидеть и попытаться устранить этот недостаток еще на этапе спецификации. Однако значительно чаще эту проблему приходится решать после построения уравнения регрессии.

Обнаружение гетероскедастичности в каждом конкретном случае является довольно сложной задачей, т. к. для знания дисперсий отклонений σ 2 (еi ) необходимо знать распределение СВ Y, соответствующее выбранному значению хi СВ Х. На практике зачастую для каждого конкретного значения хi определяется единственное значение уi , что не позволяет оценить дисперсию СВ Y для данного хi .

Естественно, не существует какого-либо однозначного метода определения гетероскедастичности. Однако к настоящему времени для такой проверки разработано довольно большое число тестов и критериев для них. Рассмотрим наиболее популярные и наглядные: графический анализ отклонений, тест ранговой корреляции Спирмена, тест Парка, тест Глейзера, тест Голдфелда− Квандта.

8.3.1. Графический анализ остатков

Использование графического представления отклонений позволяет определиться с наличием гетероскедастичности. В этом случае по оси абсцисс откладывается объясняющая переменная Х (либо линейная комбинация объясняющих переменных Y = b0 + b1 X1 + ... +

Bm Xm ), а по оси ординат либо отклонения еi , либо их квадраты ei 2 . Примеры таких графиков приведены на рис. 8.4.

На рис. 8.4, а все отклонения ei 2 находятся внутри полуполосы постоянной ширины, параллельной оси абсцисс. Это говорит о независимости дисперсий ei 2 от значений переменной Х и их постоянстве, т.е. в этом случае мы находимся в условиях гомоскедастичности.

На рис. 8.4, б − г наблюдаются некие систематические изменения в соотношениях между значениями xi переменной Х и квадратами от-

клонений ei 2 . Рис. 8.4,б соответствует примеру из параграфа 8.1. На

рис. 8.4, в отражена линейная; 8.4,г − квадратичная; 8.4,д − гиперболическая зависимости между квадратами отклонений и значениями объясняющей переменной Х. Другими словами, ситуации, представленные на рис. 8.4,б − д , отражают большую вероятность наличия гетероскедастичности для рассматриваемых статистических данных.

Отметим, что графический анализ отклонений является удобным и достаточно надежным в случае парной регрессии. При множественной регрессии графический анализ возможен для каждой из объясняющих переменных Хj , j = 1, 2, …, m отдельно. Чаще же вместо объясняющих переменных Хj по оси абсцисс откладывают значения yi ,

получаемые из эмпирического уравнения регрессии. Поскольку по уравнению множественной линейной регрессии yi является линейной

комбинацией хij , j = 1, 2, … , m, то график, отражающий зависимость ei 2 от yi , может указать на наличие гетероскедастичности аналогично

ситуациям на рис. 8.4, б − д . Такой анализ наиболее целесообразен при большом количестве объясняющих переменных.

8.3.2. Тест ранговой корреляции Спирмена

При использовании данного теста предполагается, что дисперсия отклонения будет либо увеличиваться, либо уменьшаться с увеличением значения Х. Поэтому для регрессии, построенной по МНК, абсолютные величины отклонений еi и значения хi СВ Х будут коррелированы. Значения хi и еi ранжируются (упорядочиваются по величинам). Затем определяется коэффициент ранговой корреляции:

где di − разность между рангами хi и ei , i = 1, 2, … , n; n− число наблюдений.

Например, если х20 является 25-м по величине среди всех наблюдений Х; а е20 − является 32-м, то di = 25− 32=− 7.

Доказано, что если коэффициент корреляции ρ х,е для генеральной совокупности равен нулю, то статистика

имеет распределение Стьюдента с числом степеней свободы ν = n− 2. Следовательно, если наблюдаемое значение t-статистики, вычисленное по формуле (8.2), превышает tкр. = tα ,n − 2 (определяемое по таблице критических точек распределения Стьюдента), то необходимо отклонить гипотезу о равенстве нулю коэффициента корреляцииρ х,е , а следовательно, и об отсутствии гетероскедастичности. В противном

случае гипотеза об отсутствии гетероскедастичности принимается. Если в модели регрессии больше чем одна объясняющая пере-

менная, то проверка гипотезы может осуществляться с помощью t- статистики для каждой из них отдельно.

8.3.3. Тест Парка

Р. Парк предложил критерий определения гетероскедастичности, дополняющий графический метод некоторыми формальными зависимостями. Предполагается, что дисперсия σ i 2 =σ 2 (ei ) является функцией i-го значения хi объясняющей переменной. Парк предложил следующую функциональную зависимость

Так как дисперсии уi 2 обычно неизвестны, то их заменяют оценками квадратов отклонений ei 2 .

В случае множественной регрессии зависимость (8.5) строится для каждой объясняющей переменной.

4. Проверяется статистическая значимость коэффициента β уравнения

(8.5) на основе t-статистики t =в . Если коэффициентβ статисти- Sв

чески значим, то это означает наличие связи между lnei 2 и lnxi , т. е. гетероскедастичности в статистических данных.

Отметим, что использование в критерии Парка конкретной функциональной зависимости (8.5) может привести к необоснованным выводам (например, коэффициент β статистически незначим, а гетероскедастичность имеет место). Возможна еще одна проблема. Для случайного отклонения vi в свою очередь может иметь место гетероскедастичность. Поэтому критерий Парка дополняется другими тестами.

8.3.4. Тест Глейзера

Тест Глейзера по своей сути аналогичен тесту Парка и дополняет его анализом других (возможно, более подходящих) зависимостей между дисперсиями отклонений σ i и значениями переменной хi . По данному методу оценивается регрессионная зависимость модулей отклонений ei (тесно связанных сσ i 2 ) от хi . При этом рассматриваемая зависимость моделируется следующим уравнением регрессии:

Изменяя значения k, можно построить различные регрессии. Обычно k = …, − 1,− 0.5, 0.5, 1, … Статистическая значимость коэффициентаβ в каждом конкретном случае фактически означает наличие гетероскедастичности. Если для нескольких регрессий (8.6) коэффициентβ оказывается статистически значимым, то при определении характера зависимости обычно ориентируются на лучшую из них.

Отметим, что так же, как и в тесте Парка, в тесте Глейзера для отклонений vi может нарушаться условие гомоскедастичности. Однако во многих случаях предложенные модели являются достаточно хорошими для определения гетероскедастичности.

8.3.5. Тест Голдфелда − Квандта

В данном случае также предполагается, что стандартное отклонение σ i =σ (ε i ) пропорционально значению хi переменной Х в этом

наблюдении, т. е. уi 2 = у2 xi 2 . Предполагается, чтоε i имеет нормальное распределение и отсутствует автокорреляция остатков.

Тест Голдфелда− Квандта состоит в следующем:

1. Все n наблюдений упорядочиваются по величине Х.

2. Вся упорядоченная выборка после этого разбивается на три подвыборки размерностей k, (n − 2k), k соответственно.

3. Оцениваются отдельные регрессии для первой подвыборки (k первых наблюдений) и для третьей подвыборки (k последних наблюдений). Если предположение о пропорциональности дисперсий от-

клонений значениям Х верно, то дисперсия регрессии (сумма квад-

ратов отклонений S1 = ∑ ei 2 ) по первой подвыборке будет сущест-

венно меньше дисперсии регрессии (суммы квадратов отклонений

S3 = ∑ ei 2 ) по третьей подвыборке.

i= n-k

4. Для сравнения соответствующих дисперсий строится следующая F-статистика:

Здесь (k − m− 1)− число степеней свободы соответствующих выборочных дисперсий (m− количество объясняющих переменных в уравнении регрессии).

При сделанных предположениях относительно случайных отклонений построенная F-статистика имеет распределение Фишера с числами степеней свободыν 1 =ν 2 = k− m− 1.

стичности отклоняется (здесь α − выбранный уровень значимости).

Естественным является вопрос, какими должны быть размеры подвыборок для принятия обоснованных решений. Для парной регрессии Голфелд и Квандт предлагают следующие пропорции: n = 30, k = 11; n = 60, k = 22.

Для множественной регрессии данный тест обычно проводится для той объясняющей переменной, которая в наибольшей степени связана с σ i . При этом k должно быть больше, чем (m + 1). Если нет уверенности относительно выбора переменной Xj , то данный тест может осуществляться для каждой из объясняющих переменных.

Этот же тест может быть использован при предположении об обратной пропорциональности между σ i и значениями объясняющей переменной. При этом статистика Фишера примет вид: F = S1 /S3 .

8.4. Методы смягчения проблемы гетероскедастичности

Как отмечалось в разделе 8.2, гетероскедастичность приводит к неэффективности оценок, несмотря на их несмещенность. Это может привести к необоснованным выводам по качеству модели. Поэтому при установлении гетероскедастичности возникает необходимость преобразования модели с целью устранения данного недостатка. Вид преобразования зависит от того, известны или нет дисперсии σ i 2 отклоненийε i .

8.4.1. Метод взвешенных наименьших квадратов (ВНК)

Данный метод применяется при известных для каждого наблюдения значениях σ i 2 . В этом случае можно устранить гетероскедастичность, разделив каждое наблюдаемое значение на соответствующее ему значение дисперсии. В этом суть метода взвешенных наименьших квадратов.

Для простоты изложения опишем ВНК на примере парной ре-

регрессии без свободного члена, но с дополнительной объясняющей переменной Z и с “преобразованным” отклонением v:

При этом для vi выполняется условие гомоскедастичности. Действительно,

уi 2 (vi )= M(vi − M(vi ))2 = M(vi 2 )− M2 (vi ) .

Следовательно, для преобразованной модели (8.10) выполняются предпосылки 1 0 − 5 0 МНК. В этом случае оценки, полученные по МНК, будут наилучшими линейными несмещенными оценками.

Таким образом, метод взвешенных наименьших квадратов включает следующие этапы:

1. Каждую из пар наблюдений (х i , уi ) делят на известную величинуσ i . Тем самым наблюдениям с наименьшими дисперсиями придаются наибольшие “веса”, а с максимальными дисперсиями− наименьшие “веса”. Действительно, наблюдения с меньшими дисперсиями отклонений будут более значимыми при оценке коэффициентов регрессии, чем наблюдения с большими дисперсиями. Учет этого факта увеличивает вероятность получения более точных оценок.

1 2. По МНК для преобразованных значений

I ,i строится

у i у i

уравнение регрессии без свободного члена с гарантированными качествами оценок.

8.4.2. Дисперсии отклонений не известны

Для применения ВНК необходимо знать фактические значения дисперсий уi 2 отклонений. На практике такие значения известны крайне редко. Следовательно, чтобы применить ВНК, необходимо сделать реалистические предположения о значениях уi 2 .

Например, может оказаться целесообразным предположить, что дисперсии уi 2 отклоненийε i пропорциональны значениям хi (рис.8.5,а ) или значениям хi 2 (рис. 8.5,б ).

1. Дисперсии σ i 2 пропорциональны хi (рис. 8.5, а).

уi 2 =σ 2 хi (σ 2 − коэффициент пропорциональности).

Тогда уравнение (8.9) преобразуется делением его левой и правой частей на x i :

няется условие гомоскедастичности. Следовательно, для регрессии (8.11) применим обычный МНК. Действительно, в силу выполнимо-

сти предпосылки уi 2 =σ 2 (ε i ) =σ 2 хi имеем:

Таким образом, оценив для (8.11) по МНК коэффициенты β 0 иβ 1 , затем возвращаются к исходному уравнению регрессии (8.8).

Если в уравнении регрессии присутствует несколько объясняющих переменных, можно поступить следующим образом. Вместо кон-

кретной объясняющей переменной Xj используетсяY исходного уравнения множественной линейной регрессии Y = b0 + b1 X1 + ... + bm Xm ,

т. е. фактически линейная комбинация объясняющих переменных. В этом случае получают следующую регрессию:

Иногда из всех объясняющих переменных выбирается наиболее подходящая, исходя из графического представления (рис. 8.4).

2. Дисперсия σ i 2 пропорциональна хi 2 (рис. 8.4, б).

В случае, если зависимость σ i 2 от хi целесообразнее выразить не линейной функцией, а квадратичной, то соответствующим преобразованием будет деление уравнения регрессии (8.8) на хi :

По аналогии с вышеизложенным несложно показать, что для отклонений vi будет выполняться условие гомоскедастичности. После определения по МНК оценок коэффициентовβ 0 иβ 1 для уравнения (8.13) возвращаются к исходному уравнению (8.8).

Отметим, что для применения описанных выше преобразований существенную роль играют знания об истинных значениях дисперсий отклонений σ i 2 , либо предположения, какими эти дисперсии могут быть. Во многих случаях дисперсии отклонений зависят не от включенных в уравнение регрессии объясняющих переменных, а от тех, которые не включены в модель, но играют существенную роль в исследуемой зависимости. В этом случае они должны быть включены в модель. В ряде случаев для устранения гетероскедастичности необходимо изменить спецификацию модели (например, линейную на логлинейную, мультипликативную на аддитивную и т. п.).

В заключение отметим, что наличие гетероскедастичности не позволяет получить эффективные оценки, что зачастую приводит к необоснованным выводам по их качеству. Обнаружение гетероскедастичности - достаточно трудоемкая проблема и для ее решения разработано несколько методов (тестов). В случае установления наличия гетероскедастичности ее корректировка также представляет довольно серьезную проблему. Одним из возможных решений является метод взвешенных наименьших квадратов (при этом необходима определенная информация либо обоснованные предположения о величинах дисперсий отклонений). На практике имеет смысл попробовать несколько методов определения гетероскедастичности и способов ее корректировки (преобразований, стабилизирующих дисперсию).

Вопросы для самопроверки

1. В чем суть гетероскедастичности?

2. Какое из следующих утверждений верно, ложно или не определено:

а) вследствие гетероскедастичности оценки перестают быть эффективными и состоятельными; б) оценки и дисперсии оценок остаются несмещенными;

в) выводы по t- и F-статистикам являются ненадежными;

г) при наличии гетероскедастичности стандартные ошибки оценок будут заниженными; д) гетероскедастичность проявляется через низкое значение статистики Дар-

бина− Уотсона DW;

е) не существует общего теста для анализа гетероскедастичности;

ж) тест ранговой корреляции Спирмена основан на использовании t- статистики; з) тест Парка является частным случаем теста Глейзера;

и) использование метода взвешенных наименьших квадратов носит ограниченный характер, т. к. для его использования необходимо знать дисперсии отклонений;

к) если в парной регрессии дисперсия случайных отклонений пропорциональна величине объясняющей переменной (х), то для получения эффективных оценок необходимо все наблюдаемые значения поделить на х.

3. Приведите аргументы в пользу графического теста, теста Парка и теста Глейзера.

4. Приведите схему теста Голдфелда − Квандта.

5. В чем суть метода взвешенных наименьших квадратов (ВНК)?

6. Объясните кратко, почему при наличии гетероскедастичности ВНК позволяет получить более эффективные оценки, чем обычный МНК.

Упражнения и задачи

1. Пусть зависимость заработной платы (Y) от стажа работы (X) сотрудника выражена следующим уравнением регрессии:

Y = β 0 +β 1 X +γ D +ε ,

где D − фиктивная переменная, отражающая пол сотрудника. Как можно проверить предположение о том, что пол сотрудника не влияет на дисперсию случайных отклоненийε i ?

2. Приведены данные в условных единицах по доходам (Х) и расходам на непродовольственные товары (Y) для тридцати домохозяйств:

а) Определите по МНК оценки парного уравнения регрессии yi = b0 + b1 xi + ei . б) Оцените качество построенного уравнения.

в) Проведите графический анализ остатков.

г) Примените для указанных статистических данных ВНК предположение,

что σ 2 (ei ) =σ 2 xi 2 .

д) Примените к полученным в п. а) результатам тест ранговой корреляции Спирмена и тест Парка.

е) Определите, существенно ли повлияла гетероскедастичность на качество оценок в уравнении, построенном по МНК.

а) Постройте уравнение регрессии Y на Х и оцените его качество.

б) Можно ли ожидать наличие гетероскедастичности в данном случае. Ответ поясните.

в) Проверьте наличие гетероскедастичности, используя тест Голдфелда− Квандта. Рекомендуется использовать разбиение, при котором k = 12.

г) Если предположить, что гетероскедастичность имеет место, и дисперсии отклонений пропорциональны значениям Х, то какое преобразование вы предложите, чтобы получить несмещенные, эффективные и состоятельные оценки.

д) Постройте новое уравнение регрессии на основе преобразования, осуществленного в предыдущем пункте, и оцените его качество.

е) Сравните результаты, полученные в пунктах а) и д).

4. Пусть для эмпирического уравнения парной регрессии Y = b0 + b1 X + e име-

ет место следующее соотношение M(ei 2 ) =σ 2 xi . Какое преобразование можно предложить, чтобы устранить проблему гетероскедастичности. Опишите поэтапно предложенную схему.

5. Пусть для регрессии Y = b0 + b1 X1 + b2 X2 + e, оцениваемой по ежегодным данным (1971− 1998), получены следующие результаты: сумма квадратов от-

клонений для данных 1971− 1980 гг. равна S1 =∑ ei 2 = 15, для данных 1981−

1998 гг. эта сумма равна S2 =∑ ei 2 = 50. С помощью теста Голдфелда− Квандта проверьте предположение о том, что дисперсия отклонений не постоянна (в частности, что дисперсия претерпела изменение где-то в 1981 г.).

6. Анализируется объем инвестиций для вымышленной страны. По данным с 1961 по 1990 г. построены два уравнения регрессии:

	i t=		52.5 + 0.275gnpt				− 0.63ct ,			R2 = 0.98.
	(t) = (12.5) (10.2)
							0.27 −
		gnpt		gnpt					gnpt − значения соответствующих показателей в момент времени t. а) Что могло послужить причиной преобразования первого уравнения во второе? б) Если причиной преобразования являлась гетероскедастичность, то какое предположение о дисперсии отклонений являлось основанием для данного преобразования? в) Можно ли сравнить качества обоих уравнений на основе коэффициентов детерминации? Ответ поясните. г) Должно ли преобразованное уравнение проходить через начало координат? 7. Выдвигается предположение, что средняя заработная плата наемных рабочих пропорциональна их стажу. Для анализа данного утверждения обследуются по 20 рабочих восьми категорий стажа. Получены следующие статистические данные: [ 0, 5)[ 5, 10)[ 10, 15)[ 15, 20)[ 20, 25)[ 25, 30)[ 30, 35)[ 35, 40] 10000 12500 14300 18700 25400 29000 32000 34300 а) Постройте эмпирическое уравнение регрессии, в котором заработная плата является зависимой переменной, а стаж работы − объясняющей переменной (уравнение строится в предположение, что дисперсии отклонений постоянны). г) Предполагая, что дисперсия отклонений пропорциональна трудовому стажу, постройте на основании тех же данных уравнение по методу взвешенных наименьших квадратов (ВНК). д) Предполагая, что дисперсия отклонений пропорциональна квадрату величины трудового стажа, постройте по ВНК соответствующее уравнение регрессии. е) Какое из трех предположений относительно дисперсии отклонений наиболее реалистично с вашей точки зрения? 8. Исследуется зависимость между доходом (Х) домохозяйства и его расходом (Y) на продукты питания. Выборочные данные по 40 домохозяйствам представлены ниже. Х 75.8 76.9 79.2 81.5 82.4 82.8 83.0 85.9 86.4 86.9 88.3 89.0 Y 26.1 20.0 19.8 21.2 29.0 17.3 23.5 22.0 18.3 13.7 14.5 27.3 а) Постройте эмпирическое уравнение регрессии Y на Х. б) Вычислите отклонения ei . в) Проведите анализ модели на гетероскедастичность по тесту ранговой корреляции Спирмена. г) Проведите графический анализ отклонений и выдвиньте предположение о зависимости дисперсии отклонений от значений Х. д) На основании предыдущего пункта постройте новое уравнение регрессии, используя для этого ВНК. 9. Проводится анализ зависимости средней заработной платы от средней производительности на предприятиях различного масштаба. Проведенное обследование нашло отражение в следующей таблице. Количество сотрудников Стандартное предприятия, производительность, отклонение з/п, σ i ($) − 4 − 9 − 19 − 49 − 99 − 199 − 499 − 999 − 1999 − 4999 в) Сравните полученные результаты. Какое из уравнений вы предпочтете и почему?

Означающее неоднородность наблюдений, выражающуюся в неодинаковой (непостоянной) дисперсии случайной ошибки регрессионной (эконометрической) модели. Гетероскедастичность противоположна понятию гомоскедастичность , которое означает однородность наблюдений, то есть постоянство дисперсии случайных ошибок модели.

Наличие гетероскедастичности случайных ошибок приводит к неэффективности оценок , полученных с помощью метода наименьших квадратов . Кроме того, в этом случае оказывается смещённой и несостоятельной классическая оценка ковариационной матрицы МНК-оценок параметров. Следовательно статистические выводы о качестве полученных оценок могут быть неадекватными. В связи с этим тестирование моделей на гетероскедастичность является одной из необходимых процедур при построении регрессионных моделей.

Тестирование гетероскедастичности

В первом приближении наличие гетероскедастичности можно заметить на графиках остатков регрессии (или их квадратов) по некоторым переменным, по оцененной зависимой переменной или по номеру наблюдения. На этих графиках разброс точек может меняться в зависимости от значения этих переменных.

Для более строгой проверки применяют, например, следующие статистические тесты

• Тест Голдфелда-Куандта
• Тест Бройша - Пагана
• Тест Парка
• Тест Глейзера
• Тест ранговой корреляции Спирмэна

Оценка модели при гетероскедастичности

Поскольку МНК-оценки параметров моделей остаются несмещёнными состоятельными даже при гетероскедастичности, то при достаточном количестве наблюдений возможно применение обычного МНК. Однако, для более точных и правильных статистических выводов необходимо использовать стандартные ошибки в форме Уайта .

Альтернативный подход - использование взвешенного метода наименьших квадратов (ВМНК, WLS) . В этом методе каждое наблюдение взвешивается обратно пропорционально предполагаемому стандартному отклонению случайной ошибки в этом наблюдении. Такой подход позволяет сделать случайные ошибки модели гомоскедастичными.

В частности, если предполагается, что стандартное отклонение ошибок пропорционально некоторой переменной Z , то данные делятся на эту переменную, включая константу.

Пример

Пусть рассматривается, например, зависимость прибыли от размера активов:

Однако, скорее всего не только прибыль зависит от активов, но и "колеблемость" прибыли не одинакова для той или иной величины активов. То есть скорее всего стандартное отклонение случайной ошибки модели следует полагать пропорциональным стоимости активов:

В этом случае разумнее рассматривать не исходную модель, а следующую:

предполагая что в этой модели случайные ошибки гомоскедастичны. Можно использовать эту преобразованную модель непосредственно, а можно использовать полученные оценки параметров как оценки параметров исходной модели (взвешенный МНК). Теоретически полученные таким образом оценки должны быть лучше.

См. также

Литература

• Магнус Я. Р., Катышев П. К., Пересецкий А. А. Эконометрика. - М .: Дело, 2004. - 576 с.
• William H. Greene Econometric analysis. - New York: Pearson Education, Inc., 2003. - 1026 с.

Wikimedia Foundation . 2010 .

Смотреть что такое "Гетероскедастичность" в других словарях:

- (heteroscedasticity) Разнородность; наличие различных дисперсий. Данные являются гетероскедастическими, если их вариации не соответствуют случайным отклонениям по той же совокупности. Это понятие отличается от гомоскедастичности… … Экономический словарь

Гетероскедастичность - , неоднородность понятие математической статистики и эконометрии; означает случай, когда дисперсия ошибки в уравнении регрессии изменяется от наблюдения к наблюдению. В этом случае приходится подвергать определенной… … Экономико-математический словарь

гетероскедастичность - Неоднородность понятие математической статистики и эконометрии; означает случай, когда дисперсия ошибки в уравнении регрессии изменяется от наблюдения к наблюдению. В этом случае приходится подвергать определенной модификации метод наименьших… … Справочник технического переводчика

гетероскедастичность - Неоднородность дисперсии. Антоним: гомоскедастичность … Словарь социологической статистики

- (ARCH AutoRegressive Conditional Heteroskedastiсity) применяемая в эконометрике модель для анализа временных рядов (в первую очередь финансовых) у которых условная (по прошлым значениям ряда) дисперсия ряда зависит от прошлых значений … Википедия

Куандта (англ. Goldfeld Quandt test) процедура тестирования гетероскедастичности случайных ошибок регрессионной модели, применяемая в случае, когда есть основания полагать, что стандартное отклонение ошибок может быть пропорционально… … Википедия

- (англ. White test) универсальная процедура тестирования гетероскедастичности случайных ошибок линейной регрессионной модели, не налагающая особых ограничений на структуру гетероскедастичности, предложенная Уайтом в 1980 г. Тест является… … Википедия

При проведении регрессионного анализа методом наименьших квадратов (МНК) важно учитывать предпосылки этого метода, одной из которых является равенство дисперсий случайных отклонений. Выполнение данной предпосылки называется гомоскедастичностью,… … Википедия

Применяемая в эконометрике модель для отыскания зависимости дисперсии текущей ошибки от квадратов ошибок модели для предшествующих наблюдений. Спецификация ARCH(q) Обозначим через текущую ошибку модели и предположим, что, где и где временной ряд … Википедия

- (ОМНК, GLS англ. Generalized Least Squares) метод оценки параметров регрессионных моделей, являющийся обобщением классического метода наименьших квадратов. Обобщённый метод наименьших квадратов сводится к минимизации «обобщённой… … Википедия

Книги

• Введение в эконометрику (CDpc) , Яновский Леонид Петрович, Буховец Алексей Георгиевич. Даны основы эконометрики и статистического анализа одномерных временных рядов. Большое внимание уделено классической парной и множественной регрессии, классическому и обобщенному методам…

Предположение о постоянстве и конечности дисперсии остатков называется свойством гомоскедастичности остатков (рисунок 5.1). В практических исследованиях это свойство случайной ошибки модели регрессии не всегда выполняется и дисперсия остатков не является постоянной величиной (рисунок 5.2). Такое явление называется гетероскедастичностью .

Рис. 5.1. Линейная модель с гомоскедастичностью

Гетероскедастичность часто вызывается ошибками спецификации, когда не учитывается в модели существенная переменная.

Гетероскедастичность приводит к тому, что оценки коэффициентов регрессии не являются эффективными, т.е. их дисперсии не будут наименьшими. Как следствие рассчитанные значения стандартных ошибок коэффициентов регрессии могут быть заниженными, а потому при проверке статистической значимости коэффициентов может быть ошибочно принято решение об их значимом отличии от нуля, тогда как на самом деле это не так.

Проблема гетероскедастичности характерна для пространственных данных, полученных от неоднородных объектов. Например, если исследуется зависимость расходов на питание в семье от ее общего дохода, то можно ожидать, что разброс данных будет выше для семей с более высоким доходом. Если исследуется зависимость оплаты труда сотрудников предприятий в зависимости от размера основных фондов предприятий и разряда работника, то понятно, что вариация оплаты труда на крупных предприятиях у сотрудников высокого разряда будет значительно превосходить его вариацию для сотрудников низких уровней на малых и средних предприятиях.

Гетероскедастичность иногда возникает и во временных рядах. Это происходит в тех случаях, когда зависимая переменная имеет большой интервал качественно неоднородных значений или высокий темп изменения (инфляция, технологические сдвиги, изменения в законодательстве, потребительские предпочтения и т.д.).

Рис. 5.2. Линейная модель с гетероскедастичностью

В настоящее время для оценки нарушения гомоскедастичности предложено большое число тестов. Чаще всего используются графический анализ отклонений, тест ранговой корреляции Спирмена и тест Голдфелда-Квандта.

Графический анализ отклонений заключается в визуальной оценке разброса точек корреляционного поля около линии регрессии: считается, что условие 2 выполняется, если точки наблюдений расположены внутри полосы постоянной ширины, окаймляющей линию регрессии (например, как на рисунке 5.1). Для множественной регрессии осуществляется графический анализ корреляционных полей объясняемой переменной в зависимости от каждого из факторов .

Наиболее популярным тестом обнаружения гетероскедастичности является тест Голдфелда-Квандта. Тест применяется в том случае, если ошибки регрессии можно считать нормально распределенными случайными величинами. Кроме того, в основе его лежит предположение о пропорциональности дисперсий случайного члена значению выбранной объясняющей переменной. Тест проводится по следующей схеме.

1. На основе выборочных данных строится линейная модель множественной регрессии с объясняющими переменными .

2. В модели множественной регрессии (например, на основе графического анализа) выбирается факторная переменная, от которой предположительно могут зависеть остатки. Значения этой переменной ранжируются, располагаются по возрастанию и делятся на три части объемами (обычно принимают ).

3. Для первой и третьей частей строятся две независимые модели регрессии.

4. По каждой из построенных моделей рассчитывают суммы квадратов остатков S 1 и S 3 .

5. Осуществляется проверка основной гипотезы об отсутствии гетероскедастичности с помощью -критерия Фишера. Наблюдаемое значение -критерия рассчитывается следующим образом:

Если , то в основной модели присутствует гетероскедастичность, зависящая от выбранной объясняющей переменной (число степеней свободы определяется значениями и ).

Если нет уверенности относительно выбора объясняющей переменной, вызывающей гетероскедастичность, то тест осуществляется для каждой из объясняющих переменных .

Наличие гетероскедастичности в остатках регрессии можно проверить и с помощью теста ранговой корреляции Спирмена. При выполнении теста предполагается, что абсолютные величины остатков и значения объясняющей переменной коррелированны. Эту корреляцию можно измерять с помощью коэффициента ранговой корреляции Спирмена:

,

где – разность между рангом и рангом модуля остатка .

Тест проводится по следующей схеме.

1. Строится линейная модель регрессии.

2. Данные по и модули остатков ранжируются по переменной , определяются их ранги (ранг – это порядковый номер значений переменной в ранжированном ряду).

3. Осуществляется проверка основной гипотезы об отсутствии гетероскедастичности с помощью -статистики с степенями свободы, где n – объем выборки. При этом наблюдаемое значение -критерия определяется равенством . Если , то нулевая гипотеза об отсутствии гетероскедастичности отклоняется и имеет место гетероскедастичность в остатках регрессии, т.е. условие 2 не выполняется.

После установления в модели наличия гетероскедастичности возникает вопрос о том, в какой мере существенно она влияет на качество модели и следует ли вообще с гетероскедастичностью бороться. Ведь при гетероскедастичности оценки коэффициентов регрессии все равно остаются несмещенными и состоятельными, правда, не будут эффективными.

Если исследователь решил вступить в борьбу с гетероскедастичностью, то первый шаг на этом пути заключается в определении ее типа. Если гетероскедастичность вызвана ошибками спецификации, то для ее устранения необходимо включить в уравнение пропущенные существенные переменные и подобрать правильную функциональную форму. Если гетероскедастичность наблюдается в правильно специфицированных моделях (чистая гетероскедастичность ), то можно воспользоваться взвешенным методом наименьших квадратов (ВМНК).

Данный метод применяется при известных для каждого наблюдения значениях дисперсиях . В этом случае можно устранить гетероскедастичность, разделив каждое наблюдаемое значение на соответствующее ему среднеквадратическое отклонение. Тем самым обеспечивается равномерный вклад остатков в общую сумму.

Таким образом, если при обычном МНК в случае парной линейной модели для нахождения ее параметров и минимизируется сумма , то при ВМНК минимизируется сумма

.

Применение ВМНК включает следующие этапы.

1. С помощью обычного МНК строится линейная регрессионная модель и

доказывается наличие гетероскедастичности остатков.

2. Для каждого наблюдения устанавливаются фактические значения дисперсий отклонений.

3. Значения каждой пары наблюдений делятся на известную величину . Тем самым наблюдениям с наименьшими дисперсиями придаются наибольшие веса, а наблюдениям с наибольшими дисперсиями – наименьшие веса.