F-тест

F-тестом или критерием Фишера (F-критерием, φ*-критерием) — называют любой статистический критерий, тестовая статистика которого при выполнении нулевой гипотезы имеет распределение Фишера (F-распределение).

Статистика теста так или иначе сводится к отношению выборочных дисперсий (сумм квадратов, деленных на «степени свободы»). Чтобы статистика имела распределение Фишера, необходимо, чтобы числитель и знаменатель были независимыми случайными величинами и соответствующие суммы квадратов имели распределение Хи-квадрат. Для этого требуется, чтобы данные имели нормальное распределение. Кроме того, предполагается, что дисперсия случайных величин, квадраты которых суммируются, одинакова.

Тест проводится путём сравнения значения статистики с критическим значением соответствующего распределения Фишера при заданном уровне значимости. Известно, что если <math>F \sim F(m,n)</math>, то <math>1/F \sim F(n,m)</math>. Кроме того, квантили распределения Фишера обладают свойством <math>F_{1-\alpha}=1/F_{\alpha}</math>. Поэтому обычно на практике в числителе участвует потенциально большая величина, в знаменателе — меньшая и сравнение осуществляется с «правой» квантилью распределения. Тем не менее тест может быть и двусторонним и односторонним. В первом случае при уровне значимости <math>\alpha</math> используется квантиль <math>F_{\alpha/2}</math>, а при одностороннем тесте <math>F_{\alpha}</math>^[1].

Более удобный способ проверки гипотез — с помощью p-значения <math>p(F)</math> — вероятностью того, что случайная величина с данным распределением Фишера превысит данное значение статистики. Если <math>p(F)</math> (для двустороннего теста — <math>2p(F</math>)) меньше уровня значимости <math>\alpha</math>, то нулевая гипотеза отвергается, в противном случае принимается.

Примеры F-тестов

F-тест на равенство дисперсий

Две выборки

Пусть имеются две выборки объёмом m и n соответственно случайных величин X и Y, имеющих нормальное распределение. Необходимо проверить равенство их дисперсий. Статистика теста

<math>F=\frac {\hat{\sigma}^2_X}{\hat{\sigma}^2_Y}~ \sim ~F(m-1,n-1)</math>

где <math>{\hat{\sigma}^2}</math> — выборочная дисперсия.

Если статистика больше критического, то дисперсии случайных величин признаются не одинаковыми.

Несколько выборок

Пусть выборка объёмом N случайной величины X разделена на k групп с количеством наблюдений <math>n_i</math> в i-ой группе.

Межгрупповая («объяснённая») дисперсия: <math>\hat{\sigma}^2_{BG}=\sum^k_{i=1} n_i (\overline {x_i}-\overline {x})^2/(k-1)</math>

Внутригрупповая («необъяснённая») дисперсия: <math>\hat{\sigma}^2_{WG}=\sum^k_{i=1}\sum^{n_i}_{j=1} (x_{ij}-\overline {x}_i)^2/(N-k)</math>

<math>F=\frac {\hat{\sigma}^2_{BG}}{\hat{\sigma}^2_{WG}}~\sim~F(k-1,N-k)</math>

Данный тест можно свести к тестированию значимости регрессии переменной X на фиктивные переменные-индикаторы групп. Если статистика превышает критическое значение, то гипотеза о равенстве дисперсий в выборках отвергается, в противном случае дисперсии можно считать одинаковыми.

Проверка ограничений на параметры регрессии

Статистика теста для проверки линейных ограничений на параметры классической нормальной линейной регрессии определяется по формуле:

где <math>q=k_L-k_S</math> -количество ограничений, n-объём выборки, k-количество параметров модели, ESS-сумма квадратов остатков модели, <math>R^2</math>-коэффициент детерминации, индексы S и L относятся соответственно к короткой и длинной модели (модели с ограничениями и модели без ограничений).

Замечание

Описанный выше F-тест является точным в случае нормального распределения случайных ошибок модели. Однако F-тест можно применить и в более общем случае. В этом случае он является асимптотическим. Соответствующую F-статистику можно рассчитать на основе статистик других асимптотических тестов — теста Вальда (W), теста множителей Лагранжа(LM) и теста отношения правдоподобия (LR) — следующим образом:

<math>F=\frac {n-k}{q} W/n ~,~ F=\frac {n-k}{q} \frac {LM} {n-LM} ~,~F=\frac {n-k}{q}(e^{LR/n}-1)</math> Все эти статистики асимптотически имеют распределение F(q, n-k), несмотря на то, что их значения на малых выборках могут различаться.

Проверка значимости линейной регрессии

Данный тест очень важен в регрессионном анализе и по существу является частным случаем проверки ограничений. В данном случае нулевая гипотеза — об одновременном равенстве нулю всех коэффициентов при факторах регрессионной модели (то есть всего ограничений k-1). В данном случае короткая модель — это просто константа в качестве фактора, то есть коэффициент детерминации короткой модели равен нулю. Статистика теста равна:

Соответственно, если значение этой статистики больше критического значения при данном уровне значимости, то нулевая гипотеза отвергается, что означает статистическую значимость регрессии. В противном случае модель признается незначимой.

Пример

Пусть оценивается линейная регрессия доли расходов на питание в общей сумме расходов на константу, логарифм совокупных расходов, количество взрослых членов семьи и количество детей до 11 лет. То есть всего в модели 4 оцениваемых параметра (k=4). Пусть по результатам оценки регрессии получен коэффициент детерминации <math>R^2=41.2366%</math>. По вышеприведенной формуле рассчитаем значение F-статистики в случае, если регрессия оценена по данным 34 наблюдений и по данным 64 наблюдений: <math>F_1=\frac {0.412366/(4-1)}{(1-0.412366)/(34-4)}=0,70174*10=7,02</math>

Критическое значение статистики при 1 % уровне значимости (в Excel функция FРАСПОБР) в первом случае равно <math>F_{1%}(3,30)=4,51</math>, а во втором случае <math>F_{1%}(3,60)=4,13</math>. В обоих случаях регрессия признается значимой при заданном уровне значимости. В первом случае P-значение равно 0,1 %, а во втором — 0,00005 %. Таким образом, во втором случае уверенность в значимости регрессии существенно выше (существенно меньше вероятность ошибки в случае признания модели значимой).

Проверка гетероскедастичности

См. Тест Голдфелда-Куандта

См. также

Напишите отзыв о статье "F-тест"

Примечания

↑ [www.vsetabl.ru/183.htm Таблица 15х20 критических значений критерия Фишера (F-критерия) для уровня значимости 0.05]

Ссылки

[www.public.iastate.edu/~alicia/stat328/Multiple%20regression%20-%20F%20test.pdf Testing utility of model — F-test]
[rkb.home.cern.ch/rkb/AN16pp/node81.html F-test]
[www.psychol-ok.ru/statistics/fisher/ Автоматический расчет φ* критерия]
[www.vsetabl.ru/183.htm Таблица 15х20 критических значений критерия Фишера (F-критерия) для уровня значимости 0.05]

Отрывок, характеризующий F-тест

Он, опершись о притолку, блестящими, завистливыми глазами поглядел на проходящих. Заглянув в дверь, Ростов увидал, что больные и раненые лежали там на полу, на соломе и шинелях.
– А можно войти посмотреть? – спросил Ростов.
– Что же смотреть? – сказал фельдшер. Но именно потому что фельдшер очевидно не желал впустить туда, Ростов вошел в солдатские палаты. Запах, к которому он уже успел придышаться в коридоре, здесь был еще сильнее. Запах этот здесь несколько изменился; он был резче, и чувствительно было, что отсюда то именно он и происходил.
В длинной комнате, ярко освещенной солнцем в большие окна, в два ряда, головами к стенам и оставляя проход по середине, лежали больные и раненые. Большая часть из них были в забытьи и не обратили вниманья на вошедших. Те, которые были в памяти, все приподнялись или подняли свои худые, желтые лица, и все с одним и тем же выражением надежды на помощь, упрека и зависти к чужому здоровью, не спуская глаз, смотрели на Ростова. Ростов вышел на середину комнаты, заглянул в соседние двери комнат с растворенными дверями, и с обеих сторон увидал то же самое. Он остановился, молча оглядываясь вокруг себя. Он никак не ожидал видеть это. Перед самым им лежал почти поперек середняго прохода, на голом полу, больной, вероятно казак, потому что волосы его были обстрижены в скобку. Казак этот лежал навзничь, раскинув огромные руки и ноги. Лицо его было багрово красно, глаза совершенно закачены, так что видны были одни белки, и на босых ногах его и на руках, еще красных, жилы напружились как веревки. Он стукнулся затылком о пол и что то хрипло проговорил и стал повторять это слово. Ростов прислушался к тому, что он говорил, и разобрал повторяемое им слово. Слово это было: испить – пить – испить! Ростов оглянулся, отыскивая того, кто бы мог уложить на место этого больного и дать ему воды.
– Кто тут ходит за больными? – спросил он фельдшера. В это время из соседней комнаты вышел фурштадский солдат, больничный служитель, и отбивая шаг вытянулся перед Ростовым.
– Здравия желаю, ваше высокоблагородие! – прокричал этот солдат, выкатывая глаза на Ростова и, очевидно, принимая его за больничное начальство.
– Убери же его, дай ему воды, – сказал Ростов, указывая на казака.
– Слушаю, ваше высокоблагородие, – с удовольствием проговорил солдат, еще старательнее выкатывая глаза и вытягиваясь, но не трогаясь с места.
– Нет, тут ничего не сделаешь, – подумал Ростов, опустив глаза, и хотел уже выходить, но с правой стороны он чувствовал устремленный на себя значительный взгляд и оглянулся на него. Почти в самом углу на шинели сидел с желтым, как скелет, худым, строгим лицом и небритой седой бородой, старый солдат и упорно смотрел на Ростова. С одной стороны, сосед старого солдата что то шептал ему, указывая на Ростова. Ростов понял, что старик намерен о чем то просить его. Он подошел ближе и увидал, что у старика была согнута только одна нога, а другой совсем не было выше колена. Другой сосед старика, неподвижно лежавший с закинутой головой, довольно далеко от него, был молодой солдат с восковой бледностью на курносом, покрытом еще веснушками, лице и с закаченными под веки глазами. Ростов поглядел на курносого солдата, и мороз пробежал по его спине.
– Да ведь этот, кажется… – обратился он к фельдшеру.
– Уж как просили, ваше благородие, – сказал старый солдат с дрожанием нижней челюсти. – Еще утром кончился. Ведь тоже люди, а не собаки…
– Сейчас пришлю, уберут, уберут, – поспешно сказал фельдшер. – Пожалуйте, ваше благородие.
– Пойдем, пойдем, – поспешно сказал Ростов, и опустив глаза, и сжавшись, стараясь пройти незамеченным сквозь строй этих укоризненных и завистливых глаз, устремленных на него, он вышел из комнаты.

Пройдя коридор, фельдшер ввел Ростова в офицерские палаты, состоявшие из трех, с растворенными дверями, комнат. В комнатах этих были кровати; раненые и больные офицеры лежали и сидели на них. Некоторые в больничных халатах ходили по комнатам. Первое лицо, встретившееся Ростову в офицерских палатах, был маленький, худой человечек без руки, в колпаке и больничном халате с закушенной трубочкой, ходивший в первой комнате. Ростов, вглядываясь в него, старался вспомнить, где он его видел.
– Вот где Бог привел свидеться, – сказал маленький человек. – Тушин, Тушин, помните довез вас под Шенграбеном? А мне кусочек отрезали, вот… – сказал он, улыбаясь, показывая на пустой рукав халата. – Василья Дмитриевича Денисова ищете? – сожитель! – сказал он, узнав, кого нужно было Ростову. – Здесь, здесь и Тушин повел его в другую комнату, из которой слышался хохот нескольких голосов.
«И как они могут не только хохотать, но жить тут»? думал Ростов, всё слыша еще этот запах мертвого тела, которого он набрался еще в солдатском госпитале, и всё еще видя вокруг себя эти завистливые взгляды, провожавшие его с обеих сторон, и лицо этого молодого солдата с закаченными глазами.
Денисов, закрывшись с головой одеялом, спал не постели, несмотря на то, что был 12 й час дня.
– А, Г'остов? 3до'ово, здо'ово, – закричал он всё тем же голосом, как бывало и в полку; но Ростов с грустью заметил, как за этой привычной развязностью и оживленностью какое то новое дурное, затаенное чувство проглядывало в выражении лица, в интонациях и словах Денисова.
Рана его, несмотря на свою ничтожность, все еще не заживала, хотя уже прошло шесть недель, как он был ранен. В лице его была та же бледная опухлость, которая была на всех гошпитальных лицах. Но не это поразило Ростова; его поразило то, что Денисов как будто не рад был ему и неестественно ему улыбался. Денисов не расспрашивал ни про полк, ни про общий ход дела. Когда Ростов говорил про это, Денисов не слушал.
Ростов заметил даже, что Денисову неприятно было, когда ему напоминали о полке и вообще о той, другой, вольной жизни, которая шла вне госпиталя. Он, казалось, старался забыть ту прежнюю жизнь и интересовался только своим делом с провиантскими чиновниками. На вопрос Ростова, в каком положении было дело, он тотчас достал из под подушки бумагу, полученную из комиссии, и свой черновой ответ на нее. Он оживился, начав читать свою бумагу и особенно давал заметить Ростову колкости, которые он в этой бумаге говорил своим врагам. Госпитальные товарищи Денисова, окружившие было Ростова – вновь прибывшее из вольного света лицо, – стали понемногу расходиться, как только Денисов стал читать свою бумагу. По их лицам Ростов понял, что все эти господа уже не раз слышали всю эту успевшую им надоесть историю. Только сосед на кровати, толстый улан, сидел на своей койке, мрачно нахмурившись и куря трубку, и маленький Тушин без руки продолжал слушать, неодобрительно покачивая головой. В середине чтения улан перебил Денисова.

[1] [www.vsetabl.ru/183.htm Таблица 15х20 критических значений критерия Фишера (F-критерия) для уровня значимости 0.05]

[1]