t-Критерий Стьюдента

t-критерий Стьюдента — общее название для класса методов статистической проверки гипотез (статистических критериев), основанных на распределении Стьюдента. Наиболее частые случаи применения t-критерия связаны с проверкой равенства средних значений в двух выборках.

t-статистика строится обычно по следующему общему принципу: в числителе случайная величина с нулевым математическим ожиданием (при выполнении нулевой гипотезы), а в знаменателе — выборочное стандартное отклонение этой случайной величины, получаемое как квадратный корень из несмещенной оценки дисперсии.

История

Данный критерий был разработан Уильямом Госсетом для оценки качества пива в компании Гиннесс. В связи с обязательствами перед компанией по неразглашению коммерческой тайны (руководство Гиннесса считало таковой использование статистического аппарата в своей работе), статья Госсета вышла в 1908 году в журнале «Биометрика» под псевдонимом «Student» (Студент).

Требования к данным

Для применения данного критерия необходимо, чтобы исходные данные имели нормальное распределение. В случае применения двухвыборочного критерия для независимых выборок также необходимо соблюдение условия равенства дисперсий. Существуют, однако, альтернативы критерию Стьюдента для ситуации с неравными дисперсиями.

Требование нормальности распределения данных является необходимым для точного <math>t</math>-теста. Однако, даже при других распределениях данных возможно использование <math>t</math>-статистики. Во многих случаях эта статистика асимптотически имеет стандартное нормальное распределение — <math>N(0,1)</math>, поэтому можно использовать квантили этого распределения. Однако, часто даже в этом случае используют квантили не стандартного нормального распределения, а соответствующего распределения Стьюдента, как в точном <math>t</math>-тесте. Асимптотически они эквивалентны, однако на малых выборках доверительные интервалы распределения Стьюдента шире и надежнее.

Одновыборочный t-критерий

Применяется для проверки нулевой гипотезы <math>H_0:E(X)=m</math> о равенстве математического ожидания <math>E(X)</math> некоторому известному значению <math>m</math>.

Очевидно, при выполнении нулевой гипотезы <math>E(\overline X)=m</math>. С учётом предполагаемой независимости наблюдений <math>V(\overline X)=\sigma^2/n</math>. Используя несмещенную оценку дисперсии <math>s^2_X=\sum^n_{t=1} (X_t-\overline X)^2/(n-1)</math> получаем следующую t-статистику:

<math>t = \frac{\overline X - m}{s_X / \sqrt{n}}</math>

При нулевой гипотезе распределение этой статистики <math> t(n-1)</math>. Следовательно, при превышении значения статистики по абсолютной величине критического значения данного распределения (при заданном уровне значимости) нулевая гипотеза отвергается.

Двухвыборочный t-критерий для независимых выборок

Пусть имеются две независимые выборки объемами <math>n_1~,~n_2</math> нормально распределенных случайных величин <math>X_1,~X_2</math>. Необходимо проверить по выборочным данным нулевую гипотезу равенства математических ожиданий этих случайных величин <math>H_0:~M_1=M_2</math>.

Рассмотрим разность выборочных средних <math>\Delta =\overline X_1 - \overline X_2</math>. Очевидно, если нулевая гипотеза выполнена <math>E(\Delta)=M_1-M_2=0</math>. Дисперсия этой разности равна исходя из независимости выборок: <math>V(\Delta)=\frac {\sigma^2_1}{n_1}+ \frac {\sigma^2_2}{n_2}</math>. Тогда используя несмещенную оценку дисперсии <math>s^2=\frac {\sum^n_{t=1}(X_t-\overline X)^2}{n-1}</math> получаем несмещенную оценку дисперсии разности выборочных средних: <math>s^2_{\Delta}=\frac {s^2_1}{n_1}+ \frac {s^2_2}{n_2}</math>. Следовательно, t-статистика для проверки нулевой гипотезы равна

<math> t = \frac{\overline X_1 - \overline X_2}{\sqrt{\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2}}} </math>

Эта статистика при справедливости нулевой гипотезы имеет распределение <math>t(df)</math>, где <math> df = \frac{(s_1^2/n_1 + s_2^2/n_2)^2}{(s_1^2/n_1)^2/(n_1-1) + (s_2^2/n_2)^2/(n_2-1)}</math>

Случай одинаковой дисперсии

В случае, если дисперсии выборок предполагаются одинаковыми, то

<math>V(\Delta)=\sigma^2\left(\frac {1}{n_1}+ \frac {1}{n_2}\right)</math>

Тогда t-статистика равна:

<math> t = \frac{\overline X_1 - \overline X_2}{s_X \sqrt{\frac{1}{n_1}+\frac{1}{n_2}}} ~,~~s_X=\sqrt {\frac{(n_1 - 1)s_1^2 + (n_2 - 1)s_2^2}{n_1 + n_2 - 2}}</math>

Эта статистика имеет распределение <math>t(n_1 + n_2 - 2)</math>

Двухвыборочный t-критерий для зависимых выборок

Для вычисления эмпирического значения <math>t</math>-критерия в ситуации проверки гипотезы о различиях между двумя зависимыми выборками (например, двумя пробами одного и того же теста с временным интервалом) применяется следующая формула:

<math>t = \frac {M_d}{s_d / \sqrt {n}}</math>

где <math>M_d</math> — средняя разность значений, <math>s_d</math> — стандартное отклонение разностей, а n — количество наблюдений

Эта статистика имеет распределение <math> t(n - 1)</math>.

Проверка линейного ограничения на параметры линейной регрессии

С помощью t-теста можно также проверить произвольное (одно) линейное ограничение на параметры линейной регрессии, оцененной обычным методом наименьших квадратов. Пусть необходимо проверить гипотезу <math>H_0:c^Tb=a</math>. Очевидно, при выполнении нулевой гипотезы <math>E(c^T \hat b-a)=c^TE(\hat b)-a=0</math>. Здесь использовано свойство несмещенности МНК-оценок параметров модели <math>E(\hat b)=b</math>. Кроме того, <math>V(c^T \hat b-a)=c^TV(\hat b)c=\sigma^2 c^T(X^TX)^{-1}c</math>. Используя вместо неизвестной дисперсии её несмещенную оценку <math>s^2=ESS/(n-k)</math> получаем следующую t-статистику:

<math>t=\frac {c^T\hat b-a}{s \sqrt {c^T(X^TX)^{-1}c}}</math>

Эта статистика при выполнении нулевой гипотезы имеет распределение <math>t(n-k)</math>, поэтому если значение статистики выше критического, то нулевая гипотеза о линейном ограничении отклоняется.

Проверка гипотез о коэффициенте линейной регрессии

Частным случаем линейного ограничения является проверка гипотезы о равенстве коэффициента <math>b_j</math> регрессии некоторому значению <math>a</math>. В этом случае соответстующая t-статистика равна:

<math>t=\frac {\hat{b}_j-a}{s_{\hat{b}_j}}</math>

где <math>s_{\hat{b}_j}</math> — стандартная ошибка оценки коэффициента — квадратный корень из соответствующего диагонального элемента ковариационной матрицы оценок коэффициентов.

При справедливости нулевой гипотезы распределение этой статистики — <math>t(n-k)</math>. Если значение статистики по абсолютной величине выше критического значения, то отличие коэффициента от <math>a</math> является статистически значимым (неслучайным), в противном случае — незначимым (случайным, то есть истинный коэффициент вероятно равен или очень близок к предполагаемому значению <math>a</math>)

Замечание

Одновыборочный тест для математических ожиданий можно свести к проверке линейного ограничения на параметры линейной регрессии. В одновыборочном тесте это «регрессия» на константу. Поэтому <math>s^2</math> регрессии это и есть выборочная оценка дисперсии изучаемой случайной величины, матрица <math>X^TX</math> равна <math>n</math>, а оценка «коэффициента» модели равна выборочному среднему. Отсюда и получаем выражение для t-статистики, приведенное выше для общего случая.

Аналогично можно показать, что двухвыборочный тест при равенстве дисперсий выборок также сводится к проверке линейных ограничений. В двухвыборочном тесте это «регрессия» на константу и фиктивную переменную, идентифицирующую подвыборку в зависимости от значения (0 или 1): <math>y=a + b D</math>. Гипотеза о равенстве математических ожиданий выборок может быть сформулирована как гипотеза о равенстве коэффициента b этой модели нулю. Можно показать, что соответствующая t-статистика для проверки этой гипотезы равна t-статистике, приведенной для двухвыборочного теста.

Также к проверке линейного ограничения можно свести и в случае разных дисперсий. В этом случае дисперсия ошибок модели принимает два значения. Исходя из этого можно также получить t-статистику, аналогичную приведенной для двухвыборочного теста.

Непараметрические аналоги

Аналогом двухвыборочного критерия для независимых выборок является U-критерий Манна — Уитни. Для ситуации с зависимыми выборками аналогами являются критерий знаков и T-критерий Вилкоксона

Литература

[www.york.ac.uk/depts/maths/histstat/student.pdf Student. The probable error of a mean. // Biometrika. 1908. № 6 (1). P. 1-25.]

Ссылки

[www.ami.nstu.ru/~headrd/seminar/publik_html/Homogeneity_averages.pdf О критериях проверки гипотез об однородности средних на сайте Новосибирского государственного технического университета]

Отрывок, характеризующий T-Критерий Стьюдента

Денисов улыбнулся, достал из ташки платок, распространявший запах духов, и сунул в нос Несвицкому.
– Нельзя, в дело иду! выбг'ился, зубы вычистил и надушился.
Осанистая фигура Несвицкого, сопровождаемая казаком, и решительность Денисова, махавшего саблей и отчаянно кричавшего, подействовали так, что они протискались на ту сторону моста и остановили пехоту. Несвицкий нашел у выезда полковника, которому ему надо было передать приказание, и, исполнив свое поручение, поехал назад.
Расчистив дорогу, Денисов остановился у входа на мост. Небрежно сдерживая рвавшегося к своим и бившего ногой жеребца, он смотрел на двигавшийся ему навстречу эскадрон.
По доскам моста раздались прозрачные звуки копыт, как будто скакало несколько лошадей, и эскадрон, с офицерами впереди по четыре человека в ряд, растянулся по мосту и стал выходить на ту сторону.
Остановленные пехотные солдаты, толпясь в растоптанной у моста грязи, с тем особенным недоброжелательным чувством отчужденности и насмешки, с каким встречаются обыкновенно различные роды войск, смотрели на чистых, щеголеватых гусар, стройно проходивших мимо их.
– Нарядные ребята! Только бы на Подновинское!
– Что от них проку! Только напоказ и водят! – говорил другой.
– Пехота, не пыли! – шутил гусар, под которым лошадь, заиграв, брызнула грязью в пехотинца.
– Прогонял бы тебя с ранцем перехода два, шнурки то бы повытерлись, – обтирая рукавом грязь с лица, говорил пехотинец; – а то не человек, а птица сидит!
– То то бы тебя, Зикин, на коня посадить, ловок бы ты был, – шутил ефрейтор над худым, скрюченным от тяжести ранца солдатиком.
– Дубинку промеж ног возьми, вот тебе и конь буде, – отозвался гусар.


Остальная пехота поспешно проходила по мосту, спираясь воронкой у входа. Наконец повозки все прошли, давка стала меньше, и последний батальон вступил на мост. Одни гусары эскадрона Денисова оставались по ту сторону моста против неприятеля. Неприятель, вдалеке видный с противоположной горы, снизу, от моста, не был еще виден, так как из лощины, по которой текла река, горизонт оканчивался противоположным возвышением не дальше полуверсты. Впереди была пустыня, по которой кое где шевелились кучки наших разъездных казаков. Вдруг на противоположном возвышении дороги показались войска в синих капотах и артиллерия. Это были французы. Разъезд казаков рысью отошел под гору. Все офицеры и люди эскадрона Денисова, хотя и старались говорить о постороннем и смотреть по сторонам, не переставали думать только о том, что было там, на горе, и беспрестанно всё вглядывались в выходившие на горизонт пятна, которые они признавали за неприятельские войска. Погода после полудня опять прояснилась, солнце ярко спускалось над Дунаем и окружающими его темными горами. Было тихо, и с той горы изредка долетали звуки рожков и криков неприятеля. Между эскадроном и неприятелями уже никого не было, кроме мелких разъездов. Пустое пространство, саженей в триста, отделяло их от него. Неприятель перестал стрелять, и тем яснее чувствовалась та строгая, грозная, неприступная и неуловимая черта, которая разделяет два неприятельские войска.
«Один шаг за эту черту, напоминающую черту, отделяющую живых от мертвых, и – неизвестность страдания и смерть. И что там? кто там? там, за этим полем, и деревом, и крышей, освещенной солнцем? Никто не знает, и хочется знать; и страшно перейти эту черту, и хочется перейти ее; и знаешь, что рано или поздно придется перейти ее и узнать, что там, по той стороне черты, как и неизбежно узнать, что там, по ту сторону смерти. А сам силен, здоров, весел и раздражен и окружен такими здоровыми и раздраженно оживленными людьми». Так ежели и не думает, то чувствует всякий человек, находящийся в виду неприятеля, и чувство это придает особенный блеск и радостную резкость впечатлений всему происходящему в эти минуты.
На бугре у неприятеля показался дымок выстрела, и ядро, свистя, пролетело над головами гусарского эскадрона. Офицеры, стоявшие вместе, разъехались по местам. Гусары старательно стали выравнивать лошадей. В эскадроне всё замолкло. Все поглядывали вперед на неприятеля и на эскадронного командира, ожидая команды. Пролетело другое, третье ядро. Очевидно, что стреляли по гусарам; но ядро, равномерно быстро свистя, пролетало над головами гусар и ударялось где то сзади. Гусары не оглядывались, но при каждом звуке пролетающего ядра, будто по команде, весь эскадрон с своими однообразно разнообразными лицами, сдерживая дыханье, пока летело ядро, приподнимался на стременах и снова опускался. Солдаты, не поворачивая головы, косились друг на друга, с любопытством высматривая впечатление товарища. На каждом лице, от Денисова до горниста, показалась около губ и подбородка одна общая черта борьбы, раздраженности и волнения. Вахмистр хмурился, оглядывая солдат, как будто угрожая наказанием. Юнкер Миронов нагибался при каждом пролете ядра. Ростов, стоя на левом фланге на своем тронутом ногами, но видном Грачике, имел счастливый вид ученика, вызванного перед большою публикой к экзамену, в котором он уверен, что отличится. Он ясно и светло оглядывался на всех, как бы прося обратить внимание на то, как он спокойно стоит под ядрами. Но и в его лице та же черта чего то нового и строгого, против его воли, показывалась около рта.
– Кто там кланяется? Юнкег' Миг'онов! Hexoг'oшo, на меня смотг'ите! – закричал Денисов, которому не стоялось на месте и который вертелся на лошади перед эскадроном.
Курносое и черноволосатое лицо Васьки Денисова и вся его маленькая сбитая фигурка с его жилистою (с короткими пальцами, покрытыми волосами) кистью руки, в которой он держал ефес вынутой наголо сабли, было точно такое же, как и всегда, особенно к вечеру, после выпитых двух бутылок. Он был только более обыкновенного красен и, задрав свою мохнатую голову кверху, как птицы, когда они пьют, безжалостно вдавив своими маленькими ногами шпоры в бока доброго Бедуина, он, будто падая назад, поскакал к другому флангу эскадрона и хриплым голосом закричал, чтоб осмотрели пистолеты. Он подъехал к Кирстену. Штаб ротмистр, на широкой и степенной кобыле, шагом ехал навстречу Денисову. Штаб ротмистр, с своими длинными усами, был серьезен, как и всегда, только глаза его блестели больше обыкновенного.
– Да что? – сказал он Денисову, – не дойдет дело до драки. Вот увидишь, назад уйдем.
– Чог'т их знает, что делают – проворчал Денисов. – А! Г'остов! – крикнул он юнкеру, заметив его веселое лицо. – Ну, дождался.
И он улыбнулся одобрительно, видимо радуясь на юнкера.
Ростов почувствовал себя совершенно счастливым. В это время начальник показался на мосту. Денисов поскакал к нему.
– Ваше пг'евосходительство! позвольте атаковать! я их опг'окину.
– Какие тут атаки, – сказал начальник скучливым голосом, морщась, как от докучливой мухи. – И зачем вы тут стоите? Видите, фланкеры отступают. Ведите назад эскадрон.
Эскадрон перешел мост и вышел из под выстрелов, не потеряв ни одного человека. Вслед за ним перешел и второй эскадрон, бывший в цепи, и последние казаки очистили ту сторону.
Два эскадрона павлоградцев, перейдя мост, один за другим, пошли назад на гору. Полковой командир Карл Богданович Шуберт подъехал к эскадрону Денисова и ехал шагом недалеко от Ростова, не обращая на него никакого внимания, несмотря на то, что после бывшего столкновения за Телянина, они виделись теперь в первый раз. Ростов, чувствуя себя во фронте во власти человека, перед которым он теперь считал себя виноватым, не спускал глаз с атлетической спины, белокурого затылка и красной шеи полкового командира. Ростову то казалось, что Богданыч только притворяется невнимательным, и что вся цель его теперь состоит в том, чтоб испытать храбрость юнкера, и он выпрямлялся и весело оглядывался; то ему казалось, что Богданыч нарочно едет близко, чтобы показать Ростову свою храбрость. То ему думалось, что враг его теперь нарочно пошлет эскадрон в отчаянную атаку, чтобы наказать его, Ростова. То думалось, что после атаки он подойдет к нему и великодушно протянет ему, раненому, руку примирения.