P-значение

P-значение (англ. P-value) — величина, используемая при тестировании статистических гипотез. Фактически это вероятность ошибки при отклонении нулевой гипотезы (ошибки первого рода). Проверка гипотез с помощью P-значения является альтернативой классической процедуре проверки через критическое значение распределения.

Обычно P-значение равно вероятности того, что случайная величина с данным распределением (распределением тестовой статистики при нулевой гипотезе) примет значение, не меньшее, чем фактическое значение тестовой статистики.

Особенностью P-значений является их неустойчивость на эквивалентных выборках, что может стать препятствием для воспроизводимости результатов эксперимента. Альтернативы использованию P-значений включают такие методы, как оценочная статистика</span>^ru_en и фактор Байеса</span>^ru_en.

Формальное определение и процедура тестирования

Пусть <math>T(X)</math> — статистика, используемая при тестировании некоторой нулевой гипотезы <math>H_0</math>. Предполагается, что если нулевая гипотеза справедлива, то распределение этой статистики известно. Обозначим функцию распределения <math>F(t)=P(T<t)</math>. P-значение чаще всего (при проверке правосторонней альтернативы) определяется как:

<math>P(t)=P(T>t)=1-F(t)</math>

При проверке левосторонней альтернативы,

<math>P_0(t)=P(T<t)=F(t)</math>

В случае двустороннего теста p-значение равно:

<math>P(t)=2 \min(P_0, P)</math>

Если p(t) меньше заданного уровня значимости, то нулевая гипотеза отвергается в пользу альтернативной. В противном случае она не отвергается.

Преимуществом данного подхода является то, что видно при каком уровне значимости нулевая гипотеза будет отвергнута, а при каких принята, то есть виден уровень надежности статистических выводов, точнее вероятность ошибки при отвержении нулевой гипотезы. При любом уровне значимости больше <math>p</math> нулевая гипотеза отвергается, а при меньших значениях — нет.

Критика

Использование p-значений для проверки нулевых гипотез в работах по медицине подвергается критике со стороны многих специалистов. Отмечается, что их использование нередко приводят к ошибкам первого рода (false positive). В частности, журнал Basic and Applied Social Psychology (BASP) в 2015 году вовсе запретил публикацию статей, в которых используются p-значения. Редакторы журнала объяснили это тем, что сделать исследование, в котором получено p < 0,05 не очень сложно, и такие низкие значения p слишком часто становятся оправданием для низкопробных исследований.

См. также

• Оценочная статистика</span>^ru_en
• Проверка статистических гипотез
• Фактор Байеса</span>^ru_en

Литература

• Cumming, G. Replication and p intervals: p values predict the future only vaguely, but confidence intervals do much better : [англ.] // Perspectives on Psychological Science^ru_en. — 2008. — Vol. 3, no. 4. — P. 286-300. — DOI:10.1111/j.1745-6924.2008.00079.x.</span></span>
• Cumming, G. [icots.info/8/cd/pdfs/invited/ICOTS8_8J4_CUMMING.pdf Understanding, teaching, and using p values] // ICOTS-8 Conference Proceedings : Data and context in statistics education: towards an evidence-based society : [англ.] / C. Reading (Ed.). — International Association for Statistical Education : International Statistical Institute, 2010. — ISBN 978-90-77713-54-9.</span>
• Goodman, S. N.^ru_en. Aligning statistical and scientific reasoning: Misunderstanding and misuse of statistical significance impede science : [англ.] // Science. — 2016. — Vol. 352, no. 6290. — P. 1180-1181. — DOI:10.1126/science.aaf5406.</span></span>
• Halsey, L. G. The fickle P value generates irreproducible results : [англ.] / L. G. Halsey, D. Curran-Everett, S. L. Vowler [et al.] // Nature Methods. — 2015. — Vol. 12, no. 3. — P. 179-185. — DOI:10.1038/nmeth.3288.</span>
• Nuzzo, R. Statistical errors: P values, the “gold standard” of statistical validity, are not as reliable as many scientists assume : [англ.] // Nature. — 2014. — Vol. 506, no. 7487. — P. 150-152. — DOI:10.1038/506150a.</span>
• Taroni, F. Statistical hypothesis testing and common misinterpretations: Should we abandon p-value in forensic science applications? : [англ.] / F. Taroni, A. Biedermann, S. Bozza // Forensic Science International^ru_en. — 2016. — Vol. 259 (February). — P. e32-e36. — DOI:10.1016/j.forsciint.2015.11.013.</span></span>

Ссылки

• Рубанович, А. В. [vigg.ru/fileadmin/user_upload/Rubanovich/Bayes_analisis.ppt Введение в Байесовский анализ]. Презентации к лекциям. ИОГен РАН. Проверено 13 июня 2016.

Отрывок, характеризующий P-значение

– Да уж я знаю, только послушайте меня, ради бога. Вот и няню хоть спросите. Говорят, не согласны уезжать по вашему приказанию.
– Ты что нибудь не то говоришь. Да я никогда не приказывала уезжать… – сказала княжна Марья. – Позови Дронушку.
Пришедший Дрон подтвердил слова Дуняши: мужики пришли по приказанию княжны.
– Да я никогда не звала их, – сказала княжна. – Ты, верно, не так передал им. Я только сказала, чтобы ты им отдал хлеб.
Дрон, не отвечая, вздохнул.
– Если прикажете, они уйдут, – сказал он.
– Нет, нет, я пойду к ним, – сказала княжна Марья
Несмотря на отговариванье Дуняши и няни, княжна Марья вышла на крыльцо. Дрон, Дуняша, няня и Михаил Иваныч шли за нею. «Они, вероятно, думают, что я предлагаю им хлеб с тем, чтобы они остались на своих местах, и сама уеду, бросив их на произвол французов, – думала княжна Марья. – Я им буду обещать месячину в подмосковной, квартиры; я уверена, что Andre еще больше бы сделав на моем месте», – думала она, подходя в сумерках к толпе, стоявшей на выгоне у амбара.
Толпа, скучиваясь, зашевелилась, и быстро снялись шляпы. Княжна Марья, опустив глаза и путаясь ногами в платье, близко подошла к ним. Столько разнообразных старых и молодых глаз было устремлено на нее и столько было разных лиц, что княжна Марья не видала ни одного лица и, чувствуя необходимость говорить вдруг со всеми, не знала, как быть. Но опять сознание того, что она – представительница отца и брата, придало ей силы, и она смело начала свою речь.
– Я очень рада, что вы пришли, – начала княжна Марья, не поднимая глаз и чувствуя, как быстро и сильно билось ее сердце. – Мне Дронушка сказал, что вас разорила война. Это наше общее горе, и я ничего не пожалею, чтобы помочь вам. Я сама еду, потому что уже опасно здесь и неприятель близко… потому что… Я вам отдаю все, мои друзья, и прошу вас взять все, весь хлеб наш, чтобы у вас не было нужды. А ежели вам сказали, что я отдаю вам хлеб с тем, чтобы вы остались здесь, то это неправда. Я, напротив, прошу вас уезжать со всем вашим имуществом в нашу подмосковную, и там я беру на себя и обещаю вам, что вы не будете нуждаться. Вам дадут и домы и хлеба. – Княжна остановилась. В толпе только слышались вздохи.
– Я не от себя делаю это, – продолжала княжна, – я это делаю именем покойного отца, который был вам хорошим барином, и за брата, и его сына.
Она опять остановилась. Никто не прерывал ее молчания.
– Горе наше общее, и будем делить всё пополам. Все, что мое, то ваше, – сказала она, оглядывая лица, стоявшие перед нею.
Все глаза смотрели на нее с одинаковым выражением, значения которого она не могла понять. Было ли это любопытство, преданность, благодарность, или испуг и недоверие, но выражение на всех лицах было одинаковое.
– Много довольны вашей милостью, только нам брать господский хлеб не приходится, – сказал голос сзади.
– Да отчего же? – сказала княжна.
Никто не ответил, и княжна Марья, оглядываясь по толпе, замечала, что теперь все глаза, с которыми она встречалась, тотчас же опускались.
– Отчего же вы не хотите? – спросила она опять.
Никто не отвечал.
Княжне Марье становилось тяжело от этого молчанья; она старалась уловить чей нибудь взгляд.
– Отчего вы не говорите? – обратилась княжна к старому старику, который, облокотившись на палку, стоял перед ней. – Скажи, ежели ты думаешь, что еще что нибудь нужно. Я все сделаю, – сказала она, уловив его взгляд. Но он, как бы рассердившись за это, опустил совсем голову и проговорил:
– Чего соглашаться то, не нужно нам хлеба.
– Что ж, нам все бросить то? Не согласны. Не согласны… Нет нашего согласия. Мы тебя жалеем, а нашего согласия нет. Поезжай сама, одна… – раздалось в толпе с разных сторон. И опять на всех лицах этой толпы показалось одно и то же выражение, и теперь это было уже наверное не выражение любопытства и благодарности, а выражение озлобленной решительности.
– Да вы не поняли, верно, – с грустной улыбкой сказала княжна Марья. – Отчего вы не хотите ехать? Я обещаю поселить вас, кормить. А здесь неприятель разорит вас…
Но голос ее заглушали голоса толпы.
– Нет нашего согласия, пускай разоряет! Не берем твоего хлеба, нет согласия нашего!