ISLP Chapter 13 Multiple Testing 2

13.3
; 고전적인 해결책
The Family-Wise Error Rate

 

13.3.1 FWER 이란?

; m개의 가설검정을 수행할 때 적어도 한 개의 1종 오류를 발생시킬 확률

표 13.2

여기서 V는 유형 I 오류(false positives 또는 거짓 발견이라고도 함) 수를 나타내고,

S는 true positives 수, U는 true negatives 수, W는 유형 II 오류(false negatives이라고도 함) 수를 나타낸다.

그런 다음 계열별 오류율은 FWER = Pr(V ≥ 1)로 지정된다.

 

p-값이 α 미만인 귀무 가설을 기각하는 전략(즉, 유의수준 α에서 각 귀무 가설에 대한 제1종 오류를 제어)은 다음과 같은 FWER로 이어진다.

FWER(α) = 1 − Pr(V = 0)

                = 1 − Pr(귀무가설을 거짓으로 기각하지 않음)

                = 1 − Pr(모두 다 잘 기각시킴)

 

 

두 사건 A와 B가 독립이면 Pr(A∩B) = Pr(A) * Pr(B)라는 기본 확률을 떠올려보자. m개의 검정이 독립적이고 모든 m개의 귀무가설이 참이라는 다소 강력한 추가 가정을 하면

따라서 하나의 귀무가설만 검정하면 FWER(α)=1−(1−α) = α이므로 제1종 오류율과 FWER은 동일하다.

그러나 m = 100개의 독립적인 테스트를 수행하면 FWER(α)=1 − (1 − α)^100이 된다. 예를 들어 α = 0.05를 취하면 FWER은 1 − (1 − 0.05)100 = 0.994가 된다.  즉, 무조건 적어도 1개의 Type I error가 발생함을 의미한다. (99.4%)

 

우리는 이러한 FWER을 전체오류율로 보고 통제를 해야한다. FWER을 통제하는 방법으로 Bonfferoni, Holm, Westfall-young 검정이 존재한다.

 

 

 

 

13.4
; 현대적인 해결책 - 잘못된 발견률(잘못된 발견률은 현대 현실에 완벽하게 적합하다)

 

 

 

 

13.5
; 현대적인 해결책, 재 sampling을 사용하여 검정 통계량의 귀무분포를 추정하는 방법