看文獻、做研究時,碰上不顯著,總想起統計老師的話「不顯著代表不能拒絕虛無假說,不代表兩者相同」。我們又學過,發現兩者差異的能力稱為檢定力 (Power),那是不是計算資料的 Power,如果這「發現差異的能力」大於80%,卻仍然有不顯著的結果,就代表這兩組資料真的很相近呢?
以前是那麼相信的,但越算越覺得奇怪
直到自己多算了幾次,發現 Power 其實和 P-value 是非常掛鉤的。Power 與 P-value 都是受到樣本數、標準差、平均差的影響。當兩組的平均差很近、P-value >0.05時,表示兩組資料的分佈重疊部分很高,用這樣的結果來計算 Power ,當然會獲得一個很低的 Power。
(進一步澄清,這個實驗做完才計算的 Power 稱為 Post-hoc power,是今天要討論的主題。而我們在計算需收樣的樣本數時的 ,則直接稱為 Power,是很重要且有需有的步驟。)
Post-hoc power 其實受到 P-value 的影響
我開始看更多文章,發現原來 Post-hoc power的計算,就受到了P-value的影響(畢竟他們都是用同樣的樣本數、標準差、平均差來做計算),當 P-value >0.5,我們計算 Post-hoc power 希望達到 0.8 時,其實要 P-value 小於0.0065才能達到,這可不是自相矛盾嗎!
那我們不計算 Post-hoc power,還可以怎麼做呢?
第一個,我們可以計算 Partially post-hoc power,這是這篇文章提出來的方法。當然這名字很奇怪,怎麼會有個 partially post-hoc 的東西呢?他提到的是,我們用來計算 Power 的平均差,應該要用 Minimal clinically important difference (MCID, 最小臨床有意義差距) 來代替,這樣可以脫離與P-value的掛勾。解釋時就會從「我們有 post-hoc power % 的信心,去發現這兩組有達到顯著差異」,變成「我們有 post-hoc power % 的信心,去發現這兩組有達到 MCID 的顯著差異」。
第二個,我們可以看結果的信賴區間 (Confidence interval) 搭配「有意義的最小差距」(MCID)。以身高來說,有意義的 MCID 當作是 5公分。這時如果想知道兩班的身高差距,我們得到身高差距的95%信賴區間是 [-2cm, 3cm],那我們可以判斷有包含到 0,所以這是個不顯著的結果,且信賴區間的範圍沒有包含到 +5cm , -5cm,表示就算有差距也到有意義的程度。而如果我們得到的是 [-10cm, 20cm],那不只是不顯著,還表示差距從矮十公分,到多二十公分都有可能,這時我們就不太敢說兩組沒有差距了。
第三個,我們可以用貝氏定理 (Bayesian model),這在臨床研究上較少見,判讀起來大家也較不熟悉。統計分成兩種大類,第一類是傳統的統計,也就是看分佈來計算可能性,我們平常用的 t-test、ANOVA 等都是屬於這一類。第二類是貝氏定理,會先主觀地給出一個可能的機率、數值 (prior),然後在我們收案後,去計算可能的機率變成多少。這是相對於傳統統計的一大類別,個人瞭解也不夠深入,有興趣的再請自行 Google 吧~
三種替代方案,使用哪個方法好呢?
依據找到的方法學論文,Partially post-hoc power他認為仍然是基於Post-hoc power的計算,所以還是會受到收到的資料影響;Confidence interval 搭配 MCID 則很好判讀、很通用,是個好選項;Bayesian model 應該是最好表達實際狀況的方法,但是多數人不熟悉。
這樣看來,最實用的就會是Confidence interval的判讀了。而這其實也跟 2022 年 09 月 Cochrane GRADE guideline 最新提出,對不準確 (imprecision) 的判讀方法相吻合,在這個項目,GRADE不看 p value,而是看 95% 信賴區間是否包含到MCID的上下限來做判斷,有興趣可以看這個新發表的影片。
Ref:
- John J. Dziak, Lisa C. Dierker, and Beau Abar. The Interpretation of Statistical Power after the Data have been Gathered. Curr Psychol. 2020 Jun; 39(3): 870–877.
- Linan Zeng, Gordon Guyatt. Updated GRADE guidance for imprecision rating using a minimally contextualized approach. YouTube. Cochrane Training. 2022 Sep.
留言
張貼留言