跳到主要內容

發表文章

目前顯示的是 11月, 2022的文章

[EBM] 當統計不顯著時,我該計算研究的檢力嗎?Misleading post-hoc power

看文獻、做研究時,碰上不顯著,總想起統計老師的話「 不顯著代表不能拒絕虛無假說,不代表兩者相同 」。我們又學過,發現兩者差異的能力稱為檢定力 (Power),那 是不是 計算資料的 Power,如果這「發現差異的能力」大於80%,卻仍然有不顯著的結果,就代表這兩組資料真的很相近呢 ? 以前是那麼相信的,但越算越覺得奇怪 直到自己多算了幾次,發現 Power 其實和 P-value 是非常掛鉤的。Power 與 P-value 都是受到樣本數、標準差、平均差的影響。 當兩組的平均差很近、P-value >0.05時,表示兩組資料的分佈重疊部分很高,用這樣的結果來計算 Power ,當然會獲得一個很低的 Power。 (進一步澄清,這個實驗做完才計算的 Power 稱為  Post-hoc power,是今天要討論的主題。而我們在計算需收樣的樣本數時的 ,則直接稱為 Power,是很重要且有需有的步驟。) Post-hoc power 其實受到 P-value 的影響 我開始看更多文章,發現原來 Post-hoc power的計算,就受到了P-value的影響(畢竟他們都是用同樣的樣本數、標準差、平均差來做計算), 當 P-value >0.5,我們計算 Post-hoc power 希望達到 0.8 時,其實要 P-value 小於0.0065才能達到,這可不是自相矛盾嗎! 那我們不計算 Post-hoc power,還可以怎麼做呢? 第一個,我們可以計算 Partially post-hoc power ,這是 這篇 文章提出來的方法。當然這名字很奇怪,怎麼會有個 partially post-hoc 的東西呢?他提到的是,我們用來計算 Power 的平均差,應該要用 Minimal clinically important difference (MCID, 最小臨床有意義差距) 來代替,這樣可以脫離與P-value的掛勾。解釋時就會從「我們有 post-hoc power  % 的信心,去發現這兩組有達到顯著差異」,變成「 我們有   post-hoc power  % 的信心,去發現這兩組有達到  MCID  的顯著差異 」。 第二個,我們可以看結果的信賴區間 ( Confidence interval ) 搭配「有意義的最小差距」(MCID) 。