InsightFab
知識庫/效果量 Effect Size:P 值顯著,但實際上重要嗎?
6 Sigma
6 分鐘閱讀

效果量 Effect Size:P 值顯著,但實際上重要嗎?

P 值只告訴你差異是否「統計顯著」,不告訴你差異有多大、是否值得在意。效果量(Effect Size)才是衡量「實際重要性」的指標,這篇說明為什麼兩個都要看。

情境

你做了假設檢定,兩條生產線的良率差異 P = 0.003,非常顯著。主管問:「差多少?我們需要把 B 線停下來改善嗎?」你看了看數據:A 線良率 98.3%,B 線良率 98.1%。

P 值顯著,但差異只有 0.2%,值得大動作嗎?

P 值的限制

P 值回答:「如果兩組真的沒有差異,觀察到這麼大差異的機率是多少?」

當樣本數夠大,即使極小的差異也會得到非常小的 P 值。P < 0.05 只代表差異不是隨機,不代表差異有實際意義。

什麼是效果量

效果量(Effect Size)量化差異的實際大小,獨立於樣本數。

常用指標:

Cohen's d(比較兩組均值)

d = (μ₁ - μ₂) / 合併標準差

d 值解讀 0.2小效果 0.5中效果 0.8大效果 η²(ANOVA,解釋變異比例) η² 值解讀 0.01小效果(1% 變異) 0.06中效果(6% 變異) 0.14大效果(14% 變異) r(相關係數,也是效果量) r 值解讀 0.1小效果 0.3中效果 0.5大效果

P 值 + 效果量的四種組合

P 值效果量解讀 顯著大差異真實且重要,需要行動 顯著小差異真實但不重要,樣本可能太大 不顯著大樣本可能太小,差異可能真實存在 不顯著小沒有差異,或差異無實際意義

工廠場景應用

場景: 比較新舊製程的 Cpk
  • P = 0.02(顯著)
  • Cohen's d = 0.15(小效果)
  • Cpk 從 1.40 改善到 1.43
  • → 差異統計顯著,但實際意義很小。改善製程的成本是否值得這 0.03 的 Cpk 提升?這是管理決策,不是統計決策。

    金句

    「P 值告訴你差異是否真實,效果量告訴你差異是否重要——只看 P 值做決策,是讓統計替你的商業判斷負責。」

    想試試看?

    文章裡提到的分析工具在 InsightFab 都可以直接用,上傳 CSV 即可分析。

    前往工具頁面