InsightFab
知識庫/統計顯著性 vs 實務顯著性:p < 0.05 不等於重要
統計分析6 分鐘閱讀

統計顯著性 vs 實務顯著性:p < 0.05 不等於重要

欸,這篇超實用!作者分享他以前部門導入新製程的經驗,RD 興沖沖拿著 p-value 超低的報告,說變數對良率影響「統計顯著」,結果良率根本沒什麼提升,現場直接尷尬。讀完這篇你會知道,我們常搞混的「統計顯著性」跟「實務顯著性」其實是兩回事!統計顯著性只是告訴你差異不太可能是隨機發生,但不代表它在實務上真的重要。快來看作者怎麼解釋這兩者的差別,才不會再被數據騙了!

那天 CPK 報告出來,全場沉默了三秒

還記得好幾年前,我們部門剛導入新製程,大家戰戰兢兢,每個禮拜都要開會 review 數據。有一次,RD 丟出一份報告,裡面好幾個參數的 p-value 都小於 0.001,還信誓旦旦說:「你看,這些變數對良率的影響是統計顯著的!」結果呢?一個參數從 CPK 1.08 提升到 1.10,另一個 DPMO 從 6210 降到 6195。我看著報告,再看看產線的良率,臉都綠了。會議室裡,大家的表情也僵在那邊,沉默了三秒。說實話,那幾秒鐘,我心裡只有一句話:「這統計顯著性,到底顯著在哪裡?」

問題出在哪?

這就是我們常常會搞混的地方:「統計顯著性」跟「實務顯著性」根本是兩回事。統計顯著性(p < 0.05 這種),它只是告訴你,你觀察到的差異「不太可能是隨機發生的」。換句話說,它只是在說「這件事可能真的有影響,不是瞎貓碰到死耗子」。

但它從來沒有告訴你這個影響有多「大」,多「重要」,或者對你的產品、良率、成本有沒有「實質」的幫助。一個參數即使 p-value 小到爆,對良率的影響可能只有 0.0001%,這種差異,對產線來說根本是噪音,你花再多力氣去調整,也只是白忙一場。說穿了,統計顯著性就像是偵測到一個微弱的信號,但這個信號可能根本沒有任何實際意義。

實際上怎麼做?

所以,每次拿到數據,除了看 p-value,你還要多看兩件事:

  1. 效果量 (Effect Size):這個變數到底「影響了多少」?例如,你的參數調整 1 個單位,良率會提升 0.5% 還是 5%?DPMO 會下降 10 還是 1000?你要看具體的數字,而不是只看「有沒有影響」。如果 CPK 從 1.08 變成 1.10,這效果量基本上是微不足道的。
  2. 業界標準與客戶要求:你的改善,有沒有達到客戶的規格?有沒有超越競爭對手?一個從 DPMO 6210 降到 6195 的「改善」,雖然有統計顯著性,但如果客戶要求是 DPMO 1000 以下,那這個改善根本是杯水車薪。

所以重點是,你必須把統計結果跟你的製程知識、目標、客戶要求結合起來看。

最常見的坑

我踩過最大的坑,就是把所有 p-value 小於 0.05 的變數都拉出來,然後花大把時間去追那些其實根本不重要的參數。有一次,我們一個批次的良率稍微掉了一點,統計分析出來,發現一個冷門的化學品濃度有統計顯著性。當時我傻傻的,真的花了一整天去追那個供應商,要求他們提供更精準的批次報告。結果呢?那個濃度的變異,對良率的實際影響,換算下來只有萬分之一。當時被課長唸爆,說我浪費時間在雞毛蒜皮的事情上。坦白講,如果當時我能多問一句:「這差異對良率會造成多大的影響?」就不會那麼蠢了。

今天能做的一件事

拿到統計報告,別只看 p-value,先問:「這差異有多大?對我們重要嗎?」

想試試看?

文章裡提到的分析工具在 InsightFab 都可以直接用,上傳 CSV 即可分析。

前往工具頁面

同類別文章

常態分配假設的檢定:Shapiro-Wilk vs Anderson-Darling

欸,跟你說,最近看到一篇超實用的文章!它在講以前工廠良率很差,結果 CPK 報告出來,數據根本對不上 DPMO,全場傻眼。讀完你會知道,原來很多統計指標像 CPK 都有個大前提,就是你的數據得符合「常態分配」才準。如果數據不是常態,那些算出來的數字根本是白搭!所以啊,下次做分析前,記得先用 Shapiro-Wilk 檢定一下,才不會鬧出烏龍喔!

統計檢定力(Power):如何確保結論有意義

嘿,跟你分享一篇很有趣的文章!作者那天興高采烈拿著CPK從1.08進步到1.25的數據給老闆看,結果老闆一句「你確定這樣有差?」讓他瞬間語塞。 這篇文章超實用,它點出我們工程師常犯的錯誤——光看數據有變就急著下結論,卻沒考慮到那可能是隨機波動或樣本不足。裡面會教你怎麼用「統計檢定力」來證明你的結論夠不夠穩,讓你下次報告時,面對老闆的質疑也能自信滿滿!讀完你會知道怎麼讓你的數據說服力更強喔!

信賴區間的正確解讀:95% CI 不是你想的那樣

嘿,最近看到一篇超實用的文章!它從一個大家在開會時都可能遇過的尷尬情境說起:CPK 報告出來,PM 盯著 1.08 的數據和旁邊的「95% CI: 0.95-1.21」,問這到底是好是壞?然後大家就靜默了。讀完你會知道,我們平常對信賴區間的理解,尤其那個「95% 的機率落在這個區間」根本是錯的!這篇文會教你信賴區間的正確解讀方式,讓你以後看報表不再一頭霧水,超推!