#分享 Pycon TW 2019:Practicing Statistics in Python: Hypothesis Testing - Mosky Liu
讚嘆上週公司出錢讓 data team 參加 Pycon,所以趁颱風假整理一下本次 conf 的收穫
傳送門:共筆:投影片:Github:
會去聽這場是因為,最近一直在做推薦系統,但是做推薦之前一個必要的步驟是先公平的把你的用戶分成 A/B 組然後再做實驗,不太清楚這類議題的人看以看看這篇文XD但是我的 AA testing 一直沒過,害我一直不知道我的演算法到底有沒有效,聽了 Pinkoi 的分享後,才知道他們的 AA testing 也常常沒過,他們的解法是用無母數檢定中的Mann-Whitney U test 檢定兩組的中位數是否相同。
為啥是用無母數檢定呢?他的使用時機是什麼?當變項分佈不符合常態分佈,或是樣本數太小,例如總人數少於30人,或每組人數少於10人,可以考慮使用無母數統計。然後他們也會手動把 outlier 去除掉,這樣做完 aa testing 就會過了
然後 mosky 還有推薦一種適合 aa testing 的檢測方式,說不太容易受到 outlier 的影響,但我最近很忙沒啥研究就先貼上來,改天再跟大家分享XD
1. Welch's t-test


