畢業交接前夕，被深度學習的隨機性逼到快崩潰
國立成功大學 電機工程學系
學長姐、同學們好：
我最近開始辦離校手續，指導教授也已經簽離校了，本來以為終於能鬆一口氣、準備去上班了，結果這幾天在整理 server、交接程式給學弟妹時，焦慮整個大爆發。每天晚上都失眠，一直反覆想同一件事，所以想上來聽聽大家的意見，也希望有人能把我拉回現實。
我的論文是做深度學習（CV 領域）的相機物件偵測。大致上就是找一個 baseline model，再加入自己設計的 module，最後拿去和 SOTA 比較。
其實一開始我覺得自己運氣很好，因為我找到的 baseline 本身就已經比當時的 SOTA 強，所以我只是在上面加了一些自己的東西。最後結果大概像這樣：
SOTA：XX%
Baseline：XX% + 3%
Baseline + 我的 Module：XX% + 3% + 1.2%
但問題是，我最近在整理交接程式時重新 train 模型，才發現數字其實會有 1～2% 的浮動。雖然我有固定 random seed，但好像還是有一些底層操作沒辦法完全 deterministic，所以結果並不是每次都一樣。也就是說，保守來看，真實情況可能更像：
Baseline：XX% + 3%（±2%）
Baseline + 我的 Module：XX% + 3% + 1.2%（±2%）
這讓我現在非常焦慮。我很怕未來學弟妹接手後，跑出來的 baseline 反而比我當初還高；或者加了我的 module 後，提升沒有論文寫得那麼明顯，甚至反而下降。到時候他們會不會覺得我數據造假？我甚至焦慮到開始擔心：「會不會因此被質疑研究誠信？會不會嚴重到學位被撤銷？」
雖然我有把每個 ablation experiment 的權重都存下來，但我還是會一直懷疑自己是不是看起來像「挑過結果的人」。而且我也不知道該怎麼證明自己沒有。
現在我每天都在自責：
「為什麼當初沒有多花幾倍的時間，把每組實驗重跑五次、十次，再取平均和標準差？」
想問問大家，在做深度學習研究、尤其是畢業交接時，也會遇到這種「重新訓練結果對不上」的焦慮嗎？大家都是怎麼面對這種畢業後才突然冒出來的延遲焦慮的？
我甚至開始在想，要不要乾脆不要把完整 training code 留下來，只提供權重檔就好。但我也知道這樣好像又更奇怪，反而更像是在隱瞞什麼。
謝謝大家看到這裡。我現在真的很需要一些比較客觀的聲音，或著想知道大家會怎麼處理，讓自己不要再一直陷進去。
