軟體工程師

#分享 創業趣談：長輩一句話引發的聲紋辨識私鑰驗證之路

創業契機：長輩的靈光一閃💡 創業過程中，親友們的奇思妙想總是源源不絕。我自己就在一次家庭聚會中被長輩的一句話驚艷到：「聲紋可以用來驗證是不是私鑰持有人。」當下我滿臉問號：聲音也能當密碼？長輩進一步解釋，傳統上我們依賴密碼或私鑰來驗證身份，但人們常用弱密碼（如「123456」），很容易被駭客攻破 。相較之下，每個人都有獨一無二的聲音，或許可以拿來當「活體密碼」。這番話勾起了我的好奇心：聲紋辨識真的能應用在私鑰驗證上嗎？於是，我開始鑽研聲音辨識的技術，希望將它融入我們產品的身份認證流程。 聲音錄製與特徵擷取（MFCC、PLP）
megapx
上圖為一句話的聲紋頻譜圖，每個人的聲音頻率特徵各不相同 。聲紋辨識技術提取這些聲音特徵來驗證講話者身份。 進入技術領域的第一步，我得了解如何捕捉和表示聲音。人說話時，聲帶振動產生模擬聲波，我們可以用麥克風錄下並轉成數位訊號。錄音拿到手只是一長串波形，我們需要進一步提取具有代表性的特徵。為了模擬人耳對聲音的感知，語音辨識領域常用「梅爾頻率倒譜係數」（MFCC）來表示聲音訊號 。MFCC 將聲音的頻譜資訊濃縮成一組係數，通常會取 13 維的基本係數再加上一階與二階差分，共約 39 維特徵向量 。這些特徵能有效捕捉說話者聲音的共振峰（聲道形狀）等資訊，同時降低不重要的訊息量。 除了 MFCC，還有一種常見特徵叫 PLP（感知線性預測）。PLP 與 MFCC 十分相似，只是在人類聽覺模型上做了一些不同假設，例如採用等響度預強化和立方根壓縮代替對數壓縮 。實驗顯示 PLP 在某些環境下略有更佳的準確率與抗噪性，但 MFCC 已經是公認穩健的安全選擇 。對於初探聲紋的我而言，先用老牌的 MFCC 入門最為穩妥。 在我的應用場景裡，使用者的聲紋需要事先註冊（存一份聲音模板）。日後驗證時，新錄的一小段聲音會經過預處理（例如消除背景噪音、擷取語音片段），再轉換成 MFCC 等特徵向量。接下來的問題是：如何根據這些特徵判斷「說話的人」是登記的那位嗎？這就需要透過模型來比對聲紋了。 說話人模型的演進：GMM-UBM、i-vector、x-vector 要讓機器比對聲音，必須先建立說話人模型。我發現這領域的技術發展頗有意思，經歷了從統計方法到深度學習的演進。早期經典做法是 GMM-UBM：也就是以高斯混合模型（GMM）配合通用背景模型（UBM）來建模。UBM 可以視為用大量中性語料訓練出的背景 GMM，代表一般人聲的特徵分佈 。當有新的使用者聲音進來時，我們會將 UBM 模型透過最大後驗估計（MAP）自適應到該說話者，得到專屬於此人的 GMM。簡單理解，UBM 提供共性，而每個人的 GMM 是在共性基礎上調整出個性（均值的差異即反映該人的聲紋特徵） 。 不過，直接拿 GMM 參數來比對不夠方便，因為一個 GMM 往往有上百個高斯分量，包含大量均值、變異數、權重參數。於是研究者發展出 i-vector 方法：它把每個說話人的 GMM 中均值部分取出來，經降維投影，壓縮成一個固定長度的向量，即所謂身份向量 。i-vector 的問世讓聲紋比對從「比較兩堆機率分佈」簡化為「比較兩個向量」的問題，大幅降低了計算複雜度。實務中常會再對 i-vector 做如 LDA、PLDA 之類的處理，提高不同人聲紋向量可分性，但總的來說，i-vector 把說話人辨識帶入了向量化時代。 隨著深度學習崛起，新一代的方法誕生了：x-vector。乍聽名字，我還以為是哪位大師筆誤多打一個「x」😂。其實 x-vector 延續了 i-vector 將變長語音轉成定長向量的概念，但用了DNN（深度神經網路）來實現 。具體作法是訓練一個時間延遲神經網路（TDNN）來鑑別說話者：輸入大量不同人的語音（提取的聲學特徵比如 MFCC ），透過多層神經網路學習各說話者的特徵差異，中間隱藏層會產生一個嵌入向量，就代表輸入語音的聲紋特徵 。這個隱藏層輸出的向量就是 x-vector 了 。由於有神經網路強大的非線性擬合能力，x-vector 通常能從極短音檔中抓出足夠的特徵，比 i-vector 對短語音更加穩健 。研究顯示，在噪聲等不利條件下，x-vector 相較傳統方法能達到最新的準確率水準 。難怪現在頂會論文與開源工具包（如 Kaldi）都把 x-vector 視為標配，甚至有人說它已經可以全面取代 i-vector 。 對我而言，理解這些模型演進不僅長知識，也幫助決定實作取捨。例如，如果要快速驗證概念，我可能會先用現成的 i-vector 或 x-vector 算法庫生成說話人特徵，再配合後端簡單的餘弦相似度計算或 PLDA 分數，來判斷是否為同一人。畢竟造輪子不是目的，快速驗證想法、做出產品才是關鍵。下一步，就是把聲紋模型跟我們的私鑰解鎖流程結合在一起。 聲紋驗證結合私鑰解鎖的設計 思考如何將聲紋辨識用於私鑰保護，我腦中浮現的是電影般的場景：開啟機密資料庫時，系統先來句「Voice confirmation required」，使用者對著裝置說話，系統辨識聲音後自動解鎖，一氣呵成，帥氣又方便。雖然實際產品不可能這麼戲劇化，但我們確實可以把聲紋認證嵌入使用者操作流程中，作為私鑰使用的第二道鎖。 我的設計構想如下：用戶在需要使用私鑰進行敏感操作（例如發送區塊鏈交易、解密文件）時，應用會透過麥克風在背景錄音幾秒使用者的聲音樣本。這可以是使用者講出預先設定的一段短語，或者乾脆在正常講話中靜默擷取（例如與助理對話時順便錄一段）。系統接著對這段錄音進行前述的特徵提取，拿到 MFCC 等特徵向量。然後，將特徵送入事先訓練好的聲紋模型比對：例如計算這段聲音與用戶聲紋模板的相似度分數。如果分數高於安全閾值，則認定說話者就是私鑰的擁有者，系統即可自動解鎖私鑰使用權；反之，若驗證失敗，系統則拒絕授權進行接下來的私鑰操作（或要求其他驗證，如輸入密碼）。 為了更直觀地了解流程，下面提供一個簡化的 Python 範例來模擬上述步驟：
megapx
上述程式模擬了錄音、提取 MFCC 特徵、將聲紋轉為數值向量並與預存的模板比對打分的過程。真實系統中，模型比對可能要複雜得多（例如計算兩個 x-vector 之間的餘弦距離或透過 PLDA 得分），但核心概念是一致的：只有當聲音特徵對上了，才能使用私鑰進行敏感操作。整個過程對使用者來說幾乎是無感的 — 在背後錄音比對的同時，自動完成了解鎖，不需要額外輸入密碼或按鈕確認，便利性大大提升。 當然，將聲紋驗證應用於安全領域也有許多現實考量。例如，如何防範他人利用錄音重放來冒充？聲音會不會有狀態不穩的問題（像是感冒沙啞時通不過驗證）？這些都是我們在技術實做和產品設計時需要權衡的。但至少在概念驗證階段，這套「聲音+私鑰」的組合讓人充滿期待。
megapx
利用聲紋進行私鑰解鎖的流程示意圖：從錄音取得使用者聲音→擷取特徵(MFCC/PLP)→透過說話人模型(i-vector/x-vector)比對→計算相似分數判定是否同一人→若通過則釋放私鑰使用權。 理性思考與開放式結尾 🤔 走到這裡，我不禁感慨從長輩的一句點子出發，居然踏入了語音辨識這片廣闊天地。聲紋辨識將密碼從「你知道什麼」升級成「你是誰」，確實有其迷人之處。每個人的聲音猶如指紋般獨特，即使刻意模仿也無法百分百複製 。然而，把私鑰的安危寄託在聲音上，大家真的會信任這種方式嗎？聲音當鑰匙聽起來很酷，但面對錄音攻擊、聲紋合成等新興威脅時又是否足夠安全？在結束這篇分享前，我也想把問題丟給各位讀者：**如果是你，會願意用聲紋來驗證私鑰持有人身份嗎？你心目中理想的私鑰驗證方式是什麼呢？**歡迎留言討論，一起腦洞大開！ 參考資料： 【2】邢城, 2024. 「語音辨識中的 X-vector」, CSDN博客 . 【7】skywalker, 2019. What are i-vectors and x-vectors in the context of Speech Recognition?, Signal Processing Stack Exchange . 【8】Jonathan Hui, 2019. Speech Recognition — Feature Extraction MFCC & PLP, Medium . 【9】Jonathan Hui, 2019. Speech Recognition — Feature Extraction MFCC & PLP, Medium . 【15】Dr.捲心菜, 2020. 「聲紋識別筆記（二）提取 ivector 與 PLDA 流程概述以及最新模型」, CSDN博客 . 【18】Alibaba Cloud, 2018. Voiceprint Recognition – Not Just a Powerful Authentication Tool . 【23】Alibaba Cloud, 2018. Voiceprint Recognition – Not Just a Powerful Authentication Tool . 【55】MathWorks, 2022. Speaker Recognition Using x-vectors, MATLAB & Simulink Documentation .
愛心
16
7
全部留言