#標的 愛普科技(6531) 技術長演說整理:記憶體與能源頻寬的3D整合革命天使人妻之前我有寫一篇文章介紹愛普科技這間公司，今天講偏技術一點的內容，這段影片是耶魯大學工程學院院長邀請系列講座，主講人是愛普科技(AP Memory)的技術長陳文 (Wen Chen)。我為各位整理接下來AI時代下高效能運算（HPC）的「兩朵烏雲」，以及要如何用3D整合革命來突破。 1.0 AI時代下高效能運算（HPC）的「兩朵烏雲」 當前，我們正處於一個由人工智慧（AI）驅動的運算革命時代。AI模型的規模正以驚人的速度擴張——每年約增長10倍，這個速度遠超過半導體產業奉為圭臬的摩爾定律（約每五年增長10倍）。這種指數級的成長對高效能運算（High-Performance Computing, HPC）能力提出了前所未有的需求。然而，正如物理學家凱爾文勳爵（Lord Kelvin）在1900年所指出的，即使在看似晴朗的物理學天空，也漂浮著「兩朵烏雲」，最終引發了相對論與量子力學的革命。 借用此一比喻，今日的HPC領域也面臨著兩朵看似難以驅散的「烏雲」——兩個根本性的物理限制，它們正嚴重束縛著運算效能的進一步提升。這兩大瓶頸分別是記憶體頻寬與能源頻寬。前者決定了運算核心能以多快的速度獲取數據，後者則決定了系統能否穩定地獲得所需的龐大能量。 我今天來深入剖析這兩大瓶頸的根源，並闡述AP Memory所提出的創新3D垂直整合解決方案（VHM）。我們將展示此技術如何從根本上突破傳統二維架構的限制，不僅為AI運算帶來數量級的效能提升，更為全球半導體產業在製程微縮之外，開闢了一條全新的、充滿策略價值的發展路徑。 在深入探討解決方案之前，我們必須先理解：究竟是什麼樣的根本性技術鴻溝，導致了這些瓶頸的出現？ 2.0 根本性挑戰：運算與記憶體之間的效能鴻溝 長久以來，半導體產業的發展見證了一道日益擴大的效能鴻溝。從過去數十年的趨勢圖來看，代表運算效能的增長曲線（上層曲線）始終以遠超記憶體及連接效能增長曲線（下層曲線）的速度向上攀升。 數十年來，產業的目光與資源主要集中於上層的「運算」曲線，而將下層的「記憶體」曲線視為次要考量——這項策略性的疏忽，如今已在AI時代被徹底暴露。在傳統CPU架構下，系統尚能透過有限的循序數據存取與快取機制來容忍此差距；然而，AI應用需要對龐大的權重矩陣進行大規模的平行讀取，使這種不平衡的發展從一個可被管理的議題，演變成阻礙整體系統效能提升的致命瓶頸。 2.1 瓶頸一：記憶體頻寬牆（The Memory Bandwidth Wall） 現代AI神經網路運算的核心，可被簡化為一個矩陣乘法公式：B = W * a。其中，a是輸入數據，B是輸出結果，而W則是代表模型知識的「權重（weights）」矩陣。這個權重矩陣的規模極其龐大，且在運算過程中需要被反覆讀取。 這使得AI系統的實際效能（以每秒浮點運算次數FLOPS衡量）與記憶體頻寬直接掛鉤。其關係可表示為： 系統效能 (FLOPS) = (每位元組數據的浮點運算次數) × (每秒可讀取位元組數) 公式的後半部分，即「每秒可讀取位元組數」，正是記憶體頻寬的定義。這意味著，如果記憶體頻寬無法跟上，即使擁有再強大的運算核心也無用武之地。 當前主流方案的極限 目前，頂尖AI晶片普遍採用高頻寬記憶體（High Bandwidth Memory, HBM）技術。相較於傳統DRAM僅有16或32個接腳（pins），HBM將接腳數大幅提升至1,024個，顯著提高了頻寬。然而，HBM依然是一種二維平面上的橫向（lateral） 連接方案，其效能最終受限於兩個物理極限： 1. 線路數量： 在有限的晶片邊緣空間內，可佈置的線路數量有其物理上限。 2. 線路長度： 數據必須經由中介層（interposer）進行橫向傳輸，較長的線路不僅限制了速度，也增加了能耗。 3D整合的破局 與HBM的橫向連接形成鮮明對比的，是將記憶體晶圓直接堆疊於邏輯運算晶圓之上的3D垂直整合概念。透過這種方式，數據傳輸從橫向的「線」變為垂直的「點」。理論上，在相同的晶片面積內，連接點的數量可以從HBM的「一千」量級，躍升至「一百萬」的量級，從根本上打破了接腳數量的限制。 2.2 瓶頸二：能源頻寬瓶頸（The Energy Bandwidth Bottleneck） 除了數據傳輸，能源的傳輸同樣面臨著嚴峻的二維瓶頸。當前的HPC晶片採用橫向供電方式：電力從印刷電路板（PCB）經由晶片封裝的邊緣，橫向傳輸至晶片中心的運算核心。隨著晶片功耗急劇攀升，這種方式已難以為繼。 讓我們透過一個實際案例來量化這個問題的嚴重性： • 晶片功耗 (P)： 假設為 1,000 瓦（W）。（註：業界已在規劃2,000至3,000瓦的晶片） • 核心電壓 (V)： 典型值為 0.6 伏特（V）。 • 所需電流 (I)： 根據公式 I = P / V，所需電流高達 1,600 安培（A）。 • 電壓降問題 (ΔV)： 根據歐姆定律 ΔV = I * R，即使供電路徑的電阻（R）低至難以實現的0.1毫歐姆（mΩ），產生的電壓降也將高達 0.16V (1600A * 0.0001Ω)。這相當於總電壓的近30%，是完全無法接受的巨大損耗。這段損失的電壓無法用於運算，而是作為廢熱被耗散掉，意味著在電力到達電晶體之前，就已造成了巨大的能源效率潰敗。 更進一步分析，為了在晶片封裝層級實現0.1歐姆（0.1 ohms）的電阻，所需的銅層厚度將高達170微米（microns），這在物理製造上是不切實際的。顯然，二維的橫向供電架構已經走到了盡頭。 有趣的是，台灣的散熱三雄早已在輝達一系列的GPU產品「散熱」問題上採用了三維解決方案——透過晶片上方的散熱器將熱量垂直導出。既然散熱可以走向第三維度，那麼記憶體和能源傳輸也必須轉向垂直方向來尋求根本性的突破。 3.0 破局之道：AP Memory的垂直整合技術（VHM） AP Memory憑藉其在資訊儲存（DRAM）與能量儲存（矽電容）領域的雙重深厚專業，處於應對上述雙重挑戰的獨特位置。為此，公司開發了名為VHM（Very High Bandwidth Memory）的垂直整合解決方案。其核心理念非常清晰：利用第三維度——即垂直整合——來同時化解記憶體與能源頻寬的瓶頸。以下我們將闡述其核心技術、實證效能以及未來願景。 3.1 核心技術：晶圓對晶圓（Wafer-on-Wafer）鍵合 自2018年起，AP Memory便投入研發創新的3D整合流程。其關鍵步驟如下： 1. 面對面鍵合： 取一片完整的DRAM記憶體晶圓與一片SoC邏輯晶圓，將兩者的正面（佈滿電路的一面）進行精準對位與鍵合（face-to-face bonding）。 2. 高密度互連： 鍵合後，兩片晶圓之間可透過間距僅約幾微米（a couple microns pitch）的微小連接點進行通訊。這種超高密度的互連，使得在極小的面積內實現百萬級別的連接成為可能。 3. 後段製程： 鍵合完成後，研磨其中一片晶圓的背面，使其變薄，再透過蝕刻鑽孔形成矽穿孔（TSV, Through-Silicon Vias），以完成對外的電氣連接。 值得注意的是，這項晶圓對晶圓的鍵合技術並非全新發明，它已在影像感測器（Image Sensors）領域應用多年且技術成熟。AP Memory的創新之處在於，率先並成功地將此技術應用於DRAM記憶體與先進邏輯晶圓的整合，為HPC領域帶來了革命性的架構。 3.2 效能驗證：以太坊挖礦演算法的實證數據 為了驗證VHM技術的實際效益，我們選擇了以太坊（Ethereum）挖礦演算法作為測試案例。該演算法與AI運算有著極高的相似性，其效能同樣極度依賴記憶體頻寬。 我們將採用相對舊製程技術製造的客製化晶片（ASIC），與當時市場上三款採用先進7奈米/6奈米製程的頂尖GPU進行了比較，結果如下表所示：數據背後的意義極其深遠：這項高達20至30倍的系統級能效提升，是在我們的ASIC採用了功耗較高的舊式邏輯製程之情況下達成的。其關鍵在於，僅記憶體子系統的功耗就降低了約10倍。這項結果不僅展示了現有效益，更揭示了當VHM技術與最先進邏輯製程結合時，所能釋放的、更為驚人的潛在效能。這次成功的實證，是全球首批展示3D整合邏輯與記憶體所能帶來巨大效益的案例之一。 3.3 未來願景：全3D整合的HPC系統架構 基於VHM技術的成功，我們構想了一個理想的未來3D HPC晶片堆疊架構。此架構將以垂直分層的方式，高效整合不同功能的晶片： • 頂層： 一層或多層DRAM記憶體晶圓，提供海量頻寬。 • 中層： 核心邏輯運算晶圓（SoC），負責主要的運算任務。 • 底層： I/O或其他周邊邏輯晶圓，處理數據輸入輸出。 • 最底層： 供電晶片（Power supply chips），作為整個系統的能源基礎。 此架構的最大優勢在於，能量流（Energy flow）與數據流（Memory bandwidth）均在Z軸（垂直方向）上傳輸。底層的供電晶片從外部接收高電壓、低電流的電力，在晶片底部就地轉換為核心所需的低電壓、高電流，並直接垂直供應給上方的邏輯和記憶體層。這種設計徹底解決了橫向供電的電壓降與能量損耗問題，實現了最高效的能源與數據傳輸。 這項技術的突破，不僅解決了眼前的工程難題，更將對整個半導體產業的未來發展策略產生深遠的影響。 4.0 產業影響與未來展望 3D整合技術不僅是一項工程上的突破，它更為半導體產業的未來發展開闢了一條全新的康莊大道，勢必將對全球的技術佈局、投資策略乃至地緣政治格局產生深遠的影響。 4.1 開創效能提升的第二維度 展望未來，半導體產業提升效能的路徑將主要分為兩個維度： • 路徑一：傳統製程微縮（Scaling）。 持續推進摩爾定律，從5奈米、3奈米走向2奈米甚至更先進的節點。這條路徑的挑戰在於，每前進一個世代，所需的資本投資（Capex）都呈指數級增長，很快將面臨難以承受的經濟極限。 • 路徑二：先進3D封裝（Packaging）。 透過更智慧的方式，將採用既有成熟技術的晶片進行三維整合。這種方法能以更合理的成本，直接獲取記憶體和能源頻寬的巨大紅利，從而實現系統級的效能飛躍。 相較之下，3D封裝路徑具備顯著的策略優勢。它可能以更低的資本支出獲得更高的效能增益，並為不同技術的組合提供了前所未有的彈性。 4.2 地緣政治格局下的策略選項 在地緣政治日益複雜的今天，3D整合技術的策略價值尤為凸顯。對於那些難以投入巨資興建最先進製程晶圓廠的國家或公司而言，投資先進3D封裝技術提供了一個極具吸引力的替代方案。這條路徑的價值甚至延伸至技術領先者，例如美國，也可能在無止境追求下一代晶圓廠的過程中面臨經濟或後勤挑戰。因此，3D整合提供了一條關鍵的替代路徑，讓參與者能夠利用現有的製造能力，透過架構創新來保持甚至提升在全球技術舞台上的競爭力。 當然，最可能出現的情況是，整個產業將同時沿著這兩個方向共同發展。未來的半導體世界，將是製程微縮的「深度」與3D整合的「高度」相互補充、共同演進的立體化格局。 5.0 結論 在AI模型以前所未有的速度驅動運算需求的時代，記憶體頻寬和能源頻寬已從過去的次要考量，上升為制約HPC發展的根本性瓶頸。傳統的二維平面架構在應對這兩大挑戰時已顯得力不從心。 以AP Memory的VHM技術為代表的3D垂直整合方案，為我們提供了破局的關鍵。它並非簡單的技術改良，而是一場應對根本性挑戰所必需的架構性革命。透過將記憶體、邏輯與供電單元在第三維度上進行智慧堆疊，我們能夠從物理層面徹底解決數據與能源的傳輸瓶頸，釋放HPC的全部潛力。 展望未來，HPC的發展將不再僅僅依賴於單一的製程微縮，而是由「製程微縮」與「3D架構創新」這兩大引擎共同驅動。一個更加立體、高效、節能的運算新紀元，正在此基礎上拉開序幕。投資理財台股股市股票
