#分享 [Notes] AI Supply Chain — 2025科技產業投資新攻略 (程正樺 騰旭公司投資長)
# AI Development Trend
● 目前市場對應用端的關注可能略顯過早，現在最值得關注的其實是模型本身的發展程度，因為LLM模型的能力直接影響了其應用想像空間。
● 2023年以來，模型的進展較為緩慢，主要呈現小幅改善的趨勢。無論是OpenAI、Google Gemini，還是Amazon的雲端服務，都沒有出現如GPT-2到GPT-3或GPT-3到GPT-4之間的重大突破。這種情況使得市場對AI的想像空間有所縮減，也導致一些大廠開始減緩資本支出。
● 2024年市場原本最關注的就是GPT-5發布。理論上，GPT-5的訓練現在應該已經完成(2024年應該就要出來)，但OpenAI至今尚未發布結果。但除了OpenAI之外，市場還期待其他重要的AI模型發展：
1. Amazon的Olympus項目
2. Tesla的Grok模型，這是首個使用10萬個GPU並行訓練的模型(之前大概都是用幾千到幾萬個GPU)
3. 特斯拉已宣布2025年將建立一個擁有20萬個GPU的運算集群
● 這些發展都在驗證"擴展定律"（Scaling Law）：模型參數越大，數據量越多，效能就應該越好。雖然這意味著更高的成本投入，但如果新模型能展現顯著的效能提升，將會吸引更多投資者持續關注這個領域。
● 今年OpenAI最近推出的o1模型帶來了新的想像空間。這是首個IQ超過一般人類的模型，在數學運算和邏輯推理方面表現優異。更重要的是，它能有效避免產生錯誤答案，這對商業應用特別重要。
➤例如，在客戶服務應用中，傳統模型可能有1-5%的錯誤率，這對商業運營造成重大風險。OpenAI o1通過多重覆核機制，大幅提高了答案的準確性。
➤過往傳統覺得Training所需要的算力會比Inference高，但是由於OpenAI o1需要把一個答案重複reveiw好幾次，所以對於Inference算力的需求又會提高。
● 在營收方面，OpenAI採用基於token使用量的定價模式，較新的模型定價較高，舊的模型價格會降低一點，對OpenAI來說只要有新的應用他們就可以持續提高售價，Breakeven的機率就會越來越高。
➤OpenAI年中時公布公司年化營收達20億美元，最近Jensen幫OpenAI更新修正至30億美元。隨著模型性能提升和API使用量增加，預期營收還有上升空間。
# Nvidia and AI Supply Chain
## GB300
● GB300在市場上之前有很多奇怪的名字，簡單來說就是Blackwell架構的小幅改版產品。之前有人叫它GB210/GB200 ultra，現在最後可能命名為GB300。
● GB300大概2H25就會推出，除了原本GB200的升級版之外，另外還會有一個氣冷版的相對簡單方案，叫做GB300A，這主要是針對一些中小企業，他們沒有辦法建置水冷機房，但也想使用NVIDIA新架構的產品。原本的HGX系列也會有B300，類似這樣的產品線。
● 2026年之後，下一代產品可能就是Rubin架構開始上市。為了避免大家混淆，Rubin的代號是GR100，但最終產品可能會叫VR200，這樣就比較不容易搞混。
## B300A/B200A
● 原本NVIDIA的Blackwell (GB100)這顆晶片，它是2個GPU加上8個HBM封裝在一起，但這個使用到CoWoS-L封裝技術，又因為台積電的CoWoS-L產能相對有限，所以NVIDIA一直在跟台積電要求有沒有其他替代方案。而CoWoS-S相對來說，產能比較空閒一點，因為原本的Hopper架構就是用CoWoS-S，而Hopper的量明年就會下降。所以他們就把CoWoS-S繼續拿來利用，開發了另一款晶片，其實就是原本設計的一半，最後就變成了B200A或接下來的GB300A。
● B200A效能大概只有原版的一半水準，但還是比原來的H100還是好不少，所以這是他們在產品設計上的一個變通方案。
● 2H25的GB300A就會有一個類似這種精簡版的產品，然後做成氣冷方案給中小企業使用。
● 目前B200A已經被取消，但GB300A使用的是類似的設計，只是變成Ultra的版本。
## Blackwell 300 Family Upgrade
● 軟體上把四位元的浮點運算(FP4)效能提升到原來的1.5倍左右。
● 記憶體部分繼續增加，2025年看起來HBM就會變成12-Hi的設計（現在是8-Hi只堆了8層）。能夠堆到12層，那麼密度就自動多了50%。
➤大語言模型其實跟記憶體容量非常相關，它影響到你訓練的模型大小和效能，所以這對性能來講會有一個蠻大的提升。
● 網路方面則從 CX7（400G網路卡）升級到 CX8（800G網路卡），B300每個 GPU 對應一個800G光通訊網路，這將提升光通訊需求。
● 開始把GPU的設計變成模組化，就是所謂的socket設計，用這種基座的形式可以去插拔替換。
## GB300 Socket Design
● NVIDIA板子就是交給鴻海去打造，鴻海打完之後NVIDIA再把它賣給比如說廣達或者鴻佰等等的客戶。NVIDIA是一次賣一整個板子，它不單獨賣元件，變成說板子上面就變成說所有的零件都是要NVIDIA認證，廠商要賣給NVIDIA，NVIDIA自己去把它全部組成一個板子之後再賣給下游的客戶。
● 但是接下來NVIDIA不會賣這一整個板子，它變成單獨賣GPU。以後compute tray的板子，客戶可以自己去設計，或是NVIDIA會給你參考設計，但是NVIDIA直接單獨賣GPU，所以客戶可以自己決定其他的元件要用誰的。
● 覺得這個動作比較大的理由應該是為了應對反托拉斯的壓力，因為現在很多人在說NVIDIA利用壟斷地位，可能會綁定一些別的元件。為了避免這方面的質疑，所以就變成說他以後可能單獨賣GPU，板子上面的其他東西就可以各自去選別人的零件。
➤所以比如說像原本Bianca板子上只能用NVIDIA自己的CPU，就是用Grace，那如果有人對Grace不滿意，以後你就可以自己把它換成x86架構的CPU。
● 當然很多的元件也可以有一些自主變換的空間，對下游來講，他們的設計effort相對來講會比較高一點，所以毛利率上面也有可能有一些改善。因為目前其實客戶就跟NVIDIA買一整套，那買一整套其實價格就是固定，廠商沒有什麼運作的空間。那接下來換成客戶自己設計一張板子，零件採購權拿回來，所以下游廠商到了Blackwell Ultra時代，廠商的毛利或者溢價空間可能會變大。
➤其中一個很明顯的例子就是板子上有很多LPDDR5記憶體，那以後也會變成就是插拔的形式，所以至少DRAM的採購權就回到下游手上，而不是在NVIDIA身上。
➤對NVIDIA來講，它其實不太在乎這些小東西，這對它的營收來講可能90%都是GPU本身，周邊其實不是那麼重要，把這個部分下放出來對NVIDIA沒有什麼影響，但對下游來說，廠商的設計能力、溢價空間、零件的掌握，這些權限都會變大一些。所以在Blackwell Ultra時代，其實可以注意看看下游的獲利率會不會有一個提升的機會。
● 另一個理由是因為目前產品線實在是太複雜了，但是接下來inference的重要性越來越大，每個inference的客戶都有各自的想法，所以NVIDIA就設計NVL2、NVL4等等的各種不同的設計。
➤比如說最近看到它有一個NVL2的設計，就是入門級的產品，4U的高度，然後裡面放兩個CPU，兩個GPU。這樣的一個產品的賣點是什麼?這樣一台機器它的售價大概在10萬美元以內，而原本的HGX再怎麼便宜也是25萬美元起跳，等於它是針對企業推出一個非常便宜，只要10萬美元就可以做到的AI Server方案。但是不是每個客戶都想要這樣的方案，其實很難說，那NVIDIA就要花一堆時間在做各式各樣的設計。對下游來講也很累，就是每一個設計都要找一個下游廠商一起合作做這樣的東西出來，但是不代表這個東西最後一定有量，一定有市場。
➤目前這樣的狀況就是剛剛講對下游來講也是一個蠻混亂的情形。但是以後如果變成模組化的形式，就是NVIDIA只賣GPU，那客戶自己去想你要怎麼設計?你要NVL幾或者怎麼樣的一個搭配會比較合適，下游自己去想辦法，那對NVIDIA來說這方面的effort或混亂的情形可能會少一點。
註：以上所有內容皆為 程正樺 先生 (騰旭公司投資長) 於先探論壇 — 2025科技產業投資新攻略 (2024–10–17) 之演講節錄，完整影片請參考YouTube。
🥬 The WL Financial Studio 🐱
-------------------------------------------------—
Medium: Facebook: Treads:
