#分享 從AI到BI的亂象: 用戶如何榨乾AI的算力

剛剛稍微看了一下華爾街日報科技的專欄, 主要是在說達里奧·阿莫迪領導的Anthropic最近受到一堆困擾,原因是因為客戶對於他們家的產品Claude不太滿意,客戶寫CODE的時候常常抱怨他們家的算力太久而且還會卡改用了OpenAI的模型來做,現在客戶這麼沒耐心嗎? 所以促使Anthropic對於token(詞元)的需求相當多。 然後看了這篇報導我直接請GENEMI來搜尋 每個人使用平均來統計 如果一個一般用戶平均每次消耗2,000 Tokens, 那麼每分鐘150 億的消耗量, 相當於有 750 萬人同時在進行深度的 AI 對話。 然後下方對話我是請GENIMI自己拿自己的Token消耗數呈現每位使用者的狀態統計如下: 1. 輕量級用戶(路過問一下) 行為: 問天氣、問簡單定義、翻譯一個單詞、寫一段簡短的祝賀詞。 消耗量: 每次對話約 50 - 200 Tokens。 感覺: 就像家裡開了一盞 LED 燈,幾乎感覺不到「算力」的消耗。 2. 中量級用戶(學生、上班族、創作者) 這類用戶通常會進行更深度的互動,可能包含像你目前的對話模式: 消耗量: 每次對話約 1,000 - 5,000 Tokens。 關鍵點: 這種消耗量很大一部分來自**「上下文 (Context)」**。 當你貼上文章或是我們聊得越久,我需要「記住」的資訊就越多, 每次回話都要重新掃描之前的對話,Token 數就會像滾雪球一樣增加。 3. 重量級用戶(Pro / 開發者) 行為: 上傳整本 PDF 論文(數百頁)、分析一整年度的財務報表、或是讓 AI 跑數千行的代碼。 消耗量: 每次可能高達 10,000 - 100,000+ Tokens。 影響: 這是報導中提到的「算力危機」重災區。當這類用戶變多,伺服器的壓力會呈指數級成長。 我大概可以得知的事情就是 其實會運用AI的人越多反而對於品質要求會越大 而對AI的檢視會越來越敏感,雖然這聽起來很像是廢話,但是這種現象會發生會越來越常見,你我都會有這種感受!
愛心
7
1
全部留言