芯片專家詳解刷屏的Groq芯片:目前并不能替代英偉達(grog怎么讀)

財報發布前兩天,英偉達突然冒出來一個勁敵。

電子郵件初創企業Otherside AI的首席執行官兼聯合創始人馬特·舒默(Matt Shumer)在演示中親自體驗了Groq的強大功能。他稱贊Groq快如閃電,能夠在不到一秒鐘的時間內生成數百個單詞的事實性、引用性答案。更令人驚訝的是,它超過3/4的時間用于搜索信息,而生成答案的時間卻短到只有幾分之一秒。

雖然今天才刷屏,但Groq公司并非初出茅廬的新創企業。實際上,該公司成立于2016年,并在那時就注冊了Groq商標。去年11月,當馬斯克發布人工智能模型Grok時,Groq公司的開發者們就發了一篇文章說馬斯克撞名自己的公司。信寫的挺逗的,但這波流量他們是一點沒吃到。

這一次他們之所以能突然爆發,主要是因為Groq云服務的上線,讓大家真的能親身感受一下不卡頓的AI用起來有多爽。

有從事人工智能開發的用戶稱贊,Groq是追求低延遲產品的“游戲規則改變者”,低延遲指的是從處理請求到獲得響應所需的時間。另一位用戶則表示,Groq的LPU在未來有望對GPU在人工智能應用需求方面實現“革命性提升”,并認為它可能成為英偉達A100和H100芯片的“高性能硬件”的有力替代品。

Groq芯片

能在速度上取勝的核心技術是LPU

根據其模型的首次公開基準測試結果,Groq云服務搭載的Llama2或Mistreal模型在計算和響應速度上遠超ChatGPT。這一卓越性能的背后,是Groq團隊為大語言模型(LLM)量身定制的專用芯片(ASIC),它使得Groq每秒可以生成高達500個 token。相比之下,目前ChatGPT-3.5的公開版本每秒只能生成大約40個token。

不同于Nvidia GPU需要依賴高速數據傳輸,Groq的LPU在其系統中沒有采用高帶寬存儲器(HBM)。它使用的是SRAM,其速度比GPU所用的存儲器快約20倍。

鑒于AI的推理計算相較于模型訓練需要的數據量遠小,Groq的LPU因此更節能。在執行推理任務時,它從外部內存讀取的數據更少,消耗的電量也低于Nvidia的GPU。

如果在AI處理場景中采用Groq的LPU,可能就無需為Nvidia GPU配置特殊的存儲解決方案。LPU并不像GPU那樣對存儲速度有極高要求。Groq公司宣稱,其技術能夠通過其強大的芯片和軟件,在AI任務中取代GPU的角色。

另一位安卡拉大學的助教更形象的解釋了一下LPU和GPU的差別,“想象一下,你有兩個工人,一個來自Groq(我們稱他們為“LPU”),另一個來自Nvidia(我們稱之為“GPU”)。兩人的任務都是盡快整理一大堆文件。

GPU就像一個速度很快的工人,但也需要使用高速傳送系統(這就像高帶寬存儲器或HBM)將所有文件快速傳送到他們的辦公桌上。這個系統可能很昂貴,有時很難得到(因為HBM產能有限)。

另一方面,Groq的LPU就像一個高效組織任務的工人,他們不需要那么快地交付文件,所以用了一張就放在他們身邊的更小的桌子(這就像SRAM,一種更快但更小的存儲器),所以他們幾乎可以立即獲得所需的東西。這意味著他們可以在不依賴快速交付系統的情況下快速工作。

LPU結構