數(shù)據(jù)家,idc官網(wǎng),算力,裸金屬,高電機房,邊緣算力,云網(wǎng)合一,北京機房,北京云計算,北京邊緣計算,北京裸金屬服務(wù)器,北京數(shù)據(jù)服務(wù)器,北京GPU服務(wù)器,高算力服務(wù)器,數(shù)據(jù)機房相關(guān)技術(shù)新聞最新報道
太快了太快了。
一夜間，大模型生成已經(jīng)沒什么延遲了……來感受下這速度。
，時長00:06
眼花繚亂了吧，生成速度已經(jīng)接近每秒500 tokens。
還有更直觀的列表對比，速度最高能比以往這些云平臺廠商快個18倍吧。
idc網(wǎng),算力,裸金屬,高電機房,邊緣算力,云網(wǎng)合一,北京機房,北京云計算,北京邊緣計算,北京裸金屬服務(wù)器,北京數(shù)據(jù)服務(wù)器,北京GPU服務(wù)器,高算力服務(wù)器,數(shù)據(jù)機房（這里面還有個熟悉的身影：Lepton）
網(wǎng)友表示：這速度簡直就是飛機vs走路。
值得一提的是，這并非哪家大公司進展——
初創(chuàng)公司Groq，谷歌TPU團隊原班人馬，基于自研芯片推出推理加速方案。（注意不是馬斯克的Grok）
據(jù)他們介紹，其推理速度相較于英偉達GPU提高了10倍，成本卻降低到十分之一。
換言之，任何一個大模型都可以部署實現(xiàn)。
目前已經(jīng)能支持Mixtral 8x7B SMoE、Llama 2的7B和70B這三種模型，并且可直接體驗Demo。
他們還在官網(wǎng)上喊話奧特曼：
你們推出的東西太慢了……
既然如此，那就來體驗一下這個號稱「史上最快推理」的Groq。
先聲明：不比較生成質(zhì)量。
就像它自己說的那樣，內(nèi)容概不負責(zé)。
目前，演示界面上有兩種模型可以選擇。
就選擇Mixtral 8x7B-32k和GPT-4同擂臺對比一下。
提示詞：你是一個小學(xué)生，還沒完成寒假作業(yè)。請根據(jù)《星際穿越》寫一篇500字的讀后感。
結(jié)果啪的一下，只需1.76秒就生成了一長串讀后感，速度在每秒478Tokens。
不過內(nèi)容是英文的，以及讀后感只有三百六十多字。但后面也趕緊做了解釋說考慮到是小學(xué)生寫不了那么多……
至于GPT-4這邊的表現(xiàn)，內(nèi)容質(zhì)量自然更好，也體現(xiàn)了整個思路過程。但要完全生成超過了三十秒。單是讀后感內(nèi)容的生成，也有近二十秒鐘的時間。
除了Demo演示外，Groq現(xiàn)在支持API訪問，并且完全兼容，可直接從OpenAI的API進行簡單切換。
可以免費試用10天，這期間可以免費獲得100萬Tokens。
目前支持Llama 2-70B 和7B， Groq可以實現(xiàn)4096的上下文長度，還有Mixtral 8x7B這一型號。當(dāng)然也不局限于這些型號，Groq支持具體需求具體定制。
價格方面，他們保證：一定低于市面上同等價格。
不過可以看到，每秒500tokens似乎還不是終極速度，他們最快可以實現(xiàn)每秒750Tokens。
Groq是集軟硬件服務(wù)于一體的大模型推理加速方案，成立于2016年，創(chuàng)始團隊中很多都是谷歌TPU的原班人馬。
公司領(lǐng)導(dǎo)層的10人中，有5人都曾有谷歌的工作經(jīng)歷，3人曾在英特爾工作。
創(chuàng)始人兼CEO Jonathan Ross，設(shè)計并實現(xiàn)了第一代TPU芯片的核心元件，TPU的研發(fā)工作中有20%都由他完成。
Groq沒有走GPU路線，而是自創(chuàng)了全球首個L（anguage）PU方案。
LPU的核心奧義是克服兩個LLM瓶頸——計算密度和內(nèi)存帶寬，最終實現(xiàn)的LLM推理性能比其他基于云平臺廠商快18倍。
據(jù)此前他們介紹，英偉達GPU需要大約10焦耳到30焦耳才能生成響應(yīng)中的tokens，而 Groq 設(shè)置每個tokens大約需要1焦耳到3焦耳。
因此，推理速度提高了10倍，成本卻降低了十分之一，或者說性價比提高了100倍。
延遲方面，在運行70B模型時，輸出第一個token時的延時僅有0.22秒。
甚至為了適應(yīng)Groq的性能水平，第三方測評機構(gòu)ArtificialAnalysis還專門調(diào)整了圖表坐標(biāo)軸。
據(jù)介紹，Groq的芯片采用14nm制程，搭載了230MB大SRAM來保證內(nèi)存帶寬，片上內(nèi)存帶寬達到了80TB/s。
算力層面，Gorq芯片的整型（8位）運算速度為750TOPs，浮點（16位）運算速度則為188TFLOPs。
Groq主要基于該公司自研的TSP架構(gòu)，其內(nèi)存單元與向量和矩陣深度學(xué)習(xí)功能單元交錯，從而利用機器學(xué)習(xí)工作負載固有的并行性對推理進行加速。
在運算處理的同時，每個TSP都還具有網(wǎng)絡(luò)交換的功能，可直接通過網(wǎng)絡(luò)與其他TSP交換信息，無需依賴外部的網(wǎng)絡(luò)設(shè)備，這種設(shè)計提高了系統(tǒng)的并行處理能力和效率。
結(jié)合新設(shè)計的Dragonfly網(wǎng)絡(luò)拓撲，hop數(shù)減少、通信延遲降低，使得傳輸效率進一步提高；同時軟件調(diào)度網(wǎng)絡(luò)帶來了精確的流量控制和路徑規(guī)劃，從而提高了系統(tǒng)的整體性能。
Groq支持通過PyTorch、TensorFlow等標(biāo)準(zhǔn)機器學(xué)習(xí)框架進行推理，暫不支持模型訓(xùn)練。
此外Groq還提供了編譯平臺和本地化硬件方案，不過并未介紹更多詳情，想要了解的話需要與團隊進行聯(lián)系。
而在第三方網(wǎng)站上，搭載Groq芯片的加速卡售價為2萬多美元，差不多15萬人民幣。
它由知名電子元件生產(chǎn)商莫仕（molex）旗下的BittWare代工，同時該廠也為英特爾和AMD代工加速卡。
目前，Groq的官網(wǎng)正在招人。
技術(shù)崗位年薪為10萬-50萬美元，非技術(shù)崗位則為9萬-47萬美元。
除此之外，這家公司還有個日常操作是叫板喊話各位大佬。
當(dāng)時GPTs商店推出之后，Groq就喊話奧特曼：用GPTs就跟深夜讀戰(zhàn)爭與和平一樣慢……陰陽怪氣直接拉滿~
馬斯克也曾被它痛斥，說“剽竊”自己的名字。
在最新討論中，他們疑似又有了新操作。
一名自稱Groq工作人員的用戶與網(wǎng)友互動時表示，Groq的目標(biāo)是打造最快的大模型硬件，并揚言：
三年時間內(nèi)趕超英偉達。
這下好了，黃院士的核武器有新的目標(biāo)了。
參考鏈接：
[1]https://wow.groq.com/
[2]https://news.ycombinator.com/item?id=39428880?
