这个「Groq」不是马斯克的「Grok」！AI 晶片公司Groq 称创造了「世界上最快的大型语言模型速度」，在社群上示范的影片因极快的生成速度（1 秒内就生成数百字的回覆）而引发关注和讨论。
Groq 其实并非一款全新AI 模型，而是一种「LPU 推论引擎」，等同用自家晶片来运行其他开源模型（包括Mixtral 8x7b、Llama 2 70B）的AI 语言介面，如同其他聊天机器人Groq 也能生成创意文字、翻译内容、回覆问题等
根据Artificial Analysis 针对AI host 的评比数据，Groq 可每秒产生约247 个token，而微软Azure 则是每秒产生约18 个，因此如果ChatGPT 是在Groq 上运行生成的速度能大幅提升13 倍。
LPU 是什么？
Groq 是在2016 年由Jonathan Ross 创立而成，他过去研发出Google 第一款TPU，在Groq 他和团队打造出一种新AI 晶片「LPU」（Language Processing Unit），是专门用于AI 推论的晶片，据称速度更胜NVIDIA 的GPU。
根据知名电子报作者Ben Thompson 说明，Groq 晶片采用的是静态随机存取记忆体（SRAM），而不是GPU 上常见的HBM 或电脑常用的DRAM 记忆体，后两者都需要时常刷新，导致资料储存位置有不确定性，反观SRAM 资料可以恒常状态储存，Groq 因此能掌握每份资料的位置，加快运算速度。
Thompson 进一步指出，在Transformer 模型上跑推论相当合适，其运算方式也是采确定性的，像GPT-4 就适合在Groq 编译器上运行。
Groq 的优势在于速度够快，这让AI 对话再向人类沟通靠近一步，Ross 在CNN 的采访中让主持人与Groq 用语音对话，展现其速度是可以在新闻直播中沟通。
要体验Groq 可以上到网站：https://groq.com/，选择想要的AI 模型后即可进行问答。据实测，生成中文的速度也的确与社群上广传的影片一样快速。
不过要注意的是，目前LPU 的应用只限语言模型的推理运作上，如果要用于训练，还是需要GPU。
本文来自INSIDE，经授权后发布，本文观点不代表沙鸥科报立场，转载请联系原作者。
