Groq 自研 LPU,速度碾压英伟达芯片 

2024-02-21 | AI ,Groq ,芯片 ,英伟达

2 月20 日,AI 芯片初创企业 Groq 开放了自家产品的免费试用,其推理和生成速度更快,价格、耗电量都更低。这主要受益于背后强大的核心团队,大部分来自谷歌早期 TPU 核心设计团队。同日,亚马逊被纳入道指成分股;马斯克透露 Neuralink 受试者仅凭思维就能操控鼠标;淘宝宣布成立直播电商公司。 

亚马逊被纳入道指成分股 

标普道琼斯指数公司宣布,自 2 月 26 日起,亚马逊(Amazon)将取代药房连锁沃尔格林联合博姿(Walgreens),成为道琼斯工业平均指数成分股之一。同时,优步(UBER)将被纳入道琼斯交通平均指数。消息传出后,亚马逊美股盘后涨 1.5%,沃尔格林联合博姿则跌约 3.2%,优步涨超 0.6%。 

 

Neuralink 受试者仅凭思维操控鼠标 

马斯克在社交媒体平台 X 上参与的一场 Spaces 直播活动中透露,在 1 月 30 日完成人类首例脑机接口手术的 Neuralink 受试者似乎已完全康复,没有出现我们所知的不良反应。马斯克还表示“我们已经观察到了神经系统反应,病人可以通过思考在屏幕上移动鼠标。现在我们试图让受试者尽可能多的点击鼠标按钮。” 

淘宝成立直播电商公司 

直播电商今年将迎来更激烈的竞争。淘宝宣布正式成立直播电商公司,为有意入淘开播的明星、KOL、MCN 机构提供全托管运营服务,帮助初入淘的“新手玩家”快速上手,适应淘系生态直播方式。该公司由淘天直播运营团队操盘,不以盈利为目的,而是以招募新主播为主要目标,与主播采取保底或者分润的合作模式。 

推理和生成速度更快,价格和耗电量更低 

OpenAI 文生视频模型 Sora 引爆科技圈仅仅两天后,AI 芯片初创企业 Groq 开放了自家产品的免费试用,其芯片推理速度较英伟达 GPU 高 10 倍,而且但价格和耗电量都仅为英伟达的十分之一;其生成速度接近每秒 500 tokens,碾压 ChatGPT-3.5 约每秒 40 tokens 的速度。 

图片来源:Groq

值得注意的是,Groq 没有开发新的模型,它只是用了不一样的芯片。Groq 并未使用英伟达的 GPU,而是自研了新型 AI 芯片——LPU(Language Processing Units)。  

LPU 最突出的特点就是快。网友测试同时用 Gemini、GPT-4 和 Groq 完成一个代码调试问题,结果显示 Groq 的输出速度比 Gemini 快 10 倍,比 GPT-4 快 18 倍。 

“速度”是 Groq 的产品强调的特点,而“推理”是其主打的细分领域。然而,另有一些 AI 专家在社交媒体上表示,Groq 芯片的实际成本并不低,其综合成本相当于英伟达 GPU 的 30 多倍。更关键的是,LPU 目前仅用于推理,要训练大模型,仍然需要购买英伟达 GPU。 

超强核心团队领航,复制谷歌成功经验 

虽然 Groq 还面对着很多潜在的问题,但它还是让人看到了 GPU 之外的可能路径,这主要得益于其背后的超强团队。Groq 成立于 2016 年,总部位于美国加州圣塔克拉拉山景城。在 Groq 的创始团队中仅有 10 人,其中就有 8 人来自谷歌早期 TPU 核心设计团队。Groq 目前仅有 180 余名员工,甚至还不到英特尔等大型芯片制造商所需工程师数量的四分之一。 

图片来源:Groq 
  • Groq 创始人兼 CEO Jonathan Ross 是前谷歌高级工程师,是谷歌自研 AI 芯片 TPU 的设计者之一; 
  • 产品主管 John Barrus 曾在谷歌及亚马逊担任产品高管; 
  • 联合创始人道格拉斯·怀特曼也来自谷歌 TPU 团队,并先后创立了四家公司; 
  • 首席技术官吉姆·米勒曾是亚马逊云计算服务 AWS 设计算力硬件的负责人; 
  • CMO 曾主导了苹果 Macintosh 的市场发布; 
  • 副总裁 Estelle Hong 此前曾在美国军队及英特尔任职。 

Ross 等人的目标是在 Groq 复制他在谷歌的成功经验,打造一个内部芯片项目,引领整个行业向新技术迈进。他希望吸引少数关键客户,通过广泛部署 Groq 芯片为公司提供稳定的收入来源,推动公司的独立发展。目前,这家初创公司已开始向潜在客户发送样品。 

关注 Doo Prime 行业动态,每日为您梳理热门财经消息! 


前瞻性声明

本文包含"前瞻性陈述" ,并且可以通过使用前瞻性术语来识别,例如"预期"、"相信"、"继续"、"可能"、"估计"、"期望"、"希望"、"打算"、"计划"、"潜在"、"预测"、"应该"或"将会"或其他类似形式或类似术语,但是缺少此类术语确实并不意味着声明不是前瞻性的,特别是关于 Doo Prime 的期望、信念、计划、目标、假设、未来事件或未来表现的声明,均通常被视为前瞻性声明。

Doo Prime 根据 Doo Prime 可用的所有当前信息以及 Doo Prime 当前的期望、假设、估计和预测提供了这些前瞻性声明。尽管 Doo Prime 认为这些期望、假设、估计和预测是合理的,但这些前瞻性陈述仅是预测,并且涉及已知和未知的风险与不确定性,其中许多是 Doo Prime 无法控制的。此类风险和不确定性可能导致结果、绩效或成就与前瞻性陈述所表达或暗示的结果大不相同。

Doo Prime 不对此类陈述的可靠性、准确性或完整性提供任何陈述或保证,Doo Prime 没有义务提供或发布任何前瞻性陈述的更新或修订。

风险披露

由于不可预测的市场变动、基础金融工具的价值和价格波动,金融工具的交易涉及高风险,可能会在短时间内产生超过投资者初始投资的巨额亏损。金融工具的过往表现并不表示其未来表现。对某些服务的投资应利用保证金或杠杆效应,交易价格相对较小的变动可能会对客户的投资产生不成比例的巨大影响,因此客户在利用时应做好承受巨大损失的准备该等交易设施。

在与 Doo Prime 等交易平台进行任何交易之前,客户需确保已阅读并完全理解各自金融工具的交易风险。如果客户不了解任何与交易和投资有关的风险,则应寻求独立的专业建议。请参考 Doo Prime 等的客户协议和风险披露声明了解更多。

*以上策略仅代表分析师观点,仅供参考,不作为或视为任何交易的依据或邀请,不构成对任何人的投资建议。Doo Prime 不能保证此报告的准确性或完整性,不对因使用此报告而引起的损失负任何责任,您不能依赖此报告以取代自己的独立判断。市场有风险,投资需谨慎

行业动态IconBrandElement

article-thumbnail

2024-12-23 | 行业动态

行业动态 | 美国 PCE 数据缓和通胀担忧,诺和诺德暴跌 27% 创史上最大跌幅   

行业动态 | 12 月 20 日至 21 日,美国 11 月 PCE 数据缓和通胀担忧,美股、美债反弹,美元下挫;中国 12 月 LPR 连续两月保持不变;特朗普要求欧盟买美国油气;美众院投票通过短期支出法案; GPT-o3 最后一日重磅登场;诺和诺德暴跌 27% 创史上最大跌幅。

article-thumbnail

2024-12-20 | 行业动态

财经日历 | 12 月 23 日 – 12 月 27 日当周

财经日历 | 以下为 2024/12/23– 2024/12/27(GMT+8 北京时间) 全球重大经济事件提 […]

article-thumbnail

2024-12-19 | 行业动态

行业动态 | 美联储鹰派降息!美元指数涨超 1% 至两年新高 

行业动态 | 12 月 18 日,美联储宣布将其关键利率下调 25 基点至 4.25%-4.5% 区间,为连续第三次降息,同时释放了未来几年可能谨慎降息的信号。美联储利率决议后,股市在交易结束时遭到猛烈抛售,美元指数上涨 1.22%,一路升破了 108 大关。与此同时, OpenAI 推出 ChatGPT 语音通话;美光科技财报后一度暴跌 17%。