2025年开年,AI芯片的市集角逐再度成为大洋此岸的角逐话题。近日,霸主英伟达的收入增长速率初始放缓,比较之下畴昔30天博通等公司股价抓续暴涨,业界好多东说念主齐在猜测率先冲突英伟达操纵地位的第二“英伟达”会是谁?云租出市集又会发生怎样的变化?
12月25日,最新一期的BG2播客中,主抓东说念主比尔·格利(Bill Gurley)和布拉德·杰斯特纳(Brad Gerstner)再次同台,并邀请了SemiAnalysis的首创东说念主兼首席分析师迪伦·帕特尔(Dylan Patel),总共来酌量AI芯片、半导体畛域正在进行着的此消彼长和开年AI巨无霸的最新动向。
播客中,三位酌量了芯片竞争中英伟达的广博敌手:AMD、Intel、谷歌、亚马逊以致包括曾扬言要打造我方芯片的OpenAI等里面的一些新进展,以及存储市集的利好利空和畴昔预测,比如他们瞻望内存市集的增速将会特出GPU(最初硅)、2026年微软和Meta的解放现款流将接近于0,这是马斯克带头大搞武备竞赛的戒指。
在初始酌量这个话题之前,三位还探讨了AI预训练的撞墙、合成数据生成,以及既然齐在说“预训练已落后”但仍建造更大集群的悖论、推理时的狡计等。
话未几说,这就为群众送上精彩的不雅点。
微软在OpenAI模子上赚取50%到70%的毛利率。这是他们从AI赢得的利润分红或他们放手的份额。有15家不同的公司在那里提供Llama和阿里巴巴和DeepSeek和Mistral等不同模子的API推理。如果咱们只是部署lalama 7 B质地的模子,咱们仍是过度建造了,这以致不是开打趣。对于施行室而言,你必须领有最佳的模子,不然你什么齐不是。Nvidia最高的销售成本并不是台积电,这是东说念主们莫得刚硬到的,本体上主如果HBM内存。三星并莫得大杀四方,因为低规矩在际遇打击,高端又无法突破。AMD的GPU被认为更好的唯一原因:芯片上的HBM内存更多。谷歌为一些英伟达可能莫得那么柔软的事情进行了工程联想。是以本体上,芯片之间的互连在某些方面可能具有竞争力,以致比英伟达更好,在其他方面则略逊一筹,因为他们一直在与博通相助。博通稀奇合适制造NV交换机的竞争产物,许多东说念主会认为这是英伟达在硬件方面相对于其他东说念主的最大竞争上风之一。在接下来的六个月里,谷歌TPU的购买会有所放缓,因为他们没稀有据中心空间。以下是联系的内容整理,原文节选整理如下:
大模子干预推理价钱战时期如同从Oracle干预到开发时期比尔:
快速发问。咱们承诺会酌量这些替代决策。是以咱们最终会到达那里。但如果你回想一下,咱们仍是屡次使用互联网海浪的比较,当通盘的风险投资公司初始在互联网上发展时,他们齐在Oracle和Sun上,五年后,他们不再在Oracle或Sun上。有些东说念主认为他们从开发沙盒天下过渡到了优化天下。这种情况会发生吗?这里有莫得等价性?如果你能谈谈为什么后端如斯陡峻和低廉,你知说念的,比如你退一步,你知说念,你只需要稍稍后退极少就可以省俭好多成本,这很放肆。
迪伦:
是的,是以,今天,对吧?像o1稀奇高尚,你退到4o,它就低廉多了,你跳到4o和mini,它稀奇低廉,为什么?因为当今我用4o和mini与Llama竞争,我与DeepSeek竞争。我与mistral竞争,我与阿里巴巴竞争,我与许多公司竞争。
比尔:
这些是市集出清价钱。 (出清价钱是指:通过竞争机制变成的价钱,使得市集供需达到均衡。)
迪伦:
我认为是的。此外,对吧,还有一个问题是推理一个小模子相配容易,对吧?我可以在1个AMD GPU上运行lalama 70 b,我可以在一个Nvidia GPU上运行lalama 70 b,很快就会有像在亚马逊的新Trainium上运行一样,对吧?我可以在一个芯片上运行这个模子。这是一个稀奇容易的问题,我不会说稀奇容易的问题,仍然很难。它比运行这个复杂的推理或这个稀奇大的模子要容易得多,对吧?因此,存在这种各异,对吧?还有即是,嘿,有15家不同的公司在那里提供Llama和阿里巴巴和DeepSeek和Mistral等不同模子的API推理,对吧?
布拉德:
咱们在指摘Cerebras(芯片厂商)和Groq,还有你知说念的,Fireworks和通盘这些其他的。
迪伦:
是的,Fireworks总共。你知说念的,通盘这些不使用我方硬件的公司。天然,Groq和Cerebras正在作念我方的硬件并也在作念这件事,但市集,这些,这里的利润率很差,对吧? 你知说念的,咱们之前联系于推理价钱战的事情,当mistral发布了他们的mixed stra模子时,这在旧年晚些时候诟谇常改进性的,因为它达到了一个在开源中不存在的性能水平,它使价钱着落得如斯之快,对吧?
迪伦:
因为每个东说念主齐在为API竞争。我行为API提供者能为你提供什么?为什么你不从mine切换到his,因为,嗯,莫得,它相配通用,对吧?我仍然在合并个模子上赢得疏浚的tokens,是以这些家伙的利润率要低得多。是以微软在OpenAI模子上赚取50%到70%的毛利率。这是他们从AI赢得的利润分红或他们放手的份额,对吧?
或者,你知说念的,Anthropic在他们最近一轮中,他们展示了70%的毛利率,但这是因为他们有这个模子,你退到这里,莫得东说念主使用这个模子,你知说念的,从OpenAI或Anthropic使用这个模子的东说念主要少得多,因为他们可以像取Llama的权重一样,放在我方的作事器上,或者反之亦然,去许多竞争的API提供者那里,其中一些是风险投资的,一些是,你知说念的,而且在亏钱,对吧?是以这里存在通盘这些竞争。
是以你不仅在说我要退一步,这是一个更容易的问题。我,因此,如果模子小10倍,它就像在顶尖模子运行时低廉15倍。在顶部的那之上,我还要去掉阿谁毛利率。是以它不是运行时低廉15倍,而是运行时低廉30倍。是以这即是,这即是像,好吧,一切齐变成商品了吗?但这里有一个重大的追赶空间,如果你在部署作事,这对你来说是很好的。
为什么非得要作念最佳的模子?能赢利吗?迪伦:
你必须领有最佳的模子,不然你什么齐不是,如果你是施行室之一,对吧?因此,你会看到许多试图构建最佳模子但失败的公司齐在抵挡。
布拉德:
而且可以说,你不仅需步骤有最佳的模子,你本体上真的需要有一个惬心为最佳的模子买单的企业或消费者。因为归根结底,最佳的模子意味着有东说念主惬心为你支付这些高利润率。而那要么是企业,要么是消费者。是以我认为,你知说念的,你很快就会削弱到唯独少数东说念主简略在这个市集上竞争。
迪伦:
在模子方面,是的。我认为在谁惬心为这些模子买片面,我认为更多的东说念主会为最佳的模子买单,对吧?
当咱们里面使用模子时,对吧?咱们有,咱们有,咱们有话语模子查验每一个监管文献和许可,以检讨数据中心的东西并将其索取出来,告诉咱们应该看那处以及不应该看那处。咱们只是使用最佳的模子,因为它稀奇低廉,对吧?就像我从中赢得的数据,我从中赢得的价值要高得多。你们在用什么模子?咱们当今本体上使用的是Anthropic,cloud three point。我看到了新的sonnet。是以只是因为o1在某些方面更好,但不一定是监管文献和许可以及雷同的事情,因为造作的成本要高得多,对吧?
一样对于开发者来说,对吧?如果我能提高一个在湾区年薪30万好意思元的开发者20%,那将好多。如果我能用75或50个开发者完成一个团队100个开发者的一样责任,或者我能发布两倍多的代码,使用最高尚的模子是如斯值得的,因为o1很高尚。相对于4o来说,它仍然稀奇低廉,对吧?
社会对智能的需求成本很高,对吧?这即是为什么智能责任是最高薪的责任,白领责任,对吧?或者如果简略裁减智能的成本或增强智能,那么就会有一个很高的市集出清价钱,这即是为什么我认为,哦,是的,o1很高尚,东说念主们老是会倾向于在一定水平上寻找最低廉的东西。但每次咱们突破一个新的智能水普遍,不单是是,哦,你知说念的,如果咱们能多作念几项任务,我认为它可以完成的任务模式会大幅增长。
很少有东说念主能使用GPT 2和3,对吧?当达到下一代的质地飞跃时,好多东说念主可以使用GPT-4,简略使用它的东说念主数,它可以完成的任务数目将会爆炸性增长,因此它可以增强的白领责任,提高坐蓐力的数目将会增长,因此该tokens的市集出清价钱将会稀奇有趣。
英伟达卡如果仅用来推理,显著是过度建造了比尔:
稀奇有趣。我可以建议另一种论点,即某东说念主处于高容量状况,你知说念的,这在取代无数客户作事电话或其他方面可能会倾向于完全最小化支拨,并最大化围绕这个东西构建的价值。数据库写入和读取等等。
迪伦:
再过不久,大唐官府服务器就要进入三年外大圈子了。区内的人气玩家赵波,也已经开始筹备大唐官府自己的服战队。为此,他也特意买了一个带160专用项链的天青号,这条项链满锻最高可达到370点灵力。
是以,我心爱的一个有趣的狡计是,如果你取Nvidia出货量的四分之一,并假定它们齐用于推理lalama 7 b,你可以给地球上每个东说念主每分钟100个tokens,对吧?或者抱歉,每秒100个tokens。你可以给地球上每个东说念主每秒100个tokens,这很格外,你知说念的。是以,如果咱们只是部署lalama 7 B质地的模子,咱们仍是过度建造了,这以致不是开打趣。当今如果咱们部署的东西可以增强工程师,提高坐蓐力,并匡助咱们更快地构建机器东说念主或自动驾驶汽车或其他东西,那么这是一个稀奇不同的狡计,对吧?因此,这即是总共事情,是的,小模子是存在的,但它们稀奇容易运行。
比尔:
运行它们,这两者可能齐是真的,对吧?
迪伦:
咱们将有无数小模子在到处运行,但它们的狡计成本稀奇低。是的。
布拉德:
比尔和我之前酌量过这个问题,对于你也曾报说念的硬盘。但如果你望望内存市集,它一直是一个抖擞与陌生的市集。主张是你老是在接近峰值时出售这些东西。你知说念的,你老是在低谷时购买它们。你不会在中间的任何处所领有它们。它们的市盈率稀奇低。我在指摘Hynix和Micron,当你琢磨到推理时的狡计时,似乎这些芯片所需的内存需求,Jensen仍是谈了好多对于这极少,正在经验一个弥远的上升趋势,对吧?因为如果他们进行这些传递,你知说念的,你正在运行,就像你说的,10次或100次或1000次推理时推理,你只需要越来越多的内存,这即是险阻文长度。
内存市集的增长速率或特出GPU布拉德:
是以,谈一谈你对内存市集的见解。
迪伦:
是的,是以,为了更好地设定舞台,推理模子输出千千万万个tokens。 当咱们检讨变换器夺见识时,对吧?变换器的圣杯即是它如何领略总共险阻文,这会显耀增长。而Kv缓存,即追踪这个险阻文意味着什么的内存,是呈二次方增长的,对吧?因此,如果我从险阻文长度10增多到100,这不单是是10倍,而是更多,对吧?是以你正确地看待它。今天的推理模子,它们会念念考10000个tokens,20000个tokens,当咱们达到,嘿,复杂的推理睬是什么方式?模子将达到念念考数十万个tokens的进程,而这只是总共念念维经过的一部分,或者可能是某种搜索,但它会念念考好多。而这个Kv缓存将会彭胀。
比尔:
你是在说内存的增长速率可能会特出GPU。
迪伦:
客不雅地说,当你检讨Nvidia的销售成本时,他们最高的销售成本并不是台积电,这是东说念主们莫得刚硬到的,本体上主如果HBM内存,至少面前是这么。
比尔:
但没错,是以,是以有。
迪伦:
有三家内存公司,对吧?有三星、SK hynix和Micron。Nvidia主要使用SK Hynix,这是内存市集全体的一个首要转化,因为历史上它一直是一个商品,对吧?也即是说,岂论我从三星如故SK hynix如故Micron购买,它齐是通用的。
比尔:
或者可以互换。
迪伦:
是的。以致当今三星也受到了很大的打击,因为有一个中国内存制造商cxmt,他们的内存不如三星的好,但它是低端内存,它是通用的,因此低端内存的价钱仍是大幅着落。在HBM方面,三星险些莫得份额,对吧?尤其是在Nvidia。因此,这正在严重打击三星,尽管他们是天下上最大的内存制造商,哦,每个东说念主老是说,如果你说内存,就像,是的。三星在时候上稍稍最初极少,他们的利润率稍稍好极少,他们正在大杀四方,对吧?但当今情况并非完全如斯,因为在低端,他们受到了极少打击,而在高端,他们无法突破,或者他们一直在尝试,但一直在失败。
迪伦:
另一方面,你有像SK Hynix和Micron这么的公司,他们正在将无数产能从商品DRAM转换为HBM。当今HBM仍然是通用的,对吧?在某东说念主达到一定时候水平的情况下,他们可以互换Micron和Hynix,对吧?是以在阿谁意旨上它是通用的,对吧?在阿谁意旨上它是一个商品。但因为推理需要更多的内存,而H-100到Blackwell的销售成本中,HBM的成本占比增长速率特出了最初硅的成本占比。
你有这种大的转化或动态正在发生。这不仅适用于Nvidia的GPU,也适用于超大畛域的GPU,对吧?或者像TPU、Amazon、Trainium等加快器。
HBM市集的毛利率:并不高,英伟达很强势比尔:
SK的毛利率更高,内存公司亦然如斯,对吧?
布拉德:
如果你听Jensen(黄仁勋)的形色,你知说念的,不是通盘的内存齐是一样的,对吧?是以不单是是产物今天更具各异化,产物中包含的软件更多,而且它还如何整合到总共系统中,对吧?回到供应链问题,听起来它齐是商品。只是在我看来,至少有一个问题是,它是否在结构上发生了变化?咱们知说念弥远趋势是朝上的。
比尔:
也许它鼓胀各异化,以至于不再是商品。
迪伦:
它可能是。我想指出的另一件事是,有趣的是,HBM的毛利率并不出色。它们还可以,但并不出色,本体上平凡的内存,像作事器内存这种高端内存,但不是HBM,毛利率本体上比HBM更高。原因在于Nvidia对内存制造商施加了如斯大的压力,对吧?他们但愿HBM的内存一代比一代更快,但并不一定是像其他东说念主那样用于作事器。
AMD:好多巨头赞理,但仍不及以叫板英伟达迪伦:
当今这意味着什么,这意味着,嘿,即使三星可能达到了4级,对吧,或者他们之前达到的3级,他们也无法达到Hynix当今的水平。竞争敌手在作念什么,对吧?AMD和亚马逊在说什么?AMD明确示意他们的GPU更好,因为他们提供了更多的内存,对吧?他们提供了更多的内存和更多的内存带宽。这即是AMD的GPU被认为更好的唯一原因,芯片上的HBM内存。
迪伦:
好的,这是在封装上,对吧?具体来说,是的。然后当咱们看亚马逊时,他们在reinvent上的一切,如果你真的和他们谈过,当他们告示Trinum 2时,咱们对于它的总共帖子和分析是,从供应链的角度来看,这看起来像是亚马逊Basics TPU,对吧?它还可以,对吧?但它真的很低廉,A&B,它提供了市集上任何芯片每好意思元最多的HBM容量和最多的HBM内存带宽。因此,对于某些控制来说,使用它是专门旨的。是以这是一个的确的转化,嘿,咱们可能无法像Nvidia那样联想,但咱们可以在封装上搁置更多的内存。
当今,这只是问题的一个方面,你知说念的,这是一个多方面的问题。他们的网罗材干远远不够好,他们的软件远远不够好,他们的狡计单元也不够好。他们,天哪,他们每好意思元的内存带宽更多。
比尔:
好吧,这即是咱们想在时分耗尽之前酌量的,即是谈谈这些替代决策,你刚刚初始这么作念。是以尽管有通盘令东说念主咋舌的事理,似乎莫得东说念主会想与Nvidia争斗,但许多东说念主正在尝试,对吧?我以致听到有东说念主指摘那些还莫得尝试的,比如OpenAI一直在指摘他们我方的芯片。这些其他参与者推崇如何?你会如何评估?让咱们从AMD初始,因为它是独处公司,然后咱们再谈谈一些里面神态。
迪伦:
是的,是以AMD在硅工程方面作念得很好,对吧?从硅工程的角度来看,他们是有竞争力的,但你知说念,kickton告诉咱们,但这就像,你知说念,从婴儿那里偷糖果一样。
比尔:
他们从这里初始,我认为在20年的时分里,这是相配令东说念主咋舌的。
迪伦:
是以AMD稀奇好,但他们短少软件。AMD不知说念如何作念软件,我认为他们上头的开发者很少。他们不会用钱为我方建造一个GPU集群,以便他们可以开发软件,对吧?这简直是放肆的,对吧?
迪伦:
像Nvidia一样,你知说念的,前500名超等狡计机列表并不联系,因为大多数最大的超等狡计机,比如Elon的X和微软等齐不在上头。但Nvidia在前500名超等狡计机列表上有多个超等狡计机,他们完全里面使用它们来开发软件,岂论是网罗软件、狡计软件、推理软件,通盘这些东西,你知说念的,测试他们所作念的通盘调动,然后推出更新,你知说念的,如果XAI因为软件不责任而不悦,视频将在第二天或两天后推出更新,就像时钟一样,对吧?因为当你在训练模子时,总会有许多东西不停出错。
AMD不这么作念,对吧?我不知说念为什么他们不必钱买一个大型集群,另一件事是他们不知说念如何进行系统级联想。他们一直生活在一个与Intel竞争的天下中。是以如果我制造了一个比Intel更好的芯片,那么我就很棒,因为软件是x86。
比尔:
它是X,我的有趣是Nvidia并不瞒哄他们是一个系统公司,是以他们应该仍是读过通盘这些。
迪伦:
是的,是以他们收购了这个系统公司Zt systems,但在那里,你知说念的,总共机架畛域架构,谷歌在2018年与GPU V3总共部署。
比尔:
有莫得超大畛域公司对AMD的生效如斯感有趣,以至于他们与AMD相助?
迪伦:
是以超大畛域公司齐有我方的定制硅致力于,但他们也在以不同的方式匡助AMD,对吧?是以Meta和微软在软件方面匡助他们,对吧?匡助AMD的进程还不及以让AMD赶上或接近。他们在AMD应该作念什么方面匡助了好多,对吧?
迪伦:
是以其他东说念主领略到的是,如果我领有天下上最佳的工程团队,那并不可告诉我问题是什么,对吧?问题有这个、这个、这个。它有这些衡量。AMD不知说念软件开发,不知说念模子开发,不知说念推理,不知说念推理经济学是什么方式。那么他们如何知说念应该作念出什么衡量?我是否应该在芯片上更用劲地推动这个杠杆,这将使我不得不在其他方面留意,或者我到底应该作念什么,对吧?但超大畛域公司在匡助,但匡助的进程还不及以让AMD与Nvidia处于合并时分线。
比尔:
AMD在来岁的东说念主工智能收入方面会有多生效?他们可能会在哪些方面取得生效?
迪伦:
是的,我认为他们与微软的生效会比本幼年,他们与Meta的生效也会比本幼年。这是因为像他们塑造的方式那样,AMD的GPU本体上对中国的法例来说相配可以。但总体而言,我认为AMD会作念得可以。他们将从市集中收货,只是不会像东说念主们但愿的那样大获生效,他们的总营收份额来岁会着落。
比尔:
好的?
迪伦:
但他们仍然会作念得很好,对吧?数十亿好意思元的收入不是微不及说念的。
谷歌TPU:第二多AI负载的三大优点比尔:
让咱们谈谈Google TPU。你之前说过它领有第二多的责任负载,似乎收支很大,它稳居第二位。
迪伦:
是的,是以这即是总共系统和基础门径问题愈加弥留的处所。
迪伦:
每个单独的GPU自己并不那么令东说念主印象深入。对吧?它有可以的网罗,有可以的架构等等,内存也还可以,对吧?就像它自己并不那么令东说念主印象深入,迪士尼 彩乐园但当你说到,嘿,如果我消耗X金额,那么我的系统会怎样?谷歌的TPU看起来很了不得。是以谷歌为一些英伟达可能莫得那么柔软的事情进行了工程联想。是以本体上,芯片之间的互连在某些方面可能具有竞争力,以致比英伟达更好,在其他方面则略逊一筹,因为他们一直在与博通相助,你知说念,博通是网罗畛域的天下引导者,你知说念,与他们总共制造芯片。自2018年以来,他们一直在扩大畛域,对吧?
英伟达在指摘GB 200 NVL 72 GPU今天达到8000,对吧?诚然它不是一个交换机,而是一个点对点的衔接,你知说念,有一些时候上的眇小鉴别。是以并不是说这些数字即是你应该柔软的全部,但这很弥留。
迪伦:
另一个方面是谷歌多年来一直在引入水冷时候,对吧?英伟达刚刚刚硬到这一代产物需要水冷,而谷歌引入了一种英伟达GPU所不具备的可靠性水平。你知说念,一个不为东说念主知的机密是去问东说念主们GPU在云中或部署中的可靠性率是若干。就像,哦天哪,它们的可靠性也就那样,但尤其是在最初,你必须拿出大致5%。
布拉德:
如果它们在谷歌以外莫得更买卖化生效的话。
迪伦:
我认为谷歌保留了好多他们的软件,当他们应该将其开源时,因为,谁在乎呢?你知说念,这是其中一个方面。你知说念,DeepMind使用的好多软件根柢无法在Google Cloud 2上使用。
比尔:
即使是他们的Google Cloud产物相对于AWS也有这种偏见。
迪伦:
第二,它的订价,嗯,它并不是那么过分,在标价上,就像GPU在Google Cloud上的标价亦然过分的。
迪伦:
但你知说念,行为一个个东说念主,当我租用GPU时,你知说念,我告诉谷歌,嘿,你知说念,等等。你就像,好的,你可以绕过第一轮谈判,将其裁减,但然后你就像,望望来自甲骨文或微软或亚马逊或Core Weave或80个Neo Clouds之一的这个报价。谷歌可能不会像许多这些公司那样匹配,但他们如故会裁减价钱,因为他们,你知说念,然后你就像,哦,好吧,你知说念,如果我想租用一个H-100两年或一年,哦是的,我可以以略高于两好意思元的价钱得到它,而不是他们报价的4好意思元,对吧?而GPU,它就在这里。你不知说念你可以在这里得到它。是以东说念主们看到标价,他们就像,你以为那会改变吗?我看不出有什么事认识改变。
迪伦:
是以第三点是谷歌最佳将他们通盘的GPU用于里面使用。趁便说一下,微软租用的GPU很少,对吧?他们本体上从将GPU用于里面责任负载或用于推理中赢得更多的利润,因为出售tokens的毛利率是50%到70%,对吧?出售GPU作事器的毛利率比阿谁低,对吧?是以诚然它是一个可以的毛利率,但它是这么的。
布拉德:
你知说念,他们仍是示意,在他们报价的100亿好意思元中,莫得来自我的外部GPU租出。
比尔:
如果Gemini行为一个API变得极具竞争力,那么你将障碍地让第三方使用谷歌TPU。
迪伦:
是的,完全的,告白、搜索、Gemini控制,通盘这些齐使用GPU。是以并不是说你知说念,你知说念,你上传的每一个YouTube视频齐经过TPU,对吧?它也经过他们我方为YouTube制造的其他芯片,但有好多东西会涉及TPU,但你不会告成租用它,对吧?因此,当你看租出市集时,唯唯一家公司占谷歌TPU收入的70%以上,据我了解,那即是苹果。我认为围绕为什么苹果愤慨英伟达有一个很长的故事。但你知说念,那可能是另一个时分的故事。
亚马逊的芯片:基础TPU?比尔:
但你刚刚作念了一篇对于训练他们的深入报说念。为什么你不作念一篇对于谷歌的亚马逊版块呢?
迪伦:
是的,是以有趣的是,亚马逊的芯片,我称之为亚马逊的基础TPU,对吧?我之是以这么名称它,是因为是的,它使用了更多的硅,是的,它使用了更多的内存,是的,网罗在某种进程上与TPU相配,对吧?它是一个4乘4乘4的环面。他们只是以一种效果较低的方式来作念这件事,你知说念,嘿,他们在行动电缆上消耗了更多的钱,因为他们与Marvell和L芯片相助,而不是与博通相助,博通是网罗畛域的引导者,然后可以使用被迫电缆,对吧,因为他们的芯片稀奇强项。还有其他一些事情。速率更低。他们消耗了更多的硅面积,你知说念,对于Tranium的通盘这些事情,你可以望望它,然后就像,哇,如果这是一个商用硅产物,那会很倒霉,但它不是,因为亚马逊莫得支付博通的利润率,对吧?
他们支付的利润率更低。他们莫得支付HBM的利润率,他们支付的是,你知说念,他们支付的利润率总体上更低,对吧?支付给Marvell的HBM利润率,你知说念,他们作念了通盘这些不同的事情来将价钱压低到他们的亚马逊基础TPU Tranium 2,对吧,对最终客户和他们我方来说,就HBM每好意思元、内存带宽每好意思元而言,稀奇具有成本效益。
它有这个64的天下畛域。当今亚马逊不可在一个机架中作念到这极少,本体上需要他们两个机架来终了64,每个芯片之间的带宽比英伟达的机架慢得多,他们的每个芯片的内存比英伟达的低,他们的每个芯片的内存带宽也比英伟达的低。但你不会支付特出30000好意思元,你知说念,每个芯片40000好意思元的作事器。你支付的是,你知说念,昭着更少,对吧,每个芯片5000好意思元,对吧?你知说念,这就像对亚马逊来说是一个重大的上风,然后他们将其传递给客户,对吧?因为当你购买英伟达GPU时,是以有一些正当的用例,因为这个,对吧?
迪伦:
亚马逊和Anthropic决定,你知说念,制造一个400000 Tranium作事器,超等狡计机,对吧,400000芯片,对吧?回到总共扩展规章已死的问题,哦,他们正在制造一个400000芯片的系统,因为他们的确折服这极少,对吧?而在一个地点的400000芯片对于推理作事来说并装假用,对吧?它适用于制造更好的模子,对吧?你但愿你的推理愈加分布。是以,这是他们的一项重大投资,诚然从时候上讲并不那么令东说念主印象深入,但有一些令东说念主印象深入的处所,我有点一带而过,它稀奇低廉且具有成本效益。我认为这对亚马逊来说是一个可以的举措。
布拉德:
也许只是总结一下,我想稍稍转向一下,你知说念,你在25年和26年看到的情况,对吧?举例,在畴昔的30天里,你知说念,博通一直在爆炸性高涨,而英伟达的来往则有所回落。我认为在畴昔30天里,博通和英伟达之间的差距大致有40%,你知说念,博通是定制ASIC的热点,你知说念,东说念主们质疑英伟达是否靠近好多新的竞争,你知说念,是否莫得以前那么快地逾越。望望你的水晶球,25年和26年,你与客户指摘的是什么,你知说念,在你所涵盖的畛域中,你认为哪些是最被误会的,最佳的主张?
迪伦:
是以我认为有几件事情是,你知说念,博通确乎有多个定制ASIC的得手,对吧?它不单是是谷歌在这里。Meta是Meta正在加快,主如果用于保举系统的炉子,但他们的定制芯片会变得更好。
你知说念,还有像OpenAI这么的其他参与者正在制造芯片,对吧?你知说念,还有苹果,他们莫得完全与博通总共制造总共芯片,但其中一小部分将与博通总共制造,对吧?你知说念,他们有好多得手,对吧?当今这些齐不会。
它是一个定制的a6。是以就像,就像它可能会失败,不会很好,就像微软的那样因此从未加快,或者它可能会稀奇好,至少你知说念,性价比好,就像亚马逊的那样,况且会加快好多,对吧?是以这里有一些风险,但博通有阿谁定制ASIC业务,一和二。
稀奇弥留的是,网罗方面稀奇弥留,对吧?是的,英伟达正在销售无数的网罗斥地,但当东说念主们制造我方的ASIC时,他们会作念什么,对吧?是的,他们可以去亚马逊或者不去,但他们也需要将许多这些芯片衔接在总共,或者抱歉,去博通或者不去,他们可以去Marvell或其他许多竞争敌手,比如Al Chipper。你可以看到,你可以... 博通稀奇合适制造NV交换机的竞争产物,许多东说念主会认为这是英伟达在硬件方面相对于其他东说念主的最大竞争上风之一。博通正在制造一个他们将推向市集的竞争产物,对吧?多家公司将使用它,不单是是AMD会使用阿谁NV交换机的竞争产物,但他们我方不制造它,因为他们莫得这个手段,对吧?他们将去Rod来赢得它,对吧?
25、26年,AI芯片巨头最看好谁?布拉德:
是以,当你琢磨半导体市集时,给咱们作念一个判断,你知说念,你有ARM、博通、英伟达、AMD等等,总共市集在咱们干预25年和26年时是否会链接造就?谁在面前水平上最有上风,谁最被高估,谁最被低估?
迪伦:
我认为我弥远眺好博通,但在接下来的六个月里,谷歌TPU的购买会有所放缓,因为他们没稀有据中心空间。他们想要更多,他们只是真的没稀有据中心空间来搁置它们。是以本体上,你知说念,咱们可以看到他们有点暂停,但东说念主们可能会超越这极少,对吧?
问题是,谁赢得什么定制ASIC来往,对吧?Marvell会赢得畴昔几代吗?博通会赢得畴昔几代吗?这些几代会有多大,超大畛域公司能否里面化越来越多的这些,或者不,对吧?谷歌试图离开博通不是机密。他们可能会生效,也可能会失败,对吧?
布拉德:
不单是是博通。我在指摘英伟达和其他通盘东说念主,你知说念,咱们仍是经验了这两年的重大顺风,对吧?2025年是整合的一年吗?你认为这是该行业推崇精良的又一年吗?
迪伦:
我只是认为,我认为超大畛域公司的绸缪相配明确,他们来岁将消耗无数资金,对吧?因此,网罗参与者、ASIC供应商、系统供应商的生态系统将推崇精良,岂论是Marvell如故博通如故AMD如故其他,你知说念,一些比其他更好。
2026年,还会链接增长吗?GPU租出市集合怎样迪伦:
东说念主们的确应该柔软的问题是2026年,支拨是否会链接,对吧?咱们不是英伟达的增长率来岁将稀奇惊东说念主,对吧?这将带动总共组件供应链上升。它将携带许多东说念主总共前进。但2026年是算帐的时候,对吧?但你知说念,东说念主们会链接这么用钱吗?这齐指向模子是否会链接变得更好?因为如果它们不再链接变得更好,事实上,来岁会变得更好,那么就会有一个大的,你知说念,清理事件,对吧?但那不是来岁,对吧?
你知说念,我还会说,Neo Cloud市集正在整合,对吧?
迪伦:
咱们正在追踪、与之交谈、看到的80个Neo Clouds,他们有若干GPU,对吧?问题是,如今如果你望望H-100的租出价钱,它们正在暴跌,对吧?不单是是在这些Neo Clouds,对吧?你以前必须作念四年来往并预支25%。你签一个风险投资轮次,你会购买一个集群,就这么,对吧?你租一个集群,对吧?如今,你可以在三个月、六个月的来往中以比以前的四个月或四年、三年来往更好的价钱赢得Hopper,对吧?而且,这不单是是通过Neo Clouds。
亚马逊对,你知说念,按需GPU的价钱当今也鄙人降。它仍然很贵,相对而言,但价钱着落得稀奇快。80个Neo Clouds不会生计,也许会剩下5到10个。那是因为其中五个是主权的,对吧?然后其他五个本体上是市集竞争力的。
比尔:
那些可能无法生计的Neo Clouds的行业AI收入占多大比例?
迪伦:
是的,是以你可以大致说超大畛域公司占收入的50%傍边,50%到60%,其余的是Neo Cloud和主权AI,因为企业的GPU集群采购仍然相配低,最终对他们来说,只消简略通过安全,他们就可以将外包给Neo Clouds。对于某些公司,比如Corby,他们可以作念到这极少。
布拉德:
有莫得一种情况,到2026年,行业总体销量本体上会比2025年着落,或者英伟达的销量会从2025年大幅着落?
迪伦:
是以当你看到行将到来的定制ASIC联想以及英伟达的芯窄小,每个芯片的内容和收入齐在爆炸式增长,制造Blackwell的成本是制造Hopper的两倍多,对吧?是以英伟达可以以疏浚的销量出货,仍然大幅增长。
2026年,Meta和微软的解放现款流接近0布拉德:
对,而不是单元销量。有莫得一种情况,到2026年行业收入会着落,或者英伟达的收入会着落?
迪伦:
2026年会以专门旨的方式着落吗?问题是,模子是否会链接变得更快、更好,超大畛域公司是否惬心将他们的解放现款流降至0?我认为他们会。趁便说一下,我认为Meta和微软以致可能将他们的解放现款流降至接近0并链接支拨,但这唯独在模子链接变得更好的情况下才会发生。
迪伦:
这是A,然后B,咱们是否会从东说念主们那里赢得无数老本流入?咱们还莫得从中东、新加坡和北欧的主权钞票基金以及加拿大养老基金等赢得,他们可以开出稀奇大的支票。他们还莫得,但他们可以。如果事情链接变得更好,我确乎折服OpenAI和XAI以及Anthropic将链接筹集越来越多的资金,并链接进行不单是是,嘿,OpenAI的收入当今是80亿好意思元,来岁可能会翻倍或更多。那是他们的支拨。不,不,不,他们必须筹集更多资金以显耀增多支拨,这将使引擎链接运转,因为一朝其中一家公司支拨,埃隆本体上迫使每个东说念主增多支拨,对吧,因为他的集群和他的绸缪,因为每个东说念主齐在想,咱们不可被埃隆超越,咱们必须增多支拨,对吧?是以这亦然一种怕死鬼游戏。哦,他们购买了这个,咱们必须匹配他们或者作念得更大,因为这是一场畛域游戏。是以,你知说念,从某种意旨上说,就像帕斯卡的赌注一样,对吧?
如果我支拨不及,那将是史上最倒霉的情况,我将是史上最倒霉的CEO之一,但如果你支拨过多,是的,鼓吹会不悦,但不要紧,对吧?它是200亿好意思元、500亿好意思元。
比尔:
你可以以任何方式刻画这极少,因为如果这成为这么作念的事理,你过度支拨的可能性细目会上升。
迪伦:
每一个泡沫,咱们齐会过度支拨。
布拉德:
你知说念,对我来说,你知说念,你说一切齐取决于模子的修订。我会再进一步,你知说念,回到萨提亚上周对咱们说的话。最终,一切齐取决于购买GPU的东说念主产生的收入,对吧?就像他上周说的,我会每年购买一定数目的GPU,这将与我当年或畴昔几年简略产生的收入联系。是以他们不会远远超出这些收入支拨。是以他正在看什么,你知说念,他本年有100亿好意思元的收入。他了解这些推理收入的增长率,他和艾米正在作念出一些预测,望望他们能职守得起若干支拨。
全球齐在超前透支,是卷亦然泡沫布拉德:
我认为扎克伯格在作念一样的事情。我认为桑达尔也在作念一样的事情。是以如果你假定他们是在感性行事,那么不单是是模子在修订,还有使用他们作事的基础企业遴荐率的造就,以及消费者遴荐率的造就以及消费者惬心为使用ChatGPT或Claude或其他作事支付的用度。是以,如果你认为基础门径支拨将以每年30%的速率增长,那么我认为你也必须折服基础的推理收入,对吧?
布拉德:
岂论是消费者方面如故企业方面,齐将在阿谁范围内增长。
迪伦:
天然,细目有提前支拨的要素,对吧?对于在某一时分点的支拨与,你知说念,我认为作事器畴昔五年的收入是若干,我认为细目有这方面的因素。但完全正确的是模子,模子修订的全部意旨在于什么能产生更多收入,对吧,然后被部署。是以我认为我甘愿这极少,但东说念主们细目在支拨上超前于面前的绸缪。
布拉德:
嗯,这即是让它变得有趣的处所。你知说念,很欢笑有你在这里。我是说,你知说念,行为一个同业分析师,你们作念了好多深入的联系。祝愿你们业务的生效。我认为你们为总共生态系统提供了好多弥留的信息。
你知说念,对于“担忧之墙”的一件事是咱们齐在指摘和寻找的东西,对吧?泡沫。未必这恰是破损泡沫的确发生的原因。
布拉德:
你知说念,行为一个投资者和分析师,我看到的是,确乎有东说念主在支拨,但他们的收入并不稀奇,正如你所说,支拨远远超前。另一方面,直露说,咱们上周从萨查那里传奇了,他说,听着,我有收入。我仍是说出了我的收入。我莫得从其他东说念主那里听到这个,对吧?是以,2025年谁会带着收入出现将很有趣。我认为你仍是看到一些较小的二三线模子在改变,买卖模式被放弃,不再参与这里的投资武备竞赛。我认为这是创造性放弃经过的一部分,但很欢笑有你在这里。
比尔:
是的,稀奇感谢,迪伦。
布拉德:
稀奇感谢你,比尔。很欢笑在这里见到你,比尔,期待来岁再会。
迪伦:
太棒了,谢谢,好的。
布拉德:
领导群众迪士尼彩乐园软件下载,这只是咱们的不雅点,不是投资建议。