304永利集团官网入口-都在说缺算力,90% 的 AI 芯片却被「浪费」了?
首页财产ai正文 都于说缺算力,90% 的 AI 芯片却被「华侈」了? AI公司重金囤算力,使用率却极低。如前沿试验室GPU使用率不到10%,企业峰值负载下GPU使用率也低,华侈严峻。“产出最年夜化”或者成新标的目的。 2026-06-29 13:17 ·微信公家号:极客公园 作者 宇航猿 编纂 靖宇 作者 宇航猿 编纂 靖宇 AI投资人解读· 据估算,到2025年末OpenAI等效算力将暴增17倍,但行业内GPU使用率低,年夜量算力闲置华侈。aixenergy研究显示,AI练习中GPU有30%-65%时间因数据未预备好闲置,且深层余暇仍耗电。· 行业现存贸易模式鼓动勉励华侈,跟着按利用量计费模式普和,以和情况成本压力,晋升GPU使用率成为要害。总结:AI行业算力采购与耗损掉衡,使用率亟待晋升。这不仅关乎成本与效率,更影响情况。跟着行业模式改变,优化算力使用将成新竞争点,有望催生新厘革。内容由AI天生,仅供参考
全世界最昂贵的华侈,正发生于最智慧的公司里。
当你正 Vibe Coding 嗨到不行,或者者跑着的项目忽然停摆,打开 CLI 东西一看,「你的额度已经用完」字样呈现时,心态不崩是不成能的。
你还有别问,问 AI 公司就是「缺算力」。
但工作真的云云吗?
Epoch AI 的阐发师估算,到 2025 年末,OpenAI 等效拥有的算力约相称在 170 万块 H100。这个数字于 2023 年是 10 万块,2024 年是 40 万块——两年暴增 17 倍。英伟达市值冲破 3 万亿美元,全世界科技巨头每一个季度砸下数百亿美元抢购芯片。一切看起来都指向统一个叙事:算力就是 AI 的石油,谁囤患上多,谁就赢。
每一家 AI 公司都于砸重金囤卡囤算力,怎么可能差我那点额度?!
于播客 Latent Space 的一期节目里,AI 基础举措措施公司 AMP 的开创人 Anjney Midha 说:「像 xAI 如许的前沿试验室,GPU 使用率可能不到 10%——这只是真正问题的冰山一角。」
我做了一次简朴的换算。MFU(Model Flops Utilization,模子浮点运算使用率)是权衡 GPU 算力真正用在模子计较的指标。假如你花 5 亿美元买了一个 GPU 集群,MFU 只有 10%,象征着你现实得到的有用算力相称在只花了 5000 万美元。剩下 4.5 亿美元的算力,于空转。
说欠亨之处于在,这些是全球最智慧的工程团队,花着全球最昂贵的预算,制作全球最 进步前辈的计较集群——然后让 90%的算力闲着。
这不是某家小公司的治理掉误,这是一个布局性的行业奥秘。
01
巨量采购,巨量华侈
让我把这个反差拆解患上更详细一些。
Epoch AI 的阐发师 Josh You 于一份被广泛援用的陈诉中写道:「前沿试验室还没有利用年夜部门 AI 算力。」他追踪了重要试验室的算力增加曲线,发明一个使人不安的模式——算力的采购速率远远跨越了算力的耗损速率。年夜量计较资源处在「贮备」或者「闲置」状况,像是被囤积的战略物质,而非正于燃烧的燃料。
这不是前沿试验室独占的问题。
Fujitsu 于其 2024 年发布的《AI 基础举措措施状况陈诉》中援用了一组更耀眼的数据:跨越 75%的企业于峰值负载下,GPU 使用率仍低在 70%。留意,这是「峰值」——也就是说,于最忙的时辰,四分之三的企业连七成算力都用不满。
VentureBeat 基在近似数据做了一个更激进的判定:「95%的 AI 基础举措措施开支被华侈了。」
我试着把这些数字转化为详细的款项丧失。一块 H100 的云实例每一小时收费 30 到 50 美元。假定一个企业运行着 20 块 GPU 的小型集群,使用率只有 20%——这于行业中已经经算不错了——那末每一年因闲置而华侈的计较成本约为 20 万美元。对于在拥有数万块 GPU 的前沿试验室来讲,这个数字要乘以几个数目级。
这让我想起了一段被遗忘的汗青。
1990 年月末,美国电信行业履历了一场疯狂的光纤铺设热潮。WorldCom、Global Crossing、Level 3 等公司于地下埋设了数百万英里的光纤电缆,投入了跨越千亿美元。但到了 2001 年泡沫分裂时,行业发明一个惊人的事实:铺设的光纤中,跨越 95%是所谓的「暗光纤」(dark fiber)——从未被点亮,从未承载过任何数据。它们平静地躺于地下,像是安葬了一个时代的大志。
这及今天 AI 行业买了 GPU 却让它们空转,是否是统一个故事的差别版本?
但这里有一个要害的区分。暗光纤的问题重要是需求侧的——其时底子没有那末大都据需要传输。而 GPU 闲置的问题更繁杂,由于算力需求明明就于那里。每一家试验室都于诉苦算力不敷用,每一个研究者都于列队等 GPU。
供应及需求都存于,中间到底卡于了哪里?
02
GPU 65% 的时间于等候
我曾经经无邪地以为,GPU 使用率低是由于事情负载不敷。厥后我去读了一些基础举措措施层面的技能阐发,才意想到问题彻底不是如许。
GPU 不是一头只要喂食就会干活的野兽。它更像一名抉剔的米其林年夜厨——食材的品质、上菜的节拍、厨房的动线,任何一个环节出问题,它城市停下来等。
aixenergy 的一项研究展现了一个令我受惊的数字:于 AI 练习历程中,GPU 有 30%到 65%的时间处在闲置状况。不是由于没有使命分配给它,而是由于数据还有没预备好。
这就是所谓的「数据饥饿」问题。
练习一个年夜模子需要海量数据,这些数据需要颠末洗濯、标注、分词、打包等一系列预处置惩罚步调,然后从存储体系加载到 GPU 的显存中。GPU 的计较速率因此每一秒万亿次浮点运算(TFLOPS)来权衡的,但存储体系的 IO 速率远远跟不上这个节拍。成果就像一条高速公路上,收费站的吞吐量决议了现实车流量——无论你把公路修到几十车道宽,收费站一次只能过两辆车,后面全于堵。
但故事还有没完。我于 arXiv 上找到一篇关在 GPU 能耗的论文,它展现了一个更隐藏的问题:纵然 GPU 进入了所谓的「深层余暇状况」(deep idle),它仍旧于年夜量耗电。Epoch AI 的数据显示,GPU 数据中央的总功耗中,约 40%直接来自 GPU 自己。这象征着那些等候数据的 GPU 不仅没于干活,还有于烧电,并且烧的是不小的量。
这就像一辆法拉利堵于早岑岭的环路上:引擎空转,油于烧,但车没动。而你还有于为这辆车付出每一小时 50 美元的房钱。
还有有一个更微妙的陷阱。那篇 arXiv 论文指出,今朝行业通用的监控指标「集群级 SM 使用率」,实在其实不能有用反应真实能效。SM(Streaming Multiprocessor,流式多处置惩罚器)是 GPU 内部的计较单位。即便监控面板显示 SM 使用率看起来正常,现实上许多计较周期于做「假事情」——数据搬运、内存同步、等候通讯,而非真实的模子计较。
这注释了一个我以前困惑的征象:为何有些团队陈诉「GPU 使用率 70%」,但练习速率却远低在预期。由于那 70%内里,可能只有一半于做有用计较,剩下的于做后勤。峰值负载使用率就像公司的「最 佳季度营收」——它是真的,但它不代表常态。用它来权衡效率,就像用你跑患上最快的那一次百米成就,来评估你的一样平常通勤速率。
当问题出于布局而非范围上时,堆量不仅不克不及解决问题,反而会让华侈等比放年夜。
03
当「用好算力」酿成一门新学科
假如问题是布局性的,那解法也必需是布局性的。这恰是 Anjney Midha 于那期播客中提出的焦点命题。他用了一个词:「outputmaxxing」——产出最 年夜化。
这个词初听像硅谷的又一个风行语,但 Midha 给出的基准线让我意想到,它指向的是一个严厉的工程问题。他说:「我认为今朝最 佳实践者的 MFU,年夜概于 60%到 70%之间。」
60%到 70%。这是全球最顶 尖的团队、*化的代码、最精心调校的基础举措措施所能到达的上限。而行业均值连这个数字的零头都不到。
这个差距象征着甚么?象征着对于在年夜大都 AI 公司来讲,假如能把使用率从 10%晋升到 60%,等同在于未几花一分钱的环境下,把有用算力扩展了 6 倍。不需要抢购更多 GPU,不需要建更大都据中央,不需要及英伟达打价格战——只需要把已经经买来的工具真正用起来。
这及云计较行业走过的一条险些如出一辙的路。2000 年月早期,企业的物理办事器平均使用率只有 10%到 15%。每一台办事器运行一个运用,残剩的算力全数闲置。然后 VMware 带来了虚拟化技能,把多个虚拟机塞进统一台物理办事器里。再厥后 Docker 带来了容器化,进一步压缩了资源开消。
到今天,云办事器的使用率遍及到达 60%到 70%。
从 10-15%到 60-70%。这个跃迁花了约莫 15 年,催生了一个万亿美元的云计较财产,完全转变了软件的构建及部署方式。AI 算力此刻站于的位置,看起来就是 2005 年的办事器市场——知道问题于哪里,但体系性的解决方案还有于酝酿中。
贸易模式的变迁,正于加快这个转型。初期的 AI 基础举措措施市场风行「固定用度许可」及「绑缚 Token」模式——企业预支一年夜笔钱,买下必然量的算力配额,用不完也不退。这类模式自然鼓动勉励华侈,由于边际成本为零,没有人有动力去优化使用率。
VentureBeat 的阐发指出,跟着行业逐渐转向按利用量计费,闲置基础举措措施的成本压力,正于从「被纰漏的配景噪音」酿成「出产阶段的紧迫事项」。
当每个空转的 GPU 周期,都直接对于应着账单上的一个数字时,「产出最 年夜化」就再也不是一个技能抱负,而是一个财政号令。
与此同时,情况成本也于倒逼效率革命。
Towards Data Science 的阐发指出,大都 GPU 的闲置象征着全世界 AI 计较的碳排放中,有相称一部门是「无效排放」——它们没有产出任何智能,只是把电酿成了热。GPU 数据中央 40%的功耗来自 GPU 自己,而此中年夜量耗损于空转及深层余暇状况上。这不单单是钱的问题,更是资源及情况的问题。
Fujitsu 于 2024 年发布了一份技能白皮书,标题直接了当:「最 年夜化 GPU 使用率」。DevZero、Prodia、Mirantis 等一批基础举措措施公司也纷纷发文切磋「为什么 80%的 GPU 闲置」以和各自的优化计谋。这类行业规模内的团体焦急,自己就是一个旌旗灯号——问题已经经年夜到没人能继承伪装看不见了。
人们纰漏了一件主要的事,于 AI 竞赛的叙事中,「范围」一直是唯 一的主角。谁拥有至多的 GPU、谁练习了最 年夜的模子、谁花了至多的钱——这些是头条新闻的素材。但效率从来不是头条。没有人会写「某公司把 GPU 使用率从 15%晋升到 50%」的新闻,只管从现实产出来看,这可能比多买 10 万块 GPU 更有价值。
Midha 的「产出最 年夜化」之以是值患上当真看待,是由于它表示了一个范式转移:
AI 竞赛的护城河正于从「谁能买到更多算力」转向「谁能从一样的算力中压迫更多智能」。前者是一场本钱的耗损战,后者是一场工程的周详战。前者的上限取决在你的银行账户及英伟达的产能,后者的上限取决在你对于计较物理学、漫衍式体系及数据工程的理解深度。
这不是一个渐进式的优化问题,也是一门新学科的降生。
每一一次基础举措措施革命好像都遵照不异的脚本:先是疯狂设置装备摆设,然后发明年夜部门产能于华侈,接着一批新的公司及技能呈现,专门解决「怎样用好已经经建好的工具」。铁路时代云云,电力时代云云,互联网时代云云,云计较时代云云。AI 算力走到了这条弧线的拐点上。
但这一次有一个成心思的差别。以前每一一次效率革命,优化的对于象都是相对于「笨」的资源——蒸汽、电力、带宽、办事器周期。而这一次,咱们试图优化的资源自己,正于被用来创造某种情势的智能。当你把一块 GPU 从空转状况「叫醒」,让它真正介入模子练习时,你增长的不单单是使用率百分比——你增长的是这个世界上正于思索的硅基年夜脑的数目。
或许,AI 时代最主要的问题从来不是「咱们能制造几多算力」,而是「咱们已经经拥有的算力中,有几多真正于思索」。
【本文由投资界互助伙伴微信公家号:极客公园授权发布,本平台仅提供信息存储办事。】【免责声明】:本文不组成任何投资建议。市场有危害,投资需审慎。若有任何疑难,请接洽(editor@zero2ipo.com.cn)投资界处置惩罚。
-304永利集团官网入口




