IT极限技术分享汇
今天凌晨的苹果WWDC证实了一点：AI推理算力将长期处于“云端为主”的状态，这个“长期”至少是三到五年。
是的，苹果与OpenAI建立了战略合作，计划将下一代iOS系统与ChatGPT深度融合；但是绝大部分生成式AI推理，包括文字和图片生成任务，仍将上传到ChatGPT的数据中心，在云端完成。
关于这一点，OpenAI在公告中已经说得很清楚了：苹果的“端侧AI”主要仍局限于软件层面。
如果连苹果都做不到推理算力的“端侧化”，那么其他手机厂商就更做不到了。
PC端可能比移动端的进展稍微好一点，但是在可见的未来，大部分AI PC（包括桌面工作站）仍将基于英伟达的桌面级显卡，而且只能执行参数规模相对较小的（蒸馏后的）大模型推理。
无论从技术角度还是成本角度考虑，大模型及应用开发商都会更乐意在云端即数据中心完成大部分推理任务。
资本市场再次认识到了这一点，所以WWDC举行之后，苹果股价下跌而英伟达股价微涨。
在未来很长一段时间里，我们不必过多考虑“端侧算力”。既然如此，国内AI算力紧缺的问题，就不可能通过发展所谓“端侧算力”的方式去解决。自从2022年11月底ChatGPT横空出世以来，国内AI算力几乎始终处于紧缺状态，这是由下列因素共同决定的：
全球AI算力均十分紧缺，尤其在制造端，英伟达H系列显卡仅能由台积电代工（三星不行），产能瓶颈将持续到多年以后。
美国芯片出口禁令日益严格，尤其在2023年下半年的全方位加强之后，许多“后门”被堵上了，国内厂商采购数据中心级显卡的难度与日俱增。
我们知道，AI大模型所需算力分为训练和推理两种，前者的要求更高一些；国内的现状则是两种算力都缺乏。
讽刺的是，前几年国内发展云游戏期间，互联网大厂和电信运营商均采购了一批英伟达Turing架构的显卡用于架设RTX刀片服务器，这些显卡可以用于AI推理；如果没有云游戏，国内推理算力的瓶颈将更加严重。
中国游戏产业是一个任劳任怨的背锅产业，谁都能来踩一脚，谁都能污名化，但是拯救所谓“硬科技”产业偏偏还得靠它！
即便如此，国内AI推理算力的供需关系仍然十分紧张。所以，过去一个月国产大模型的“降价”举措，很大程度上仅仅是行为艺术罢了。尤其是对于B端客户而言，无论大模型API的调用价格降到多低，关键在于能不能买到量。
现在的问题就是“有价无市”：只有极小规模的采购才能以“刊例价”执行，稍大规模的采购就必须找销售人员单独洽谈并排队，实际成交价格难以预料（肯定远高于“刊例价”）。
不要说B端用户，哪怕C端用户也能感受到推理算力的紧张：国内的几个最流行的AI大模型应用，免费用户在高峰期几乎一定会遇到需要排队的状况，必须充值或打赏才能加快进度。
要知道，目前国内主流生成式AI应用的DAU普遍只有几百万量级，推理算力就已经如此匮乏；如果真的出现上亿DAU的AI超级应用，算力几乎肯定是跟不上的——所以目前国内不可能出现这样的超级应用。
（注：文心一言和通义千问均自称累计用户超过1亿、每日API调用次数超过1亿，但是与1亿DAU还差很远；豆包估计也差很远。）
可以想象，比推理要求更高的训练算力更加紧缺。
2024年2月，字节跳动在一篇论文当中公布了它于前一年9月组建的“万卡集群”。遗憾的是，它是由1.2万张（比较落后的）A100显卡组成，而美国科技巨头早已换上了由（更先进的）H100组成的“万卡集群”，例如Meta的LLaMA-3就是由2.5万张H100组成的集群训练的；以亚马逊为代表的云计算大厂正在积极转向（更更先进的）B100及GB200算力集群。
A系列显卡发布于2020年，当时芯片禁令尚未出台，国内采购没有多大障碍；H系列发布于2022年，芯片禁令已经出台，但是国内仍然可以通过采购“专供版”（主要是H800）的方式绕过；B系列于2024年发布，此时绕过芯片禁令的途径已经非常狭窄、朝不保夕。
长期、严重的算力瓶颈，给国内AI产业带来了两个深刻影响。
首先，算力紧缺意味着算力价格高昂（无论以自购显卡还是租用的形式），国内所有大模型厂商的售价均无法覆盖训练+推理成本，有些甚至无法覆盖边际推理成本，卖一单亏一单（最近一波降价之后可能亏的更严重）。
其次，国内大部分算力集中在少量科技大厂手中，创业公司高度依赖它们，十分渴望它们以算力的方式投资入股。 结论就是大模型创业在国内是一门非常差的生意，远远比不上当年的移动互联网创业。
下面我们不妨以问答的形式，进一步说明国内AI算力的现状。
问题是市场上最关心的那些问题，回答则不是来自我本人，而是来自我在云计算和AI行业的信赖的朋友，我只是总结他们的答案罢了。
问：目前国内AI算力储备及分布状况大致如何？
答：先说训练使用的“大卡”。
如果把A100-800、H100-800均算作“大卡”的话，那么国内的“大卡”储备肯定超过六位数，甚至可能超过了20万张。问题在于随着技术进步，A系列已经很难再被视为“大卡”了。
如果按照扎克伯格所谓的“H100等效算力”，国内的储备肯定不超过六位数，而仅仅Meta一家的“H100等效算力”就已经超过了30万张，2024年底将突破65万张，远远超过了国内所有大厂的算力储备之和。
具体到算力分布，有两个标准：第一是“掌握的算力”，第二是“能调用的算力”。
阿里这样的云计算大厂掌握了巨大的算力，但其中很大一部分要出租给客户，自家大模型训练和推理能调用的算力未必有绝对优势。
如果只计算“掌握的算力”，国内第一的无疑是阿里，其次是百度、字节跳动，腾讯可能更少一点。掌握一两千张大卡的互联网公司很多，因为内容推荐算法、自动驾驶训练等环节都需要。
至于推理算力的分布就更加驳杂了。
上文提到过，云游戏使用的显卡可以承担一定的推理任务，目前国内的推理算力可能有很大一部分来自以前的云游戏算力。
问：怎么看AI算力的国产替代？
答：在训练端难度极大，哪怕某些国产显卡自称其技术参数能达到A100的水平，它们也不具备NVlink互联技术和CUDA开发环境，从而无法承担大模型训练使命。况且，A100是英伟达2020年发布的产品，在2024年“追上”前者四年前的水平并无先进性可言。
大模型不是原子弹，它是一种重视性价比的民用商品，使用非主流硬件开发出来的大模型可能毫无商业价值可言。但是在推理端，不是完全没有可能，因为推理卡对NVlink和CUDA的依赖程度很小。
英伟达在推理端的城墙仍然很高，但是比起训练端就要差了不少。
问题在于：推理算力的技术路线也在不断变迁，技术变迁的领导者还是英伟达。假如有选择的话，主流大厂肯定乐意采购英伟达的推理解决方案。国内厂商的问题是在芯片禁令之下没有选择，在推理端进行国产替代总归比没有强。
问：怎么看Groq以及国内某些厂商推出的“远超英伟达”的推理卡？
答：在高度特化的技术路线下，确实有可能做出表观技术远超英伟达同期产品的推理卡——但是付出的代价是应用场景十分狭窄。这样的显卡不仅只胜任大模型推理，甚至可能仅胜任某一特定类型的推理。大厂建立数据中心需要考虑通用性以及后续升级需求，高度特化的显卡无法满足这些需求。
上面提到过，云游戏使用的显卡可以用于推理，但高度特化的推理卡可以执行图形渲染任务吗？可以执行自动驾驶等非生成式的推理任务吗？
而且，硅谷那些不差钱的大厂，现在流行以“大卡”同时执行训练和推理任务：速度更快、更具灵活性、管理起来更方便。你的训练任务在全年之中不是平均分布的，可能这三个月训练消耗的算力多一些，接下来推理消耗的算力多一些，统一组建“大卡”集群有助于提升灵活性。
当然，这样做不够经济，所以推理任务主要还是得由推理卡去执行。
我只是想说，英伟达在训练端和推理端的护城河是相辅相成的，不是彼此孤立的。
问：绕过芯片禁令的可能性大吗？目前大家的替代方案是什么？
答：很多人认为，芯片禁令可以以“非正常”手段绕过。
但他们忽视了两点：
第一，英伟达高端显卡近年来一直供不应求，所以不存在庞大的二手及散货市场，哪怕是海外大厂淘汰下来的显卡一般也是内部发挥余热。
第二，即便你能绕过英伟达官方销售获得一些显卡，也无法获得技术支持。
H系列和B系列训练卡都不是单片出售的，而是以服务器（训练机）为单位出售。B系列训练机已经非常像高端数控机床这样的高精尖设备，内部可以植入地理位置判断系统，发现地理位置偏移之后可以自动停机。
所以无论在理论上还是实践中，只要英伟达愿意认真执行芯片禁令，就是很难绕过的。
虽然英伟达肯定愿意多卖几个客户、开拓中国市场，但现在它的显卡反正不愁卖，短期内也不可能主动承担破坏禁令的风险。
当然，一切都是可以谈的。
只要双方都想认真做生意，拿出一些东西做交换，没有什么生意是一定做不成的。关键看大家做生意的意愿有多强烈了！我们不能低估解决问题的难度——因为只有充分估计难度，才能站在现实角度解决问题。片面低估难度并装做问题已经解决是不可取的，相信真正的从业者不会这样做。