顶级AI公司集体下场做芯片这个趋势这两年已经明显得不能再明显了。你随便翻开一家头部AI实验室的招聘页面排在最前面的岗位大概率不是提示词工程师而是芯片架构师、编译优化工程师、高速互联工程师。一个做算法起家的团队招人的口径突然变成了“我们正在自研下一代AI加速芯片”这放在五年前是不可想象的。我刚开始关注这个现象时也好奇明明市面上已经有性能很强的通用AI芯片为什么还要自己造随着我陆续接触了一些相关项目包括某头部实验室的推理加速卡评估、某大型云计算厂商的软硬协同优化实践我慢慢看清楚了这背后的逻辑链条这不是一次简单的“造芯片风潮”而是整个AI产业在“软件红利”见顶之后被迫向硬件要效率的必然转向。这篇文章我就把自己的观察和拆解完整写下来重点聊聊为什么软硬结合会成为这轮复兴的核心以及这场变化到底会波及到哪些人。1. 集体造芯的底层驱动力1.1 软件红利正在逼近天花板先说最直接的原因纯靠软件优化已经榨不出多少性能了。过去十年AI模型的训练和推理效率提升主要靠三驾马车更好的算法结构比如把RNN换成Transformer、更聪明的分布式框架比如各种并行策略的成熟、更极致的算子库优化。这个阶段确实是“软件红利”时期你的代码写得够好、并行切得够细同样一块硬件就能跑出比竞争对手快几倍的效率。但到了大模型时代情况变了。Transformer结构已经成为绝对主流算法层面的结构性创新进入平台期分布式训练框架的成熟度也已经很高该切的张量并行、流水线并行、数据并行基本都有成熟方案。这时候你会发现再往下抠性能瓶颈已经不是软件能解决的范畴了而是卡在硬件的物理特性上——内存带宽不够、算子执行单元不匹配、数据搬运的能耗占比过高。我举个例子你就明白了。一个注意力机制的计算理论上需要的计算量是固定的但在实际GPU上跑起来真正花在矩阵乘法上的时间可能只占一部分大量的时间浪费在把中间结果从显存搬到计算单元、再把结果写回去这个过程上。这种搬运开销和计算开销的比例失衡你靠写软件是绕不过去的因为硬件的存储层级、数据通路就是那样设计的。唯一的出路就是你连硬件一起改让数据通路和你的计算模式匹配。这就是“软硬结合”的第一层逻辑。1.2 算力账与成本账第二层驱动力是钱。大模型训练的算力成本已经到了一个夸张的体量。你去算一笔账就清楚了一次千亿参数模型的预训练在通用GPU集群上跑动辄需要数千张卡连续跑几个月仅电费就是天文数字更不用说硬件采购成本和机房折旧。当模型的参数规模还要继续往上翻通用芯片的性价比曲线会出现一个严重问题——通用意味着什么都有但什么都只是“够用”。你为了支持图形渲染、科学计算、各种不同场景的通用芯片塞了很多对AI推理来说冗余的功能单元这些单元占面积、占功耗、占制造成本但在你的模型里永远用不上。自研芯片的价值恰恰在于砍掉所有冗余只为你模型的实际计算特征做定制。比如某头部AI实验室做的推理加速卡核心就是把大模型推理最密集的几个算子如矩阵乘、注意力计算、激活函数用专用硬件单元来实现同时把内存子系统改成更利于大模型权重流式加载的结构。这块卡在一些特定模型上的能效比能做到通用GPU的好几倍。这里有一个很关键的产业经济学逻辑当一个场景的算力需求足够标准化、足够规模化时专用芯片的成本优势就会碾压通用芯片。AI推理就是一个典型的“标准化场景”——Transformer结构统一了模型尺寸虽然有大有小但核心计算模式高度一致。一旦你的模型日调用量达到亿级电费和时间就是最实在的成本自研芯片省下的每一分钱都会直接转化为利润和后发优势。2. 从算法到芯片软硬协同设计的三个层次2.1 算法导向的硬件裁剪这里必须展开讲一下做AI芯片和传统做CPU、GPU的路子完全不一样。传统芯片设计是“先造硬件再适配软件”但AI芯片的逻辑是反过来的——“先确定算法再裁剪硬件”。我接触过某实验室的芯片规格定义过程他们的团队花了大量时间做的事情是把当前所有主流模型的计算图扒开揉碎统计各类算子的占比分析权重和中间激活值的内存访问规律然后把那些“统计上最高频”的计算模式固化成硬件的执行单元。比如某推理芯片把稀疏化计算做成了一等公民在硬件层面直接支持稀疏权重矩阵的高效存储和计算而不是像通用芯片那样要到软件层面额外处理——这一个设计决策就可能带来同功耗下数倍的推理速度提升。这个过程的挑战在于硬件的设计周期和模型的迭代周期存在严重错位。你定义一款芯片的时候深度学习框架还在不断更新模型结构也在变化。芯片流片成功后可能一两年过去了你的模型可能已经换了好几代。这就要求硬件裁剪必须是“面向一个稳定演进方向”而非“锁定某一个固定模型”。从实际实践看那种把目标定死在“精确复现某模型某算子”的方案往往芯片还没流片就已经过时了而抓住“注意力计算、前馈网络、高吞吐内存访问”这类稳定共性来设计的则能在一段时间内持续受益。对于做数据工作、做推理服务的团队来说这个现象带来的实际启示是你在做GPU选型和算力规划时不要只看单卡性能指标而要分析自己的模型结构里有哪些算子、这些算子在目标硬件上跑得是不是高效。很多时候你换一种硬件架构思路比在原有GPU上堆算力划算得多。2.2 系统级协同内存带宽与数据搬运如果说算子裁剪是AI芯片的“内功”那系统级协同就是AI芯片的“外功”而这里面最核心的瓶颈是内存带宽和数据搬运效率。大模型推理本质上是一个非常吃内存带宽的场景。模型权重动辄几十上百GB每生成一个token理论上需要把所有模型权重从内存里过一遍。看GPU规格的时候你可以发现近几代产品的算力FLOPS翻倍速度远快于内存带宽的提升速度。算力再高如果数据喂不进去计算单元就只能空转。一个简单的例子同样是70B的大模型单机推理你更需要关注的可能是这台机器到底能装多大内存、内存带宽是多少、HBM的带宽是否足够支撑你想要的并发吞吐而不只是看芯片的FLOPS数字。自研AI芯片在这方面有很多通用芯片做不到的优化空间。比如用专用的近内存计算架构把部分计算逻辑直接挪到存储边上比如用更宽的片上互连总线减少数据在芯片内部搬运的跳数比如设计两级甚至多级缓存结构让模型权重的高频访问块尽量留在片上。这些设计无一例外都是为了压低数据搬运成本。这背后的原理和你在日常计算优化中遇到的“数据局部性”问题完全同源计算密集型的优化本质上是让数据的产生和消费在时间和空间上尽量靠近。只不过在AI芯片层面这个“靠近”是用硅晶圆的物理布线来实现的比软件层能做到的程度深得多。2.3 从单一芯片到集群系统还有一个容易被忽略的层次现代AI计算从来不是单芯片的事。训练一个超大模型要几千张卡互联推理一个高并发服务也要跑在几十张卡构成的集群上。所以顶级AI公司的芯片战略本质上不是“做一颗芯片”而是“做一个计算系统”。这个系统包括高速互联网络、存储子系统、调度框架、集群管理软件、甚至散热供电方案。某大型云计算厂商做自研训练芯片时投入最大的不是芯片本身而是配套的机器学习集群系统——他们花了大把时间做网络拓扑优化把卡间通信延迟压到极低。因为在千卡以上的并行训练中通信时间占比可能高到30%以上互联方案的优劣往往比单卡算力的高低更能决定整个集群的有效算力。理解这一点很重要如果你只盯着一颗自研芯片的性能指标很容易高估或低估某个方案的真实价值。真正决定一个方案能不能用的是它在一个完整集群中能不能高效编排起来。这也是为什么不少后来者造的芯片单卡指标很好看但一放进大规模训练场景就“水土不服”——集群能力没跟上芯片再强也发挥不出来。3. 各家路线图定制是手段生态是终点3.1 推理芯片先把规模成本打下来现在市场上已经流片或公开的自研AI芯片围绕的需求大致分两派一派主攻推理一派主攻训练。先看推理派。推理芯片的逻辑最容易理解就是前面说的“标准化场景 规模效应”。某头部AI实验室为什么优先做推理芯片因为他们的产品日调用量已经足够大每一次推理的边际成本都是实打实的钱。用自研推理卡把单位token的生成成本降下来每降一分都是对毛利率的贡献。他们在架构上通常会选择“不求通用但求极致”专注Transformer解码过程对KV Cache的读写做专门优化对批量推理的调度做硬件级加速。我还注意到一个趋势不少推理芯片开始把“多模型混合部署”作为重要设计目标。因为生产环境中不可能只跑一个模型你要同时服务多个尺寸、多个任务的模型芯片的片上存储、任务调度方式都必须适配这种混合负载。有些团队在这一块踩过坑第一版芯片太执着于单个模型的极致速度结果在生产环境的多模型混跑场景下效率直线下滑最后只能回炉做调度优化。3.2 训练芯片把关键算子做到极致训练芯片的难度要高出几个数量级。推理是近似“固定计算模式的重复执行”而训练涉及前向、反向、梯度同步、优化器更新等多个环节计算模式复杂得多且对分布式协同的要求极高。做训练芯片的团队通常不会追求所有算子都做硬件固化而是与编译器深度绑定把那些“训练中最热点”的操作比如矩阵乘、卷积、归一化以及它们对应的梯度计算做极致优化。关键逻辑在于训练过程是一个端到端的迭代闭环只快某一段没有意义你必须让整体收敛时间变短才算有效优化。这也导致训练芯片的验证成本极高——不是测芯片本身而是要端到端跑真实模型训练任务验证收敛结果是否正常。目前做训练芯片的路线还远没有定型。有些团队采用相似于通用GPU的计算单元设计加上更强的互联方案走改良路线有些团队尝试更激进的异构架构把不同算子的执行单元做成可配置组合。从产业实际落地的情况看能在真实业务中大规模跑训练任务的国产自研芯片依然屈指可数足以说明这条路的难度。3.3 软件生态芯片只是半成品这里必须说一个常被外界忽略的残酷真相芯片本身只是一个半成品软件栈才是决定芯片能不能用的关键。一颗AI芯片流片成功只意味着硬件逻辑是对的离“能在生产环境中跑模型”还有十万八千里。你需要编译器把深度学习框架的计算图翻译成芯片指令需要算子库提供高性能内核需要运行时系统做内存管理和任务调度需要与主流深度学习框架的适配层。这一整套东西比设计硬件还要花时间花人力。某实验室的自研芯片团队里软件开发工程师的数量是硬件工程师的好几倍这就是AI芯片和传统芯片设计最大的区别。软件生态的完成度也是后来者最难逾越的门槛。通用GPU厂商经过多年积累软件栈的完善程度远超任何一家自研芯片的新玩家。所以几乎所有自研AI芯片的策略都是“先聚焦后扩展”——先把自己的主力框架支持好把三四类主力模型的性能做到极致再慢慢往外扩。对于使用AI服务的开发者和企业来说这个生态因素意味着你在选择推理服务提供商时不必过度在意其自研芯片的宣传指标而要看它基于这套芯片提供的软件接口好不好用、支持的模型生态全不全、出了问题有没有人帮你调。芯片跑分很性感但决定你业务效率的是整条软件链路。4. “做芯片”对AI产业格局的三层冲击4.1 产业链话语权转移AI公司自研芯片最直接的影响是把原本属于芯片设计厂商的话语权部分转移到了大模型算法公司手里。在过去产业分工很清晰芯片设计公司做芯片云厂商卖算力算法公司用算力做模型。这种结构下算力的规格、性能和定价权都集中在芯片手里。当一个模型训练跑一半发现某种算力扩展性不够你没法改硬件只能迁就硬件改你的训练策略。但自研芯片让算法公司第一次有了“改硬件”的能力。某头部实验室做推理芯片的过程就是一个典型因为软件栈完全是自己的调度策略为自家模型定制他们可以随时往返于算法侧和硬件侧调整设计。这种“端到端”的掌控力使他们在面对算力瓶颈时可以把问题放在整个系统中解决而不是局限在软件层打补丁。这个能力的差异在大规模模型竞争进入深水区后会变成明显的结构优势。而且你会发现这种话语权转移不仅是技术性的更是商业性的。当你有能力自研芯片你和传统芯片厂商的谈判筹码都会不一样因为你可以选“哪部分买、哪部分自己做”而不是“要么全买、要么全不买”。4.2 对开发者与创业者的影响这场芯片自研浪潮对普通AI开发者和创业者的影响比很多人想象的要更早到来。最直接的影响是算力成本结构会变化。当顶级的AI公司把推理成本打下来市场化的模型调用价格也必然跟着下降。这对做AI应用的团队是实打实的利好——你的单位毛利空间会因为上游成本的下降而变好。当然前提是你的产品形态能吃到这个红利如果你的服务是跑在某个固定GPU方案上那么上游大模型公司用自研芯片压下来的成本不一定能顺畅传导到你这里你可能需要主动做适配迁移。另一个重要影响是框架与工具链的重塑。每一家自研芯片公司都会配自己的编译器和优化库这就意味着你的模型代码在迁移到不同硬件时可能会有微妙的性能差异。过去你习惯了“一套PyTorch代码到处跑”未来更常见的情况可能是“一套代码跑在不同芯片上表现天差地别”。这要求开发者具备更强的底层优化的意识和技能至少你要知道自己的模型在目标芯片上的热点在哪、怎么去配合芯片的架构特征来做调整。对于硬核开发者来说这反而是个大机会。懂“软硬协同”的人在就业市场上会越来越值钱——你不仅会改模型结构还能看懂编译器日志甚至能直接改算子实现和内存排布。这类能力在通用GPU时代是偏小众但非必需的技能在自研芯片时代会变成核心竞争力的关键一环。4.3 对传统芯片厂商的倒逼最后看传统芯片厂商这边。头部AI公司纷纷自研芯片毫无疑问给通用芯片厂商带来了压力但实际情况不是简单的“替代”而是一种倒逼升级。通用GPU依然有它的优势极强的通用性、完善的生态、成熟的供应链。在大模型训练这个场景通用GPU在未来较长一段时间内仍然会是主流选择因为训练模型的结构还在快速变化自研训练芯片的迭代速度很难跟得上模型演进的节奏。但另一方面推理市场会越来越明显地被自研专用芯片分流因为这已经是高度标准化的场景专用方案的效率优势太明显了。我观察到有些芯片厂商已经开始调整产品策略。比如单独推出面向大模型推理的SKU比如加大软件生态的开放度比如在最新架构里增加对大模型稀疏化、量化计算的原生支持。这些变化本质上都是在回应同一个问题既然客户在向定制化走通用芯片就必须在灵活性和专业性之间找到新平衡而不是坐等被边缘化。站在整个行业的角度这场冲击总体上是有益的AI计算从“有什么用什么”变成了“需要什么造什么”效率模型彻底变了。最终受益的是整个AI应用生态的成本与速度。5. 给观望者的三个判断框架与避坑提示5.1 自研芯片的三个前提条件可能不少业内的朋友会想别人都在做芯片我要不要也做这里先泼一盆冷水自研芯片是一个非常重的决策不是所有公司都适合下场。基于我看到的实际案例我认为决定自研芯片前必须满足三个前提条件第一你的AI负载必须已经标准化到足够高的程度。如果你的业务里跑着几十种不同结构、不同尺寸的模型每种占比都很小那么专用芯片的定制优势就完全发挥不出来。反之如果你的负载高度集中于一类模型日调用量巨大才有定制的经济性。第二你的团队规模和技术纵深必须足够。做芯片不是招一拨硬件工程师就行的你需要同时具备编译器、运行时、深度学习框架、系统软件各层的专业人才而且这些人还要能跨层协同工作。很多自研项目最后不是死在芯片设计上而是死在软件栈上——团队规模根本撑不起全栈开发。第三你的商业模型必须能够覆盖芯片的巨额研发成本。芯片流片一次就是千万级别的投入即便流片成功软件栈开发又是一年到数年的持续烧钱。如果你的业务规模撑不起这个摊销那不如老实用现成方案。AI芯片项目不是一个可以“先试水”的轻投入它一旦启动就无法回头。5.2 常见误区在讨论AI自研芯片的过程中有几个容易被带偏的认知误区我觉得有必要专门列一下。第一个误区是“用跑分看一切”。AI芯片的性能必须放到真实工作负载里评估而不是看单卡算力峰值。同样一颗芯片在不同批大小、不同模型结构、不同并发条件下的表现可能差异巨大。某些自研芯片在宣传材料里与通用GPU做了对比但对比条件往往都是经过精心选择的单算子或者特定模型下最优配置。你拿自己的业务去实测结果可能完全不是那么回事。所以我的建议是任何芯片方案都一定要拿自己真实模型的真实流量去做POC概念验证跑出端到端指标再下结论。第二个误区是“专用芯片一定比通用芯片好”。专用芯片是在特定场景下胜出但一旦你的使用场景或模型结构发生变化它的灵活性劣势就会显现。很多团队还停留在“用静态模型跑推理”的上一个时代但实际业务中模型迭代频率很高Prompt结构、输出格式、工具调用逻辑都在变一个极度过拟合到某种固定计算模式的芯片反而可能成为制约业务迭代的瓶颈。第三个误区是“自研芯片自主可控的全部”。芯片只是一层上面还有整套软件工具链、开发框架、运维体系。如果这些环节里有大量闭源黑盒依赖所谓“自主”就会打折。判断一个自研芯片方案的成熟度不要只看芯片是否流片成功更关键的是看它的软件栈是否开源开放、是否有活跃的社区生态、是不是容易接入你的现有系统。5.3 什么时候该买、什么时候该自研最后整理一个非常实际的决策参考。对绝大多数团队来说这其实不是“要不要自研”的问题而是“什么环节该买什么环节该自己动手”的资源配置问题。我的经验是可以把AI能力建设拆成几层来看最底层的硬件芯片、服务器优先用成熟方案除非你有百亿甚至千亿级别的算力开销否则这个层次自己做是不划算的往上一层的集群调度和框架优化可以有选择地深度定制比如在主流框架基础上对集群拓扑、通信策略做适配改造再往上的模型优化层包括算子融合、量化压缩、推理引擎调优这个层次应该全力以赴自研因为它的投入产出比最高、和你的业务绑定最深。现实中能看到的一个比较顺滑的演进路径是先以现成芯片跑业务同时在软件和模型层面积累优化能力当业务量涨到一定规模后尝试与芯片厂商联合定制某些规格最终如果你的团队和体量足够强壮再启动全栈自研。直接一步跳到自研芯片很少见到成功的案例反而是这种渐进式的“软硬结合”推进路径更容易在成本可控的前提下建立真实的技术壁垒。最后再分享一点个人的体会我个人在实际观察这些项目后最大的感受是AI芯片的自研浪潮看起来是硬件的复兴本质上还是软件思维对硬件的接管。真正的决策驱动力是对工作负载的深度理解是对计算模式的精确建模是对系统效率的极致追求。那些走得稳的团队往往不是说硬件设计能力有多强而是他们的软件栈和业务理解足够深然后才谈得上“从软件倒推硬件”。如果你恰好在一家普通公司做AI基础设施不需要因为“别人都在做芯片”而焦虑。你真正应该做的是对你自己业务里的每一层计算开销有精确的度量——模型在跑什么算子、时间花在哪里、内存是怎么用的、数据是怎么搬的。当你对自己业务的“软硬结合”理解得像老中医把脉一样清楚时无论芯片怎么演变你都能第一时间找到最优的适配解。这才是这个时代真正的核心竞争力。 顶级AI公司集体下场做芯片这个趋势这两年已经明显得不能再明显了。你随便翻开一家头部AI实验室的招聘页面排在最前面的岗位大概率不是提示词工程师而是芯片架构师、编译优化工程师、高速互联工程师。一个做算法起家的团队招人的口径突然变成了“我们正在自研下一代AI加速芯片”这放在五年前是不可想象的。我刚开始关注这个现象时也好奇明明市面上已经有性能很强的通用AI芯片为什么还要自己造随着我陆续接触了一些相关项目包括某头部实验室的推理加速卡评估、某大型云计算厂商的软硬协同优化实践我慢慢看清楚了这背后的逻辑链条这不是一次简单的“造芯片风潮”而是整个AI产业在“软件红利”见顶之后被迫向硬件要效率的必然转向。这篇文章我就把自己的观察和拆解完整写下来重点聊聊为什么软硬结合会成为这轮复兴的核心以及这场变化到底会波及到哪些人。1. 集体造芯的底层驱动力1.1 软件红利正在逼近天花板先说最直接的原因纯靠软件优化已经榨不出多少性能了。过去十年AI模型的训练和推理效率提升主要靠三驾马车更好的算法结构比如把RNN换成Transformer、更聪明的分布式框架比如各种并行策略的成熟、更极致的算子库优化。这个阶段确实是“软件红利”时期你的代码写得够好、并行切得够细同样一块硬件就能跑出比竞争对手快几倍的效率。但到了大模型时代情况变了。Transformer结构已经成为绝对主流算法层面的结构性创新进入平台期分布式训练框架的成熟度也已经很高该切的张量并行、流水线并行、数据并行基本都有成熟方案。这时候你会发现再往下抠性能瓶颈已经不是软件能解决的范畴了而是卡在硬件的物理特性上——内存带宽不够、算子执行单元不匹配、数据搬运的能耗占比过高。我举个例子你就明白了。一个注意力机制的计算理论上需要的计算量是固定的但在实际GPU上跑起来真正花在矩阵乘法上的时间可能只占一部分大量的时间浪费在把中间结果从显存搬到计算单元、再把结果写回去这个过程上。这种搬运开销和计算开销的比例失衡你靠写软件是绕不过去的因为硬件的存储层级、数据通路就是那样设计的。唯一的出路就是你连硬件一起改让数据通路和你的计算模式匹配。这就是“软硬结合”的第一层逻辑。1.2 算力账与成本账第二层驱动力是钱。大模型训练的算力成本已经到了一个夸张的体量。你去算一笔账就清楚了一次千亿参数模型的预训练在通用GPU集群上跑动辄需要数千张卡连续跑几个月仅电费就是天文数字更不用说硬件采购成本和机房折旧。当模型的参数规模还要继续往上翻通用芯片的性价比曲线会出现一个严重问题——通用意味着什么都有但什么都只是“够用”。你为了支持图形渲染、科学计算、各种不同场景的通用芯片塞了很多对AI推理来说冗余的功能单元这些单元占面积、占功耗、占制造成本但在你的模型里永远用不上。自研芯片的价值恰恰在于砍掉所有冗余只为你模型的实际计算特征做定制。比如某头部AI实验室做的推理加速卡核心就是把大模型推理最密集的几个算子如矩阵乘、注意力计算、激活函数用专用硬件单元来实现同时把内存子系统改成更利于大模型权重流式加载的结构。这块卡在一些特定模型上的能效比能做到通用GPU的好几倍。这里有一个很关键的产业经济学逻辑当一个场景的算力需求足够标准化、足够规模化时专用芯片的成本优势就会碾压通用芯片。AI推理就是一个典型的“标准化场景”——Transformer结构统一了模型尺寸虽然有大有小但核心计算模式高度一致。一旦你的模型日调用量达到亿级电费和时间就是最实在的成本自研芯片省下的每一分钱都会直接转化为利润和后发优势。2. 从算法到芯片软硬协同设计的三个层次2.1 算法导向的硬件裁剪这里必须展开讲一下做AI芯片和传统做CPU、GPU的路子完全不一样。传统芯片设计是“先造硬件再适配软件”但AI芯片的逻辑是反过来的——“先确定算法再裁剪硬件”。我接触过某实验室的芯片规格定义过程他们的团队花了大量时间做的事情是把当前所有主流模型的计算图扒开揉碎统计各类算子的占比分析权重和中间激活值的内存访问规律然后把那些“统计上最高频”的计算模式固化成硬件的执行单元。比如某推理芯片把稀疏化计算做成了一等公民在硬件层面直接支持稀疏权重矩阵的高效存储和计算而不是像通用芯片那样要到软件层面额外处理——这一个设计决策就可能带来同功耗下数倍的推理速度提升。这个过程的挑战在于硬件的设计周期和模型的迭代周期存在严重错位。你定义一款芯片的时候深度学习框架还在不断更新模型结构也在变化。芯片流片成功后可能一两年过去了你的模型可能已经换了好几代。这就要求硬件裁剪必须是“面向一个稳定演进方向”而非“锁定某一个固定模型”。从实际实践看那种把目标定死在“精确复现某模型某算子”的方案往往芯片还没流片就已经过时了而抓住“注意力计算、前馈网络、高吞吐内存访问”这类稳定共性来设计的则能在一段时间内持续受益。对于做数据工作、做推理服务的团队来说这个现象带来的实际启示是你在做GPU选型和算力规划时不要只看单卡性能指标而要分析自己的模型结构里有哪些算子、这些算子在目标硬件上跑得是不是高效。很多时候你换一种硬件架构思路比在原有GPU上堆算力划算得多。2.2 系统级协同内存带宽与数据搬运如果说算子裁剪是AI芯片的“内功”那系统级协同就是AI芯片的“外功”而这里面最核心的瓶颈是内存带宽和数据搬运效率。大模型推理本质上是一个非常吃内存带宽的场景。模型权重动辄几十上百GB每生成一个token理论上需要把所有模型权重从内存里过一遍。看GPU规格的时候你可以发现近几代产品的算力FLOPS翻倍速度远快于内存带宽的提升速度。算力再高如果数据喂不进去计算单元就只能空转。一个简单的例子同样是70B的大模型单机推理你更需要关注的可能是这台机器到底能装多大内存、内存带宽是多少、HBM的带宽是否足够支撑你想要的并发吞吐而不只是看芯片的FLOPS数字。自研AI芯片在这方面有很多通用芯片做不到的优化空间。比如用专用的近内存计算架构把部分计算逻辑直接挪到存储边上比如用更宽的片上互连总线减少数据在芯片内部搬运的跳数比如设计两级甚至多级缓存结构让模型权重的高频访问块尽量留在片上。这些设计无一例外都是为了压低数据搬运成本。这背后的原理和你在日常计算优化中遇到的“数据局部性”问题完全同源计算密集型的优化本质上是让数据的产生和消费在时间和空间上尽量靠近。只不过在AI芯片层面这个“靠近”是用硅晶圆的物理布线来实现的比软件层能做到的程度深得多。2.3 从单一芯片到集群系统还有一个容易被忽略的层次现代AI计算从来不是单芯片的事。训练一个超大模型要几千张卡互联推理一个高并发服务也要跑在几十张卡构成的集群上。所以顶级AI公司的芯片战略本质上不是“做一颗芯片”而是“做一个计算系统”。这个系统包括高速互联网络、存储子系统、调度框架、集群管理软件、甚至散热供电方案。某大型云计算厂商做自研训练芯片时投入最大的不是芯片本身而是配套的机器学习集群系统——他们花了大把时间做网络拓扑优化把卡间通信延迟压到极低。因为在千卡以上的并行训练中通信时间占比可能高到30%以上互联方案的优劣往往比单卡算力的高低更能决定整个集群的有效算力。理解这一点很重要如果你只盯着一颗自研芯片的性能指标很容易高估或低估某个方案的真实价值。真正决定一个方案能不能用的是它在一个完整集群中能不能高效编排起来。这也是为什么不少后来者造的芯片单卡指标很好看但一放进大规模训练场景就“水土不服”——集群能力没跟上芯片再强也发挥不出来。3. 各家路线图定制是手段生态是终点3.1 推理芯片先把规模成本打下来现在市场上已经流片或公开的自研AI芯片围绕的需求大致分两派一派主攻推理一派主攻训练。先看推理派。推理芯片的逻辑最容易理解就是前面说的“标准化场景 规模效应”。某头部AI实验室为什么优先做推理芯片因为他们的产品日调用量已经足够大每一次推理的边际成本都是实打实的钱。用自研推理卡把单位token的生成成本降下来每降一分都是对毛利率的贡献。他们在架构上通常会选择“不求通用但求极致”专注Transformer解码过程对KV Cache的读写做专门优化对批量推理的调度做硬件级加速。我还注意到一个趋势不少推理芯片开始把“多模型混合部署”作为重要设计目标。因为生产环境中不可能只跑一个模型你要同时服务多个尺寸、多个任务的模型芯片的片上存储、任务调度方式都必须适配这种混合负载。有些团队在这一块踩过坑第一版芯片太执着于单个模型的极致速度结果在生产环境的多模型混跑场景下效率直线下滑最后只能回炉做调度优化。3.2 训练芯片把关键算子做到极致训练芯片的难度要高出几个数量级。推理是近似“固定计算模式的重复执行”而训练涉及前向、反向、梯度同步、优化器更新等多个环节计算模式复杂得多且对分布式协同的要求极高。做训练芯片的团队通常不会追求所有算子都做硬件固化而是与编译器深度绑定把那些“训练中最热点”的操作比如矩阵乘、卷积、归一化以及它们对应的梯度计算做极致优化。关键逻辑在于训练过程是一个端到端的迭代闭环只快某一段没有意义你必须让整体收敛时间变短才算有效优化。这也导致训练芯片的验证成本极高——不是测芯片本身而是要端到端跑真实模型训练任务验证收敛结果是否正常。目前做训练芯片的路线还远没有定型。有些团队采用相似于通用GPU的计算单元设计加上更强的互联方案走改良路线有些团队尝试更激进的异构架构把不同算子的执行单元做成可配置组合。从产业实际落地的情况看能在真实业务中大规模跑训练任务的国产自研芯片依然屈指可数足以说明这条路的难度。3.3 软件生态芯片只是半成品这里必须说一个常被外界忽略的残酷真相芯片本身只是一个半成品软件栈才是决定芯片能不能用的关键。一颗AI芯片流片成功只意味着硬件逻辑是对的离“能在生产环境中跑模型”还有十万八千里。你需要编译器把深度学习框架的计算图翻译成芯片指令需要算子库提供高性能内核需要运行时系统做内存管理和任务调度需要与主流深度学习框架的适配层。这一整套东西比设计硬件还要花时间花人力。某实验室的自研芯片团队里软件开发工程师的数量是硬件工程师的好几倍这就是AI芯片和传统芯片设计最大的区别。软件生态的完成度也是后来者最难逾越的门槛。通用GPU厂商经过多年积累软件栈的完善程度远超任何一家自研芯片的新玩家。所以几乎所有自研AI芯片的策略都是“先聚焦后扩展”——先把自己的主力框架支持好把三四类主力模型的性能做到极致再慢慢往外扩。对于使用AI服务的开发者和企业来说这个生态因素意味着你在选择推理服务提供商时不必过度在意其自研芯片的宣传指标而要看它基于这套芯片提供的软件接口好不好用、支持的模型生态全不全、出了问题有没有人帮你调。芯片跑分很性感但决定你业务效率的是整条软件链路。4. “做芯片”对AI产业格局的三层冲击4.1 产业链话语权转移AI公司自研芯片最直接的影响是把原本属于芯片设计厂商的话语权部分转移到了大模型算法公司手里。在过去产业分工很清晰芯片设计公司做芯片云厂商卖算力算法公司用算力做模型。这种结构下算力的规格、性能和定价权都集中在芯片手里。当一个模型训练跑一半发现某种算力扩展性不够你没法改硬件只能迁就硬件改你的训练策略。但自研芯片让算法公司第一次有了“改硬件”的能力。某头部实验室做推理芯片的过程就是一个典型因为软件栈完全是自己的调度策略为自家模型定制他们可以随时往返于算法侧和硬件侧调整设计。这种“端到端”的掌控力使他们在面对算力瓶颈时可以把问题放在整个系统中解决而不是局限在软件层打补丁。这个能力的差异在大规模模型竞争进入深水区后会变成明显的结构优势。而且你会发现这种话语权转移不仅是技术性的更是商业性的。当你有能力自研芯片你和传统芯片厂商的谈判筹码都会不一样因为你可以选“哪部分买、哪部分自己做”而不是“要么全买、要么全不买”。4.2 对开发者与创业者的影响这场芯片自研浪潮对普通AI开发者和创业者的影响比很多人想象的要更早到来。最直接的影响是算力成本结构会变化。当顶级的AI公司把推理成本打下来市场化的模型调用价格也必然跟着下降。这对做AI应用的团队是实打实的利好——你的单位毛利空间会因为上游成本的下降而变好。当然前提是你的产品形态能吃到这个红利如果你的服务是跑在某个固定GPU方案上那么上游大模型公司用自研芯片压下来的成本不一定能顺畅传导到你这里你可能需要主动做适配迁移。另一个重要影响是框架与工具链的重塑。每一家自研芯片公司都会配自己的编译器和优化库这就意味着你的模型代码在迁移到不同硬件时可能会有微妙的性能差异。过去你习惯了“一套PyTorch代码到处跑”未来更常见的情况可能是“一套代码跑在不同芯片上表现天差地别”。这要求开发者具备更强的底层优化的意识和技能至少你要知道自己的模型在目标芯片上的热点在哪、怎么去配合芯片的架构特征来做调整。对于硬核开发者来说这反而是个大机会。懂“软硬协同”的人在就业市场上会越来越值钱——你不仅会改模型结构还能看懂编译器日志甚至能直接改算子实现和内存排布。这类能力在通用GPU时代是偏小众但非必需的技能在自研芯片时代会变成核心竞争力的关键一环。4.3 对传统芯片厂商的倒逼最后看传统芯片厂商这边。头部AI公司纷纷自研芯片毫无疑问给通用芯片厂商带来了压力但实际情况不是简单的“替代”而是一种倒逼升级。通用GPU依然有它的优势极强的通用性、完善的生态、成熟的供应链。在大模型训练这个场景通用GPU在未来较长一段时间内仍然会是主流选择因为训练模型的结构还在快速变化自研训练芯片的迭代速度很难跟得上模型演进的节奏。但另一方面推理市场会越来越明显地被自研专用芯片分流因为这已经是高度标准化的场景专用方案的效率优势太明显了。我观察到有些芯片厂商已经开始调整产品策略。比如单独推出面向大模型推理的SKU比如加大软件生态的开放度比如在最新架构里增加对大模型稀疏化、量化计算的原生支持。这些变化本质上都是在回应同一个问题既然客户在向定制化走通用芯片就必须在灵活性和专业性之间找到新平衡而不是坐等被边缘化。站在整个行业的角度这场冲击总体上是有益的AI计算从“有什么用什么”变成了“需要什么造什么”效率模型彻底变了。最终受益的是整个AI应用生态的成本与速度。5. 给观望者的三个判断框架与避坑提示5.1 自研芯片的三个前提条件可能不少业内的朋友会想别人都在做芯片我要不要也做这里先泼一盆冷水自研芯片是一个非常重的决策不是所有公司都适合下场。基于我看到的实际案例我认为决定自研芯片前必须满足三个前提条件第一你的AI负载必须已经标准化到足够高的程度。如果你的业务里跑着几十种不同结构、不同尺寸的模型每种占比都很小那么专用芯片的定制优势就完全发挥不出来。反之如果你的负载高度集中于一类模型日调用量巨大才有定制的经济性。第二你的团队规模和技术纵深必须足够。做芯片不是招一拨硬件工程师就行的你需要同时具备编译器、运行时、深度学习框架、系统软件各层的专业人才而且这些人还要能跨层协同工作。很多自研项目最后不是死在芯片设计上而是死在软件栈上——团队规模根本撑不起全栈开发。第三你的商业模型必须能够覆盖芯片的巨额研发成本。芯片流片一次就是千万级别的投入即便流片成功软件栈开发又是一年到数年的持续烧钱。如果你的业务规模撑不起这个摊销那不如老实用现成方案。AI芯片项目不是一个可以“先试水”的轻投入它一旦启动就无法回头。5.2 常见误区在讨论AI自研芯片的过程中有几个容易被带偏的认知误区我觉得有必要专门列一下。第一个误区是“用跑分看一切”。AI芯片的性能必须放到真实工作负载里评估而不是看单卡算力峰值。同样一颗芯片在不同批大小、不同模型结构、不同并发条件下的表现可能差异巨大。某些自研芯片在宣传材料里与通用GPU做了对比但对比条件往往都是经过精心选择的单算子或者特定模型下最优配置。你拿自己的业务去实测结果可能完全不是那么回事。所以我的建议是任何芯片方案都一定要拿自己真实模型的真实流量去做POC概念验证跑出端到端指标再下结论。第二个误区是“专用芯片一定比通用芯片好”。专用芯片是在特定场景下胜出但一旦你的使用场景或模型结构发生变化它的灵活性劣势就会显现。很多团队还停留在“用静态模型跑推理”的上一个时代但实际业务中模型迭代频率很高Prompt结构、输出格式、工具调用逻辑都在变一个极度过拟合到某种固定计算模式的芯片反而可能成为制约业务迭代的瓶颈。第三个误区是“自研芯片自主可控的全部”。芯片只是一层上面还有整套软件工具链、开发框架、运维体系。如果这些环节里有大量闭源黑盒依赖所谓“自主”就会打折。判断一个自研芯片方案的成熟度不要只看芯片是否流片成功更关键的是看它的软件栈是否开源开放、是否有活跃的社区生态、是不是容易接入你的现有系统。5.3 什么时候该买、什么时候该自研最后整理一个非常实际的决策参考。对绝大多数团队来说这其实不是“要不要自研”的问题而是“什么环节该买什么环节该自己动手”的资源配置问题。我的经验是可以把AI能力建设拆成几层来看最底层的硬件芯片、服务器优先用成熟方案除非你有百亿甚至千亿级别的算力开销否则这个层次自己做是不划算的往上一层的集群调度和框架优化可以有选择地深度定制比如在主流框架基础上对集群拓扑、通信策略做适配改造再往上的模型优化层包括算子融合、量化压缩、推理引擎调优这个层次应该全力以赴自研因为它的投入产出比最高、和你的业务绑定最深。现实中能看到的一个比较顺滑的演进路径是先以现成芯片跑业务同时在软件和模型层面积累优化能力当业务量涨到一定规模后尝试与芯片厂商联合定制某些规格最终如果你的团队和体量足够强壮再启动全栈自研。直接一步跳到自研芯片很少见到成功的案例反而是这种渐进式的“软硬结合”推进路径更容易在成本可控的前提下建立真实的技术壁垒。最后再分享一点个人的体会我个人在实际观察这些项目后最大的感受是AI芯片的自研浪潮看起来是硬件的复兴本质上还是软件思维对硬件的接管。真正的决策驱动力是对工作负载的深度理解是对计算模式的精确建模是对系统效率的极致追求。那些走得稳的团队往往不是说硬件设计能力有多强而是他们的软件栈和业务理解足够深然后才谈得上“从软件倒推硬件”。如果你恰好在一家普通公司做AI基础设施不需要因为“别人都在做芯片”而焦虑。你真正应该做的是对你自己业务里的每一层计算开销有精确的度量——模型在跑什么算子、时间花在哪里、内存是怎么用的、数据是怎么搬的。当你对自己业务的“软硬结合”理解得像老中医把脉一样清楚时无论芯片怎么演变你都能第一时间找到最优的适配解。这才是这个时代真正的核心竞争力。