引言在大模型落地的工程实践中「预训练监督微调SFT」早已是行业标配能覆盖90%以上的通用业务场景。但如果想突破能力天花板——无论是让模型的数学推理、代码生成再上一个台阶还是严格管控输出风格、筑牢内容安全防线就必然会接触到强化学习对齐。当下大语言模型领域的强化学习对齐早已不是早年PPO一家独大的局面。随着DeepSeek等模型带火了GRPO以及DPO凭借极简架构席卷开源社区三条技术路线各有侧重、成本差异巨大选错方案很容易陷入「算力花了不少效果不达预期」的困境。本文会顺着初学者的认知路径从最经典的PPO讲起到轻量化革新的GRPO再到极简的DPO拆解每一种算法的底层逻辑、核心设计与适用边界最后给出可直接落地的选型建议。一、为什么SFT不够从「临摹」到「创造」的能力鸿沟在讲算法之前先理清一个根本问题既然SFT简单又稳定为什么还要做强化学习SFT的本质是临摹式学习给模型喂大量「问题标准答案」的配对数据让模型学习人类的回答范式。它就像照着字帖练字写出来的字工整规范但永远超不出字帖的范围。对应到模型能力上SFT能复刻已知的解题方法、话术风格却很难自主探索出更优的推理路径能力上限完全由标注数据决定。而强化学习的逻辑是目标导向的探索它不规定模型每一步该怎么说只定义「什么样的结果是好的」让模型在试错中自主摸索最优策略。比如做数学题SFT只能教会模型它见过的题型而强化学习可以让模型自己尝试不同的推导路径只要最终答案正确、过程合理就能获得奖励进而自主总结出通用的解题思路。在2025年之前业界普遍认为强化学习的核心价值是做安全对齐、规范模型输出而DeepSeek系列模型爆火之后行业共识被彻底刷新——强化学习更是撬动模型智力上限的核心杠杆尤其是在多步骤推理、复杂代码生成等场景效果远超单纯的SFT。这也是PPO、GRPO、DPO三类算法共同的底层目标通过奖励信号引导模型进化突破监督微调的能力天花板。二、PPO经典RLHF的完整范式重资产的四模型架构PPO近端策略优化是最早规模化落地大模型RLHF的算法也是ChatGPT初代版本采用的核心方案。它的架构最完整、理论最成熟但同时也是算力成本最高、工程复杂度最大的一种。2.1 四大核心模型一套完整的「教学闭环」PPO的整套流程依赖4个模型协同工作构成一个从「答题→打分→预判→约束」的完整闭环业内也常称之为「四模型架构」。1. Actor模型待优化的「学生」Actor就是我们最终要上线的主模型通常是完成SFT后的基座模型。它负责接收问题、生成回答是整个流程里唯一会持续更新参数的模型我们所有的优化最终都会落到它身上。2. Reward模型客观判分的「阅卷官」Reward模型是专门训练的打分模型输入是「问题回答」输出是0~1的质量分数。它的角色就像考试阅卷老师只看最终结果好坏给出客观评分是整个强化学习的奖惩基准。它的训练通常基于人工标注的偏好数据同一个问题标注出哪个回答更好再通过偏好学习训练出打分能力它的质量直接决定了PPO的上限如果Reward模型打分不准模型就会学到错误的优化方向。3. Critic模型预判预期的「私教」很多初学者最困惑的点就是已经有Reward打分了为什么还要一个Critic这恰恰是PPO的关键设计。想象一个场景一道简单的口算题模型答对得100分一道复杂的证明题模型做对一半得60分。如果只看绝对分数模型会倾向于只做简单题、逃避难题出现「捡软柿子捏」的投机行为。Critic的作用就是给出当前状态下的预期得分简单题预期分高难题预期分低。用「Reward实际得分 - Critic预期得分」计算出优势值Advantage代表这次回答超出预期的程度。简单题答对了预期分本身就高优势值并不大难题答对了一半预期分很低优势值反而很高。优势值才是指导Actor更新的真正信号它能过滤掉题目难度的干扰让模型真正从「有进步的回答」里学习Critic本身也需要同步训练目标是不断拟合真实的Reward得分让自己的预期越来越准。工程代价Critic通常和Actor参数量一致相当于同时跑两个大模型显存占用直接翻倍。4. Reference模型守住底线的「紧箍咒」只靠奖励分数引导模型很容易走上「歪路」也就是行业常说的奖励投机Reward Hacking。比如发现Reward模型偏爱长回答模型就会疯狂堆砌废话、重复话术用冗长的无效内容刷高分完全偏离实际需求。Reference模型就是用来做约束的它是SFT结束后冻结的原始模型全程不更新参数。训练时会计算Actor和Reference输出的KL散度衡量两者的分布差异——如果Actor偏离原始模型太远就会施加惩罚相当于给模型套上紧箍咒防止它为了刷分彻底跑偏同时也能避免灾难性遗忘保住模型原有的通用能力。2.2 PPO的核心痛点算力成本极高四个大模型同时驻留显存还要做在线生成、多轮反向传播7B级别模型通常需要多张A100才能跑通小团队很难承担工程链路复杂从数据采样、优势计算GAE、裁剪更新Clip到多模型梯度隔离环节众多调参门槛高很容易出现训练不稳定、不收敛的问题迭代速度偏慢每一轮更新都要先生成回答、再打分、再更新循环周期长试错成本高。三、GRPO推理时代的轻量化革新砍掉Critic的高效方案GRPOGroup Relative Policy Optimization分组相对策略优化是2025年随着DeepSeek-R1爆火的改良方案核心定位就是用更低的成本实现更强的推理能力提升也是当前数学、代码类模型对齐的首选。3.1 核心改良用「分组相对优势」替代CriticGRPO最大的突破就是直接砍掉了占用大量显存的Critic模型用「分组对比」的思路实现了类似的效果。它的逻辑非常直观同一个问题让Actor一次性生成N条不同的回答比如8条全部送入Reward模型打分再计算这组回答的平均分。单条回答的分数减去组内平均分就是它的相对优势。高于平均分的回答就是「好回答」获得正优势模型会增加这类输出的概率低于平均分的就是「差回答」获得负优势模型会降低这类输出的概率。这种设计天然解决了「题目难度差异」的问题简单题整体分数都高平均分也高想拿到正优势并不容易难题整体分数都低平均分也低只要比其他回答好一点就能拿到正优势。不需要Critic来预判预期分靠组内相对对比就实现了同等效果。3.2 GRPO为什么适合提升推理能力天然适配多路径解题数学、代码这类问题往往有多种解题思路。GRPO同一问题生成多条回答相当于让模型同时尝试多种路径再通过相对优势筛选出更优的推理链引导模型学会深度思考显存开销大幅降低少了一个和Actor同尺寸的Critic模型显存压力下降近一半中小规模模型单卡就能跑通训练训练链路更简洁去掉Critic的更新流程代码实现更简单调试成本也随之降低迭代速度明显快于原生PPO。3.3 GRPO的边界GRPO的优势集中在「智力提升」但也有明显短板它对输出风格、安全合规的约束弱于DPO更适合做能力增强不适合做主安全对齐依赖Reward模型的打分精度如果奖励信号有偏差分组对比也会把模型带向错误的方向。四、DPO极简直接偏好优化低成本搞定风格与安全如果说GRPO是给PPO做了「减法」那DPODirect Preference Optimization直接偏好优化就是彻底重构了对齐范式——它完全抛弃了独立的奖励模型把「奖励建模策略优化」两步合并成一步是目前工业界做轻量化对齐的绝对主流。4.1 核心逻辑直接用偏好数据优化策略DPO的训练数据非常简单不需要在线生成回答不需要单独训练Reward模型只需要离线的偏好数据集每条样本包含三部分问题query 优质回答chosen 劣质回答rejected。它的训练目标也很直白让模型对「优质回答」的生成概率越来越高对「劣质回答」的生成概率越来越低。同时公式中天然隐式包含了与Reference模型的KL散度约束不需要额外加惩罚项就能保证模型不严重偏离基准。从工程实现来看DPO的训练流程和SFT几乎没有区别都是喂入离线数据、计算损失、反向传播更新参数。只是把SFT的交叉熵损失换成了偏好对比损失落地门槛极低。4.2 DPO的优缺点✅优势非常突出成本极低只需要Actor和Reference两个模型算力开销和SFT处于同一量级远低于PPO和GRPO训练稳定离线训练、数据固定不会出现在线强化学习的震荡、崩溃问题调参简单对齐效果精准在风格统一、语气调整、安全合规、价值观对齐等场景效果稳定可控是很多开源模型做安全对齐的标配。❌短板也很明确能力提升上限有限依赖人工标注的好坏样本模型很难探索出标注之外的全新推理路径对数学、代码等硬核智力的提升效果远不如GRPO标注质量决定一切如果偏好数据标注不一致、质量差DPO的效果会直接大打折扣。4.3 延伸DPO家族的变体DPO之后还衍生出了很多改进版本比如KTO、IPO、ORPO等核心思路都是围绕偏好对比做优化本质都属于同一类「直接偏好优化」范式整体架构和算力成本和DPO基本一致。五、横向对比一张表看懂三者核心差异对比维度PPO传统RLHFGRPO分组相对策略优化DPO直接偏好优化所需模型4个Actor/Critic/Reward/Reference3个Actor/Reward/Reference无Critic2个Actor/Reference无独立奖励模型算力开销极高7B模型需多卡并行中等中小模型单卡可跑极低与SFT算力接近数据形式在线生成回答动态打分在线批量生成多回答组内相对打分离线静态标注问题好/坏回答训练模式在线强化学习多轮迭代在线强化学习分组迭代离线监督式训练核心优势理论成熟综合对齐能力均衡推理能力提升显著样本效率高实现极简训练稳定成本最低擅长场景超大规模基座全场景通用对齐数学推理、代码生成、逻辑解题风格统一、内容安全、价值观合规典型问题工程复杂调试门槛高训练易震荡风格约束弱依赖奖励模型质量智力提升有限高度依赖标注质量代表应用初代ChatGPT RLHF流水线DeepSeek-R1、推理类开源模型绝大多数开源模型安全对齐六、落地选型不同场景怎么选不踩坑了解原理之后落地时可以按照「场景优先、成本匹配」的原则选择不用盲目追求复杂算法。1. 优先选DPO的场景垂域小模型落地主要需求是规范输出话术、过滤违规内容、统一回答风格团队算力有限、工程人员少想低成本快速完成基础对齐核心诉求是安全合规而非大幅提升模型推理能力。2. 优先选GRPO的场景主打数学解题、代码生成、复杂逻辑推理目标是提升模型硬核智力有一定算力基础但不足以支撑完整PPO流水线已经做完SFT和DPO想进一步突破能力天花板。3. 考虑PPO的场景超大规模基座模型研发有充足的算力、标注和工程团队需要同时兼顾能力提升、安全对齐、风格控制等全维度需求有成熟的RLHF工程积累能驾驭复杂的多模型训练链路。几个常见误区提醒不是强化学习一定比SFT强如果只是日常问答、知识科普类场景高质量SFT的效果往往不输强化学习强行上反而可能引入不稳定不是算法越复杂效果越好在安全对齐场景DPO的实际效果通常不输PPO成本却只有几分之一奖励信号是上限无论PPO还是GRPO奖励模型/偏好数据的质量永远比算法本身更重要。劣质的奖励信号再好的算法也救不回来。结语从PPO到GRPO再到DPO大模型对齐算法的演进脉络非常清晰从复杂到简洁从重资产到轻量化从通用到专精。没有绝对最优的算法只有最适合场景的方案。对大多数从业者而言理解三者的底层逻辑与适用边界比死磕算法细节更有价值——毕竟落地时用最低的成本达成业务目标才是核心诉求。随着大模型推理能力的持续进化对齐算法还会不断迭代但只要抓住「奖励引导、约束边界」的核心逻辑就能跟上行业的变化节奏。
尧图网络