1. 为什么每个做AI的人早晚都要碰模型压缩先聊个真实场景。某次我给一个图像识别Demo做端侧部署模型跑起来倒是没问题可一放到手机那种设备上内存直接爆掉帧率掉到没法看。当时脑子里第一个念头是换更小的模型但换模型意味着重新标注、重新训练、重新调参整个流程走一遍又是几周时间。后来我试着用模型压缩的思路去处理才意识到这个方向完全是另一套玩法。所谓模型压缩核心就是围绕“让模型变小、变快、变省”这件事做文章。模型训练完以后参数量动不动就是几百万甚至上亿级别推理一次要做的矩阵运算次数非常惊人。直接把它塞进手机、嵌入式设备、浏览器这些资源受限的环境几乎不可能。而压缩技术做的就是尽量在不明显损伤精度的前提下把模型“瘦身”到一个能跑得动的状态。这篇文章就围绕三类主流压缩方法展开减枝、量化、知识蒸馏。适合的读者很明确模型训练已经跑通、想把模型部署到实际场景但被性能卡住的人以及刚开始接触模型优化、还没理清这些概念区别的初学者。我尽量把原理、步骤、参数选择和踩坑记录都写清楚。2. 模型为什么会“臃肿”以及压缩为什么可行2.1 模型容量与过参数化模型训练的本质是从数据里学规律但训练过程并不会刻意控制“用多少参数去表达这个规律”。神经网络的参数在初始化之后经过反向传播不断调整最终会收敛到一个能拟合训练数据的分布。问题在于网络结构在设计时往往留了大量冗余——有些神经元、卷积核、权重通道对最终输出几乎没有贡献。打个比方这就像你请了100个人来搬砖但实际上30个人就能干完所有活剩下70个人站在旁边偶尔搭把手大多数时间在摸鱼。模型压缩就是把这70个人识别出来让他们离场剩下的30个人照样能把任务完成。这种现象在深度学习文献里常被称为过参数化。模型的实际表达能力远大于任务本身的需求因此存在大量可压缩的空间。2.2 压缩的本质在精度与效率之间找平衡压缩不是免费午餐代价通常是精度变化。好的压缩方案应该做到压缩后的模型精度与原始模型尽可能接近同时体积、推理延迟、内存占用显著下降。这里涉及一个核心概念叫精度-效率权衡。我个人的理解是压缩的目标不是追求“无损”而是把精度损失控制在一个可接受范围内。不同场景对精度的容忍度不一样OCR识别少量错字可以接受医疗影像诊断可能连一个百分点都不敢掉。2.3 三种方法定位不同减枝、量化、知识蒸馏三者解决的问题层次不同。减枝处理的是“结构冗余”直接砍掉不重要的连接、神经元或通道让模型结构变稀疏。量化处理的是“数值冗余”把本来用32位浮点数存储的权重换成8位甚至更低精度的整数让计算更快、内存占用更少。知识蒸馏处理的是“知识迁移”用一个大的、精度高的模型教师去指导一个小的模型学生训练让小模型学习到大模型的“暗知识”。三者并不互斥实际项目中经常组合使用。比如先量化再减枝或者先蒸馏出一个小的学生模型再对它做量化。3. 减枝把模型里不干活的参数挑出来扔掉3.1 减枝的分类结构化与非结构化减枝最早的做法是非结构化减枝思路很直接训练完成后把权重矩阵中绝对值小于某个阈值的参数直接置零。这样一来权重矩阵变得稀疏很多元素为0存储时可以用稀疏格式来节省空间。但问题也很明显稀疏矩阵在通用计算硬件上很难发挥加速效果因为主流处理器对密集矩阵运算做了大量优化碰到稀疏结构反而会变慢。结构化减枝则是把“整块”地删比如删掉某个卷积核、某一整个通道或者某一层的一部分神经元。因为删除的是结构单元剩下的网络依然是规则的密集结构在硬件上运行时能直接减少计算量加速效果明显。所以实际工程中结构化减枝更常用。3.2 通道减枝的核心步骤通道减枝是我用得最多的方式步骤大概是训练一个基线模型。对每个通道计算重要性分数。按重要性排序裁剪掉排名靠后的通道。对裁剪后的模型做微调恢复精度。计算通道重要性有几种常见方法。最简单的是看权重绝对值之和——直觉是权重整体很小说明这个通道贡献不大。稍微进阶一点的做法是用BN层的缩放因子gamma作为重要性依据训练时加上稀疏化约束让不重要的通道gamma值趋近于0然后剪掉这些通道。3.3 减枝率怎么定一个实操建议减枝率不是拍脑袋定的我的经验是先做一个快速测试每次剪掉10%的通道然后评测精度记录下来。逐步增加直到精度出现断崖式下跌再往回退5个百分点作为安全边界。有个词叫“甜点区”意思是压缩率与精度损失之间存在一个拐点。拐点之前剪掉大量参数精度几乎不掉越过拐点精度会快速崩掉。每个模型、每个数据集的甜点区不一样只能实测。3.4 减枝的坑我踩过最典型的一个坑是剪完通道之后忘记处理后续层的输入维度。通道剪掉后下一层的输入通道数会变如果代码里没有同步更新运行时会直接报维度不匹配。这种情况下最好写一个自动适配层维度的封装函数把前后层的连接关系一并处理。另一个坑是微调的学习率。裁剪后的模型相当于换了个初始化状态直接用原学习率容易震荡。建议微调时把学习率降低到原来的十分之一并且用较小的batch size多跑几个epoch。4. 量化让模型用更少的位数表达同样的信息4.1 量化到底在做什么神经网络的权重和激活值在训练时通常用FP32存储也就是32位浮点数。量化的思路是用更低比特数的数值来近似表达原来的浮点数值常见的有FP16、INT8极端情况下还有二值化1比特。可以这样理解原来每个数用32位表示精度高但占空间换成8位表示存储直接缩到原来的四分之一计算时也因为整数运算比浮点运算快而提速。4.2 量化类型训练后量化与量化感知训练训练后量化PTQ是最省事的方式。模型训练完成后收集一部分校准数据集通常几百张图片/样本就够统计权重和激活值的数值分布然后确定一个合适的缩放比例和零点偏移把浮点数值映射到整数范围。量化感知训练QAT则是在训练过程中就模拟量化误差。前向传播时把权重和激活值量化到低精度反向传播时仍然用高精度梯度更新参数这样训练出来的模型天然适应低精度表达。QAT的效果通常比PTQ好但训练时间长、实现也更复杂。4.3 INT8量化的关键参数做INT8量化时主要关注两个参数scale和zero_point。scale是把浮点数映射到整数的缩放因子zero_point是浮点值0映射到整数时的偏移值。计算公式很简单假设计一个浮点数值范围[min, max]量化到INT8范围[-128, 127]那么scale (max - min) / 255zero_point round(-min / scale) (-128)实际工程中范围的选择直接影响量化精度。如果min和max取的是理论极值就容易把离群点纳入范围导致绝大多数数值量化后挤在很小的整数区间内精度受损。常见的做法是百分位裁剪比如取0.1%到99.9%分位数作为范围牺牲少量极端值来换取整体精度。4.4 量化部署里的“假量化”陷阱有一次我在某个框架里打开量化开关结果推理时发现模型运行速度几乎没有变化。排查了半天发现框架只是把模型存储格式换成了INT8但推理时又把它转回FP32来算等于量了个寂寞。这种“假量化”在很多工具链里都有部署前一定要确认推理后端真正支持INT8计算内核。提示验证量化是否真的生效最直接的方法是把量化模型的推理结果逐层与高精度模型的中间输出对比检查数值误差。只看运行时间往往会被缓存、并行等外在因素迷惑。4.5 量化与减枝的搭配我个人习惯先做减枝再做量化。因为减枝之后模型参数变少量化误差的影响面会小一些。反过来先量化再减枝也可以但量化后的数值分布可能让减枝的重要性评估产生偏差实操起来更别扭。5. 知识蒸馏让大模型当老师小模型当学生5.1 蒸馏的底层逻辑知识蒸馏的基本框架很清晰训练一个参数量大的教师模型然后用教师模型的输出信号去指导学生模型的训练。学生模型的结构可以完全独立只需要保持输入输出一致即可。为什么学生模型能从教师模型身上学到更多因为标准训练用的是hard label也就是只包含一个正确答案的离散标签。但教师模型输出的soft label经过softmax的概率分布包含了额外的信息比如一张猫的图片教师模型可能输出60%概率是猫30%概率是狗10%概率是狐狸。这种“相似性信息”恰好是学生模型在标准训练中学不到的。5.2 蒸馏温度与损失函数蒸馏里有个重要参数叫温度T。softmax公式里除以T会让概率分布变“软”T越大分布越平滑类别间的相对关系表达得越清晰T太小就退化成了普通one-hot效果。损失函数一般由两部分组成学生模型与教师模型soft label之间的蒸馏损失加上学生模型与真实标签之间的交叉熵损失。两者按比例加权常见设定是蒸馏损失权重更大一点比如0.70.3。有一个实操细节训练初期把温度设高一些让分布更平滑随着训练推进逐渐降低温度让模型更专注真实标签的拟合。这种温度退火策略在部分场景下能稳定提升学生模型的最终精度。5.3 蒸馏时教师模型的选择教师模型不是越大越好。如果教师参数量超过学生两个数量级学生模型很可能学不动因为教师模型的输出分布过于复杂学生模型的容量根本装不下这些信息。我个人的经验是教师模型精度要比学生模型高至少2个百分点但参数量不要超过学生模型的5到10倍。超过这个比例后蒸馏收益会明显边际递减。5.4 蒸馏的变体特征蒸馏标准蒸馏只在输出层做知识对齐特征蒸馏则深入到中间层。思路是把教师模型某一层的特征图与学生模型对应层的特征图做对齐让学生模型在“思考方式”上也像教师。特征蒸馏的好处是能传递更多结构化信息特别适合图像分割、目标检测这类需要空间信息的任务。但实现上要处理特征图尺寸对齐的问题通常需要加额外的适配层。5.5 蒸馏的常见误区把蒸馏当成万能药是我见过最多的问题。如果学生模型的容量和教师差距太大蒸馏出来的效果可能比从头训练还要差。另一个误区是忽略教师模型的准确性教师模型本身精度不够时教出来的学生也不会好到哪里去。还有一个容易被忽略的点蒸馏时需要同时加载教师模型和学生模型显存开销是两者之和。小显存环境下需要把教师模型冻结并放到CPU上推理或者分批次前向传播。6. 三个技巧的对比与选择方法核心操作主要收益典型代价适用场景减枝删通道/连接体积变小、计算量下降需要微调恢复精度模型结构冗余明显的场景量化降低数值精度体积变小、推理提速精度可能小幅下降部署环境对功耗内存敏感知识蒸馏大模型教小模型小模型获得更高精度训练成本增加有充足算力训练阶段完成实际项目中三个方法经常组合。举个我做过的一个模拟项目X先训练一个较大的教师模型蒸馏出一个中等大小的学生模型然后对学生模型做通道减枝最后做INT8量化。流程走完后模型体积只有原来的十五分之一推理延迟降低到原来的五分之一精度只掉了约1.2个百分点。这个结果在可控范围内。7. 常见问题与排查技巧实录7.1 减枝后精度崩了怎么办先别急着回滚。检查三件事减枝率是否超过了甜点区重要性评估方法是否合适微调超参是否合理。最常见的原因是减枝率过于激进建议降回一半重新微调看看恢复情况。7.2 量化后某些类别精度特别低这种情况往往是因为量化范围被少数极端样本撑大了导致多数样本的数值挤在很小的整数区间内区分度下降。解决办法是采用百分位裁剪或者把这些异常类别样本加入校准集重新统计分布。7.3 蒸馏后学生模型不收敛检查蒸馏温度是否过高导致梯度太软、更新方向不明确。另外确认蒸馏损失的权重是否设置合理如果蒸馏损失占比过大学生模型会过度拟合教师模型的输出忽略真实标签的信息。7.4 组合使用后误差累积每个压缩步骤都会有误差多步叠加会让误差放大。解决思路是每完成一步就做一次微调把误差恢复一部分再继续下一步。不要把所有压缩操作一口气做完再微调。每次只做一步评估微调再进入下一步虽然流程变长但最终效果稳定得多。7.5 工具链兼容性问题不同框架对减枝和量化的支持程度差异很大。选型时先确认目标部署环境支持哪些算子再决定压缩方案。我遇到过模型在训练框架里压缩得好好的但导出到推理引擎后发现某个算子在低精度下不支持只能改网络结构绕过。8. 实操心得与一点个人经验做模型压缩这件事我最深的体会是永远不要迷信理论推荐值任何参数都得在你自己的模型和数据集上实测。压缩方案没有模板每个模型的结构、每个数据集的分布都不一样适不适合只能通过实验验证。另一个经验是从一开始就要把“可压缩性”纳入模型设计。很多模型用标准结构堆出来参数冗余本身就很大压缩效果自然好。但有些网络结构设计得本来就精简再压缩的空间就很小。如果知道自己最终要做端侧部署在设计网络时就应该留一些压缩余地比如把通道数稍微放大这样后期压缩时甜点区会更宽。最后给个小技巧做完压缩之后一定要做一次完整的端到端验证。很多人只看了模型精度就以为万事大吉但实际上量化改动了数值计算方式可能会让你的预处理逻辑、后处理逻辑产生兼容性问题。端到端跑一遍真实场景的数据才能确保整个流程是通的。这比多调几个超参数重要得多。 1. 为什么每个做AI的人早晚都要碰模型压缩先聊个真实场景。某次我给一个图像识别Demo做端侧部署模型跑起来倒是没问题可一放到手机那种设备上内存直接爆掉帧率掉到没法看。当时脑子里第一个念头是换更小的模型但换模型意味着重新标注、重新训练、重新调参整个流程走一遍又是几周时间。后来我试着用模型压缩的思路去处理才意识到这个方向完全是另一套玩法。所谓模型压缩核心就是围绕“让模型变小、变快、变省”这件事做文章。模型训练完以后参数量动不动就是几百万甚至上亿级别推理一次要做的矩阵运算次数非常惊人。直接把它塞进手机、嵌入式设备、浏览器这些资源受限的环境几乎不可能。而压缩技术做的就是尽量在不明显损伤精度的前提下把模型“瘦身”到一个能跑得动的状态。这篇文章就围绕三类主流压缩方法展开减枝、量化、知识蒸馏。适合的读者很明确模型训练已经跑通、想把模型部署到实际场景但被性能卡住的人以及刚开始接触模型优化、还没理清这些概念区别的初学者。我尽量把原理、步骤、参数选择和踩坑记录都写清楚。2. 模型为什么会“臃肿”以及压缩为什么可行2.1 模型容量与过参数化模型训练的本质是从数据里学规律但训练过程并不会刻意控制“用多少参数去表达这个规律”。神经网络的参数在初始化之后经过反向传播不断调整最终会收敛到一个能拟合训练数据的分布。问题在于网络结构在设计时往往留了大量冗余——有些神经元、卷积核、权重通道对最终输出几乎没有贡献。打个比方这就像你请了100个人来搬砖但实际上30个人就能干完所有活剩下70个人站在旁边偶尔搭把手大多数时间在摸鱼。模型压缩就是把这70个人识别出来让他们离场剩下的30个人照样能把任务完成。这种现象在深度学习文献里常被称为过参数化。模型的实际表达能力远大于任务本身的需求因此存在大量可压缩的空间。2.2 压缩的本质在精度与效率之间找平衡压缩不是免费午餐代价通常是精度变化。好的压缩方案应该做到压缩后的模型精度与原始模型尽可能接近同时体积、推理延迟、内存占用显著下降。这里涉及一个核心概念叫精度-效率权衡。我个人的理解是压缩的目标不是追求“无损”而是把精度损失控制在一个可接受范围内。不同场景对精度的容忍度不一样OCR识别少量错字可以接受医疗影像诊断可能连一个百分点都不敢掉。2.3 三种方法定位不同减枝、量化、知识蒸馏三者解决的问题层次不同。减枝处理的是“结构冗余”直接砍掉不重要的连接、神经元或通道让模型结构变稀疏。量化处理的是“数值冗余”把本来用32位浮点数存储的权重换成8位甚至更低精度的整数让计算更快、内存占用更少。知识蒸馏处理的是“知识迁移”用一个大的、精度高的模型教师去指导一个小的模型学生训练让小模型学习到大模型的“暗知识”。三者并不互斥实际项目中经常组合使用。比如先量化再减枝或者先蒸馏出一个小的学生模型再对它做量化。3. 减枝把模型里不干活的参数挑出来扔掉3.1 减枝的分类结构化与非结构化减枝最早的做法是非结构化减枝思路很直接训练完成后把权重矩阵中绝对值小于某个阈值的参数直接置零。这样一来权重矩阵变得稀疏很多元素为0存储时可以用稀疏格式来节省空间。但问题也很明显稀疏矩阵在通用计算硬件上很难发挥加速效果因为主流处理器对密集矩阵运算做了大量优化碰到稀疏结构反而会变慢。结构化减枝则是把“整块”地删比如删掉某个卷积核、某一整个通道或者某一层的一部分神经元。因为删除的是结构单元剩下的网络依然是规则的密集结构在硬件上运行时能直接减少计算量加速效果明显。所以实际工程中结构化减枝更常用。3.2 通道减枝的核心步骤通道减枝是我用得最多的方式步骤大概是训练一个基线模型。对每个通道计算重要性分数。按重要性排序裁剪掉排名靠后的通道。对裁剪后的模型做微调恢复精度。计算通道重要性有几种常见方法。最简单的是看权重绝对值之和——直觉是权重整体很小说明这个通道贡献不大。稍微进阶一点的做法是用BN层的缩放因子gamma作为重要性依据训练时加上稀疏化约束让不重要的通道gamma值趋近于0然后剪掉这些通道。3.3 减枝率怎么定一个实操建议减枝率不是拍脑袋定的我的经验是先做一个快速测试每次剪掉10%的通道然后评测精度记录下来。逐步增加直到精度出现断崖式下跌再往回退5个百分点作为安全边界。有个词叫“甜点区”意思是压缩率与精度损失之间存在一个拐点。拐点之前剪掉大量参数精度几乎不掉越过拐点精度会快速崩掉。每个模型、每个数据集的甜点区不一样只能实测。3.4 减枝的坑我踩过最典型的一个坑是剪完通道之后忘记处理后续层的输入维度。通道剪掉后下一层的输入通道数会变如果代码里没有同步更新运行时会直接报维度不匹配。这种情况下最好写一个自动适配层维度的封装函数把前后层的连接关系一并处理。另一个坑是微调的学习率。裁剪后的模型相当于换了个初始化状态直接用原学习率容易震荡。建议微调时把学习率降低到原来的十分之一并且用较小的batch size多跑几个epoch。4. 量化让模型用更少的位数表达同样的信息4.1 量化到底在做什么神经网络的权重和激活值在训练时通常用FP32存储也就是32位浮点数。量化的思路是用更低比特数的数值来近似表达原来的浮点数值常见的有FP16、INT8极端情况下还有二值化1比特。可以这样理解原来每个数用32位表示精度高但占空间换成8位表示存储直接缩到原来的四分之一计算时也因为整数运算比浮点运算快而提速。4.2 量化类型训练后量化与量化感知训练训练后量化PTQ是最省事的方式。模型训练完成后收集一部分校准数据集通常几百张图片/样本就够统计权重和激活值的数值分布然后确定一个合适的缩放比例和零点偏移把浮点数值映射到整数范围。量化感知训练QAT则是在训练过程中就模拟量化误差。前向传播时把权重和激活值量化到低精度反向传播时仍然用高精度梯度更新参数这样训练出来的模型天然适应低精度表达。QAT的效果通常比PTQ好但训练时间长、实现也更复杂。4.3 INT8量化的关键参数做INT8量化时主要关注两个参数scale和zero_point。scale是把浮点数映射到整数的缩放因子zero_point是浮点值0映射到整数时的偏移值。计算公式很简单假设计一个浮点数值范围[min, max]量化到INT8范围[-128, 127]那么scale (max - min) / 255zero_point round(-min / scale) (-128)实际工程中范围的选择直接影响量化精度。如果min和max取的是理论极值就容易把离群点纳入范围导致绝大多数数值量化后挤在很小的整数区间内精度受损。常见的做法是百分位裁剪比如取0.1%到99.9%分位数作为范围牺牲少量极端值来换取整体精度。4.4 量化部署里的“假量化”陷阱有一次我在某个框架里打开量化开关结果推理时发现模型运行速度几乎没有变化。排查了半天发现框架只是把模型存储格式换成了INT8但推理时又把它转回FP32来算等于量了个寂寞。这种“假量化”在很多工具链里都有部署前一定要确认推理后端真正支持INT8计算内核。提示验证量化是否真的生效最直接的方法是把量化模型的推理结果逐层与高精度模型的中间输出对比检查数值误差。只看运行时间往往会被缓存、并行等外在因素迷惑。4.5 量化与减枝的搭配我个人习惯先做减枝再做量化。因为减枝之后模型参数变少量化误差的影响面会小一些。反过来先量化再减枝也可以但量化后的数值分布可能让减枝的重要性评估产生偏差实操起来更别扭。5. 知识蒸馏让大模型当老师小模型当学生5.1 蒸馏的底层逻辑知识蒸馏的基本框架很清晰训练一个参数量大的教师模型然后用教师模型的输出信号去指导学生模型的训练。学生模型的结构可以完全独立只需要保持输入输出一致即可。为什么学生模型能从教师模型身上学到更多因为标准训练用的是hard label也就是只包含一个正确答案的离散标签。但教师模型输出的soft label经过softmax的概率分布包含了额外的信息比如一张猫的图片教师模型可能输出60%概率是猫30%概率是狗10%概率是狐狸。这种“相似性信息”恰好是学生模型在标准训练中学不到的。5.2 蒸馏温度与损失函数蒸馏里有个重要参数叫温度T。softmax公式里除以T会让概率分布变“软”T越大分布越平滑类别间的相对关系表达得越清晰T太小就退化成了普通one-hot效果。损失函数一般由两部分组成学生模型与教师模型soft label之间的蒸馏损失加上学生模型与真实标签之间的交叉熵损失。两者按比例加权常见设定是蒸馏损失权重更大一点比如0.70.3。有一个实操细节训练初期把温度设高一些让分布更平滑随着训练推进逐渐降低温度让模型更专注真实标签的拟合。这种温度退火策略在部分场景下能稳定提升学生模型的最终精度。5.3 蒸馏时教师模型的选择教师模型不是越大越好。如果教师参数量超过学生两个数量级学生模型很可能学不动因为教师模型的输出分布过于复杂学生模型的容量根本装不下这些信息。我个人的经验是教师模型精度要比学生模型高至少2个百分点但参数量不要超过学生模型的5到10倍。超过这个比例后蒸馏收益会明显边际递减。5.4 蒸馏的变体特征蒸馏标准蒸馏只在输出层做知识对齐特征蒸馏则深入到中间层。思路是把教师模型某一层的特征图与学生模型对应层的特征图做对齐让学生模型在“思考方式”上也像教师。特征蒸馏的好处是能传递更多结构化信息特别适合图像分割、目标检测这类需要空间信息的任务。但实现上要处理特征图尺寸对齐的问题通常需要加额外的适配层。5.5 蒸馏的常见误区把蒸馏当成万能药是我见过最多的问题。如果学生模型的容量和教师差距太大蒸馏出来的效果可能比从头训练还要差。另一个误区是忽略教师模型的准确性教师模型本身精度不够时教出来的学生也不会好到哪里去。还有一个容易被忽略的点蒸馏时需要同时加载教师模型和学生模型显存开销是两者之和。小显存环境下需要把教师模型冻结并放到CPU上推理或者分批次前向传播。6. 三个技巧的对比与选择方法核心操作主要收益典型代价适用场景减枝删通道/连接体积变小、计算量下降需要微调恢复精度模型结构冗余明显的场景量化降低数值精度体积变小、推理提速精度可能小幅下降部署环境对功耗内存敏感知识蒸馏大模型教小模型小模型获得更高精度训练成本增加有充足算力训练阶段完成实际项目中三个方法经常组合。举个我做过的一个模拟项目X先训练一个较大的教师模型蒸馏出一个中等大小的学生模型然后对学生模型做通道减枝最后做INT8量化。流程走完后模型体积只有原来的十五分之一推理延迟降低到原来的五分之一精度只掉了约1.2个百分点。这个结果在可控范围内。7. 常见问题与排查技巧实录7.1 减枝后精度崩了怎么办先别急着回滚。检查三件事减枝率是否超过了甜点区重要性评估方法是否合适微调超参是否合理。最常见的原因是减枝率过于激进建议降回一半重新微调看看恢复情况。7.2 量化后某些类别精度特别低这种情况往往是因为量化范围被少数极端样本撑大了导致多数样本的数值挤在很小的整数区间内区分度下降。解决办法是采用百分位裁剪或者把这些异常类别样本加入校准集重新统计分布。7.3 蒸馏后学生模型不收敛检查蒸馏温度是否过高导致梯度太软、更新方向不明确。另外确认蒸馏损失的权重是否设置合理如果蒸馏损失占比过大学生模型会过度拟合教师模型的输出忽略真实标签的信息。7.4 组合使用后误差累积每个压缩步骤都会有误差多步叠加会让误差放大。解决思路是每完成一步就做一次微调把误差恢复一部分再继续下一步。不要把所有压缩操作一口气做完再微调。每次只做一步评估微调再进入下一步虽然流程变长但最终效果稳定得多。7.5 工具链兼容性问题不同框架对减枝和量化的支持程度差异很大。选型时先确认目标部署环境支持哪些算子再决定压缩方案。我遇到过模型在训练框架里压缩得好好的但导出到推理引擎后发现某个算子在低精度下不支持只能改网络结构绕过。8. 实操心得与一点个人经验做模型压缩这件事我最深的体会是永远不要迷信理论推荐值任何参数都得在你自己的模型和数据集上实测。压缩方案没有模板每个模型的结构、每个数据集的分布都不一样适不适合只能通过实验验证。另一个经验是从一开始就要把“可压缩性”纳入模型设计。很多模型用标准结构堆出来参数冗余本身就很大压缩效果自然好。但有些网络结构设计得本来就精简再压缩的空间就很小。如果知道自己最终要做端侧部署在设计网络时就应该留一些压缩余地比如把通道数稍微放大这样后期压缩时甜点区会更宽。最后给个小技巧做完压缩之后一定要做一次完整的端到端验证。很多人只看了模型精度就以为万事大吉但实际上量化改动了数值计算方式可能会让你的预处理逻辑、后处理逻辑产生兼容性问题。端到端跑一遍真实场景的数据才能确保整个流程是通的。这比多调几个超参数重要得多。