非AI生成觉得有用就请您帮忙点赞转发收藏吧您的鼓励是我创作的动力多谢看官。由于能力水平有限文中的错误或不严谨的地方在所难免还请批评指正。目录1. 先说结论重采样 三个维度的对齐2. 采样率变换不是删点也不是复制是重新算一遍2.1 为什么不能简单地丢点或补点2.2 FFmpeg 怎么做插值 低通滤波2.3 延迟是不可避免的3. 采样格式转换从 float 到 int16 的那些坑3.1 为什么 AAC 解码器爱吐 FLTP3.2 转换过程发生了什么3.3 Dither你可能没听过但一直在享受的技术4. 声道重映射从 5.1 到立体声不是丢掉后面四个4.1 下混Downmix的数学4.2 上混Upmix和缺失声道的猜测4.3 FFmpeg 6 的 AVChannelLayout表达能力大升级5. 三个维度同时变换重采样的完整流水线6. swr_convert() 为什么返回的不是一进一出7. 延迟补偿音画同步的隐形杀手8. 常见翻车现场速查9. 性能热点在哪里10. 一句话总结 脑内流程图如果你第一次接触 FFmpeg 的音频部分十有八九是被swresample或者老一点的 libswresample这个词劝退的。文档里写着音频重采样但到底重了个啥是把 44.1kHz 变成 48kHz 就叫重采样还是里面另有乾坤今天咱们把这层窗户纸捅破。内容从 1 开始一层一层剥。1. 先说结论重采样 三个维度的对齐音频重采样干的事情本质上是在三个维度上把源音频的格式对齐到目标环境要求的格式维度是什么典型场景采样率每秒多少个采样点44.1kHz CD → 48kHz 声卡采样格式每个采样点用多少位、什么类型存储float planar → int16 交错声道布局几个声道、怎么排布5.1 → 立体声下混任何一个维度对不上下游SDL/ALSA/编码器/硬件就可能罢工。重采样就是那个万能适配器。类比就像视频的 swscale 把 YUV420P 1920×1080 变成 RGB24 1280×720音频重采样是在时间轴 数值精度 空间布局三个方向上同时做变换。2. 采样率变换不是删点也不是复制是重新算一遍2.1 为什么不能简单地丢点或补点假设你有个 44.1kHz 的音频想变成 48kHz天真想法 A每隔 44.1 个点删一个 → 会引入周期性失真一听就是机器声天真想法 B每个点复制一份 → 音调变高速度变快真实的声音是连续的模拟信号采样率是你在时间轴上拍照的频率。从一种拍照频率变到另一种需要做数字信号处理意义上的重采样原始采样点 → 插值成连续信号 → 按新频率重新采样 → 新采样点2.2 FFmpeg 怎么做插值 低通滤波FFmpeg 的重采样核心是一个多相滤波器polyphase FIR filter上采样Upsample在原始采样点之间插入零值把采样率提到 LCM(44100, 48000) 7056000 Hz理论上低通滤波滤掉插入零值引入的高频镜像防止混叠aliasing下采样Downsample每隔若干点取一个降到目标采样率实际上 FFmpeg 用多相分解技巧把这三步合并成一步效率极高。你选的算法SWS_BILINEAR / SWS_SINC / SWS_LANCZOS 等决定了 FIR 滤波器的长度和形状// swr 初始化时指定的 quality av_opt_set_int(swr, quality, 5, 0); // 0poor..10bestQuality实际含义适用场景0–2最近邻/线性插值速度快音质差实时监控、语音对讲3–5中等长度 FIR平衡普通播放器默认6–8长 FIR音质好CPU 高音乐播放、后期制作9–10极长 FIR接近无损母带处理、离线转码2.3 延迟是不可避免的重采样滤波器是有宽度的意味着它需要未来的采样点才能算出当前输出。这引入了固有延迟通常几十个采样点输入: [x₀] [x₁] [x₂] [x₃] ... 输出: [y₀] [y₁] ... ↑ 这里才有第一个有效输出这就是为什么swr_convert()在 flush 阶段还会吐出一些采样点——滤波器尾巴里的能量必须刷出来否则结尾会少一截声音。3. 采样格式转换从 float 到 int16 的那些坑3.1 为什么 AAC 解码器爱吐 FLTPAAC 解码器默认输出AV_SAMPLE_FMT_FLTPfloat planar每个采样点是 32-bit float范围[-1.0, 1.0]每个声道一个独立的 bufferplanar精度高、溢出不可能、DSP 算法友好但你的声卡大概率要吃S1616-bit signed integer交错每个采样点 16-bit范围[-32768, 32767]左右声道交错存放L R L R L R...3.2 转换过程发生了什么float -0.5 → (-0.5) × 32767 -16383.5 → 取整 → -16384 float 0.999 → 0.999 × 32767 32764.2 → 取整 → 32764 float 1.0 → 1.0 × 32767 32767削顶问题来了float 理论上可以到 ±1.0但 int16 的 32767 对应 0.99997所以 FFmpeg 内部会做一点点headroom 预留防止削顶失真。同时舍入方式rounding就近取整 / 向零取整 / 随机抖动dither溢出钳位clamp确保不会超出目标格式的范围3.3 Dither你可能没听过但一直在享受的技术从高位深往低位深转比如 float 32-bit → int16量化误差会变成可听见的高频失真。FFmpeg 可以选择开启 dither抖动原始信号 低幅度随机噪声 → 量化 → 噪声能量分散到全频段听感更自然av_opt_set_int(swr, dither_method, SWR_DITHER_TRIANGULAR, 0);大多数播放器不关心这个因为 float→int16 的动态范围已经够大但做音乐制作的人会非常在意。4. 声道重映射从 5.1 到立体声不是丢掉后面四个4.1 下混Downmix的数学5.1 声道布局是FL FR FC LFE BL BR前左、前右、中置、低音、后左、后右变成立体声时FFmpeg 做的事情是加权混合L FL×gain₁ FC×gain₂ BL×gain₃ LFE×gain₄ R FR×gain₁ FC×gain₂ BR×gain₃ LFE×gain₄增益系数不是随便定的遵循 ITU-R BS.775 或 Dolby 规范中置声道贡献约 -3dB因为离两只耳朵距离差不多环绕声道贡献约 -6dB因为来自侧面/后方LFE超低音通常不参与下混立体声喇叭再现不了 120Hz 以下的能量留着反而会让小喇叭过载4.2 上混Upmix和缺失声道的猜测从立体声变 5.1 更 tricky因为信息不够。常见策略左右声道直接复制到 FL/FR中置 (L R) / 2再衰减环绕 用 HRTF 或相位差算法从立体声中提取环境声LFE 低通滤波后的单声道FFmpeg 的pan滤镜可以精细控制这个过程但 swresample 内置的下混/上混已经能满足大多数播放器需求。4.3 FFmpeg 6 的 AVChannelLayout表达能力大升级以前声道布局是个 64-bit maskAV_CH_FRONT_LEFT | AV_CH_FRONT_RIGHT ...最多描述十几个声道。FFmpeg 6 的AVChannelLayout结构体可以描述Ambisonics全景声22.2NHK 超级多声道任意自定义布局AVChannelLayout layout; av_channel_layout_from_string(layout, 5.1); // 或 av_channel_layout_from_string(layout, hexagonal); // 6声道六边形重采样时会自动做正确的重映射你不用手写混合矩阵。5. 三个维度同时变换重采样的完整流水线当你同时改变采样率、格式、声道数时FFmpeg 内部大致是这样安排的输入 AVFrame (FLTP, 48kHz, 5.1) │ ▼ ┌─────────────────────────────────────┐ │ ① 声道重映射5.1 → stereo │ ← 先降维减少后续计算量 │ ② 采样率变换48k → 44.1k │ ← 计算量最大的步骤 │ ③ 格式转换FLTP → S16 │ ← 最后做float 运算精度高 └─────────────────────────────────────┘ │ ▼ 输出 buffer (S16, 44.1kHz, stereo)为什么要按这个顺序 因为先降声道数 → 后面每个步骤处理的数据量更小采样率变换在 float 域做 → 精度最高失真最小格式转换放最后 → 输出就是下游要的格式6. swr_convert() 为什么返回的不是一进一出这是新手最困惑的点int out_samples swr_convert(swr, out_buf, out_nb_samples, (const uint8_t**)in_buf, in_nb_samples);你送进去 1024 个采样点出来的不一定是 1024 个。原因情况输出采样数原因升采样44.1k→48k多于输入时间轴拉长采样点变多降采样48k→44.1k少于输入时间轴压缩采样点变少滤波器延迟期0 或很少还没攒够历史数据Flush 阶段少量滤波器尾巴的能量所以正确的用法是循环抽直到swr_convert()返回 0// 正常处理 while (have_input) { int consumed swr_convert(swr, out, out_nb, in, in_nb); // consumed 实际消耗的输入采样数 // 返回值 实际输出的采样数 } // flush while (swr_convert(swr, out, out_nb, NULL, 0) 0) { // 刷干净 }7. 延迟补偿音画同步的隐形杀手重采样引入的延迟如果不补偿会导致声音比画面慢几毫秒到几十毫秒。FFmpeg 提供了查询延迟的 APIint64_t delay swr_get_delay(swr, 48000); // 以 48kHz 为时间基的延迟采样数这个delay的含义是当前输入的第 N 个采样点要再过delay个输出采样后才会出现在输出端。音画同步时你应该把这个延迟算进音频时钟音频时钟 当前播放位置 重采样延迟秒否则你的视频会领先音频一点点长时间播放后越来越明显。8. 常见翻车现场速查现象根因解法声音像电话音闷采样率没变对或低通太狠检查 in/out 采样率提高 quality只有左声道有声声道布局没设对或 planar/interleaved 搞混确认 AVChannelLayout确认 data[] 指针个数爆音/咔嚓声格式转换溢出float→int 削顶降低输入增益或确认没超范围开头几毫秒没声音重采样滤波器延迟没 flush结尾记得 swr_convert(swr, ..., NULL, 0)结尾被截断flush 没做完整循环 flush 直到返回 0音量忽大忽小5.1→stereo 下混增益没归一化用 swresample 内置下混别手写权重锁屏恢复后音频破音swr 上下文没重建或设备采样率变了设备丢失时 free swr重建时重新 alloc9. 性能热点在哪里重采样是音频流水线里计算量第二大的环节仅次于解码。热点通常在这几个地方FIR 滤波器的卷积运算采样率变换的核心格式转换的乘加和钳位每个采样点都要过声道混合的矩阵乘法多声道下混优化方向降低 quality播放器用 3–5 足够避免不必要的重采样如果源和目标格式一致直接 bypass批量处理攒够一帧再送减少函数调用开销硬件加速部分平台支持音频 DSP但 FFmpeg 主要靠 CPU10. 一句话总结 脑内流程图重采样 把音频从源的物理形态翻译成目的地能听懂的语言。 采样率是时间轴的密度采样格式是每个点的精度声道布局是空间的分布。三者任意一个不匹配就需要 swresample 来做这个翻译工作。AVFrame (FLTP, 48kHz, 5.1) │ ▼ ┌──────────────────────────────┐ │ SwrContext │ │ 声道重映射矩阵混合 │ │ 采样率变换FIR 插值 │ │ 格式转换float→int dither│ └──────────────────────────────┘ │ ▼ PCM Buffer (S16, 44.1kHz, stereo) │ ▼ SDL / ALSA / 编码器
尧图网络