人工智能大模型多模态基础模型模型推理服务本地部署代码模型【免费下载链接】MiniMax-M3.1-Flash项目地址https://ai.gitcode.com/hf_mirrors/unsloth/MiniMax-M3.1-Flash点击查看免费下载MiniMax-M3.1-Flash是 MiniMax 推出的原生多模态混合专家MoE大模型总参数约 428B、每 token 仅激活约 23B上下文窗口最高 100 万 tokens。它最值得关注的一点是在训练阶段就通过量化感知训练QAT完成了 MXFP8 与 NVFP4 量化而不是事后压一下。这让 400B 级别的 MoE 模型在保持任务能力的前提下显著降低了显存占用、提升了推理效率。一、为什么 400B 级 MoE 模型必须谈量化MiniMax-M3.1-Flash 采用混合专家架构官方权重由 48 个分片组成model-00001-of-00048.safetensors权重分布索引见 model.safetensors.index.json。对于 MoE 模型来说专家Expert矩阵占据了绝大部分参数。若以常见的 BF16 精度存储权重体积会非常庞大而量化后权重体积缩小4-bit 的 NVFP4 理论上可将专家权重量化体积压缩到 BF16 的约 1/48-bit 的 MXFP8 则减半访存压力下降推理时 MoE 的专家权重是按 token 动态调取的精度降低直接减少显存带宽压力长上下文更从容官方支持最高 1M tokens 上下文KV Cache 与权重的显存竞争本就激烈低精度权重是腾地方的关键。官方在 README_zh.md 中明确将量化感知训练列为 M3.1-Flash 的三大高效设计之一路由 MoE 专家与注意力路径在训练阶段完成量化降低显存占用并提升推理效率。二、什么是 QAT和先训练、后量化有何不同 新手常见疑问QATQuantization-Aware Training量化感知训练到底好在哪对比项PTQ训练后量化QAT量化感知训练时机训练完成后把权重压到低精度训练过程中就模拟量化误差精度损失越大比特压缩、掉点越明显权重在训练中学会适应量化噪声成本低一次转换即可需要训练流程配合典型场景快速部署追求极致效率且不牺牲效果打个比方PTQ 像把一幅高清照片强行压缩后再看而 QAT 是让画师一开始就按低精度画布作图——画面虽然细节受限但整体观感损失更小。M3.1-Flash 选择 QAT 路线意味着它发布的低精度权重不是转换产物而是原生训练结果这也是它能以低精度权重直接跑满 400B 级 MoE 推理的核心底气。三、打开 config.jsonMXFP8 与 NVFP4 双量化方案模型仓库的 config.json 中有一块非常清晰的quantization_config是理解这套 QAT 方案的钥匙quant_method: mxfp8整体量化方法为MXFP8Microscaling FP8 格式即权重按块block存储 FP8 数据每块附带一个缩放因子兼顾低精度与数值稳定性activation_scheme: dynamic激活值采用动态量化推理时根据实际激活范围实时计算缩放避免静态量化对分布漂移的敏感问题weight_block_size: [1, 32]权重按32 个元素一组划分量化块块级缩放让每一小段权重都能有独立的精度刻度。再看紧随其后的两个 MoE 专属字段moe_quant_algo: NVFP4路由 MoE 专家权重采用NVFP4NVIDIA 4-bit 浮点格式比特数更低、压缩更狠moe_quant_format: nvfp4-pack-quantized权重以打包pack形式存储进一步节省存储与传输开销group_size: 16NVFP4 量化以16 个参数为组做缩放校准与 FP8 的 32 组互为补充。 简单理解这套双格式分工注意力路径等主干层 → MXFP88-bit精度更高保证注意力计算稳定MoE 路由专家 → NVFP44-bit专家矩阵体量大是省显存的主力压得最狠。这种按层定制比特数的混合量化正是 428B 参数模型既能大幅瘦身、又不掉点的关键。四、哪些层不量化精度保险丝设计在 config.json 的ignored_layers列表中有一批被明确排除在量化之外的层各层block_sparse_moe.gate第 359 层共 57 层MoE 路由门控不做量化——它负责决定这个 token 走哪些专家一旦路由判断失准输出质量会明显受损所以保持高精度是合理取舍lm_head、model.embed_tokens词嵌入与输出层保持高精度直接影响词表200064 词映射质量vision_tower、multi_modal_projector、patch_merge_mlp整个视觉塔与多模态投影模块不量化保障图像/视频理解精度。 这是 QAT 工程化的典型细节不是一刀切全压而是给敏感层留足精度余量。五、QAT 带来的实际收益结合 README_zh.md 与多芯片部署文档docs/FlagOS-Multi-Chip-Support-and-Downloads.md显存占用下降MoE 专家以 NVFP4、主干以 MXFP8 存储权重体积远低于 BF16428B 级模型部署所需显存相应缩减推理效率提升低比特权重减少访存量配合全模型稀疏注意力MiniMax Sparse Attention与 DSpark 投机解码draft 权重见 dspark/仅约 2.3GB配置见 dspark/config.json长序列场景吞吐更高多芯片可移植官方多芯片文档提到FlagOS 社区基于该模型原生的 QAT NVFP4 权重转换为各芯片平台的 W8A8 部署版本覆盖 T-Head真武、NVIDIA、MetaX、Hygon、华为昇腾、摩尔线程、天数智芯、昆仑芯、青耘微等 9 家芯片平台——原生 QAT 权重让跨平台再量化有了高质量底料能力保持官方基准测试基于官方权重显示量化并未拖累任务表现例如 DeepSWE v1.1 达 73.7%、CyberGym 82.2、LOCA-Bench 256K 长上下文 60.3在同类模型中处于第一梯队。六、如何上手体验这套量化模型本地部署非常简单官方推荐使用 SGLang 或 vLLM 等推理框架加载详见 README_zh.md 的本地部署一节从官方模型仓库下载权重后用兼容的 serving 实现即可运行推荐采样参数为temperature1.0、top_p0.95并可在 chat template 中通过reasoning_effortlow/medium/high/xhigh/max调节推理深度。⚠️ 小提醒量化权重对推理框架的 FP8/FP4 算子支持有要求建议使用官方推荐的 SGLang / vLLM 版本部署官方注明以上结果基于官方权重第三方量化版本可能有所不同二次量化请谨慎验证效果可用上下文长度和吞吐量取决于 GPU 显存与 serving 配置长上下文场景建议预留充足显存。总结QAT 是省显存和保效果的最优解之一要点说明QAT训练阶段就完成量化权重原生适应低精度掉点更小MXFP8注意力路径等主干层采用 8-bit 块量化block 32动态激活量化NVFP4MoE 路由专家采用 4-bit 打包量化group 16显存压缩主力免量化层路由 gate、词嵌入、视觉塔保持高精度守住质量底线收益权重体积大幅缩小 推理更快 9 家芯片平台 W8A8 可移植部署对于新手而言MiniMax-M3.1-Flash 提供了一个难得的观察样本400B 级开源模型如何把量化写进训练流程用 config.json 里的几个字段就能读出 MXFP8 NVFP4 的完整分工。理解这套按层定精度的 QAT 思路对你部署其他大型 MoE 模型时做显存规划同样适用。赞分享人工智能大模型多模态基础模型模型推理服务本地部署代码模型【免费下载链接】MiniMax-M3.1-Flash项目地址https://ai.gitcode.com/hf_mirrors/unsloth/MiniMax-M3.1-Flash点击查看免费下载相关推荐NVFP4 vs BF16 vs MXFP8MiniMax-Music3六大量化版本显存占用、生成速度与音质全对比NVFP4 vs BF16 vs MXFP8MiniMax Music3六大量化版本显存占用、生成速度与音质全对比 MiniMax Music3 是 MiniMiniMax-M3.1-Flash-Text-4bit 的 4bit 秘密NVFP4 MXFP8 混合精度如何做到 Token 级无损MiniMax M3.1 Flash Text 4bit 的 4bit 秘密NVFP4 MXFP8 混合精度如何做到 Token 级无损 MiniMax人工智能大模型模型量化本地部署深度解析W8A8动态量化Qwen3-30B-A3B-W8A8如何在保持精度的同时大幅降低显存占用深度解析W8A8动态量化Qwen3 30B A3B W8A8如何在保持精度的同时大幅降低显存占用 Qwen3 30B A3B W8A8 是面向 vLLM As创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 人工智能大模型多模态基础模型模型推理服务本地部署代码模型【免费下载链接】MiniMax-M3.1-Flash项目地址https://ai.gitcode.com/hf_mirrors/unsloth/MiniMax-M3.1-Flash点击查看免费下载MiniMax-M3.1-Flash是 MiniMax 推出的原生多模态混合专家MoE大模型总参数约 428B、每 token 仅激活约 23B上下文窗口最高 100 万 tokens。它最值得关注的一点是在训练阶段就通过量化感知训练QAT完成了 MXFP8 与 NVFP4 量化而不是事后压一下。这让 400B 级别的 MoE 模型在保持任务能力的前提下显著降低了显存占用、提升了推理效率。一、为什么 400B 级 MoE 模型必须谈量化MiniMax-M3.1-Flash 采用混合专家架构官方权重由 48 个分片组成model-00001-of-00048.safetensors权重分布索引见 model.safetensors.index.json。对于 MoE 模型来说专家Expert矩阵占据了绝大部分参数。若以常见的 BF16 精度存储权重体积会非常庞大而量化后权重体积缩小4-bit 的 NVFP4 理论上可将专家权重量化体积压缩到 BF16 的约 1/48-bit 的 MXFP8 则减半访存压力下降推理时 MoE 的专家权重是按 token 动态调取的精度降低直接减少显存带宽压力长上下文更从容官方支持最高 1M tokens 上下文KV Cache 与权重的显存竞争本就激烈低精度权重是腾地方的关键。官方在 README_zh.md 中明确将量化感知训练列为 M3.1-Flash 的三大高效设计之一路由 MoE 专家与注意力路径在训练阶段完成量化降低显存占用并提升推理效率。二、什么是 QAT和先训练、后量化有何不同 新手常见疑问QATQuantization-Aware Training量化感知训练到底好在哪对比项PTQ训练后量化QAT量化感知训练时机训练完成后把权重压到低精度训练过程中就模拟量化误差精度损失越大比特压缩、掉点越明显权重在训练中学会适应量化噪声成本低一次转换即可需要训练流程配合典型场景快速部署追求极致效率且不牺牲效果打个比方PTQ 像把一幅高清照片强行压缩后再看而 QAT 是让画师一开始就按低精度画布作图——画面虽然细节受限但整体观感损失更小。M3.1-Flash 选择 QAT 路线意味着它发布的低精度权重不是转换产物而是原生训练结果这也是它能以低精度权重直接跑满 400B 级 MoE 推理的核心底气。三、打开 config.jsonMXFP8 与 NVFP4 双量化方案模型仓库的 config.json 中有一块非常清晰的quantization_config是理解这套 QAT 方案的钥匙quant_method: mxfp8整体量化方法为MXFP8Microscaling FP8 格式即权重按块block存储 FP8 数据每块附带一个缩放因子兼顾低精度与数值稳定性activation_scheme: dynamic激活值采用动态量化推理时根据实际激活范围实时计算缩放避免静态量化对分布漂移的敏感问题weight_block_size: [1, 32]权重按32 个元素一组划分量化块块级缩放让每一小段权重都能有独立的精度刻度。再看紧随其后的两个 MoE 专属字段moe_quant_algo: NVFP4路由 MoE 专家权重采用NVFP4NVIDIA 4-bit 浮点格式比特数更低、压缩更狠moe_quant_format: nvfp4-pack-quantized权重以打包pack形式存储进一步节省存储与传输开销group_size: 16NVFP4 量化以16 个参数为组做缩放校准与 FP8 的 32 组互为补充。 简单理解这套双格式分工注意力路径等主干层 → MXFP88-bit精度更高保证注意力计算稳定MoE 路由专家 → NVFP44-bit专家矩阵体量大是省显存的主力压得最狠。这种按层定制比特数的混合量化正是 428B 参数模型既能大幅瘦身、又不掉点的关键。四、哪些层不量化精度保险丝设计在 config.json 的ignored_layers列表中有一批被明确排除在量化之外的层各层block_sparse_moe.gate第 359 层共 57 层MoE 路由门控不做量化——它负责决定这个 token 走哪些专家一旦路由判断失准输出质量会明显受损所以保持高精度是合理取舍lm_head、model.embed_tokens词嵌入与输出层保持高精度直接影响词表200064 词映射质量vision_tower、multi_modal_projector、patch_merge_mlp整个视觉塔与多模态投影模块不量化保障图像/视频理解精度。 这是 QAT 工程化的典型细节不是一刀切全压而是给敏感层留足精度余量。五、QAT 带来的实际收益结合 README_zh.md 与多芯片部署文档docs/FlagOS-Multi-Chip-Support-and-Downloads.md显存占用下降MoE 专家以 NVFP4、主干以 MXFP8 存储权重体积远低于 BF16428B 级模型部署所需显存相应缩减推理效率提升低比特权重减少访存量配合全模型稀疏注意力MiniMax Sparse Attention与 DSpark 投机解码draft 权重见 dspark/仅约 2.3GB配置见 dspark/config.json长序列场景吞吐更高多芯片可移植官方多芯片文档提到FlagOS 社区基于该模型原生的 QAT NVFP4 权重转换为各芯片平台的 W8A8 部署版本覆盖 T-Head真武、NVIDIA、MetaX、Hygon、华为昇腾、摩尔线程、天数智芯、昆仑芯、青耘微等 9 家芯片平台——原生 QAT 权重让跨平台再量化有了高质量底料能力保持官方基准测试基于官方权重显示量化并未拖累任务表现例如 DeepSWE v1.1 达 73.7%、CyberGym 82.2、LOCA-Bench 256K 长上下文 60.3在同类模型中处于第一梯队。六、如何上手体验这套量化模型本地部署非常简单官方推荐使用 SGLang 或 vLLM 等推理框架加载详见 README_zh.md 的本地部署一节从官方模型仓库下载权重后用兼容的 serving 实现即可运行推荐采样参数为temperature1.0、top_p0.95并可在 chat template 中通过reasoning_effortlow/medium/high/xhigh/max调节推理深度。⚠️ 小提醒量化权重对推理框架的 FP8/FP4 算子支持有要求建议使用官方推荐的 SGLang / vLLM 版本部署官方注明以上结果基于官方权重第三方量化版本可能有所不同二次量化请谨慎验证效果可用上下文长度和吞吐量取决于 GPU 显存与 serving 配置长上下文场景建议预留充足显存。总结QAT 是省显存和保效果的最优解之一要点说明QAT训练阶段就完成量化权重原生适应低精度掉点更小MXFP8注意力路径等主干层采用 8-bit 块量化block 32动态激活量化NVFP4MoE 路由专家采用 4-bit 打包量化group 16显存压缩主力免量化层路由 gate、词嵌入、视觉塔保持高精度守住质量底线收益权重体积大幅缩小 推理更快 9 家芯片平台 W8A8 可移植部署对于新手而言MiniMax-M3.1-Flash 提供了一个难得的观察样本400B 级开源模型如何把量化写进训练流程用 config.json 里的几个字段就能读出 MXFP8 NVFP4 的完整分工。理解这套按层定精度的 QAT 思路对你部署其他大型 MoE 模型时做显存规划同样适用。赞分享人工智能大模型多模态基础模型模型推理服务本地部署代码模型【免费下载链接】MiniMax-M3.1-Flash项目地址https://ai.gitcode.com/hf_mirrors/unsloth/MiniMax-M3.1-Flash点击查看免费下载相关推荐NVFP4 vs BF16 vs MXFP8MiniMax-Music3六大量化版本显存占用、生成速度与音质全对比NVFP4 vs BF16 vs MXFP8MiniMax Music3六大量化版本显存占用、生成速度与音质全对比 MiniMax Music3 是 MiniMiniMax-M3.1-Flash-Text-4bit 的 4bit 秘密NVFP4 MXFP8 混合精度如何做到 Token 级无损MiniMax M3.1 Flash Text 4bit 的 4bit 秘密NVFP4 MXFP8 混合精度如何做到 Token 级无损 MiniMax人工智能大模型模型量化本地部署深度解析W8A8动态量化Qwen3-30B-A3B-W8A8如何在保持精度的同时大幅降低显存占用深度解析W8A8动态量化Qwen3 30B A3B W8A8如何在保持精度的同时大幅降低显存占用 Qwen3 30B A3B W8A8 是面向 vLLM As创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考