【免费下载链接】FormulaNet项目地址https://ai.gitcode.com/hf_mirrors/alephpi/FormulaNet点击查看免费下载 如果你正在找FormulaNet这个 LaTeX 公式识别模型LaTeX OCR的各版本权重区别这篇文章就是答案。FormulaNet 是一个基于 vision-encoder-decoder 架构的公式图像转 LaTeX 文本的开源模型仓库中checkpoints/目录保存了4 个关键 Checkpoint完整记录了从 PaddlePaddle 原版移植到 PyTorch、词表蒸馏、UniMER-1M 数据集微调、再到词表迁移的全演进路线。下面用一张图就能看懂的关系链帮你 5 分钟搞清楚每个权重的来龙去脉。一、FormulaNet 是什么先看项目概况在对比权重之前先快速了解这个公式识别项目的基本盘任务image-to-text输入公式图片输出 LaTeX 源码latex-ocr基础模型基于 PaddlePaddle/PP-FormulaNet-S 微调而来finetune 关系架构视觉编码器HGNetV2hidden_size2048 mBART 风格解码器2 层 decodervocab_size687训练数据UniMER-Train / UniMER-Test / UniMER_Dataset评估指标BLEU、Edit Distance 关键配置见 config.json 和 generation_config.json模型权重本体是 model.safetensors。二、四大 Checkpoint 一图流演进关系链checkpoints/目录下的说明文件 checkpoints/readme.md 定义了 4 个核心权重它们是一条清晰的接力链formulanet.pt → formulanet_distill.pt → formulanet_distill_best.pt → formulanet_distill_best_transfer.pt (PyTorch移植) (词表蒸馏, 无微调) (UniMER-1M 微调) (词表迁移)Checkpoint文件名阶段定位一句话说明① 移植版formulanet.ptPyTorch 移植基线PaddlePaddle 原版 PP-FormulaNet-S 的 PyTorch 复现版本② 蒸馏版formulanet_distill.pt词表蒸馏蒸馏embed_token与lm_head两层得到新词表未做任何微调③ 微调版formulanet_distill_best.pt数据集微调在 UniMER-1M 数据集上对 ② 进行 finetune 后的最优版本④ 迁移版formulanet_distill_best_transfer.pt词表迁移基于 ③ 做词表迁移vocabulary transfer的版本 注意仓库目录里实际还有formulanet_distill_best_transfer3.pt、formulanet_distill_best_transfer_old.pt、formulanet_encoder.pt等实验性/部件权重其中formulanet_encoder.pt是纯视觉编码器权重便于单独做特征提取实验。三、阶段①formulanet.pt —— PyTorch 移植基线checkpoints/formulanet.pt 是整条演进链的起点。来源官方原版 PP-FormulaNet-S 构建在 PaddlePaddle 上而该项目将其移植为 PyTorch 版本价值打通了 PyTorch 生态transformers、Hugging Face Hub的使用路径后续所有蒸馏、微调实验都以它为父权重适合谁想复现 Paddle 原版效果、或做对照实验ablation baseline的用户⚠️ 这个版本保持的是原版的词表结构直接用于新词表推理会产生词表不一致问题——这正是下一步词表蒸馏要解决的动机。四、阶段②formulanet_distill.pt —— 词表蒸馏零微调checkpoints/formulanet_distill.pt 的官方描述是vocabulary distilled of 1 by distilling the embed_token and the lm_head layer. No finetuning.拆解这句话蒸馏对象embed_token词嵌入层和lm_head语言模型输出层这两端权重蒸馏目的让 ① 的模型适配新词表FormulaNet 使用的 LaTeX 符号词表vocab_size687见 config.json关键约束No finetuning—— 没有经过任何额外训练纯粹靠权重蒸馏完成词表切换 这一步的意义在于以极低成本无需 GPU 训练获得一个词表兼容的可用起点为阶段③的微调铺平道路。这也是它相比原版最大的差异点。五、阶段③formulanet_distill_best.pt —— UniMER-1M 微调checkpoints/formulanet_distill_best.pt 官方描述finetuned version of 2 on UniMER-1M.训练数据UniMER-1M百万级公式数据对应仓库元数据中的 UniMER-Train 数据集含义对 ② 的蒸馏版做完整微调并取训练过程中best验证集最优的权重相比 ② 的提升从词表兼容进化到任务能力强化是公式识别精度上的关键跃升 项目采用 BLEU 与 Edit Distance 双指标评估微调目标就是同时拉高这两个分数。六、阶段④formulanet_distill_best_transfer.pt —— 词表迁移终点checkpoints/formulanet_distill_best_transfer.pt 官方描述vocabulary transfered from 3.这是演进链的最终形态在 ③ 的基础上完成词表迁移vocabulary transfer使嵌入空间与目标词表深度对齐。⭐实际使用提示仓库根目录 config.json 中pretrained字段指向的正是这个文件——说明默认推理模型加载的就是 transfer 版普通用户直接使用 model.safetensors 即可无需关心前面三个中间权重。此外onnx/目录提供了该模型的 ONNX 导出产物编码器 onnx/encoder_model.onnx、解码器 onnx/decoder_model.onnx 等适合 CPU 或边缘设备部署配置见 onnx/config.json。七、怎么选四大 Checkpoint 选型速查你的需求推荐 Checkpoint直接跑公式识别推理默认模型即 ④ transfer 版直接用 model.safetensors研究词表迁移/蒸馏方法对比 ② vs ③ vs ④ 的 BLEU 差异复现原版 Paddle 模型做基线①formulanet.pt验证微调带来的增益对比 ②无微调与 ③有微调单独使用视觉编码器提特征formulanet_encoder.pt八、快速上手获取这些 Checkpointgit clone https://gitcode.com/hf_mirrors/alephpi/FormulaNet克隆后所有权重均在 checkpoints/ 目录中配合 checkpoints/readme.md 的说明按需加载即可。九、总结一张表看懂全演进路线formulanet.ptPaddle → PyTorch 移植解决能不能用formulanet_distill.pt蒸馏embed_tokenlm_head零微调切换词表解决词表兼容formulanet_distill_best.ptUniMER-1M 微调取 best解决识别精度formulanet_distill_best_transfer.pt词表迁移收口即默认推理模型解决最终对齐 这条移植 → 蒸馏 → 微调 → 迁移的四步路线本身就是视觉-语言 OCR 模型适配新词表的标准范式对想复现或改造 LaTeX 公式识别模型LaTeX OCR的开发者来说是一份难得的参考样板。赞分享【免费下载链接】FormulaNet项目地址https://ai.gitcode.com/hf_mirrors/alephpi/FormulaNet点击查看免费下载相关推荐Lean量化交易引擎5大核心优势零基础实战指南Lean量化交易引擎5大核心优势零基础实战指南 想要构建专业的量化交易系统却不知从何入手Lean量化交易引擎正是你需要的开源解决方案作为QuantCon金融科技从Flax Linen迁移到NNX深度学习框架的演进与对比从Flax Linen迁移到NNX深度学习框架的演进与对比 引言 在深度学习框架的发展历程中Google的Flax项目一直以其简洁的API设计和与JAX的无人工智能深度学习机器学习Vanadium编译配置详解args.gn参数与构建目标优化Vanadium编译配置详解args.gn参数与构建目标优化 Vanadium作为GrapheneOS平台上的隐私增强型Chromium浏览器其编译配置对最移动开发应用安全上一篇Weblate 深度指南从自托管部署到生产加固——一个基于 Git 工作流的开源本地化平台下一篇解锁AMD Ryzen隐藏性能的终极指南SDT调试工具完全教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 【免费下载链接】FormulaNet项目地址https://ai.gitcode.com/hf_mirrors/alephpi/FormulaNet点击查看免费下载 如果你正在找FormulaNet这个 LaTeX 公式识别模型LaTeX OCR的各版本权重区别这篇文章就是答案。FormulaNet 是一个基于 vision-encoder-decoder 架构的公式图像转 LaTeX 文本的开源模型仓库中checkpoints/目录保存了4 个关键 Checkpoint完整记录了从 PaddlePaddle 原版移植到 PyTorch、词表蒸馏、UniMER-1M 数据集微调、再到词表迁移的全演进路线。下面用一张图就能看懂的关系链帮你 5 分钟搞清楚每个权重的来龙去脉。一、FormulaNet 是什么先看项目概况在对比权重之前先快速了解这个公式识别项目的基本盘任务image-to-text输入公式图片输出 LaTeX 源码latex-ocr基础模型基于 PaddlePaddle/PP-FormulaNet-S 微调而来finetune 关系架构视觉编码器HGNetV2hidden_size2048 mBART 风格解码器2 层 decodervocab_size687训练数据UniMER-Train / UniMER-Test / UniMER_Dataset评估指标BLEU、Edit Distance 关键配置见 config.json 和 generation_config.json模型权重本体是 model.safetensors。二、四大 Checkpoint 一图流演进关系链checkpoints/目录下的说明文件 checkpoints/readme.md 定义了 4 个核心权重它们是一条清晰的接力链formulanet.pt → formulanet_distill.pt → formulanet_distill_best.pt → formulanet_distill_best_transfer.pt (PyTorch移植) (词表蒸馏, 无微调) (UniMER-1M 微调) (词表迁移)Checkpoint文件名阶段定位一句话说明① 移植版formulanet.ptPyTorch 移植基线PaddlePaddle 原版 PP-FormulaNet-S 的 PyTorch 复现版本② 蒸馏版formulanet_distill.pt词表蒸馏蒸馏embed_token与lm_head两层得到新词表未做任何微调③ 微调版formulanet_distill_best.pt数据集微调在 UniMER-1M 数据集上对 ② 进行 finetune 后的最优版本④ 迁移版formulanet_distill_best_transfer.pt词表迁移基于 ③ 做词表迁移vocabulary transfer的版本 注意仓库目录里实际还有formulanet_distill_best_transfer3.pt、formulanet_distill_best_transfer_old.pt、formulanet_encoder.pt等实验性/部件权重其中formulanet_encoder.pt是纯视觉编码器权重便于单独做特征提取实验。三、阶段①formulanet.pt —— PyTorch 移植基线checkpoints/formulanet.pt 是整条演进链的起点。来源官方原版 PP-FormulaNet-S 构建在 PaddlePaddle 上而该项目将其移植为 PyTorch 版本价值打通了 PyTorch 生态transformers、Hugging Face Hub的使用路径后续所有蒸馏、微调实验都以它为父权重适合谁想复现 Paddle 原版效果、或做对照实验ablation baseline的用户⚠️ 这个版本保持的是原版的词表结构直接用于新词表推理会产生词表不一致问题——这正是下一步词表蒸馏要解决的动机。四、阶段②formulanet_distill.pt —— 词表蒸馏零微调checkpoints/formulanet_distill.pt 的官方描述是vocabulary distilled of 1 by distilling the embed_token and the lm_head layer. No finetuning.拆解这句话蒸馏对象embed_token词嵌入层和lm_head语言模型输出层这两端权重蒸馏目的让 ① 的模型适配新词表FormulaNet 使用的 LaTeX 符号词表vocab_size687见 config.json关键约束No finetuning—— 没有经过任何额外训练纯粹靠权重蒸馏完成词表切换 这一步的意义在于以极低成本无需 GPU 训练获得一个词表兼容的可用起点为阶段③的微调铺平道路。这也是它相比原版最大的差异点。五、阶段③formulanet_distill_best.pt —— UniMER-1M 微调checkpoints/formulanet_distill_best.pt 官方描述finetuned version of 2 on UniMER-1M.训练数据UniMER-1M百万级公式数据对应仓库元数据中的 UniMER-Train 数据集含义对 ② 的蒸馏版做完整微调并取训练过程中best验证集最优的权重相比 ② 的提升从词表兼容进化到任务能力强化是公式识别精度上的关键跃升 项目采用 BLEU 与 Edit Distance 双指标评估微调目标就是同时拉高这两个分数。六、阶段④formulanet_distill_best_transfer.pt —— 词表迁移终点checkpoints/formulanet_distill_best_transfer.pt 官方描述vocabulary transfered from 3.这是演进链的最终形态在 ③ 的基础上完成词表迁移vocabulary transfer使嵌入空间与目标词表深度对齐。⭐实际使用提示仓库根目录 config.json 中pretrained字段指向的正是这个文件——说明默认推理模型加载的就是 transfer 版普通用户直接使用 model.safetensors 即可无需关心前面三个中间权重。此外onnx/目录提供了该模型的 ONNX 导出产物编码器 onnx/encoder_model.onnx、解码器 onnx/decoder_model.onnx 等适合 CPU 或边缘设备部署配置见 onnx/config.json。七、怎么选四大 Checkpoint 选型速查你的需求推荐 Checkpoint直接跑公式识别推理默认模型即 ④ transfer 版直接用 model.safetensors研究词表迁移/蒸馏方法对比 ② vs ③ vs ④ 的 BLEU 差异复现原版 Paddle 模型做基线①formulanet.pt验证微调带来的增益对比 ②无微调与 ③有微调单独使用视觉编码器提特征formulanet_encoder.pt八、快速上手获取这些 Checkpointgit clone https://gitcode.com/hf_mirrors/alephpi/FormulaNet克隆后所有权重均在 checkpoints/ 目录中配合 checkpoints/readme.md 的说明按需加载即可。九、总结一张表看懂全演进路线formulanet.ptPaddle → PyTorch 移植解决能不能用formulanet_distill.pt蒸馏embed_tokenlm_head零微调切换词表解决词表兼容formulanet_distill_best.ptUniMER-1M 微调取 best解决识别精度formulanet_distill_best_transfer.pt词表迁移收口即默认推理模型解决最终对齐 这条移植 → 蒸馏 → 微调 → 迁移的四步路线本身就是视觉-语言 OCR 模型适配新词表的标准范式对想复现或改造 LaTeX 公式识别模型LaTeX OCR的开发者来说是一份难得的参考样板。赞分享【免费下载链接】FormulaNet项目地址https://ai.gitcode.com/hf_mirrors/alephpi/FormulaNet点击查看免费下载相关推荐Lean量化交易引擎5大核心优势零基础实战指南Lean量化交易引擎5大核心优势零基础实战指南 想要构建专业的量化交易系统却不知从何入手Lean量化交易引擎正是你需要的开源解决方案作为QuantCon金融科技从Flax Linen迁移到NNX深度学习框架的演进与对比从Flax Linen迁移到NNX深度学习框架的演进与对比 引言 在深度学习框架的发展历程中Google的Flax项目一直以其简洁的API设计和与JAX的无人工智能深度学习机器学习Vanadium编译配置详解args.gn参数与构建目标优化Vanadium编译配置详解args.gn参数与构建目标优化 Vanadium作为GrapheneOS平台上的隐私增强型Chromium浏览器其编译配置对最移动开发应用安全上一篇Weblate 深度指南从自托管部署到生产加固——一个基于 Git 工作流的开源本地化平台下一篇解锁AMD Ryzen隐藏性能的终极指南SDT调试工具完全教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考