【免费下载链接】FG-CLIPNew generation of CLIP with strong fine grained discrimination capability, ICML2026 and ICML2025项目地址https://gitcode.com/gh_mirrors/fgc/FG-CLIP点击查看免费下载FG-CLIP 2是 ICML 2026 论文提出的中英双语视觉-语言对齐模型FG-CLIP 项目主打细粒度fine-grained图像-文本理解它不仅能看懂整张图在讲什么还能精确对齐到局部区域的颜色、属性等细节。其核心是一套两阶段分层学习框架——先用短/长双粒度描述做全局语义对齐再引入区域-文本对齐、hard negative 挖掘等细粒度监督信号。本文带你读懂这套架构的设计逻辑以及它在仓库中的代码位置。为什么通用 CLIP 难以做细粒度理解 标准 CLIP 类模型在图像整体 vs 文本整体的对比学习上非常强但对以下问题常常力不从心属性混淆米色衬衫 vs 红色衬衫一句话只差一个词向量却几乎分不开局部关系缺失无法把左侧的床下方的鞋子这样的空间描述与图像局部对上长描述能力弱面向简短标签训练面对上百字的长 caption 检索时精度骤降中文场景薄弱非英语细粒度理解几乎没有强基线。FG-CLIP 2 的解法是分层、分阶段、分粒度地做对齐——这正是其架构的核心思想。图FG-CLIP 2 与 SigLIP 2、MetaCLIP 2 等基线在多个中英双语评测基准上的性能对比两阶段分层学习框架总览整体思路可以概括为一句话第一阶段学整图对文本第二阶段学局部区域对短语。图官方框架图。上半部分 Stage 1 用长/短 caption 计算全局损失 L_global下半部分 Stage 2 在此基础上叠加区域 caption 对齐L_FGV、文本模态内对比L_TIC、hard negative 挖掘L_CMR / L_FGT等细粒度损失第一阶段全局语义对齐Stage 1从大规模中英双语图像-文本对出发每张图同时配有两个粒度的描述描述粒度作用序列长度Short Caption短描述简洁的场景级语义64 tokensLong Caption长描述丰富的上下文与细节196 tokens短、长两种描述分别编码后与图像全局特征做双向对比学习损失记为 L_global让模型先建立起稳固的全局跨模态对齐。文本侧还采用了可扩长的位置编码插值策略见 fgclip2.py 中的resize_postion_embeding使原本为 64 tokens 训练的编码器能够平滑地处理 196 tokens 的长文本——这是长描述检索能力的基础。第二阶段细粒度视觉-语言学习Stage 2在全局对齐的基础上引入四类细粒度监督信号实现集中在 fgclip2.py 的损失聚合段区域-文本对齐L_FGV用RoIAlign从 ViT 密集特征图上提取边界框区域特征与短语级的 Region Caption 做对比学习权重 0.2pairwise_contrastive_loss文本模态内对比L_TIC同一批 region caption 两两比较把相似度 0.95 的 Top-K 相似对挑出来做对比逼模型区分语义几乎一样但属性不同的描述权重 0.1hard_category_contrastive_lossHard negative 挖掘对每个区域描述做属性扰动如 red door → green steel door生成 10 个难负样本正负样本联合参与对比损失hard_contrastive_total_loss权重 0.5带全局阈值同步的跨模态排序损失L_CMR用动态 margin 的排序损失get_cmr_loss要求真描述相似度必须高于扰动描述相似度 阈值阈值通过分布式all_reduce在所有 GPU 间同步、并 clamp 到 [0, 10]保证难负样本挖掘稳定不崩。图FG-CLIPICML 2025的结构示意——全局级长/短 caption 与区域级正负 caption 分别走文本编码器的不同通路区域特征经 ROI Align 从图像特征图提取分别对应 L_global、L_region 与 L_hard模型组件拆解一条特征是怎么流动的 FG-CLIP 2 基于 SigLIP 2 改造而来训练脚本中--from_siglip2 True代码完全融入 Hugging Facetransformers生态核心组件一览组件作用代码位置Image EncoderViT支持动态分辨率NAFlex 风格patch 预算 128~1024输出全局 CLS 密集特征图modeling_fgclip2.pyDense Feature Head多头注意力池化头把 ViT token 加工成细粒度密集特征fgclip2.pyText Encoder三种 walk_typeshort/long/box三种前向模式对应短描述、长描述、区域短语modeling_fgclip2.pylongtext_head / boxtext_head长文本与区域短语各自独立投影头从基础 head 复制初始化互不干扰fgclip2.pylogit_scale / logit_bias可学习的温度与偏置SigLIP 风格 sigmoid 损失fgclip2.py几个值得注意的设计细节一个文本编码器三种用法get_text_features(**inputs, walk_type...)通过参数切换短文本64 tokens、长文本196 tokens与区域短语box 模式三种编码路径一套权重覆盖全部粒度区域特征 密集特征图 RoIAlign区域描述不是简单裁剪图像而是在语义空间ViT 特征图上对齐天然具备翻译不变性也是密集特征可视化的来源损失可开关组合add_box_loss与use_hard_neg两个标志独立控制区域对齐与难负样本两个支路forward训练可以只开其中一个逐步增强。训练与数据准备指南 ️第二阶段训练依赖官方FineHARD 数据集1200 万张图像、4000 万个带细粒度区域描述的边界框、1000 万个 hard negative 样本。数据准备流程下载、img2dataset批量拉图、文件名映射详见 data/data.md拉图脚本为 data/get_data.sh文件名转换工具为 data/convert_image_name.py。训练入口是一条 DeepSpeed ZeRO-2 命令支持 bf16 与 tf32 加速关键参数scripts/train/stage2_fgclip2.shdeepspeed fgclip2/train/train.py \ --deepspeed ./scripts/zero2.json \ --base_model .../siglip2-base-patch16-naflex \ --loss_type reduce \ --from_siglip2 True \ --naflex_train True \ --add_box_loss True \ --use_hard_neg True \ --base_seq_length 64 \ --max_seq_length 196 \ --bf16 True--base_seq_length 64/--max_seq_length 196短/长文本的序列预算--add_box_loss True开启区域-文本对齐支路--use_hard_neg True开启属性扰动难负样本支路--loss_type reduce跨卡负样本聚合方式另一种为gather实现见 fgclip2.py。训练主逻辑数据集、DataCollator、参数定义位于 fgclip2/train/train_fgclip2.py。应用效果细粒度检索与密集特征可视化 ✨双语长 caption 检索输入一张卧室图与 4 条几乎相同、仅个别属性不同衣物颜色、鞋款、植物种类的长描述模型能精准区分出正确那条——这正是 hard negative 训练的直接成果图中文长 caption 检索演示正确描述相似度 88%仅属性词不同的近义描述仅 11%图英文场景下的同类演示错误描述相似度接近 0密集特征地图调用get_image_dense_feature后可以画出每个 patch 与黑猫窗户white cat等短语的相似度热力图黄色区域即高响应的局部语义位置——这就是区域-文本对齐L_FGV带来的可解释性图同一张图与电脑/黑猫/窗户/window/white cat/book六个短语的密集特征相似度热力图响应位置与物体实际位置高度吻合小结FG-CLIP 2 的架构可以用三句话概括全局先行短/长双粒度 caption 对比学习打牢中英双语全局对齐细粒度加码RoIAlign 区域特征对齐 属性扰动难负样本 文本模态内对比四类损失分工明确工程友好完全基于transformers生态AutoModelForCausalLM一行加载推理只需指定walk_type。如果你对源码细节感兴趣可以从 fgclip2/model/strcs/fgclip2.py 的forward方法入手——所有训练信号都在那里清晰可见评测脚本则位于 fgclip2/eval/IN1K 分类、COCO 检索、DCI 区域分类等 8 类任务。赞分享【免费下载链接】FG-CLIPNew generation of CLIP with strong fine grained discrimination capability, ICML2026 and ICML2025项目地址https://gitcode.com/gh_mirrors/fgc/FG-CLIP点击查看免费下载相关推荐DreamCraft3D几何细化阶段技术深度解析DreamCraft3D几何细化阶段技术深度解析 引言三维生成中的几何一致性挑战 在文本到3D内容生成领域几何一致性一直是核心难题。传统方法往往面临JanContextPilot深度解析细粒度强化学习如何教会Agent主动管理上下文ContextPilot深度解析细粒度强化学习如何教会Agent主动管理上下文 ContextPilot 是腾讯开源的 主动上下文管理框架 通过细粒度强FG-CLIP 2密集特征可视化教程一键生成“黑猫vs白猫”细粒度热力图FG CLIP 2密集特征可视化教程一键生成“黑猫vs白猫”细粒度热力图 FG CLIP 2 是一款中英双语的细粒度视觉 语言对齐模型ICML 2026上一篇RTX40MFG-Unlock菜单功能详解Follow Game、固定倍率与Dynamic三大模式全解析下一篇vllm-ascend A3 镜像快速上手拉取、双 DIE 设备挂载与容器环境验证创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 【免费下载链接】FG-CLIPNew generation of CLIP with strong fine grained discrimination capability, ICML2026 and ICML2025项目地址https://gitcode.com/gh_mirrors/fgc/FG-CLIP点击查看免费下载FG-CLIP 2是 ICML 2026 论文提出的中英双语视觉-语言对齐模型FG-CLIP 项目主打细粒度fine-grained图像-文本理解它不仅能看懂整张图在讲什么还能精确对齐到局部区域的颜色、属性等细节。其核心是一套两阶段分层学习框架——先用短/长双粒度描述做全局语义对齐再引入区域-文本对齐、hard negative 挖掘等细粒度监督信号。本文带你读懂这套架构的设计逻辑以及它在仓库中的代码位置。为什么通用 CLIP 难以做细粒度理解 标准 CLIP 类模型在图像整体 vs 文本整体的对比学习上非常强但对以下问题常常力不从心属性混淆米色衬衫 vs 红色衬衫一句话只差一个词向量却几乎分不开局部关系缺失无法把左侧的床下方的鞋子这样的空间描述与图像局部对上长描述能力弱面向简短标签训练面对上百字的长 caption 检索时精度骤降中文场景薄弱非英语细粒度理解几乎没有强基线。FG-CLIP 2 的解法是分层、分阶段、分粒度地做对齐——这正是其架构的核心思想。图FG-CLIP 2 与 SigLIP 2、MetaCLIP 2 等基线在多个中英双语评测基准上的性能对比两阶段分层学习框架总览整体思路可以概括为一句话第一阶段学整图对文本第二阶段学局部区域对短语。图官方框架图。上半部分 Stage 1 用长/短 caption 计算全局损失 L_global下半部分 Stage 2 在此基础上叠加区域 caption 对齐L_FGV、文本模态内对比L_TIC、hard negative 挖掘L_CMR / L_FGT等细粒度损失第一阶段全局语义对齐Stage 1从大规模中英双语图像-文本对出发每张图同时配有两个粒度的描述描述粒度作用序列长度Short Caption短描述简洁的场景级语义64 tokensLong Caption长描述丰富的上下文与细节196 tokens短、长两种描述分别编码后与图像全局特征做双向对比学习损失记为 L_global让模型先建立起稳固的全局跨模态对齐。文本侧还采用了可扩长的位置编码插值策略见 fgclip2.py 中的resize_postion_embeding使原本为 64 tokens 训练的编码器能够平滑地处理 196 tokens 的长文本——这是长描述检索能力的基础。第二阶段细粒度视觉-语言学习Stage 2在全局对齐的基础上引入四类细粒度监督信号实现集中在 fgclip2.py 的损失聚合段区域-文本对齐L_FGV用RoIAlign从 ViT 密集特征图上提取边界框区域特征与短语级的 Region Caption 做对比学习权重 0.2pairwise_contrastive_loss文本模态内对比L_TIC同一批 region caption 两两比较把相似度 0.95 的 Top-K 相似对挑出来做对比逼模型区分语义几乎一样但属性不同的描述权重 0.1hard_category_contrastive_lossHard negative 挖掘对每个区域描述做属性扰动如 red door → green steel door生成 10 个难负样本正负样本联合参与对比损失hard_contrastive_total_loss权重 0.5带全局阈值同步的跨模态排序损失L_CMR用动态 margin 的排序损失get_cmr_loss要求真描述相似度必须高于扰动描述相似度 阈值阈值通过分布式all_reduce在所有 GPU 间同步、并 clamp 到 [0, 10]保证难负样本挖掘稳定不崩。图FG-CLIPICML 2025的结构示意——全局级长/短 caption 与区域级正负 caption 分别走文本编码器的不同通路区域特征经 ROI Align 从图像特征图提取分别对应 L_global、L_region 与 L_hard模型组件拆解一条特征是怎么流动的 FG-CLIP 2 基于 SigLIP 2 改造而来训练脚本中--from_siglip2 True代码完全融入 Hugging Facetransformers生态核心组件一览组件作用代码位置Image EncoderViT支持动态分辨率NAFlex 风格patch 预算 128~1024输出全局 CLS 密集特征图modeling_fgclip2.pyDense Feature Head多头注意力池化头把 ViT token 加工成细粒度密集特征fgclip2.pyText Encoder三种 walk_typeshort/long/box三种前向模式对应短描述、长描述、区域短语modeling_fgclip2.pylongtext_head / boxtext_head长文本与区域短语各自独立投影头从基础 head 复制初始化互不干扰fgclip2.pylogit_scale / logit_bias可学习的温度与偏置SigLIP 风格 sigmoid 损失fgclip2.py几个值得注意的设计细节一个文本编码器三种用法get_text_features(**inputs, walk_type...)通过参数切换短文本64 tokens、长文本196 tokens与区域短语box 模式三种编码路径一套权重覆盖全部粒度区域特征 密集特征图 RoIAlign区域描述不是简单裁剪图像而是在语义空间ViT 特征图上对齐天然具备翻译不变性也是密集特征可视化的来源损失可开关组合add_box_loss与use_hard_neg两个标志独立控制区域对齐与难负样本两个支路forward训练可以只开其中一个逐步增强。训练与数据准备指南 ️第二阶段训练依赖官方FineHARD 数据集1200 万张图像、4000 万个带细粒度区域描述的边界框、1000 万个 hard negative 样本。数据准备流程下载、img2dataset批量拉图、文件名映射详见 data/data.md拉图脚本为 data/get_data.sh文件名转换工具为 data/convert_image_name.py。训练入口是一条 DeepSpeed ZeRO-2 命令支持 bf16 与 tf32 加速关键参数scripts/train/stage2_fgclip2.shdeepspeed fgclip2/train/train.py \ --deepspeed ./scripts/zero2.json \ --base_model .../siglip2-base-patch16-naflex \ --loss_type reduce \ --from_siglip2 True \ --naflex_train True \ --add_box_loss True \ --use_hard_neg True \ --base_seq_length 64 \ --max_seq_length 196 \ --bf16 True--base_seq_length 64/--max_seq_length 196短/长文本的序列预算--add_box_loss True开启区域-文本对齐支路--use_hard_neg True开启属性扰动难负样本支路--loss_type reduce跨卡负样本聚合方式另一种为gather实现见 fgclip2.py。训练主逻辑数据集、DataCollator、参数定义位于 fgclip2/train/train_fgclip2.py。应用效果细粒度检索与密集特征可视化 ✨双语长 caption 检索输入一张卧室图与 4 条几乎相同、仅个别属性不同衣物颜色、鞋款、植物种类的长描述模型能精准区分出正确那条——这正是 hard negative 训练的直接成果图中文长 caption 检索演示正确描述相似度 88%仅属性词不同的近义描述仅 11%图英文场景下的同类演示错误描述相似度接近 0密集特征地图调用get_image_dense_feature后可以画出每个 patch 与黑猫窗户white cat等短语的相似度热力图黄色区域即高响应的局部语义位置——这就是区域-文本对齐L_FGV带来的可解释性图同一张图与电脑/黑猫/窗户/window/white cat/book六个短语的密集特征相似度热力图响应位置与物体实际位置高度吻合小结FG-CLIP 2 的架构可以用三句话概括全局先行短/长双粒度 caption 对比学习打牢中英双语全局对齐细粒度加码RoIAlign 区域特征对齐 属性扰动难负样本 文本模态内对比四类损失分工明确工程友好完全基于transformers生态AutoModelForCausalLM一行加载推理只需指定walk_type。如果你对源码细节感兴趣可以从 fgclip2/model/strcs/fgclip2.py 的forward方法入手——所有训练信号都在那里清晰可见评测脚本则位于 fgclip2/eval/IN1K 分类、COCO 检索、DCI 区域分类等 8 类任务。赞分享【免费下载链接】FG-CLIPNew generation of CLIP with strong fine grained discrimination capability, ICML2026 and ICML2025项目地址https://gitcode.com/gh_mirrors/fgc/FG-CLIP点击查看免费下载相关推荐DreamCraft3D几何细化阶段技术深度解析DreamCraft3D几何细化阶段技术深度解析 引言三维生成中的几何一致性挑战 在文本到3D内容生成领域几何一致性一直是核心难题。传统方法往往面临JanContextPilot深度解析细粒度强化学习如何教会Agent主动管理上下文ContextPilot深度解析细粒度强化学习如何教会Agent主动管理上下文 ContextPilot 是腾讯开源的 主动上下文管理框架 通过细粒度强FG-CLIP 2密集特征可视化教程一键生成“黑猫vs白猫”细粒度热力图FG CLIP 2密集特征可视化教程一键生成“黑猫vs白猫”细粒度热力图 FG CLIP 2 是一款中英双语的细粒度视觉 语言对齐模型ICML 2026上一篇RTX40MFG-Unlock菜单功能详解Follow Game、固定倍率与Dynamic三大模式全解析下一篇vllm-ascend A3 镜像快速上手拉取、双 DIE 设备挂载与容器环境验证创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考