A Versatile Pathology Co-pilot via Reasoning Enhanced Multimodal Large Language Model 文章主要内容和创新点总结主要内容本文提出了一种名为SmartPath-R1的多模态大型语言模型(MLLM),旨在解决计算病理学中现有模型推理能力有限、任务适应性单一的问题。该模型能够同时处理区域感兴趣(ROI)级别和全切片图像(WSI)级别的任务,包括分类、检测、分割和视觉问答(VQA)等,并在72项任务中表现出优于现有模型的性能。模型的核心框架包括:尺度依赖的监督微调(Scale-Dependent Supervised Fine-Tuning):根据任务尺度(ROI或WSI)动态调整图像分辨率和token数量,优化视觉-语言对齐。任务感知的强化微调(Task-Aware Reinforcement Fine-Tuning):基于Group Relative Policy Optimization(GRPO)算法,设计任务特异性奖励函数,增强模型的病理推理能力,无需依赖昂贵的思维链注释。混合专家机制(Mixture-of-Experts):整合多尺度和多任务分析,动态适配不同任务需求。实验基于大规模数据集(230万ROI样本和18.8万WSI样本)展开,结果显示SmartPath-R1在各类任务中显著优于Qwen2.5VL、LLaVA-Med等现有模型。创新点