# An Empirical Study of Harness Design for Coding Agents（arXiv:2609.20804） 论文链接：https://arxiv.org/abs/2609.20804## 一、文章主要内容该论文针对**代码智能体（Coding Agents）的运行框架（harness）**开展实证研究。代码运行框架决定大模型能力如何转化为复杂软件工程任务上的实际表现，现有研究往往将整套harness作为一个黑盒整体评估，缺少对内部各个组件的拆解分析，无法知道每个模块的真实作用与性价比。作者搭建了一套轻量化可模块化的代码Agent实验平台：**固定整体执行循环，只改变三大核心组件：规划模块（planning）、动作空间（action space）、上下文管理（context management）**。实验基于4个大模型，在SWE‑Bench Verified、Terminal‑Bench 2.1两个代码基准数据集上，一共测试**176组对照配置**，覆盖5种上下文管理策略、4种上下文窗口预算，同时对规划、动作空间做消融实验。并在轨迹层面分析各个组件如何改变Agent的运行行为，得到四条核心实验结论：1. **上下文管理**：上下文窗口越紧张，上下文管理带来的收益越高；收益主要来自避免上下文溢出导致的任务失败。2. **上下文管理策略**：先做基于规则的内容删减，再用大模型做摘要，综合效率最优；把删减内容设置为可恢复会增加系统复杂度，但模型几乎不会用到该能力，任务准确率也没有提升。3. **规划模块**：规划对弱模型起到精度辅助支撑；对强模型更多是降低推理成本，对任务准确率几乎没有影响。4. **动作空间/工具接口**：预定义工具 # An Empirical Study of Harness Design for Coding Agents（arXiv:2609.20804） 论文链接：https://arxiv.org/abs/2609.20804## 一、文章主要内容该论文针对**代码智能体（Coding Agents）的运行框架（harness）**开展实证研究。代码运行框架决定大模型能力如何转化为复杂软件工程任务上的实际表现，现有研究往往将整套harness作为一个黑盒整体评估，缺少对内部各个组件的拆解分析，无法知道每个模块的真实作用与性价比。作者搭建了一套轻量化可模块化的代码Agent实验平台：**固定整体执行循环，只改变三大核心组件：规划模块（planning）、动作空间（action space）、上下文管理（context management）**。实验基于4个大模型，在SWE‑Bench Verified、Terminal‑Bench 2.1两个代码基准数据集上，一共测试**176组对照配置**，覆盖5种上下文管理策略、4种上下文窗口预算，同时对规划、动作空间做消融实验。并在轨迹层面分析各个组件如何改变Agent的运行行为，得到四条核心实验结论：1. **上下文管理**：上下文窗口越紧张，上下文管理带来的收益越高；收益主要来自避免上下文溢出导致的任务失败。2. **上下文管理策略**：先做基于规则的内容删减，再用大模型做摘要，综合效率最优；把删减内容设置为可恢复会增加系统复杂度，但模型几乎不会用到该能力，任务准确率也没有提升。3. **规划模块**：规划对弱模型起到精度辅助支撑；对强模型更多是降低推理成本，对任务准确率几乎没有影响。4. **动作空间/工具接口**：预定义工具