网罗开发小红书、快手、视频号同名大家好我是展菲目前在上市企业从事人工智能项目研发管理工作平时热衷于分享各种编程领域的软硬技能知识以及前沿技术包括iOS、前端、Harmony OS、Java、Python等方向。在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。图书作者《ESP32-C3 物联网工程开发实战》图书作者《SwiftUI 入门进阶与实战》超级个体COC上海社区主理人特约讲师大学讲师谷歌亚马逊分享嘉宾科技博主华为HDE/HDG我的博客内容涵盖广泛主要分享技术教程、Bug解决方案、开发工具使用、前沿科技资讯、产品评测与使用体验。我特别关注云服务产品评测、AI 产品对比、开发板性能测试以及技术报告同时也会提供产品优缺点分析、横向对比并分享技术沙龙与行业大会的参会体验。我的目标是为读者提供有深度、有实用价值的技术洞察与分析。展菲您的前沿技术领航员 大家好我是展菲 全网搜索“展菲”即可纵览我在各大平台的知识足迹。每周定时推送干货满满的技术长文从新兴框架的剖析到运维实战的复盘助您技术进阶之路畅通无阻。文章目录引言一、为什么每次推理都在冷启动二、真正应该缓存的不是 Prompt而是 Context三、什么是 Context Cache四、为什么 Context Cache 比 Memory 更实时五、Context Cache 如何更新六、Context Cache 为什么会影响 Agent 效果七、HarmonyOS PC 为什么特别适合 Context Cache八、未来 Context Cache 很可能成为 Runtime 的基础设施总结引言如果你学过计算机组成原理一定知道一个经典事实CPU 为什么快很多人第一反应是主频更高其实真正的原因不是而是Cache现代 CPU 真正依赖的是L1 Cache ↓ L2 Cache ↓ L3 Cache ↓ Memory同样数据库为什么快因为Buffer PoolLinux 为什么快因为Page Cache浏览器为什么快因为HTTP Cache几乎所有大型系统都会有一个共同特点不会每次都重新读取全部数据。而今天越来越多 AI Native 应用却仍然在做一件非常低效的事情每一次请求 ↓ 重新构建全部 Context这就是为什么很多 Agent响应越来越慢Token 消耗越来越高推理成本越来越大用户体验越来越差问题并不在模型真正的问题在于Context 没有缓存。因此一个新的 Runtime 能力开始出现Context Cache它很可能会成为未来 HarmonyOS PC 最重要的系统能力之一。一、为什么每次推理都在冷启动来看一个开发场景开发者正在 HarmonyOS PC 上开发 AMS 系统。Workspace 当前包含DevEco StudioGit 仓库接口文档数据库设计企业微信浏览器AI 助手用户连续输入帮我分析当前审批流。 继续生成接口。 补充单元测试。 优化刚才那段代码。对于开发者来说这些请求都属于同一个任务但是很多 AI 系统实际上却在执行读取 Workspace ↓ 重新扫描工程 ↓ 重新分析文件 ↓ 重新组织 Prompt ↓ 重新推理也就是说每一次请求都是一次Cold Start这显然是一种巨大的浪费。二、真正应该缓存的不是 Prompt而是 Context很多团队开始优化Prompt Cache例如缓存System Prompt或者Few-shot 示例这当然可以提升效率但真正昂贵的其实不是 Prompt。而是Context Construction例如当前Workspace ↓ Project ↓ Current File ↓ Current Selection ↓ Task ↓ Goal这些数据每次重新构建都会产生文件读取Workspace 分析AST 分析Memory 检索向量召回真正耗时的正是这些步骤。因此未来真正需要缓存的是Runtime Context而不是Prompt Text三、什么是 Context Cache可以把它理解成AI Runtime 的二级缓存。例如interfaceContextCache{workspaceId:stringactiveGoal:Goal currentTask:Task activeFiles:string[]selectedCode:stringsummary:stringtimestamp:number}这些数据并不是最终 Prompt。而是Runtime Snapshot每一次推理之前 Planner 首先读取Context Cache而不是重新扫描整个 Workspace这样 Context 构建时间可以降低一个数量级。四、为什么 Context Cache 比 Memory 更实时很多开发者容易把Memory和Context Cache混为一谈。实际上两者完全不同。Memory 记录历史例如昨天开发了什么 之前讨论过什么而 Context Cache 记录现在例如当前 Workspace 当前代码 当前 Task 当前 Goal 当前 Tool也就是说 Memory 属于Long-term MemoryContext Cache 属于Working Memory这更像人脑中的工作记忆Working Memory而不是长期记忆Long-term Memory五、Context Cache 如何更新这也是整个 Runtime 最重要的问题。传统软件通常采用用户点击 ↓ 更新 State但是 AI Native RuntimeContext 的来源更多。例如Workspace ↓ Window ↓ Task ↓ Goal ↓ Tool ↓ Memory ↓ Device因此 Context Cache 必须成为Event Driven例如文件切换 ↓ 更新 Cache或者Task 完成 ↓ 更新 Cache又或者Workspace 切换 ↓ 重新生成 Snapshot整个更新流程Runtime Event ↓ Context Builder ↓ Context Cache ↓ Planner真正实现增量更新Incremental Update而不是全量重建Full Rebuild六、Context Cache 为什么会影响 Agent 效果很多人认为模型决定 AI 的能力。实际上 Planner 每次做决策之前首先读取的是Context例如当前 CacheWorkspace AMS ↓ Current File ApprovalService.ets ↓ Current Goal 审批流开发 ↓ Current Task 生成测试Planner 几乎可以立即决定调用测试生成 Tool如果没有 CachePlanner 需要重新分析 Workspace检索文件查找 Goal推断当前 Task不仅速度更慢还更容易理解错误。因此 Context Cache 实际上决定了Planner 的推理质量。七、HarmonyOS PC 为什么特别适合 Context Cache浏览器里的 AI 只能看到当前网页HarmonyOS PC 不一样Runtime 可以持续维护Workspace ↓ Window ↓ Project ↓ Task ↓ Goal ↓ Device例如interfaceRuntimeSnapshot{workspace:Workspace activeProject:stringactiveWindow:stringactiveTask:Task currentGoal:Goal}整个 Snapshot持续更新。Planner 始终读取最新 Context而不是重新构建 Context因此 HarmonyOS PC 更容易实现Workspace Native Context Cache八、未来 Context Cache 很可能成为 Runtime 的基础设施过去 CPU 有Cache数据库有Buffer PoolLinux 有Page Cache未来 AI Native Runtime 也会拥有Context Cache它维护的不再是数据块Data Block而是运行状态Runtime Snapshot未来整个 Runtime 执行链路很可能演进为Workspace Runtime ↓ Runtime Event ↓ Context Builder ↓ Context Cache ↓ Goal Planner ↓ Agent Scheduler ↓ Tool Runtime ↓ Execution这里 Context Cache 已经不只是性能优化而是整个 Runtime 的基础设施。总结过去几十年Cache 加速的是数据访问。未来十年Context Cache 加速的将是AI 理解世界。过去CPU Cache 缓存的是数据。未来Context Cache 缓存的是运行时认知。过去程序每次读取 Memory。未来Agent 每次读取 Context Cache。因此对于 AI Native 操作系统来说真正重要的不只是更大的模型、更长的上下文窗口而是如何让 Runtime 持续维护一份低延迟、可增量更新、始终反映当前工作状态的 Context Cache。它连接着 Workspace、Goal、Task、Planner 与 Agent Scheduler决定了 AI 是否能够持续理解用户、持续执行任务。也许未来衡量一个 AI Native 操作系统先进与否不再只是看模型参数而是看它是否拥有一套真正意义上的Context Cache。它将像 CPU Cache 一样成为整个 Runtime 中不可或缺的基础能力。
尧图网络