简介408-RAG是一套面向计算机专业考研学生的本地化智能问答与知识检索系统针对备考408统考时资料分散、检索低效、专业概念理解困难等痛点将检索增强生成、向量数据库索引与大型语言模型推理能力整合到同一套可离线运行的方案中。资源包共21个文件约94KB以13个Python源码文件为核心覆盖数据预处理、检索与生成等模块另含txt说明、docx附赠资料、md文档、json配置、env_example环境变量示例及LICENSE、gitignore等工程文件结构清晰便于二次开发与本地部署。系统围绕历年真题、重点难点解析、模拟试题等备考场景设计可帮助读者理解RAG完整链路、向量索引构建与LLM推理调用方式并作为课程设计或毕业项目的参考骨架。目前已有57人学习下载适合希望把大模型技术落地到垂直知识库的计算机考研学生与开发者。1. 408 备考的检索困局为什么通用大模型答不好一道真题去年十月一个学弟拿着 408 真题来问我这道 2019 年计组的 Cache 映射题为什么某大模型给出的答案和答案解析对不上我让他把题干原样贴进去模型算出的组号偏移量差了整整一位。问题不在模型笨而在于通用大模型对 408 这种高度结构化、强考纲约束的知识体系天然存在两个硬伤一是训练语料里 408 真题的覆盖密度远不如公开互联网文本二是它无法区分「王道笔记的说法」和「教材原文的说法」容易把不同来源的知识缝合出一个看似合理实则错误的答案。这就是 408-RAG 这类本地化智能问答系统要解决的问题。它把检索增强生成、向量数据库索引和大语言模型推理三件事串起来先把 408 的教材、真题、笔记切块向量化存进本地库提问时先检索出最相关的知识片段再让模型基于这些片段作答。整套东西跑在你自己的机器上数据不出本地考纲范围内的知识可控可查。适合谁适合正在备考 408、手头有大量 PDF 和笔记、又不想把时间浪费在反复翻书定位上的同学也适合想拿一个真实场景练手 RAG 全链路的开发者。2. 408-RAG 的检索链路从 PDF 到向量库要过几道手2.1 为什么 408 知识库不能直接整本塞进去408 四门课——数据结构、计算机组成原理、操作系统、计算机网络——的教材加起来动辄上千页加上真题解析和王道单科书原始文本量轻松超过三百万字。如果直接把整本书丢给大模型做上下文先不说 token 限制光是检索精度就会崩掉。RAG 的核心逻辑是「先缩小范围再生成答案」所以第一步必须做文本切块。切块这件事在 408 场景下有特殊性。数据结构里的图算法讲解往往跨好几页计组的流水线冲突分析也是连续推导如果按固定 512 字符硬切很容易把一道题的题干和解析切散。我一般会按「语义段落 重叠窗口」来切以教材的自然段为最小单位遇到代码块或公式块时整块保留块与块之间留 50 到 80 字的滑动重叠防止边界信息丢失。from langchain.text_splitter import RecursiveCharacterTextSplitter # 针对 408 教材的切块配置 splitter RecursiveCharacterTextSplitter( chunk_size600, # 每块目标字符数408 知识点密度高600 比较合适 chunk_overlap80, # 重叠窗口防止题干和解析被切断 separators[\n\n, \n, 。, , , ], # 中文标点优先 length_functionlen, ) # 假设 raw_text 是从 PDF 提取并清洗后的纯文本 chunks splitter.split_text(raw_text) print(f切出 {len(chunks)} 个知识块)这段代码的关键在separators的顺序。中文技术文档里段落边界通常是\n\n其次是单换行再往下才是句号、分号。把中文标点放在英文标点前面能避免在「如图 3-5 所示」这种地方被硬切。chunk_size设 600 是我试过几轮后比较稳的值太小会导致一个完整知识点被拆成三四块检索时召回不完整太大则一块里混进多个知识点生成时模型容易抓错重点。2.2 向量数据库选型Chroma 还是 FAISS本地跑 RAG向量数据库的选择直接决定你后面调试的顺手程度。408 知识库的规模大概在几千到几万块之间这个量级下 Chroma 和 FAISS 都能扛但用法差别不小。维度ChromaFAISS部署方式嵌入式随 Python 进程启动库形式需自己管理索引文件持久化自带持久化目录手动 save/load index元数据过滤原生支持需额外封装适合场景快速原型、需要按科目过滤追求极致检索速度、纯向量检索我一般推荐 Chroma原因是 408 备考场景下你大概率需要按科目过滤——比如只想在「计算机组成原理」范围内检索Chroma 的where条件一行就能搞定FAISS 得自己在外层做过滤再重排麻烦不少。import chromadb from chromadb.utils import embedding_functions # 使用本地 embedding 模型避免联网 ef embedding_functions.SentenceTransformerEmbeddingFunction( model_nameBAAI/bge-small-zh-v1.5 # 中文小模型本地跑得动 ) client chromadb.PersistentClient(path./408_vectordb) collection client.get_or_create_collection( name408_knowledge, embedding_functionef, metadata{hnsw:space: cosine} # 中文语义检索用余弦距离 ) # 批量写入metadata 里带上科目和来源 collection.add( documentschunks, metadatas[{subject: 计组, source: 王道单科书} for _ in chunks], ids[fchunk_{i} for i in range(len(chunks))] )bge-small-zh-v1.5这个模型体积小、中文语义表现稳在普通笔记本上 CPU 推理也就几十毫秒一条。hnsw:space设成 cosine 是因为中文文本的向量方向比绝对距离更有意义。metadata 里带subject字段后面检索时就能按科目缩小范围这对 408 这种分科明确的考试特别有用。2.3 检索环节的三个必调参数向量库建好之后检索质量取决于三个参数top_k、相似度阈值、以及要不要做重排。top_k控制召回多少块。设太小可能漏掉关键知识点设太大噪声块会干扰生成。408 场景下我一般设 5 到 8。相似度阈值用来过滤掉那些「沾边但不相关」的块Chroma 返回的是距离值余弦距离下一般设 0.3 到 0.5 之间低于这个值的直接丢掉。重排是可选项如果你发现检索出来的块排序不理想可以加一个 cross-encoder 做二次排序但会增加延迟本地跑的话要权衡。def retrieve(query, subjectNone, top_k6, threshold0.4): where {subject: subject} if subject else None results collection.query( query_texts[query], n_resultstop_k, wherewhere, include[documents, metadatas, distances] ) # 按距离阈值过滤 filtered [] for doc, meta, dist in zip( results[documents][0], results[metadatas][0], results[distances][0] ): if dist threshold: filtered.append({text: doc, meta: meta, dist: dist}) return filtered这里threshold设 0.4 是个经验值。设太严比如 0.2很多相关块会被误杀设太松比如 0.8几乎不过滤等于没设。建议你先用十几道真题做一轮测试观察返回距离的分布再定这个值。3. 把检索结果喂给大模型Prompt 设计与本地推理3.1 408 专用 Prompt 的骨架检索出知识块之后下一步是拼 Prompt 让大模型基于这些块作答。通用 RAG 的 Prompt 模板在 408 场景下不够用因为 408 题目往往要求「先判断考的是哪个知识点再按考纲的解法步骤推导」。我一般会把 Prompt 分成四段角色设定、检索上下文、用户问题、输出约束。PROMPT_TEMPLATE 你是一名 408 考研辅导老师只根据下面提供的知识片段回答问题。 如果知识片段中没有足够信息直接说「检索到的资料不足以回答」不要编造。 【知识片段】 {context} 【问题】 {question} 【要求】 1. 先指出这道题考查的知识点属于哪门课、哪一章。 2. 按解题步骤逐步推导涉及计算时写出关键中间结果。 3. 如果片段中有多种说法以教材原文为准并注明来源。 这个模板里最关键的是「不要编造」和「以教材原文为准」这两句。408 的答案有标准解法模型自由发挥的空间必须压到最小。另外要求它先定位知识点是为了让你能快速判断检索是否命中——如果它说考的是「操作系统页面置换」但你问的是计组 Cache说明检索环节出了问题。3.2 本地推理用 Ollama 还是直接调 API如果你追求数据完全不出本地Ollama 是最省事的方案。装好之后拉一个 7B 或 14B 的中文能力还行的模型比如 qwen2.5:7b直接通过 HTTP 调用。优点是隐私可控、不花钱缺点是推理速度取决于你的硬件7B 模型在 16G 内存的笔记本上大概每秒出十几个 token答一道大题要等十几秒。# 拉取模型并启动服务 ollama pull qwen2.5:7b ollama serveimport requests def ask_llm(prompt, modelqwen2.5:7b): resp requests.post( http://localhost:11434/api/generate, json{ model: model, prompt: prompt, stream: False, options: {temperature: 0.2} # 低温度减少自由发挥 } ) return resp.json()[response]temperature设 0.2 是为了让输出更确定。408 答案不需要创造性需要的是稳定复现标准解法。如果你机器跑不动 7B可以换 3B 级别的模型但要注意小模型在数学推导上容易出错建议只用来做知识点定位和概念解释复杂计算还是自己动手。3.3 检索命中率怎么验证系统跑起来之后你得知道它到底靠不靠谱。最直接的办法是拿 20 道历年真题做测试集每道题人工标注「正确答案涉及的知识点关键词」然后看检索返回的 top_k 块里有没有包含这些关键词。命中率低于 70% 就说明切块或 embedding 有问题需要回头调。def hit_rate(test_cases, top_k6): hits 0 for case in test_cases: results retrieve(case[question], top_ktop_k) retrieved_text .join([r[text] for r in results]) if any(kw in retrieved_text for kw in case[keywords]): hits 1 return hits / len(test_cases) # test_cases 示例 # [{question: Cache 组相联映射..., keywords: [组号, 标记, 偏移]}, ...]这个hit_rate函数是我每次调完切块参数后必跑的。如果命中率突然掉下来八成是切块大小改了导致知识点被切散或者 embedding 模型换了导致语义空间变了。4. 避坑与排查408-RAG 落地时最容易翻车的五件事4.1 PDF 提取出来全是乱码和断行现象从王道 PDF 提取的文本里公式变成一堆符号代码块的缩进全丢了段落中间莫名其妙换行。原因很多 408 资料是扫描版或用了特殊字体嵌入普通 PDF 提取库拿不到正确的字符映射。另外 PDF 的换行是排版换行不是语义换行直接提取会把一句话切成好几行。解决扫描版先用 OCR 过一遍推荐 PaddleOCR 的中文模型。提取后的文本做一次清洗把单个换行替换成空格连续两个换行保留作为段落边界代码块用正则识别缩进模式后整块保留。这一步偷懒后面检索全是坑。4.2 检索出来的块总是差一点现象问一道图的最短路径题检索返回的是最小生成树的内容两者章节相邻但知识点不同。原因切块时把相邻知识点切进了同一个块或者 embedding 模型对「最短路径」和「最小生成树」的区分度不够。解决先检查切块边界把chunk_overlap调小到 50 试试。如果还不行换一个更大的 embedding 模型比如bge-base-zh-v1.5它的语义区分能力比 small 版强不少代价是推理慢一点。另外可以在 metadata 里加更细的章节标签检索时用where限定章节范围。4.3 模型答着答着开始自己编现象检索片段里明明没有某个公式模型却自己推导出一个还说得头头是道。原因Prompt 里的约束不够强或者temperature设太高。也有可能是检索返回的块太少模型觉得信息不够就自己补。解决把 Prompt 里的「不要编造」改成更具体的「如果片段中没有出现相关公式或定义必须回答资料不足」。temperature压到 0.1。top_k适当调大保证上下文里有足够信息。如果还编就在输出后加一个校验步骤检查答案里的关键公式是否出现在检索片段中。4.4 本地模型推理慢到没法用现象问一个问题要等半分钟以上7B 模型在 CPU 上跑得吃力。原因模型太大、量化等级不够、或者没开 GPU 加速。解决换 4-bit 量化版本的模型Ollama 里很多模型有q4_K_M后缀的版本体积和内存占用都小很多。如果有 NVIDIA 显卡确认 Ollama 是否识别到了 GPU。实在不行就降到 3B 模型或者把生成任务拆成「检索定位 自己推导」两步模型只负责告诉你考哪个知识点计算自己来。4.5 向量库越用越大检索越来越慢现象刚开始几百块时检索很快加到几万块后每次查询要好几秒。原因Chroma 默认的 HNSW 索引参数没调或者你每次都在往同一个 collection 里追加而没有重建索引。解决数据量超过一万块后考虑按科目拆成四个 collection检索时先判断科目再查对应的库。另外定期重建索引Chroma 的collection.modify可以调整 HNSW 的ef_construction参数适当降低可以加快检索但会牺牲一点召回率。5. 进阶技巧用元数据过滤把检索精度再提一档前面几章把链路跑通了但如果你想让 408-RAG 真正好用还得在元数据上做文章。我自己的习惯是给每个知识块打三层标签科目数据结构/计组/操作系统/网络、题型选择题/大题/概念题、来源教材/真题/笔记。检索时根据问题类型动态组合过滤条件比单纯靠向量相似度准得多。def smart_retrieve(question, question_typeNone): # 先粗判科目可以用关键词规则也可以用小模型分类 subject classify_subject(question) # 返回 计组 / 数据结构 等 where {subject: subject} if question_type 大题: where[type] 大题 results collection.query( query_texts[question], n_results8, wherewhere, include[documents, metadatas, distances] ) return resultsclassify_subject这个函数可以用最简单的关键词匹配实现题干里出现「Cache」「流水线」「浮点数」就归计组出现「红黑树」「拓扑排序」就归数据结构。别小看这个粗分类它能把检索范围直接缩小到四分之一噪声块少了一大半。另一个技巧是「查询改写」。用户问「这道题怎么做」的时候向量检索很难命中因为问题本身没有语义信息。我一般会先用一个小模型把问题改写成「知识点关键词 题型」的形式再拿去检索。比如「这道 2019 年计组大题怎么做」改写成「Cache 组相联映射 地址划分 计算题」命中率能提升不少。def rewrite_query(raw_question): prompt f把下面的 408 问题改写成知识点关键词用空格分隔不要解释{raw_question} return ask_llm(prompt, modelqwen2.5:3b).strip()用 3B 小模型做改写就够了这一步不需要太强的推理能力只要能把口语化的问题转成关键词组合就行。改写完再走检索你会发现之前那些「答非所问」的情况少了很多。最后说一个我自己的习惯每次调完参数一定拿同一组 20 道真题跑一遍 hit_rate记录下数值。参数调整对检索的影响有时候很玄学不记录的话改着改着就忘了哪个版本最好。我现在的 408-RAG 本地库跑了大概一万两千块hit_rate 稳定在 0.82 左右答一道大题从检索到生成大概 8 秒。这个水平应付日常刷题定位足够了但离「替代自己推导」还差得远——它最大的价值是帮你快速找到相关知识点和真题出处推导过程还是得自己动手。希望帮到你。本文还有配套的精品资源点击获取 简介408-RAG是一套面向计算机专业考研学生的本地化智能问答与知识检索系统针对备考408统考时资料分散、检索低效、专业概念理解困难等痛点将检索增强生成、向量数据库索引与大型语言模型推理能力整合到同一套可离线运行的方案中。资源包共21个文件约94KB以13个Python源码文件为核心覆盖数据预处理、检索与生成等模块另含txt说明、docx附赠资料、md文档、json配置、env_example环境变量示例及LICENSE、gitignore等工程文件结构清晰便于二次开发与本地部署。系统围绕历年真题、重点难点解析、模拟试题等备考场景设计可帮助读者理解RAG完整链路、向量索引构建与LLM推理调用方式并作为课程设计或毕业项目的参考骨架。目前已有57人学习下载适合希望把大模型技术落地到垂直知识库的计算机考研学生与开发者。1. 408 备考的检索困局为什么通用大模型答不好一道真题去年十月一个学弟拿着 408 真题来问我这道 2019 年计组的 Cache 映射题为什么某大模型给出的答案和答案解析对不上我让他把题干原样贴进去模型算出的组号偏移量差了整整一位。问题不在模型笨而在于通用大模型对 408 这种高度结构化、强考纲约束的知识体系天然存在两个硬伤一是训练语料里 408 真题的覆盖密度远不如公开互联网文本二是它无法区分「王道笔记的说法」和「教材原文的说法」容易把不同来源的知识缝合出一个看似合理实则错误的答案。这就是 408-RAG 这类本地化智能问答系统要解决的问题。它把检索增强生成、向量数据库索引和大语言模型推理三件事串起来先把 408 的教材、真题、笔记切块向量化存进本地库提问时先检索出最相关的知识片段再让模型基于这些片段作答。整套东西跑在你自己的机器上数据不出本地考纲范围内的知识可控可查。适合谁适合正在备考 408、手头有大量 PDF 和笔记、又不想把时间浪费在反复翻书定位上的同学也适合想拿一个真实场景练手 RAG 全链路的开发者。2. 408-RAG 的检索链路从 PDF 到向量库要过几道手2.1 为什么 408 知识库不能直接整本塞进去408 四门课——数据结构、计算机组成原理、操作系统、计算机网络——的教材加起来动辄上千页加上真题解析和王道单科书原始文本量轻松超过三百万字。如果直接把整本书丢给大模型做上下文先不说 token 限制光是检索精度就会崩掉。RAG 的核心逻辑是「先缩小范围再生成答案」所以第一步必须做文本切块。切块这件事在 408 场景下有特殊性。数据结构里的图算法讲解往往跨好几页计组的流水线冲突分析也是连续推导如果按固定 512 字符硬切很容易把一道题的题干和解析切散。我一般会按「语义段落 重叠窗口」来切以教材的自然段为最小单位遇到代码块或公式块时整块保留块与块之间留 50 到 80 字的滑动重叠防止边界信息丢失。from langchain.text_splitter import RecursiveCharacterTextSplitter # 针对 408 教材的切块配置 splitter RecursiveCharacterTextSplitter( chunk_size600, # 每块目标字符数408 知识点密度高600 比较合适 chunk_overlap80, # 重叠窗口防止题干和解析被切断 separators[\n\n, \n, 。, , , ], # 中文标点优先 length_functionlen, ) # 假设 raw_text 是从 PDF 提取并清洗后的纯文本 chunks splitter.split_text(raw_text) print(f切出 {len(chunks)} 个知识块)这段代码的关键在separators的顺序。中文技术文档里段落边界通常是\n\n其次是单换行再往下才是句号、分号。把中文标点放在英文标点前面能避免在「如图 3-5 所示」这种地方被硬切。chunk_size设 600 是我试过几轮后比较稳的值太小会导致一个完整知识点被拆成三四块检索时召回不完整太大则一块里混进多个知识点生成时模型容易抓错重点。2.2 向量数据库选型Chroma 还是 FAISS本地跑 RAG向量数据库的选择直接决定你后面调试的顺手程度。408 知识库的规模大概在几千到几万块之间这个量级下 Chroma 和 FAISS 都能扛但用法差别不小。维度ChromaFAISS部署方式嵌入式随 Python 进程启动库形式需自己管理索引文件持久化自带持久化目录手动 save/load index元数据过滤原生支持需额外封装适合场景快速原型、需要按科目过滤追求极致检索速度、纯向量检索我一般推荐 Chroma原因是 408 备考场景下你大概率需要按科目过滤——比如只想在「计算机组成原理」范围内检索Chroma 的where条件一行就能搞定FAISS 得自己在外层做过滤再重排麻烦不少。import chromadb from chromadb.utils import embedding_functions # 使用本地 embedding 模型避免联网 ef embedding_functions.SentenceTransformerEmbeddingFunction( model_nameBAAI/bge-small-zh-v1.5 # 中文小模型本地跑得动 ) client chromadb.PersistentClient(path./408_vectordb) collection client.get_or_create_collection( name408_knowledge, embedding_functionef, metadata{hnsw:space: cosine} # 中文语义检索用余弦距离 ) # 批量写入metadata 里带上科目和来源 collection.add( documentschunks, metadatas[{subject: 计组, source: 王道单科书} for _ in chunks], ids[fchunk_{i} for i in range(len(chunks))] )bge-small-zh-v1.5这个模型体积小、中文语义表现稳在普通笔记本上 CPU 推理也就几十毫秒一条。hnsw:space设成 cosine 是因为中文文本的向量方向比绝对距离更有意义。metadata 里带subject字段后面检索时就能按科目缩小范围这对 408 这种分科明确的考试特别有用。2.3 检索环节的三个必调参数向量库建好之后检索质量取决于三个参数top_k、相似度阈值、以及要不要做重排。top_k控制召回多少块。设太小可能漏掉关键知识点设太大噪声块会干扰生成。408 场景下我一般设 5 到 8。相似度阈值用来过滤掉那些「沾边但不相关」的块Chroma 返回的是距离值余弦距离下一般设 0.3 到 0.5 之间低于这个值的直接丢掉。重排是可选项如果你发现检索出来的块排序不理想可以加一个 cross-encoder 做二次排序但会增加延迟本地跑的话要权衡。def retrieve(query, subjectNone, top_k6, threshold0.4): where {subject: subject} if subject else None results collection.query( query_texts[query], n_resultstop_k, wherewhere, include[documents, metadatas, distances] ) # 按距离阈值过滤 filtered [] for doc, meta, dist in zip( results[documents][0], results[metadatas][0], results[distances][0] ): if dist threshold: filtered.append({text: doc, meta: meta, dist: dist}) return filtered这里threshold设 0.4 是个经验值。设太严比如 0.2很多相关块会被误杀设太松比如 0.8几乎不过滤等于没设。建议你先用十几道真题做一轮测试观察返回距离的分布再定这个值。3. 把检索结果喂给大模型Prompt 设计与本地推理3.1 408 专用 Prompt 的骨架检索出知识块之后下一步是拼 Prompt 让大模型基于这些块作答。通用 RAG 的 Prompt 模板在 408 场景下不够用因为 408 题目往往要求「先判断考的是哪个知识点再按考纲的解法步骤推导」。我一般会把 Prompt 分成四段角色设定、检索上下文、用户问题、输出约束。PROMPT_TEMPLATE 你是一名 408 考研辅导老师只根据下面提供的知识片段回答问题。 如果知识片段中没有足够信息直接说「检索到的资料不足以回答」不要编造。 【知识片段】 {context} 【问题】 {question} 【要求】 1. 先指出这道题考查的知识点属于哪门课、哪一章。 2. 按解题步骤逐步推导涉及计算时写出关键中间结果。 3. 如果片段中有多种说法以教材原文为准并注明来源。 这个模板里最关键的是「不要编造」和「以教材原文为准」这两句。408 的答案有标准解法模型自由发挥的空间必须压到最小。另外要求它先定位知识点是为了让你能快速判断检索是否命中——如果它说考的是「操作系统页面置换」但你问的是计组 Cache说明检索环节出了问题。3.2 本地推理用 Ollama 还是直接调 API如果你追求数据完全不出本地Ollama 是最省事的方案。装好之后拉一个 7B 或 14B 的中文能力还行的模型比如 qwen2.5:7b直接通过 HTTP 调用。优点是隐私可控、不花钱缺点是推理速度取决于你的硬件7B 模型在 16G 内存的笔记本上大概每秒出十几个 token答一道大题要等十几秒。# 拉取模型并启动服务 ollama pull qwen2.5:7b ollama serveimport requests def ask_llm(prompt, modelqwen2.5:7b): resp requests.post( http://localhost:11434/api/generate, json{ model: model, prompt: prompt, stream: False, options: {temperature: 0.2} # 低温度减少自由发挥 } ) return resp.json()[response]temperature设 0.2 是为了让输出更确定。408 答案不需要创造性需要的是稳定复现标准解法。如果你机器跑不动 7B可以换 3B 级别的模型但要注意小模型在数学推导上容易出错建议只用来做知识点定位和概念解释复杂计算还是自己动手。3.3 检索命中率怎么验证系统跑起来之后你得知道它到底靠不靠谱。最直接的办法是拿 20 道历年真题做测试集每道题人工标注「正确答案涉及的知识点关键词」然后看检索返回的 top_k 块里有没有包含这些关键词。命中率低于 70% 就说明切块或 embedding 有问题需要回头调。def hit_rate(test_cases, top_k6): hits 0 for case in test_cases: results retrieve(case[question], top_ktop_k) retrieved_text .join([r[text] for r in results]) if any(kw in retrieved_text for kw in case[keywords]): hits 1 return hits / len(test_cases) # test_cases 示例 # [{question: Cache 组相联映射..., keywords: [组号, 标记, 偏移]}, ...]这个hit_rate函数是我每次调完切块参数后必跑的。如果命中率突然掉下来八成是切块大小改了导致知识点被切散或者 embedding 模型换了导致语义空间变了。4. 避坑与排查408-RAG 落地时最容易翻车的五件事4.1 PDF 提取出来全是乱码和断行现象从王道 PDF 提取的文本里公式变成一堆符号代码块的缩进全丢了段落中间莫名其妙换行。原因很多 408 资料是扫描版或用了特殊字体嵌入普通 PDF 提取库拿不到正确的字符映射。另外 PDF 的换行是排版换行不是语义换行直接提取会把一句话切成好几行。解决扫描版先用 OCR 过一遍推荐 PaddleOCR 的中文模型。提取后的文本做一次清洗把单个换行替换成空格连续两个换行保留作为段落边界代码块用正则识别缩进模式后整块保留。这一步偷懒后面检索全是坑。4.2 检索出来的块总是差一点现象问一道图的最短路径题检索返回的是最小生成树的内容两者章节相邻但知识点不同。原因切块时把相邻知识点切进了同一个块或者 embedding 模型对「最短路径」和「最小生成树」的区分度不够。解决先检查切块边界把chunk_overlap调小到 50 试试。如果还不行换一个更大的 embedding 模型比如bge-base-zh-v1.5它的语义区分能力比 small 版强不少代价是推理慢一点。另外可以在 metadata 里加更细的章节标签检索时用where限定章节范围。4.3 模型答着答着开始自己编现象检索片段里明明没有某个公式模型却自己推导出一个还说得头头是道。原因Prompt 里的约束不够强或者temperature设太高。也有可能是检索返回的块太少模型觉得信息不够就自己补。解决把 Prompt 里的「不要编造」改成更具体的「如果片段中没有出现相关公式或定义必须回答资料不足」。temperature压到 0.1。top_k适当调大保证上下文里有足够信息。如果还编就在输出后加一个校验步骤检查答案里的关键公式是否出现在检索片段中。4.4 本地模型推理慢到没法用现象问一个问题要等半分钟以上7B 模型在 CPU 上跑得吃力。原因模型太大、量化等级不够、或者没开 GPU 加速。解决换 4-bit 量化版本的模型Ollama 里很多模型有q4_K_M后缀的版本体积和内存占用都小很多。如果有 NVIDIA 显卡确认 Ollama 是否识别到了 GPU。实在不行就降到 3B 模型或者把生成任务拆成「检索定位 自己推导」两步模型只负责告诉你考哪个知识点计算自己来。4.5 向量库越用越大检索越来越慢现象刚开始几百块时检索很快加到几万块后每次查询要好几秒。原因Chroma 默认的 HNSW 索引参数没调或者你每次都在往同一个 collection 里追加而没有重建索引。解决数据量超过一万块后考虑按科目拆成四个 collection检索时先判断科目再查对应的库。另外定期重建索引Chroma 的collection.modify可以调整 HNSW 的ef_construction参数适当降低可以加快检索但会牺牲一点召回率。5. 进阶技巧用元数据过滤把检索精度再提一档前面几章把链路跑通了但如果你想让 408-RAG 真正好用还得在元数据上做文章。我自己的习惯是给每个知识块打三层标签科目数据结构/计组/操作系统/网络、题型选择题/大题/概念题、来源教材/真题/笔记。检索时根据问题类型动态组合过滤条件比单纯靠向量相似度准得多。def smart_retrieve(question, question_typeNone): # 先粗判科目可以用关键词规则也可以用小模型分类 subject classify_subject(question) # 返回 计组 / 数据结构 等 where {subject: subject} if question_type 大题: where[type] 大题 results collection.query( query_texts[question], n_results8, wherewhere, include[documents, metadatas, distances] ) return resultsclassify_subject这个函数可以用最简单的关键词匹配实现题干里出现「Cache」「流水线」「浮点数」就归计组出现「红黑树」「拓扑排序」就归数据结构。别小看这个粗分类它能把检索范围直接缩小到四分之一噪声块少了一大半。另一个技巧是「查询改写」。用户问「这道题怎么做」的时候向量检索很难命中因为问题本身没有语义信息。我一般会先用一个小模型把问题改写成「知识点关键词 题型」的形式再拿去检索。比如「这道 2019 年计组大题怎么做」改写成「Cache 组相联映射 地址划分 计算题」命中率能提升不少。def rewrite_query(raw_question): prompt f把下面的 408 问题改写成知识点关键词用空格分隔不要解释{raw_question} return ask_llm(prompt, modelqwen2.5:3b).strip()用 3B 小模型做改写就够了这一步不需要太强的推理能力只要能把口语化的问题转成关键词组合就行。改写完再走检索你会发现之前那些「答非所问」的情况少了很多。最后说一个我自己的习惯每次调完参数一定拿同一组 20 道真题跑一遍 hit_rate记录下数值。参数调整对检索的影响有时候很玄学不记录的话改着改着就忘了哪个版本最好。我现在的 408-RAG 本地库跑了大概一万两千块hit_rate 稳定在 0.82 左右答一道大题从检索到生成大概 8 秒。这个水平应付日常刷题定位足够了但离「替代自己推导」还差得远——它最大的价值是帮你快速找到相关知识点和真题出处推导过程还是得自己动手。希望帮到你。本文还有配套的精品资源点击获取