“其实就是给大模型外挂了一座本地知识库。”
跟朋友聊起手头那个知识库问答的小项目时,我图省事,随口这么解释了一句。话一出口,自己先心虚了半截。就在前一天夜里,我还在屏幕前对着终端里的一行输出发呆:模型用极其笃定、甚至堪称优雅的语气,给我编造了一个内部文档里压根不存在的接口参数(更气人的是,连版本号都凑得有模有样)。
拿几套真实的文档在系统里摸爬滚打过几回,那种指望靠大模型“一键读完万卷书”的幻觉也就彻底散了。我越来越习惯把 RAG 当成一套本本分分的传统检索系统来看,排在流水线最末端的那个大模型,干的活更像是把查出来的卡片整理成通顺的人话。
从一份原始文档丢进来,到屏幕上蹦出回答,真正熬人的功夫都在水面底下:格式各异的文档要先经历清洗与切分,规规矩矩挂上标题、来源路径和更新时间;向量召回算出来的只是语义上“看着像”,离事实上“对得上”还差得远;碰上那些一个字母都不能错的专有名词、函数签名或精确版本号,还得叫上传统的关键词检索(BM25)和重排模型(Rerank)一起兜底。这一长串环节里,只要有哪一步没留下肉眼看得见的中间结果,等模型在前端胡言乱语时,排查起来就跟在黑屋子里摸东西抓瞎差不多。
切分这一刀
单说最不起眼的文本切分,我就结结实实踩过一回偷懒的坑。刚上手时图省事,按固定字数一刀切,设了个五百字符的滑动窗口,直接往向量库里灌。结果没过两天,问到系统配置相关的问题,回答就开始驴唇不对马嘴。
打开底层的切片列表一看,哭笑不得:一段完整的 YAML 参数块被从腰间硬生生截成两半,跨行的 Markdown 表格丢了表头,成对出现的问答刚好在问句末尾断了气。没头没尾的半截话塞进向量库,跟废纸没什么两样。
后来我干脆把死板的字数标尺扔了,顺着文档本来的章节骨架下刀。代码块、配置表和完整段落尽量保住全尸,再把每一段所属的章节标题和文件路径一起写进元数据。这样模型拿到一段切片,好歹能先看清“手里这段话是谁说的、放在哪个章节底下才成立”。
上下文不是越多越好
等切片规规矩矩进了库,紧接着又容易掉进长上下文窗口的陷阱里。现在的模型动辄支持几万甚至十几万 token 的上下文,很容易让人产生一种“多塞几段总归保险”的错觉。
在调试台前泡了几个晚上才明白,塞进去的无关段落越多,核心信息越容易被噪音冲淡;要是召回了三四段意思相近的重复内容,模型反倒会生出一种莫名的盲目笃定;最要命的是那些没清理干净的旧版文档,一旦顺着向量相似度混进提示词,转眼就能把昨晚刚更新的接口规范覆盖掉。
与其一味调大召回数量,我更愿意在检索那一层就把时间范围、版本号和访问权限卡死。内部知识库尤其如此,权限隔离必须在查库阶段硬性过滤。指望在提示词里好言好语地叮嘱模型“请不要透露无权限的内容”,等于把一道概率当成了门锁。
那本同步账
再往深处走,一套想要长久活在线上的知识库,迟早要面对日常增删改的琐碎账目。写周末演示的玩具时,我常把“文件上传成功”直接当成“知识库已更新”。
真到了日常使用的环境里,原文档哪怕只改了一行,旧的向量切片什么时候作废、倒排索引怎么增量同步、后台构建任务半路报错能不能退回上一个可用版本,每一件都得落成看得见的任务状态。这本账稍微一乱,前端文档页上明明已经删掉的旧规则,转头就会在聊天框里被模型一字不差地背诵出来。
怎么知道它靠不靠谱
环节这样一环扣一环,判断这套系统靠不靠谱,就绝不能靠随手挑几个漂亮问题试一试就拍板。
我在本地常备着一份自己攒的测试集:里头既有明确知道答案在哪几行文档里的常规问题,也特意掺了几道知识库里压根没有答案的“超纲题”。每次改动切分策略或检索权重,就把命中率、目标片段的排序位置、上下文总长度和引用的准确度跑一遍。
如今再碰上模型一本正经地胡说八道,我也戒掉了上来就改提示词的毛病。先翻日志看当时的召回列表,确认那段关键原文到底有没有送到模型嘴边;召回没问题,再去审视提示词的约束;等这两关都排除了,才去怀疑是不是底座模型本身力不从心。
一点笨功夫
夜深的时候关掉调试面板,看着终端里安静闪烁的光标,我常觉得 RAG 这门手艺朴素得很。
里面并没有什么点石成金的魔法,不过是把我们平时在图书馆里翻目录、折书角、比对新旧版本、在笔记本上注明页码出处的笨功夫,拆解成了计算机能一步步执行的工序。
当工序被打磨得足够干净透明,生成出来的每一句话都能顺着引文摸回原文的具体行号。资料库里确实找不到答案时,系统能坦坦荡荡地说一句“现有文档未提及”;新旧两版说法打架时,它会老老实实把两边的说法并排摆在桌面上。
比起一个无论问什么都能巧舌如簧圆过去的黑盒,这样一个懂得承认“我不知道”、愿意少说半句空话的系统,才真正让人敢放进每天的工作里安心托付。