8 月 2 日晚上,我点开阅读器想看看自己博客的更新有没有推过去,结果订阅那一栏孤零零挂着一个红色感叹号。
切到浏览器一试,主页好好的,文章页也好好的,唯独对外公开的三个订阅地址像约好了似的,齐刷刷返回 500。
一开始我的眼睛一直钉在前端的 route 文件上。负责拼装 XML 的那段代码统共没几行,怎么看都像是顺手补个空值判断、重新部署一下就能收工睡觉的小毛病。更何况我在终端里调了一下后端专门负责吐订阅条目的接口,状态码是稳稳当当的 200,里面整整齐齐躺着 10 条公开文章。这就更让人觉得,问题再大也跑不出前端渲染这一亩三分地。
谁想到接下来的一周里,这个看似不起眼的 500 状态码,竟带着我先后钻进了前端并发依赖、后台主题配置、每日上游同步脚本,还有边缘节点缓存的迷宫里。这里的每一桩小插曲单拎出来看逻辑都不算晦涩,可一旦严丝合缝地挤在同一段日子里发生,就极容易在排查时互相打掩护。现在整条订阅链路总算恢复了平静,回头翻这几天的排错笔记,单去背诵某一行救场的代码其实没多大意思;反倒是那些在同一个夜晚明明各自成立、摆在一起却显得彼此矛盾的怪现象,更值得当成一段折腾故事记下来。
8 月 2 日,三个地址一起罢工
/feed、/feed.xml 和 /atom.xml 三个入口无一幸免,全部卡死在 500。顺着后端日志往下摸,给 RSS 供应文章列表的专用接口明明一切正常,另一个负责拉取全站聚合信息的 aggregate 接口却出了岔子——因为当时站点里还没有发布过任何公开手记,它在尝试读取最新一条手记时直接撞上了 NOT_FOUND。
翻开旧版的 route 代码,病根很快露了脸:当初图省事,直接用一个 Promise.all 把这两个请求绑在了一起等待。按理说,feed 接口供应的是实打实的订阅正文条目,而 aggregate 顶多只是顺带补充一下站点标题、副标题与主题外观配置;可旧写法不分轻重,赋予了它们一模一样的生杀大权。只要 aggregate 在半路因为缺手记抛了异常,那边明明已经顺利拿回来的 10 条文章内容,就根本走不到生成 XML 的那一步。
在捅破这层窗户纸之前,我的备忘录里其实已经列了一长串诸如边缘缓存未刷新、主题开关没对齐、内容数量越界乃至部署偶发抽风之类的猜测。每一条单看都能解释一部分表象,唯独圆不上“后端条目接口稳稳返回 200,三个前端入口却同时报 500”这个怪状。直到我把两个后端请求的原始响应并排摊在屏幕上,满天飞的猜测才一下子收拢到那段考虑不周的并发等待关系上。
第一版修复的思路,就是把主次重新剥离开来:将 feed 请求保留为不可妥协的必需数据,万一它挂了,前端绝不凭空伪造一份空荡荡的假订阅;而把 aggregate 降级为尽力而为的补充项,一旦请求失败,站点标题和描述就退回去取 feed 响应里自带的元数据,主题配置则交由受约束的默认值来兜底。为了把这层逻辑钉牢,我顺手补了 6 个聚焦测试,覆盖完整主题、旧主题缺字段、完全无主题配置、aggregate 请求异常以及 SEO 字段为空等场景。直到本地构建与生产环境的冷请求全部亮起绿灯,我才长舒了一口气,合上电脑去冰箱拿了瓶冰水。(那会儿我还满心以为这桩小麻烦就此翻篇了,全然没料到仅仅过了两天,后台配置又给我出了道新题。)
8 月 4 日,后台还缺一块拼图
隔了两天再去细查生产环境的持久化配置,我才发觉数据库里主题 snippet 模块下,压根没挂载 RSS 相关的配置项。也就是说,虽然前两天的代码兜底让残缺的旧配置得以勉强跑通,但站点后台自始至终都没有用显式的数据结构保存过“究竟允不允许输出全文订阅”这一项。
为了补上这块拼图,我没有去碰核心的文章表,也没有贸然连上数据库手写修改语句,而是老老实实走原有的管理接口,把官方定义的默认结构补进主题配置:自定义扩展元素留空,同时将 noRSS 明确设为 false。动手写入之前,我先把线上原有的配置完整导出来存好;等接口写入成功后再重新读回来逐字比对,确认除了新长出来的这组 RSS 字段之外,其余所有历史配置均与原值分毫不差。紧接着再去调公开的 aggregate 接口,返回体里也顺理成章地读到了一致的语义,只是在序列化输出时字段名被转成了下划线风格的 no_rss=false。
代码里的默认兜底值,与后台数据库里明文保存的配置项,表面上看算出来的结果一模一样,在系统里挑起的担子却截然不同:前者是为了在旧数据迁移或接口偶发抖动时保住服务不崩,后者则是清清楚楚向系统声明“这个站点在此刻明确允许对外输出什么”。倘若只盯着浏览器里恢复正常的 XML 页面看,十有八九会漏掉这层细微的差别。我当时也差一点就把整场故障轻率地归结为“后台少配了个开关”——要是记录真停在这一步,再过四天回头看仓库时,我自己都得看糊涂了。
线上好好的,源码却偷偷退回去了
到了 8 月 8 日巡检主分支源码时,眼前的一幕让人哭笑不得:8 月 2 日好不容易写进去、并且跑通了测试的那版 route 容错代码,竟然在主分支上消失得无影无踪。
顺着自动化流水线的日志往回倒,才抓到了幕后的推手——仓库里配着一个每天定时同步上游模板的任务,它的做法是用上游最新的目录树直接覆盖当前工作树,随后只按白名单捞回极少数下游自定义文件。偏偏那几天新加的 RSS 辅助函数、单元测试以及 route 改动并没有悉数写进保留名单里,于是一次再正常不过的凌晨例行同步,就这么静悄悄地把打好的补丁抹平了。
最具有迷惑性的是,当时的生产环境跑得依然十分健康。因为 8 月 4 日已经在后台把缺失的主题配置补齐了,再加上公开域名依然稳稳指向前一次成功构建的部署实例。倘若那会儿我只习惯性地在浏览器里敲一下 /feed,看到的必然是一派天下太平;可那颗被同步脚本埋下的雷其实就悬在半空,只等下一次触发部署,脆弱的旧逻辑就会卷土重来。
随后的 PR #10 索性把运行时代码与上游同步机制绑在一起做了彻底的手术。业务逻辑上,feed 依旧提供核心必需内容,aggregate 明确改为可选请求:当主题配置存在但缺失 RSS 字段时,沿用公开默认值;可一旦连 aggregate 整体都无法访问、前端根本无从确认站长愿不愿意开放全文时,代码便会退守到更安全的收缩策略,直接按 noRSS=true 来处理——既保住订阅入口不报错、保留原文跳转链接,又不贸然把文章正文直接吐出去。
与此同时,每日同步任务把下游的辅助函数、测试文件与工作流配置统统纳入了保护名单,并改用精确的代码锚点将那几行关键的 route 改动自动重放到最新的上游文件里。万一将来上游大幅重构导致锚点失效,同步任务会干脆利落地报错停下,再也不会一声不响地把下游补丁吞掉。配套的聚焦测试也随之扩充到了 7 个,新加的那一条专门构造了一个真实的 rejected Promise 塞进配置解析流程,用来死死盯住 aggregate 彻底断联时的全文关闭策略。
合并提交 06991c0e5f7246372a3eb0bcbf05f727870b98c5 顺利走完部署流水线后,我决定换一种更较真的方式,把所有公开入口重新验收一遍。
穿透缓存的十次冷请求
经历过缓存与旧部署实例带来的假象之后,这一轮验收我不再满足于盯着单个 /feed 接口看一眼 200 了事。
站点绑了两个公开域名,我把它们双双拉出来,挨个请求 /feed、/feed.xml、/atom.xml、/thinking/feed 以及 /says/feed 这五个入口,并且特意在每一个请求地址尾巴上都缀了一串独一无二的随机参数,硬生生绕开外层早已就位的边缘节点缓存。
十次穿透缓存的冷请求整整齐齐地拿回了 200 application/xml,解析出来的 XML 根节点无一例外全是合法的 rss 标签;两个域名下的五个订阅入口,吐出来的条目数量依次定格在 10/10/10/17/20,响应头里的缓存状态清清楚楚地标着 MISS 与 age=0,中途也没有撞上任何讨厌的浏览器安全质询页面。我又顺手抽查了主订阅源里的 GUID 唯一标识、发布时间戳、HTTPS 协议链接以及页面头部的自动发现标签,点开里头的文章链接,都能顺畅抵达正文。
名字里带着 atom 的 /atom.xml,其实自始至终都只是一个历史遗留的兼容别名,里头装的根节点依然是 rss。之所以坚持把它留在回归检查列表里,纯粹是为了照顾那些早就把这个地址填进阅读器里的老朋友。
这一轮带着随机参数的冷请求,也顺带解开了我心头的另一个疙瘩。在挂了 CDN 边缘缓存的架构下,生成的订阅 XML 往往会被节点扣留相当长一段时间,平时随手在浏览器里按下的普通刷新,十有八九命中的只是缓存里热乎的旧副本。响应头里的 MISS、能正确解析的 XML 结构以及精确到个位数的条目数量,三样同时对上号,心里那块石头才算真正落了地:刚推上去的这份部署,确确实实是从后端拉回了鲜活数据,完整走完了渲染流程。
顺手收尾的构建期 429
有意思的是,就在同一个合并提交顺利跑通生产部署与十路冷请求验收的时候,主分支上的 Bundle Analysis 任务却亮起了红灯。
翻开构建日志,静态页面生成推进到大约 42/85 的进度时,多语言路由在同一瞬间密集地向后端发起 aggregate 请求,直接把后端接口打进了 429 RATE_LIMITED 的限流保护里。日志里看得分明:同一个接口在前面几十次请求里还客客气气地返回着 200,紧接着便被密集的并发触发了限流。
面对这个新冒出来的红叉,我没有把它硬生生塞回刚刚结案的 RSS 故障袋子里。毕竟哪怕把前端 route 的容错代码全部回退掉,也丝毫减少不了静态构建时的并发请求总量;而反反复复去拨弄后台那个 noRSS 开关,对缓解构建限流更是毫无助益。它明摆着属于另一条独立的支线,需要用控制构建并发、合并在途请求或者引入构建期缓存的手段去对症下药。
单独拎出来的 PR #11 专门替这条支线收了尾:让同一语言下的 aggregate 读取操作共享内存缓存与单次在途请求,同时把 Vercel 构建环境的预渲染并发显式收紧为一个 worker。合入之后的冷构建一口气跑完了全部 85/85 个静态页面,整个过程只向后端发了 5 次 aggregate 请求,正好对应站点支持的 5 种语言,每一次响应都是干干净净的 200。
几根线头
把这几天的笔记一页页摊平在桌上,原本搅成一团的乱麻,总算理出了几根各自独立的线头:
- 最开始的 500,是一个非必需的聚合请求拖垮了整条路由;
- 后台数据库里确实少存了一项显式的配置声明;
- 每天跑的定时同步脚本,在暗地里把已经通过测试的补丁从源码树上抹掉了;
- 边缘节点的缓存机制,逼着验收必须动用穿透性的冷请求;
- 收尾阶段跳出来的构建期
429,靠另一份专门控制并发的补丁才算了结。
搁在刚学写代码那会儿排查线上故障,我总恨不得第一眼就揪出那个唯一的“真凶”,再千方百计地把现场看到的所有反常都往这一个解释上硬套。这次不一样:后端接口的 200 与前端路由的 500,线上服务的健康与主干源码的无声回退,生产部署的绿灯与构建分析的限流失败,全都真真切切地并存在同一段日子里。当我不再执着于寻找单一的答案,坦然承认它们本来就分属于不同的角落和时刻之后,手头的排查反倒一下子变得清爽从容了起来。
现在那十个公开订阅入口都能稳稳当当地吐出内容。同步脚本里的那几处代码锚点,以后还得跟着上游的调整继续耐心照看。
窗外的蝉不知什么时候不叫了。我重新打开阅读器,那个红色感叹号已经没了,最新一篇文章安安静静躺在列表最上面。