加上 Redis 的第一个晚上,我盯着监控面板看了很久。
那条接口响应曲线原本在几十毫秒附近晃悠,缓存一上,啪的一下跌到了个位数。我靠在椅子上,心里有点得意,甚至开始琢磨下一个接口要不要也套一层。
得意了大概半小时。
为了加个新功能,我改了数据库里一个字段的结构,测试环境一刷新,页面上的数据全对不上了。我对着日志看了好一阵,才反应过来:数据库早就变了,Redis 里躺着的还是旧格式的值,而我压根没写清理旧键的逻辑。雷是我自己埋的,炸的也是我自己。
那天晚上我才算真正意识到,给系统加上一层缓存,本质上是凭空多造了一份需要时刻同步、定期过期、并且出了问题还得能说清楚前因后果的中间状态。它的本分只是帮数据库分担那些重复的读取压力,绝不是越俎代庖地替数据库去当那个说了算的事实源。
十几行代码里的暗礁
日常开发里最顺手的写法,大家都熟:请求进来先问 Redis 要数据,没命中再去翻数据库,查到了顺手写回内存。这就是经典的旁路缓存模式(Cache-Aside),敲成代码不过区区十几行。
可我在这十几行里来来回回改了好几天。数据库查出来是空结果,到底要不要写进缓存?拼装缓存键的时候,有没有把租户隔离和数据结构的版本号带进去(那晚的事故,正是因为键名里缺少了版本号)?万一遇到格式古怪的历史数据导致反序列化报错,程序该怎么优雅兜底?更别提当底层数据库发生更新之后,究竟由谁来负责清理关联的键——哪些键必须当场删掉,哪些键可以容忍它慢悠悠等 TTL 自然过期,业务端读到尚未刷新的旧值时允不允许短暂妥协?
这些实打实的业务约定如果只停留在脑子里,光靠生硬地套一个 get 和一个 set,根本撑不起所谓的数据一致性。仅仅在配置文件里留一个笼统的“开启缓存”开关更是帮不上忙,等用户找上门来反馈数据对不上号的时候,翻遍日志连半句像样的原因都排查不出来。
那几个耳熟能详的名词
后来我把常见的几种失效场景在测试环境里挨个试了一遍,越试越觉得,它们考的其实都是同一件事:缓存靠不住的时候,系统往哪儿退。
穿透。有人拿一个根本不存在的 ID 反复请求,缓存永远不命中,每次都直接打到数据库。往 Redis 里塞一个空值,或者在前面挡一层布隆过滤器,固然都能帮数据库挡下子弹,但各自背负的维护代价截然不同。空值的 TTL 设得太长,万一两分钟后这条记录真被创建出来了,用户刷新半天看到的还是空白;设得太短,又挡不住高频的重试洪峰。而布隆过滤器呢,每写一条新记录都得同步去维护那张位图,还得容忍它天生自带的一点误判率。在动手敲代码之前,与其死记硬背这些八股名词,倒不如拉出线上的真实查询日志看一眼请求分布,再决定用哪一种。
击穿。某个高频访问的热点键在毫无防备的瞬间突然到期,瞬时并发一起冲向数据库。加一把分布式互斥锁、改用业务层面的逻辑过期、或者先拿尚未销毁的旧值出来临时垫一下,确实都能把瞬间涌向数据库的回源并发压下来,只是每多选一种手段,代码里就得多维护一套繁琐的状态流转。到底怎么选,终归得看那份数据背后的业务轻重:如果是一个无关痛痒的资讯推荐列表,趁着后台异步刷新的几秒钟先给用户看旧内容,自然比让成百上千个请求干巴巴地排队等锁要划算得多;可一旦换成权限核验或者账户余额扣减,过期的旧值半点都不能沾,这时候宁可咬牙直接打到数据库,再用前置的限流阀门死死卡住并发水位。
雪崩。一大批键在同一秒钟集体到期。这个说来有点惭愧,很多时候是我们自己在写批量导入脚本时图省事,给所有键设了一模一样的 TTL。给基础 TTL 顺手加上一点随机抖动、把预热的时间窗口打散、再给回源链路套上并发限制,固然能把陡峭的流量尖峰削平一些。但所有这些手段能够奏效的大前提,是底层的数据库和连接池本身有明确的容量护栏。现在每次上一套新缓存之前,我都会先把源站吞吐、连接池上限和 Redis 内存容量在草稿纸上掂量清楚,再去定预热、限流和抖动的参数。源站本身的抗压底线要是没算准,那些花哨的削峰手段也只是把原本十秒钟的刺眼报错,拖成了长达半小时的慢性拥堵。
命中率很好看,然后呢
把这些异常场景挨个踩过一遍之后,我对监控大盘的看法也彻底变了。
大盘上 99% 的缓存命中率看着极有面子,可它顶多只能说明 Redis 接住了大部分流量,没法告诉我返回给用户的业务数据究竟对不对。有一次命中率还高高挂在山顶,数据库连接池却已经悄悄耗尽了——那一刻我才明白,这个数字骗不了别人,倒最容易把自己给骗了。
真正能救命的可观测性,得把回源查询耗时、分布式锁等待时长、反序列化异常次数以及具体的键驱逐原因全都摊开在同一张图里对照着看。就连平时运维里看似最顺手的“清空缓存”,我也当成一次高危动作:按下回车之前,心里得清楚这一刀下去会瞬间放出多少倍的回源查询,更要管住手,绝不在业务晚高峰顺手敲下 FLUSHDB。
也可以不加
折腾了这么多怎么把缓存做稳的法子,我反而越来越常想起一个最容易被遗忘的退路选项:干脆不加缓存。
面对那些访问频次极低、天生要求强一致,或者一条主键查询在数据库里本来就只需一两毫秒的轻量级数据,老老实实直接读源站,往往比绕一大圈要清爽得多。引入一套缓存的真实开销,从来不止服务器上划出去的那几百兆内存,还有后续没完没了的失效通知改造、监控埋点、半夜排障以及迁移维护的心力。把这笔总账算明白了,才能拎得清眼下这处接口到底值不值得再叠一层盒子。
说到底,缓存存在的价值,是给整套系统在面对流量冲击时多留出几条回旋的余地:顺风顺水命中时能跑得轻快一点,意外失效时靠着降级与限流依然能把活儿干完,就算缓存彻底宕机了,也还能体面地退回到源数据上继续运转。
图上每一根箭头都很简单,但真正决定系统稳不稳当的,永远是藏在每一根箭头背后的过期策略、并发控制与错误兜底。只有把这些退路一笔一划写进代码里,缓存才配叫作系统的加速器;如若不然,它就只是一座悬在半空中、不知道会在哪个深夜突然集体过期的影子数据库。
那晚被我自己炸掉的测试环境,最后是靠给缓存键加上一个 v2 前缀救回来的。改动只有一行,我却记了很久。