logo
我不焦绿
08-09·后端开发·5年+
后端最崩溃的线上问题是什么？
之前线上做缓存过期统一更新，没做时间打散，凌晨流量小的时候没察觉，早高峰瞬间大批量key同时失效。数据库瞬间被打穿，所有业务接口超时报警铺满监控大屏。当时只有我一个值班后端，联系运维扩容、临时加本地缓存、限流降级多线操作，连续熬四个小时才恢复。一边要盯着业务止损，一边还要同步情况给领导同步故障进度，根本无暇休息。长期只靠单一缓存方案兜底风险太高，之后重构缓存分层，把过期时间做随机偏移，杜绝同类事故复发。
发布于 湖北
分享
评论
2
未登录
友善发言
image-upload
评论
加载中