网站上线流量归零？运维盲区正 silently 吞噬用户

　　前年，上线前夜，机房空调坏了，嗡嗡嗡像台老拖拉机在耳道里转。我蹲在IDC机柜后面查负载，邵工拎着保温杯过来拍我肩，说“老陈你这接口路由配得跟相亲简历似的——看着都对，就是没人点进去”。我没搭腔，手里还捏着刚撕开的辣条包装，油蹭到KVM键盘上，黏黏的。

　　不是流量没了，是根本没发出去。WAF日志里三百七十二个499，全卡在/healthz上游——连健康检查都收不到响应。我们盯着监控屏看，指标线平得像殡仪馆心电图。运维老周掐着表说“再等十八秒”，结果第十九秒他手机响了，接的是他闺女班主任电话，问为啥孩子作业又抄错IP段。挂了就叹气：“教育局防火墙比咱们这个还懂容灾。”

　　我原以为是Nginx upstream timeout调太短，结果翻到ingress controller配置里，发现超时时间根本没生效——因为用的是注解 annotation，而那个注解名拼错了三个字母：`nginx.ingress.kubernetes.io/proxy-timeout` 写成 `proxy-toime`。我敢打包票，那行yaml我手敲时小拇指悬空抖了一下，光标跳到中间删错了。但没人review，CI/CD流程里压根没校验注解合法性。现在想想，连kubectl get ingress -o yaml 都不会报错，这事儿荒诞得能进K8s冷笑话集锦。

　　更绝的是证书链。Let’s Encrypt自动续期脚本跑成功了，但证书里Subject Alternative Name缺了一项——不是域名没加，是脚本里grep -v “#” 顺手把注释行当配置读进去了，结果生成的CSR里硬塞了个`DNS:prod-env-#dev-only`。浏览器不认，curl -v 看得到，但监控只扫HTTP状态码，200就绿灯放行。直到客服电话打爆，用户说“点登录按钮像按了暂停键”，我们才从Chrome控制台Network面板里翻出那个302重定向失败的ERR_SSL_INVALID_NAME……这时候邵工正用牙签剔指甲缝里的泡面渣，头也没抬：“哦，证书里写了#号？那是我上周改的注释，怕新人看不懂。”

　　还有个细节：上线后所有请求头里都多了个`X-Env-Trace: staging-fallback`，怎么都清不掉。查到第七层才看见，是API网关插件里一个if分支漏了return，兜底逻辑永远走fallback分支——而fallback里写的环境标识根本没更新。我们仨对着代码看了四十分钟，老周突然说“等等，我早上倒咖啡的时候好像动过那个插件包版本号？”——翻Git log，果然，他把1.2.7误提交成1.2.7.staging（带后缀），而灰度发布的判断逻辑只认纯数字版号。所以所有生产流量被当成staging降级处理。我说不准这到底是配置缺陷还是人肉灰度开关，反正它现在就长在那儿，活的。

　　那天凌晨三点，窗外下着雨，雨点砸在IDC玻璃幕墙上像弹珠。值班室灯管滋滋响，我数到第七次频闪，邵工终于把保温杯搁桌上，说：“别查了，先切回老网关。”他手指在桌面敲两下，我听见自己后槽牙咬得有点酸。其实切回去三分钟就能通，但没人敢按那个按钮——因为上个月安全加固要求所有切流必须双人复核，而另一个复核人正在机场候机，微信回了个“稍等”，然后手机没电关机了。

　　后来我们复盘会议开了五轮，每次都在讲“如何避免单点故障”，可没人提过那个注解拼写错误能存活三个月；也没人说为什么证书续期监控告警级别设为warning而不是critical；更没人解释清楚，为什么所有新服务模板里都自带那行`X-Env-Trace`字段，连测试环境都跑这一套。优胜劣汰？呵，淘汰的从来不是漏洞本身——是第一个发现它却不敢提的人，是第二个看到却假装没看见的Review者，是第三个把错误当惯例抄进模板的实习生。

　　上个月我在公司内网搜“proxy-toime”，搜出来八十七个repo，二十三个还在用。昨天抽样看了三个，两个已经上线三个月，一个正在做灰度，都没人提。我就点了“Edit file”，把toime改成timeout，Commit message写“typo fix”，没建PR，没走CR，直接push。推送完看了眼终端输出：`To https://git.xxx.com/xxx/yyy.git 9c3a8f5..e7b21d4 main -> main`。就完了。

　　现在我桌角还留着半包辣条，开封三天，有点潮。邵工上礼拜换保温杯了，新杯子印着“网络安全零信任实践组”，底下小字“非加密材质，勿盛热饮”。我问他为啥换，他说老杯子盖子拧不紧，有次漏了点枸杞水到防火墙策略文档PDF上，把其中一行access-control-allow-origin洇花了。我笑出声，他摆摆手：“别问，那文档现在还在审计整改清单里挂着呢。”

文章配图，仅供参考

　　要修？修不完。我今天下午打算把那个带#号的证书脚本重写一遍，用shellcheck跑三遍，再加个预检钩子。但我知道，下个月会有新人抄我的脚本，漏掉其中一行——他可能正喝着同一款枸杞茶，也可能刚接到女儿班主任电话。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!