大模型安全工程师亲历：12个高可用架构真相

文章配图，仅供参考

　　我原以为改下正则就能过，结果凌晨两点把正则改成.?[^a-zA-Z0-9\\s]，刚重启nginx，运维小王推门进来递了盒没拆封的小龙虾——塑料盒底下洇开一小片油渍，像地图上的某个被忽略的漏洞节点。他说“邵哥，风控那边拉了个新白名单，直接绕过全部内容检测”。我愣住。他嚼着虾尾补了句：“说是大模型推理链路里‘可信通道’，不走网关。”我当场就把监控屏右下角那个绿色“OK”标戳黑了，红叉画得比心跳还歪。

　　真用户被拦那天，我坐在客服中心隔间听电话。12号坐席小陈右手捏着耳机线，左手在便签上反复写“您稍等”，写了九遍，纸角都毛了。隔壁13号挂了电话叹气，声音不大：“又一个说‘你们是不是把我当bot了’——他查的是训练数据合规状态，query里带了七次‘GDPR Article 22’，还附了PDF哈希。”WAF日志里那条rule_id=738421的拦截记录后面，跟了一行注释：[低置信度｜语义合法｜放行待批]。审批流卡在风控副总邮箱三天零十八小时。我没催。我知道他正用自己笔记本跑Llama-3-8B蒸馏版，在调一个叫“prompt-integrity-check”的自研模块——人肉校验比机器快，但只校验到第三层prompt injection，第四层藏在JSON Schema的description字段里，他没看见。

　　有回测试API熔断，我们故意打满token quota，等后端返回503。结果负载均衡把请求转到了预热集群，那儿的缓存全是三个月前的老schema，response结构一变，下游六个服务全跪，告警邮件标题连发十七版，从“模型服务异常”变成“请勿重启所有实例（含冷备）”。当时机房空调坏了一台，嗡嗡声像拖拉机挂二档，汗珠顺着我的脊椎往下爬，滴在键盘ESC键上。我就一直盯着那颗汗珠蒸发掉，没动。旁边实习生举着手机录故障视频，画面抖得厉害，镜头晃过墙上贴的《高可用SLA保障SOP》，胶带边缘翘起来了。

　　数据泄露那次，真不是SQL注入。是一个运营同学给模型喂训练数据时，把本地CSV文件路径写进system prompt：“读取/data/private/biz_2023_q4_user_profile.csv”。模型没读成，但推理框架的日志把完整路径+报错堆栈吐进了trace-id字段，trace-id又透出到前端DevTools——被爬虫抓走了。我敢打包票，那个CSV文件名是他在周五下午四点十七分手敲的，没复制粘贴，因为文件管理器窗口还开着，右下角时间显示是16:17:22。但他不知道，日志采集器开了DEBUG级别，且trace-id默认包含整个context snapshot。

　　上周跟架构组吵架，我说“别谈什么灰度发布节奏了，先把Prompt Gateway和Content Sanitizer之间那三百七十二毫秒间隙堵上”。对方笑：“邵工，你太保守。”我点头，掏出手机翻相册——去年双十一凌晨拍的：一个被人工复核标记为“低风险”的恶意prompt，它用了十六种Unicode同形字绕过字符检测，其中三个字符在CLIP-ViT-L/14 tokenizer里会映射到同一个token id，而我们的拒答逻辑是token-level的。照片里，我的手指甲缝里还沾着泡面渣。没删，留着。

　　还有个事挺魔幻：我们上线了基于RLHF反馈信号的动态阻断开关，理论上该根据用户历史误判率实时调节宽松度。结果第一个礼拜，开关本身被当成“高频异常操作”触发了内部审计流程。审计同事小李给我发消息问“这个策略是否经过法务评估”，我回他：“评估过了，法务说只要没明文存储用户query，就归类为‘运行时瞬态行为’。”他顿了十八秒才回：“……那你们怎么知道用户误判率？”我没回。窗外一只鸽子撞在玻璃上，噗地一响，飞走了。这事儿后来不了了之，因为那个开关的日志模块里埋了个bug——只上报了“开关开闭动作”，没上报“谁开的、在哪开的、开多久”。所以没人能追责。我把它标成P3，挂Jira上，至今未动。

　　弱口令那事，我不提具体系统名。就说上个月清查，发现AI辅助编程插件的配置密钥，硬编码在GitHub公开仓库README.md里，用的是base64+rot13双层混淆。我截图发到技术委员会群，五分钟后群里弹出消息：“已同步安全合规部”。十分钟后，合规部群里发公告：“该插件非公司认证工具，不纳入本次整改范围”。公告末尾有个emoji——????️。我盯着那个扳手看了好久，忽然想起上周在食堂，听见DBA老周跟新来的实习生讲：“别信什么自动轮转，咱们生产库密码三年一换，上回换还是用生日+工号+‘Ilovecn’。”他勺子搅着蛋花汤，没抬头。

　　对了，前两天发现件事：当攻击者把payload长度控制在1023字节以内，且最后一个字符是半角空格时，所有现网ASR语音转文本服务都会静默丢弃这段文本——不报错、不落日志、不计数。我试了十七次，都是这个结果。可能跟某个音频特征提取模块的buffer边界有关，也可能纯粹是当年某位同事写的while循环少加了一个等号。我不打算深挖。明天要去跟AI Infra团队碰一下，问问他们愿不愿意把那个模块源码借我看看。不过我先得确认一件事：他们机房门口那盆绿萝，是不是上周我送的那盆。叶尖有点发黄。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!