Windows数据科学环境搭建：17年云运维避坑与高效配置

　　去年六月份，被某生物医药公司拉去搭Windows数据科学环境，那叫一个酸爽——我原以为有云平台模板就能省心，结果他们非要用本地物理机跑GPU集群，说是“数据不能出机房”。行吧，我盯着那台Dell R740xd，机箱盖掀开时差点没被热浪掀翻——风扇转得跟直升机螺旋桨似的，隔壁工位的小张接了个电话，说“妈我今晚加班”，声音都被噪音盖过去了。

　　第一坑是驱动。NVIDIA的CUDA Toolkit装了三次，前两次都卡在“NVIDIA Installer failed”弹窗。我蹲在服务器前盯着日志，发现是Windows Update偷偷装了旧版驱动，和CUDA打架。小王凑过来看热闹，说“要不直接禁用更新？”我反手就把Windows Update服务停掉，结果第四次安装时，系统提示“此设备已达到最大驱动程序版本限制”——敢情微软早防着这手呢。最后是手动从NVIDIA官网下了个离线驱动包，装完重启，GPU-Z显示总算认出卡了，但风扇还是狂转，我摸了摸机箱背面，烫得能煎鸡蛋。

　　第二坑是Python环境。客户要求用Anaconda，我装了最新版，结果Jupyter Notebook启动就报“No module named 'ipykernel'”。查了半天，发现是Anaconda自带的Python 3.11和某些包不兼容。小李在旁边啃煎饼果子，说“要不降级到3.9？”我试了，装完ipykernel又报“numpy版本冲突”——这帮数据科学家，写的包一个比一个娇贵。最后是新建了个conda环境，指定Python 3.8，再手动装numpy 1.23.5，这才勉强跑通。我盯着终端里“Kernel started”的提示，长出一口气，发现桌上外卖凉透了，筷子都泡在汤里。

　　第三坑是权限。客户非要用域账户管理，我设了共享文件夹权限，结果数据科学家小周跑来抱怨：“我本地账号能访问，但Jupyter里报403！”我查了半天，发现是IIS的匿名身份验证没关，和域账户权限冲突。关了匿名认证，又报“The user profile service failed the logon”——敢情域账户没在服务器上登录过，系统没生成用户配置文件。最后是手动用域账户登录一次服务器，再重启IIS，这才解决。小周走的时候说了句“还是Linux省心”，我白了他一眼：“省心？你们上次在Linux上把/tmp挂载成noexec，导致TensorFlow跑不起来，忘了？”

　　最绝的是GPU调度。客户买了四张A100，想跑多任务并行，结果用CUDA的默认调度策略，任务全挤在第一张卡上，其他三张闲得发慌。我查了半天文档，发现得改CUDA的VISIBLE_DEVICES环境变量，再配合taskset绑核。小张在旁边调试代码，突然喊：“我GPU利用率怎么到100%了？”我凑过去看，发现他没限内存，一个任务把32GB显存吃满了，系统直接杀进程。最后是给每个任务加了--memory-fraction 0.8的参数，这才稳住。我盯着任务管理器里的GPU利用率曲线，从锯齿状变成平滑的波浪，突然觉得这活儿有点像调钢琴——每个键都得按对，不然就走调。

　　后来我跟客户说：“要不直接上云？AWS的SageMaker或者Azure的ML，省得自己搭环境。”客户摇头：“数据不能出境。”我撇嘴：“那至少用Kubernetes管GPU调度？总比手动调环境变量强。”客户还是摇头：“我们IT部门没K8s经验。”我叹了口气，心想这大概就是“优胜劣汰”——能活下来的数据科学团队，要么上了云，要么有专职运维，像这种既不上云又没专职运维的，早晚被环境配置拖死。

　　现在那套环境还在跑，听说偶尔还会出幺蛾子——比如小周误删了某个conda环境，或者小张把GPU驱动升级了导致兼容性问题。我偶尔会想，要是当初硬推云方案，是不是能省点心？但转念一想，客户要的是“数据不出机房”，云方案再省心，不符合需求也没用。所以啊，运维这行，有时候不是技术问题，是需求和现实的妥协——就像那台Dell R740xd，风扇再吵，也得忍着；驱动再难装，也得搞定；权限再麻烦，也得调对。因为客户要的不是“最优解”，是“能用的解”。

文章配图，仅供参考

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!