一、安装的痛苦经历
通过解决零地线的问题,Tom赢得了徐帅和华东运维团队的尊敬。大家感觉他作为领导,懂技术、懂运维,而且愿意真诚地帮助大家,而不是来为难大家,因此更愿意和他沟通了。
这天晚上Tom、徐帅拉着几位运维骨干一起吃饭,徐帅把华东数据中心建设过程分享给Tom,这是一个痛苦经历。
徐帅是老员工,华东数据中心规划设计的时候就在。当时,他的领导李总也是第一次负责新数据中心建设,作为业主方,他想体现一下自己的权威和价值。因此,对于设计院的设计提了很多改动要求。其中改动最大的一项是:为了增加机柜数量,将配电机房和冷冻机房从地面一楼调整到地下一楼。虽然徐帅当时觉得临时改图不太妥当,但也没有太坚持。可没想到,正是这一次的图纸改动和调整,为徐帅和李总的职业生涯埋下了一颗重磅的深水炸弹。
项目的前面看起来顺风顺水,从立项、可行性研究、批复、土建、招标,一切都有条不紊,可在临近设备进场时,手下过来汇报,变压器无法通过货梯进入地下配电机房。徐帅接到电话,赶到现场,这才发现,变压器的尺寸竟然比货梯的轿厢门大了2cm,导致变压器无法进入轿厢,也就无法通过货梯到达地下一楼。徐帅带着一帮人跑上跑下,勘察了人工通道、货运通道、货梯等,测量了货梯轿厢、变压器、设备通道的尺寸,才发现招标时没有注意对变压器尺寸的要求,到货的现场变压器尺寸的确要比货梯轿厢的门要宽,变压器进不了货梯。所幸的是,变压器的尺寸比货梯井的门要窄2cm。最后决定采取一个复杂但还是体现智慧的方案:①将货梯升高到顶楼停住后断电。②打开地面一楼和地下一楼的货梯门。③在货梯井道内三楼高度架设钢梁。④钢梁架好后,装上手动葫芦,用铲车把变压器铲到地面一楼货梯口处。⑤再把变压器挂在手动葫芦上,通过葫芦下降到地下一楼。⑥再拉出来就位。⑦通过如此重复,好不容易将8台变压器运送到地下一楼。
当把8台变压器安装到位后,徐帅感觉要“折腾死了”,不过还是佩服大家的聪明才智。
但是,他没有想到,这个麻烦还只是整个“痛苦大餐的前菜”。
更棘手的事情来了。当4台1800冷吨的冷机到达现场,徐帅才真正傻眼了,这4个庞然大物,如何进入地下一楼的冷机机房?在变更设计图纸时,大家都疏忽了一个事情,从地面到地下一楼的冷机机房之间,土建没有预留冷机吊装孔和足够大的搬运通道,导致冷机购置并运抵现场后,无法整体进入地下一楼的冷机机房。徐帅连夜和设计、建设、安装、冷机厂家沟通,结论是:破楼板,不现实;破墙,没办法操作。最后迫不得已,勉强接受冷机厂家的折中方案,先将冷机解体,再通过人工通道进入冷机机房,最后重新组装。
听起来很可笑,但似乎没有选择。最后就按厂家方案执行:将冷机进行制冷剂转移后,再对冷机进行解体。解体后冷机变成压缩机、电机、冷凝器、蒸发器等散件,一件一件搬到地下室,之后在地下室进行拼装,费工费力不说,装好一保压,发现4台冷机有3台发生泄漏。原来重新拼装时用的还是老的密封件,厂家解释说要确保系统不漏就需要更换新的密封件,只好再花钱更换所有的密封件;最后机器不漏了,但新机变成了旧机。徐帅看着4台还未投入使用,但已经被拆装了两次的冷机,欲哭无泪。
一段时间后,上次事件的影响在慢慢淡化中,徐帅也慢慢恢复了信心,随着冷机机房设备和管路的安装到位,蓄水池开始正式蓄水。可正式蓄水第二天凌晨的一个电话,让徐帅遭受了更大的打击,慢慢建立的信心又掉到了谷底。接到电话,徐帅从床上蹦起来,急匆匆赶到地下室,只见偌大的冷机机房,水漫金山,水深1.2m,变成了一个大型泳池,徐帅看着水深1m多的机房,是那么的无助,如果面前有黄浦江,他立马就跳了。事故的原因并不复杂,原来是蓄水池上用的遥控浮球阀发生了质量问题,当水池蓄满水后,没有及时关闭,而现场施工人员打开蓄水阀门就正常下班了,没有留人观察,最后水从蓄水池满溢出来,由于机房处于建设过程,机房的排污泵和水浸监控还没有正式投入运行,因此事故发现不及时,满溢出来的水就把冷机机房给淹了。
这次水淹,万幸的是没有对配电机房造成影响。当时设计时,冷机机房和配电机房不等高,配电机房比冷机机房高1.5m,正是这个高度,保全了配电机房。如果水淹配电机房,估计徐帅的职业生涯当时就要终结了。事故的后果是把水泵电机泡了,后来高层领导亲自审批,对水泵电机进行了更换。这个项目之后,李总也被调到其他部门。
听到这里,Tom感觉生活有时真的比好莱坞灾难大片都刺激。其实,机房化身“泳池”这种事还真不是神话,之前北京某高性能计算机房采用了水冷型的高热密度机房空调,也制造过一个“泳池”。所以,对于水进机房,数据中心圈子的人都特别慎重。
不过,Tom还是有个疑问:“你们当时要求设计院修改设计,照理说,设计院应该指出问题来的,对吗?”徐帅说,“照理是这样的。起初设计院也非常重视我们这个项目,派了一个设计总监来。不过咱们这边,尤其是李总,对于设计方案提了好多修改的意见,人家改了十几个版本。而且人家私下里说我们提的很多要求都不专业,刚开始他们还坚持一下想法,但毕竟咱们是甲方,他们服务好才能拿到设计费。后来那总监就不怎么参与项目了,派两个年轻人和我们对接,基本是咱们说怎么改,人家就怎么改。”听到这里,Tom基本明白当时的状况了。
徐帅能把自己当年的丑事拿出来和Tom分享,也算把Tom当自己人了。Tom举杯敬一下信任他的兄弟们,说道:“咱们这个机房用这么多水系统,水系统的运维确实比风冷空调要复杂很多,我看大家这方面的知识还不是特别齐全,我认识个水冷系统老师,下次请他来给大家讲讲课,徐帅和运维的兄弟们纷纷举手赞同。