第41章 服务器上的红灯(1/3)

四月十七日凌晨一点十二分,查询服务器正面的硬盘灯由断断续续的绿,变成了一条几乎不熄的红线。
正式上线还不到十个小时。
半地下室已经关了灯,托管机房却亮得没有昼夜之分。马飞站在机柜前,隔着带孔的铁门看那盏红灯,耳边是风扇持续的尖鸣。值班记录本摊在折叠桌上,最后一行写着:零点五十八分,平均返回时间四点一秒,拒绝率百分之三点四。
一点零五分以后,记录空了。
不是系统恢复了,而是值班的兼职学生忙着接电话,再没有手抄数字的空隙。
“页面还能开。”机房管理员说,“就是慢一点。红灯不代表坏了。”
马飞没有回答。他在终端上输入一条查询,回车后,屏幕停在空白页。十五秒过去,浏览器下方仍显示正在连接。
第二次查询在十一秒后返回,十条结果只显示了标题,摘要全部缺失。第三次直接收到“服务器忙”。
机器没有关,用户却已经失去了服务。
苏雨桐在一点二十六分赶到。她从出租车下来时外套扣错了一颗,进门后没有解释,只把四十三封问题邮件的分类表放到折叠桌上。
出租车费十二元,超过她平时一周的公交钱。她把票据压在值班本下,注明上线故障交通,提醒马飞天亮后别忘了报销。机房里没有热水,只剩管理员半杯冷茶,她喝了一口便皱眉放下。
“又多了二十七封。”她说,“有人连续刷新,有人以为自己的拨号网络断了,还有三个人说,同一个词每次得到的结果数量不一样。”
马飞把终端让给她。监控程序每五分钟才记录一次总查询数,看不见单个请求在什么环节堵住。两人能确认的只有三件事:进程还在,硬盘队列很长,可用内存正在下降。
“先停抓取。”苏雨桐说。
抓取程序与索引构建虽然已经放在旧机器上,但新服务器仍要定时接收增量文件。零点四十分开始的一批增量索引,比平时大了近一倍。复制、校验和查询同时争抢磁盘,像三队人挤进一扇门。
值班学生拔掉连接旧机器的网线。
红灯没有暗下来。
“不是它一个。”马飞看着进程表,“热门查询的结果没有缓存。今天白天大家搜得太散,看不出来;晚上有个论坛贴了我们的网址,几百个人都在搜‘星辰搜索’和‘中关村公司名录’。同一批文档列表被反复从盘上读。”
“那就把这两个词写进缓存。”兼职学生说。
“写进去,下一篇帖子换两个词,我们再半夜赶来写?”苏雨桐问。
学生不说话了。
马飞把墙上的发布指标抄到纸上。公开前,他们证明了八十并发下系统可以稳定返回,前提是查询分布来自十万次回放样本。真实上线以后,用户不是均匀到来,热点也不会提前递交申请。
他记得未来成熟搜索系统会怎样分层缓存、拆分索引、调度请求,也记得更昂贵的机器、更快的网络和多年积累的运维工具。但那些名词不能替眼前这台服务器多出一块内存,也不能让一个未经验证的改动自动安全。
“先降级。”他说。
“降什么?”
“摘要、相似页面提示、结果数量精确统计。保留标题、来源地址和前十条结果。超过六秒还没完成的查询,不再一直排队,直接告诉用户系统繁忙。”
机房管理员皱眉:“刚上线就少功能,别人会说你们不行。”
“现在他们等十五秒也看不到功能。”
“可在线率报表会很难看。”
马飞转过头:“什么报表?”
“机器开机时间。你们租机柜时不是说,要做连续在线服务吗?”
马飞看着那盏红灯,忽然明白一个危险的诱惑。只要不杀进程,不把页面彻底关掉,机器就可以在记录里保持“在线”。至于用户拿到的是空白、残缺结果还是错误提示,可以不进那张表。
这种数字最容易漂亮,也最容易把问题藏到事故发生以后。
“从今天起不用机器开没开做唯一指标。”他说,“记三项:用户请求有
本章未完,请翻下一页继续阅读.........