第42章 七天故障表(1/3)
星辰搜索正式上线后的第八天,苏雨桐把七张纸铺满了会议桌。
每张纸代表一天。
纸的左侧按小时画格,右侧记录查询失败、主动拒绝、降级时段、索引版本和用户邮件。红笔表示用户没有得到可用结果,蓝笔表示系统明确告诉用户发生了什么,铅笔则表示原因尚未查清。
七张纸上,红色比任何人预想的都多。
会议桌不够长,最后一张纸有一半悬在外面。林岚用机房钥匙信封压住纸角,周成把早餐豆浆放在地上,生怕一抬手又给故障表添一片水印。连续值夜班的人都眼下发青,陈维明是屋里唯一系着领带的。
“服务器这周没有宕机。”负责托管联系的兼职学生先说。
苏雨桐指着第二天凌晨那条横跨九十七分钟的红线:“可用户失败了。”
“那晚已经修过了。”
“这是第三天上午,索引切换后有十二分钟返回旧摘要;第四天下午,长题名查询平均超过八秒;第五天夜里,抓取端传来一份校验不完整的增量文件,发布程序虽然拒绝了它,却把上一版索引锁了二十一分钟。第六天没有大故障,但有四十八次请求排队到超时。”
学生看着自己的值班记录:“加起来也没多久。”
“所以才要算。”
苏雨桐在黑板上写下两个分数。第一个分母是七天的总分钟数,分子是查询程序仍在运行的分钟数,结果几乎接近百分之百。第二个分母是所有进入系统的有效请求,分子是六秒内返回完整结果的请求,只得到百分之九十二点七。
同一套服务,因为选择不同的分母,看起来可以完美,也可以明显不合格。
五金店老板从门外听见“分母”,探头问这周到底有没有坏。苏雨桐把两张图递给他。他看不懂百分比,只听懂一百个人进门,有七八个没拿到东西。
“那就是坏过。”他说,“你们写机器没停,跟我铺子开着门却不卖货有什么两样?”
陈维明看了他一眼,没有再拿接近百分之百的进程在线率说服众人。
陈维明坐在桌子另一端。他刚带来两份潜在客户名单,本想讨论报价,没料到先听了一堂失败统计课。
“客户不会问这么细。”他说,“他们只想知道你们是不是一直在线。”
“那我们更要先知道他们问的‘在线’是什么意思。”苏雨桐说,“如果客户买的是广告资料展示,他关心页面能不能出现;如果图书馆把入口放进检索室,学生关心每次查询能不能返回;如果我们以后承诺服务时段,就必须能解释哪些失败算我们的责任。”
陈维明敲了敲客户名单:“指标越多,合同越难签。”
“没有指标,争议只会更难解决。”
马飞一直没有插话。他把七天日志按时间重新排列,发现红线并非随机分布。每天上午九点到十点半、下午两点到四点、晚上九点以后最密集。这三个时段分别对应高校机房开放、单位资料室使用和个人拨号上网。
更值得注意的是,磁盘队列最长的时段并不总与查询最多重合。
“把抓取端的传输记录拿来。”他说。
自从第二台服务器到货,旧486负责抓取、清洗和索引构建,新服务器负责在线查询,这套分工一直没有改变。机器分开了,工作却仍通过一根网络和同一块查询磁盘重新相遇。增量索引每天完成时间不固定,什么时候构建完,什么时候就开始传。传完以后,发布脚本先校验,再把新旧索引目录改名切换。
第五天下午两点十七分,查询量只排全周第五,失败率却最高。那时正有一份增量索引校验。
“慢查询不是唯一原因。”马飞说,“我们把构建从查询机上搬走了,却没有把发布变成一项可安排的工作。它仍在任何时候闯进来。”
苏雨桐在第五张纸上补了一条铅笔线:“还有锁。切换目录时,新查询要等旧进程放开文件。”
“能不能晚上三点统一发布?”学生问。
“可以先试,但不能把三点当成永远的低峰。”马飞说,“我们现在用户少,夜里也
本章未完,请翻下一页继续阅读.........