第247章 云端的显卡(2/3)

选择,不拿一个固定数字套所有项目。
新集群第一次满载运行,问题从队列转移到电力。
晚间十点,四组任务同时启动,一排服务器功耗迅速上升。机房监控显示温度增加,值班员以为制冷会自动追上。三分钟后,一条支路电流接近限制,局部热点超过设定值。
自动系统先降低非关键任务功率,随后停止两组可中断训练。机房没有停电,楼下办公室却因空调切换听见一声闷响。周遥从机器人场跑上来,以为显卡烧了。
检查发现,配电图按服务器额定平均功耗设计,却低估了多组训练同时起跑的瞬间峰值;冷通道一块地板又被临时线缆遮住,风量不足。设备没坏,若继续硬跑,下一步就是保护跳闸。
沈放没有把限制值调高。他们重新平衡支路、整理线缆、增加功耗爬升和任务错峰,调度器在分配卡时同时看电力与散热,不再只数还有几张空卡。机房主管得到一个可以直接拒绝软件团队的权力:地面条件不满足,任务排得再急也不能上电。
那晚所有人吃的是楼下便利店最后几盒饭团。齐放把饭团放在服务器箱上,被机房主管瞪得立即拿走。陈小满坐在走廊地上,发现投资人那条大两号工装裤还挂在失物架,便剪下一段备用扎带给松动的线缆标签做固定。
“别拿扎带绑正式线缆。”机房主管又吼。
陈小满把手收回来:“你这里规矩比火箭多。”
“火箭点火几分钟,我这儿全年不关。”
集群稳定后,焊缝第二版模型的训练从过去断断续续九天缩到三十多个小时,不是显卡数量简单翻倍,而是数据预处理、任务分配、检查点与散热一起改善。航天故障检索也在预约窗口完成新一轮组合搜索,没有挤掉支付线上服务。
搜索组最先把算力变成普通人能摸到的变化。他们重做移动端语音查询,旧系统在街道噪声和地方口音下经常把店名听错。测试员拿着手机去公交站、菜市场和海边采集经过同意的样本,参与者知道录音用途,可以要求删除;支付客服电话和私人语音没有因为“现成”就被拿来训练。
新模型上线前,马飞让女儿试了一句。她正换牙,说话漏风,想搜学校旁边的“陈记椰奶清补凉”,屏幕第一次识别成“沉积液耐轻步量”,一家人笑得她差点把手机扔掉。
搜索团队一周后带着新版本上门。女儿又说一次,店名终于正确,下面还出现营业时间和步行路线。她没有夸模型,只问能不能把“少冰”也一起搜出来。
“少冰得下单时告诉商家。”苏雨桐说。
“那它还是没我聪明。”
马飞把这句话原样发给搜索负责人。新模型让噪声场景下的可用查询明显增加,却没有被包装成“听懂所有人”。每次无法确定时,页面仍把识别文字亮出来让用户修改,不替用户自动付款或下单。
上线一周后,移动语音搜索量上涨,最常见的不是高深问题,而是公交、店名、天气和菜谱。GpU机房里烧掉的电,最后落在一个换牙孩子能不能找到一碗清补凉上。
那天晚上,马飞真带她去吃了一碗,她仍坚持自己比服务器聪明。
各部门第一次收到内部算力账单。
账单不只是钱,还列出占卡时间、等待、利用率、存储和重复失败。搜索组发现一次参数写错让三十二张卡空跑五小时;机器人组有一半仿真根本不需要高价加速卡;齐放的团队因频繁保存检查点,存储费用比预计高出三倍。
以前大家说“公司自己的云,不用白不用”,现在每一次浪费都能看到。内部计费不从员工工资扣,也不让安全团队为了省钱少做试验,只用于比较方案与扩容依据。
外部云服务商也来谈合作。对方可以按小时提供更多GpU,不必星辰自己每次买机柜。公开数据、开源模型和低敏感实验适合在外部资源上弹性运行;支付、飞行与受限客户数据若要使用,必须满足合同、位置、访问和审计条件,不能因为价格便宜便把门拆掉。
星辰采用混合方案。波峰
本章未完,请翻下一页继续阅读.........