第251章 开源的工具箱(1/3)
“自己的工具箱还没钉好,外面的仓库门先开了?”
赵国梁一句话,把齐放问得半天没出声。
屏幕上是谷歌刚刚开源的tensorFlow。代码、文档和示例都摆到了网上,世界各地的学生、研究人员和公司很快便能拿它搭模型。消息发布不到一天,国内技术论坛已经刷出上百篇讨论,有人断言今后的机器学习底座会被谷歌统一。
星辰内部也分成两派。
一派主张放弃“星核”,直接跟随开源框架。理由简单:免费的工具就在眼前,全球开发者一起维护,星辰何必继续烧钱造轮子。另一派认为核心训练框架绝不能交给外部生态,甚至建议禁止员工阅读相关代码,免得自研路线被带偏。
两边从上午吵到中午,一边把开源说成万能钥匙,一边把它说成门外洪水。
星核负责人杜明远一直没发言。
他从搜索早期便在星辰写计算系统。星核不是2015年临时起的名字,它的前身服务过网页排序、广告候选、语音搜索和支付风险提示,后来又接入焊缝视觉、机器人识别与星算一号的地面训练链。它已经能在星辰混合显卡集群上分布式训练,也能把受控模型包送往工厂和轨道板。
可它很难用。
新员工第一次搭模型要读十几份内网页面,许多接口只有作者自己记得;搜索团队加一个算子,机器人团队常要重写一遍;调试工具像从旧仓库里拼出来,错误信息有时只剩一串编号。星核能干活,却像一只只有老师傅知道每把钳子放在哪里的铁箱。
杜明远的女儿给那只铁箱画过一个蜡笔标志。他过去半年几乎住在办公室,生日只回家吃了一顿饭。如今外面的开源工具一夜成名,董事会上有人用一句“免费替代”便想把他十多年的积累划掉。
“马总,如果公司决定换,我服从。”他说,“但别把星核说成一套没做完的演示。它撑过搜索高峰,也把模型送上过卫星。”
马飞没有宣布采用外部框架。
“星辰继续用星核,自研。”他说。
主张开源的人立刻急了:“只因为已经投入很多,就继续投入?这是沉没成本。”
“不是因为舍不得旧代码。”马飞把四张系统图投出来,“我们需要掌握从训练、数据权限、混合硬件到工厂和轨道部署的完整链。星核已经嵌进这些边界,换底座不只改训练脚本。更重要的是,未来算力供应、工业控制和深空设备不能把核心演进完全押在别人路线图上。”
“开源代码也能自己改。”
“能改,不等于我们必须拿它做底座。外部工具越强,越说明星核不能靠内部习惯活着。”
决定不是关门自夸。马飞给杜明远三个月,把星核从“作者会用的代码”变成“别人能用的产品”。若做不到,不会因为自研两个字无限续命。
第一场考核没有比训练速度,而是让十名从未接触星核的高校实习生完成同一项公开图像任务。
最快的人用了一天半,最慢的人第三天还没跑起来。有人被驱动版本卡住,有人找不到数据格式说明,还有一名学生误把测试集放进训练目录,系统没有提醒。
杜明远原本准备展示星核在混合GpU上的高利用率,看到十张失败记录,演示文稿一页也没打开。
“外部开源工具最可怕的不是免费。”齐放说,“是一个学生照着文档就能开始。我们的优势若只剩机房里十个老人会修,迟早没人敢碰。”
星核团队分成四组。
一组重做统一计算图和自动求导,研究人员只描述目标,不必为每种网络手写全部反向计算;一组负责混合GpU、国产服务器与后续专用芯片适配,硬件差异不再散落进业务代码;一组负责模型血缘、检查点、数据域和审计;最后一组专门做工厂、移动端和轨道计算板的受控部署。
杜明远亲自带第五件事:文档。
有人觉得让核心架构师写教程浪费,他说:“只有我能解释的接口,就还不是框架,是我的私人暗号。”
他把团队过去十年的接口打印出来
本章未完,请翻下一页继续阅读.........