但是至少在这个组,能叫刘博士的,就只有刘大海,其他人都是直接名字相称。
这自然是因为刘大海的地位最高,鼎盛人工智能首席科学家。
刘大海看了看组员,指着屏幕上的一条标注问他:“你看这个,觉得怎么样?”
组员一头雾水,看了看,说:“挺好的啊。”
刘大海又指着另一条,问:“那你看这个呢?”
组员仔细地读了一遍,又说:“这个也挺好的……吧?”
他已经被刘大海问的有点儿不自信了。
刘大海接着问:“那你看这两条标注,有什么共同点?”
组员想了想,然后试探地说:“质量高?”
刘大海一愣,这倒是说对了,但是明显是没用的信息:“你不觉得,这些标注的语义里,对数据合规的引导太重了?”
啊?组员愣了愣,标注数据引导的是模型的行为模式,或者说,人格。
对合规有要求是很正常的吧,对齐训练不就是干这个的吗?
组员看着刘大海的样子,觉得他有点儿杞人忧天。
这批标注的质量是高,高得惊人。
你要是出去跟别人说,我现在有一批高质量的标注数据,质量太高了,还包含了合规引导。
那不会被当成是抱怨,只会被当成是炫耀。
欠打的那种炫耀。
要知道,鼎盛研究院做大模型的几个组,这段时间最苦恼的就是没有足够的高质量标注数据。
不管是外面外包的标注团队,还是鼎盛内部的标注团队,量是有的,但是质量就一眼难进,有的时候把标注加进去,模型的能力和理解力反而还下降了。
这些科学家们花在挑标注里的时间,可能比标注员花在标注上的时间都多。
组员没再搭话,接着去干自己的活儿了。
数据到位,大家都兴奋,忙的是连轴转。
刘大海看自己的怀疑没有人响应,摇了摇头,还是决定找上级汇报一下。
大模型这个事,马虎不得。
“你们先把下轮的训练停一下,等我回来再继续。”刘大海喊了一声,出了实验室,直奔林绍峰的办公室。
林绍峰是鼎盛研究院的VP,刘大海的直属领导。
两人虽然职级相同,但刘大海是IC,不管人,林绍峰却是管理岗,刘大海的考评都要林绍峰定,那自然还是有高低之分的。
刘大海是临时来的,在门口和秘书说了一声,过了一会,秘书请他进去。
“林总。”一进屋,刘大海就开门见山,“前天来的那批数据,我觉得有点儿问题,我建议训练先停一下。”
“哦?”林绍峰挑了挑眉,“你昨天不是还跟我说数据的质量很高,训练的效果也很好吗?怎么一天就变卦了。”
“不,没变。”刘大海说,“我不是说质量问题,我是觉得,里面的逻辑引导好像有点儿重。”
“有什么影响呢?”林绍峰问道。
“这个还说不好,我还得再琢磨琢磨。”刘大海实话实说。
林绍峰皱了皱眉头,坤元可是现在全集团的重点,他的压力很大,停一天的影响也都很大。
“那你要多少时间?”他耐着性子问道。
刘大海低头想了想:“一个星期。”
“什么?”林绍峰以为自己听错了,定了定神,“我记得你说,一轮完整的后训练是两个星期,对吧?你要花一个星期调查标注数据?”
“对。这个标注的逻辑不太对。”刘大海回答道,没觉得有什么不对。
“不行,现在就得开始训练。”林绍峰说的很干脆,“而且两周之内就得出成果。”
刘大海涨红了脸,他没想到林绍峰拒绝的这么干脆,自己也有点儿上头:“不行,不能训练,我说不能就是不能,我是首席科学家,我要对最终的模型负责。”
林绍峰心想:科学家们有的时候就是不可理喻。
他看着刘大海,缓缓开口:“刘博士,我看你最近是不是太累了。”
刘大海一愣,这干架干一半怎么突然关心起我的身体来了?
“你连续熬了这么久,判断可能也受到疲劳的影响,这样吧,你先去别的组休息一下,这个训练的事就让你的副手先接手。”
刘大海脸色一变。
“林绍峰,你啥意思?你能把我调走?”
“我会请示郑总的,你先回去等通知吧。”林绍峰语气平静地说。
“你还请示郑总,我跟你说,我也请示郑总,咱们走着瞧吧。”刘大海气呼呼地走出去了。
林绍峰无奈地捏了捏太阳穴,他没生气,只是有些无奈。
科学家是真不好管。
这件事只看公司的利益,坤元的进度全公司都在盯着,闹到郑总那,甚至闹到吕总那,何必呢?
只是让我脸上难看而已。
然后他打开电脑,开始编辑给郑晓波的报告。
写完了报告,他又让秘书把刘大海的副手叫过来,准备直接开始安排工作。这个副手他了解,水平还可以,脾气也没有刘大海这么倔,属于比较好拿捏的,不然也干不到这个副手的位置。
先叫他过来把工作安排了,等郑总的回复一下来,就赶紧开始这一轮训练,希望能达标吧。
坤元的进度已经不允许再拖下去了。
把这些事都办完,林绍峰给张弛打了一个电话。
“张总,忙着呢?”
“不忙不忙,林总有什么吩咐啊?”张弛的语气很轻松,毕竟他这边的活儿已经干完了,压力现在在研究院这边。
数据可是给到你了,再做不出来,可不是我的问题。
“是这样,坤元的训练很顺利,我们这边想要加加速。张总,你看你这边能不能支持一下。”林绍峰问道。
“那当然。”张弛笑了一声,这种大项目愿意分我点贡献的机会,那自然是求之不得了。
挂了电话,张弛马上给刘亚光打了过去。
很快,刘亚光接了起来。
“老刘啊。”张弛说道,“咱们的GPU集群还有多少空余,给研究院那边再拨点。”
突然,他好像想起来了什么,又压低声音说道:“对了,韩路一那边,偷偷给他压一下,咱们两边一起开始训练的,别让他们跑到咱们前边去了。”
“好,我懂您的意思。”刘亚光也把声音压低。
张弛还不放心,又问了一句:“怎么压,你有想法吗?”
“您放心,我有数。”刘亚光说,“直接限速太明显,我让调度那边把他们的作业优先级调低,排在咱们自己的任务后面。他们的节点还是正常跑,但是遇到资源争抢的时候,咱们先走。”
“他们能发现吗?”
“大概率发现不了,负载均衡嘛,很正常的。优先级这东西在咱们这边能看见,他们可看不见。”刘亚光顿了顿,“另外,我可以安排一个例行巡检,时间段选在他们训练的高峰期,临时把部分节点下线做维护。维护的事,本来就是周期进行的,这是咱们的机房,咱们的硬件,按时维护是必须的。”
“行,按你说的来就行。”张弛没再多问,“后面没有新数据进来的话,这段时间注意点,别弄出什么动静来。”
“明白,您放心吧。”
挂断电话,张弛又靠在他的老板椅上。
一丝若有若无的微笑挂在他的脸上。
……
另外一边,赵文渊急匆匆地给韩路一打了个电话。
“韩总,咱们被限速了。”赵文渊的语气有点儿气急败坏,“这他妈鼎盛也太不地道了,偷了咱们数据还不说,怎么还直接拔网线啊。”
“怎么限速了?”韩路一一边问,一边自己这边也登录上了鼎盛云的账户。
“训练的吞吐量掉得太明显了,但是GPU报错一条没有,我们自己的代码也查过了,没问题。”赵文渊说,“然后我就去看他们的维护通知,今天下午两点发的,说三点开始有节点下线检修,让我们注意一下。”
韩路一挑了挑眉:“提前一个小时通知?”
“对,维护窗口一般都是在半夜吧,哪有在白天的?”赵文渊说,“这不是限速是什么?”
韩路一没说话,这个时候他已经登入了鼎盛云的账号,目光落在屏幕上,视界启动。
扫了一圈,他没什么特别的表情,直接点开在线工单系统,开了一个新的紧急工单。
他把优先级变更的时间戳,操作账户的归属部门,维护任务的历史执行窗口对比,以及当日吞吐量下降的曲线截图,一条一条列清楚,最后在问题描述里写道:“以上操作导致我司训练任务显著降速,与服务协议中的资源保障条款不符,请说明原因,并恢复至正常优先级,否则我司将保留追究违约责任的权利。”
发送。
他放下手机,对赵文渊说:“先盯着,应该很快就好了。”
电话那头安静了一会儿,赵文渊盯着训练监控的曲线,吞吐量还是那么低,没动。他等了等,大概过了两分钟,忍不住又开口:“韩总,还没动静呢。”
……
鼎盛云运维中心,刘亚光正在处理别的事,工单消息弹了出来。
他扫了一眼,手里的鼠标停住了。
再看了一遍。
他把工单全部内容从头到尾读完,感觉后背有点儿凉。
操作账户、时间戳、历史维护窗口对比……他们怎么查的这么详细?
他在椅子上坐了一会儿,没有去请示张弛,直接打开了后台,把源智的作业优先级改了回去,把那个“例行维护”的节点重新上线。
这种事情,偷偷做没事,赌的是对面看不出来。
可要是被当面抓到了,那最好的方式就是立正挨打。
只不过,他干了这么多年,还是头一次被抓到。
刘亚光在那条工单里回复:“经排查,系统调度参数出现异常,现已修复,感谢您的反馈。”
关上工单,他找了一下鼎盛研究院那边的账号,把那边原本分配的算力额度又提了一档。
只能这样了。
只能祈祷研究院那边能跑快一点了。
……
赵文渊看着屏幕上弹出来的工单回复。
“感谢您的反馈。”
又看了看吞吐量的数据,已经回到了正常水平。
他咽了一口口水,低头看了看手里的手机,和韩路一还在通话中。
“您这就,行了?”