首富从AI浪潮开始 第54节

  赵磊想了想:“不知道,陈建业扩容扩到多少来着?”

  两个人对视了一下,都不确定。赵磊没碰过基础设施那块,姜亦心更不用说。

  “应该够吧,”赵磊说,“之前做过扩容方案的。”

  他坐回去了。

  到下午四点,监控面板上的在线人数曲线像一个长长的斜坡,但办公室里没人在意。

  四点半,姜亦心切回面板想看一眼增长数据发个朋友圈,看到在线人数,愣了一下。

  五千。

  她看到旁边响应时间在变中午还是十几秒,现在四十多秒。

  “赵哥,”她喊了一声,“你来看一下这个。”

  赵磊走过来,脸色一下变了。

  他快步走回自己工位,打开服务器监控。

  “要炸了。”赵磊说。

  “什么?”

  赵磊没回答,掏出手机给韩路一打电话。

  就这一会儿的功夫,监控面板上好几个健康指标飘红,六个推理实例全部过载,排队请求数已经堆满了大半。

  用户反馈群里有人发消息。

  “是不是比上午慢了啊?怎么老生成不出来?”

  “好像卡住了,我刷新了三次也没出来。”

  每一次刷新都是一串新请求,请求越多,响应越慢,人们就越想刷新。

  死亡螺旋已经开始了。

第六十四章 救火版

  顾司听完韩路一的想法,端着咖啡杯没喝。

  “赵文渊的情况跟普通员工不一样,”她说,“他是CodeSafe创始人,不是打工的。劳动合同法的竞业条款管不到他。”

  “那鼎盛收购的时候呢?”

  “收购协议里几乎一定会加创始人竞业条款我花钱买你公司,你不能转头再做一个一样的跟我竞争。”

  “但是他是被拖售的,他是小股东,鼎盛跟大股东谈完,他强制随售,没有选择权。”

  “那得看他有没有在收购协议上签字确认竞业条款。”顾司说,“拖售权强制的是股权转让,不是人身义务。如果他本人没签字”

  “所以我可以试试?”

  “法律上问题不大。没签字的竞业本来就难打,何况鼎盛收购CodeSafe只要技术和用户,人都没留。”顾司放下杯子,“那么大的公司,里面山头不知道多少个,一个被洗出去的小股东去了哪,根本没人在意。”

  她顿了一下。

  “但入职声明还是要签,确认没有携带前东家商业秘密。他的收购协议原文也让他发给我,我帮你把底线摸清楚。现在没人管,不代表以后也没事,你要是哪天做大了跟鼎盛正面撞上,这些旧协议随时会被翻出来。”

  “我先接触他一下。”

  顾司喝了一口咖啡。

  安静了几秒。

  “如果”她说。

  韩路一看着她。

  “如果我离开博衡,”顾司的语气跟刚才差不多,“源码会怎么做?”

  “顾律师,我认可的是你的能力。我跟博衡可没什么交情。”他说得很快。

  顾司看了看表:“今天的咨询时间到了。”

  韩路一笑了笑,正要说话,他的手机震了,是服务监控在报警。

  “不好意思,我得回去一趟。”韩路一起身,椅子在地板上发出一声短促的刮擦,离开了咖啡馆。

  顾司没说话。

  韩路一刚打上车就接到了赵磊的电话。

  “先提紧急工单让青岳放开GPU配额,我们要扩容。”

  “好。”赵磊说,“我现在就提。”

  “别等审批,能拉多少先拉多少,配额不够他们会拒绝,到时候再说。”

  挂断电话,他赶紧给梁宇打了个电话,让他帮忙催一下优先级。

  他推开办公室的门时,气氛跟他走之前完全不一样。赵磊坐在工位上,三个终端窗口全开着,右边的监控面板一片红,姜亦心站在他身后,不知道该干什么。苏念念、李婷和陆明洲在会议室,手在电脑上疯狂打字,用户反馈群一直在弹消息。

  他径直走到座位上,打开电脑。

  开启视界。

  【开物系统状态】

  【推理实例:6/6过载|GPU利用率:100%】

  【推理队列:2847请求等待|平均推理时间:>120s(正常值:8-12s)】

  【请求超时率:42.3%|状态:服务降级】

  【原因:为同时在线两千人设计,现在在线五千+】

  每个用户都在提交生成请求,算力根本扛不住,请求堆进来出不去,用户刷新又制造新请求,越堆越崩。

  “赵磊,姜亦心。”

  两个人立刻围了过来。

  “赵磊,你先把队列监控拉出来,一会儿队列分离你来做。“他看了一眼姜亦心,“小姜,你搬把椅子过来,学习的机会,一会帮我跑脚本。“

  韩路一低头开始敲命令。

  “要不要把陈建业叫回来?”赵磊问了一句。

  “他孩子生病了,别叫了。”韩路一说,眼睛没离开屏幕。

  第一步,扩推理实例。

  梁宇那边动作快,青岳已经把配额放开了,韩路一在配置文件里把实例数从六个直接拉到二十个,改完推给姜亦心。

  “跑这个部署。”

  姜亦心接过来,手指都在发抖,但敲得很快,部署脚本跑起来了,终端开始刷日志。

  新实例一个一个上线,监控面板上队列在分流,超时率开始往下掉,三十五……三十……

  两分钟后,超时率降到百分之十五。还是高,但至少不是瀑布式崩溃了。

  第二步,加速率限制。

  韩路一现写了一个中间件:单用户请求频率超过阈值,不再让请求排进队列等到超时,直接返回一个“排队中,请稍后重试”的提示页。

  “这个也部署上去。”

  姜亦心接过去跑。

  效果立竿见影用户端从“一直转圈”变成“排队中”,带预计排队时间。刷新不再制造新请求,死亡螺旋的输入被切断了。

  第三步,分离队列。

  现在AI推理和网页页面共用一个请求队列,推理慢了会把页面加载也拖死;要把推理请求分到独立队列,网页服务走另一条通道。

  韩路一说了方向,赵磊自己写了配置,改了路由规则,手速比韩路一预期的还快。

  “可以了,”赵磊说,“推理队列隔离完了,网页服务不受影响。”

  姜亦心部署完最后一版,盯着监控曲线,数字一格一格往下掉。

  “超时率……百分之二……百分之一……”

  七点二十,在线人数开始自然回落了,开物的用户画像偏白天使用场景,晚上本来就不是高峰期。

  七点四十五,超时率归零,推理时间回到正常的十几秒。

  监控面板上一片绿。

  “解决了,都下班吧。”韩路一没站起来。

  赵磊关掉终端,拿起外套。

  “走了。”

  “辛苦。”韩路一说。

  姜亦心还在工位上,监控曲线还开着,但她低头在发微信。

  【小姜(救火版)】:你不会信的,我今天经历了人生第一次生产事故!!!比过山车还刺激

  【大刘】:这么野的吗?

  【大刘】:你还吃晚饭吗我快饿死了啊!

  苏念念走到韩路一工位旁边。

  “用户群里已经安抚了,明天早上我再发一条公告,措辞你要不要看一下?”

  “你定就行。”

  “流失情况我明天跑一下数据给你。”

  “好。”

  苏念念拍了拍他的椅背,走了。

  韩路一关了屏幕,拿起手机。

  第二天早上八点四十。

  陈建业一进办公室,就看见姜亦心端着杯子走过来,脸上带着那种经历了大事后还在回味的兴奋劲儿。

  “老陈!你昨天没在太可惜了”

第六十五章 系统的问题

  东方路儿童医学中心的输液室上午九点已经坐满了。

  陈建业坐在输液椅旁边的塑料凳上,女儿的手臂扎着留置针,小脸烫得通红,三十九度二。她闭着眼睛,嘴唇干得起皮,一只手攥着他的手指。

  走廊里有一个小孩在哭,空调不够冷,空气里满是消毒水和汗混在一起的怪味。

  输液瓶的液面一滴一滴往下走。

  护士过来换了一次输液袋,女儿醒了一下,喊了声爸爸,又迷迷糊糊睡过去了,他摸了摸她的额头,还是烫的。

首节上一节54/248下一节尾节目录