韩路一回头看了赵文渊一眼,发现他没有要问问题的意思。
他随后用对讲机和外面联系了一下。
“问题在网络拓扑。”韩路一说。
声音通过对讲机、再通过视频传到了江松然耳朵里。他马上在电脑上翻找起原始的网络拓扑图来。
这是他自己设计的,为的就是把集群的效率打满。
张彪很快就换好衣服,拿着打印好的拓扑图走了进来。
图和实际一对比,很快就能看出问题了。
江松然原本设计的是为了降低推理组之间通信延迟,把几个关键节点尽量放在同一个低延迟域里。
但云垠实际交付的时候,却没有完全按照这张图来进行部署。
他们使用了自己内部更标准、更容易维护的方法。
普通的、对通信延迟不敏感的服务器,这种接法完全没问题,属于为了可维护性做的小小牺牲,大家都可以容忍。
但是对大模型的使用场景来说,这一点小延迟就会被放大很多倍。
单点测试当然没问题,整机测试也没问题,因为问题出在服务器间的通信。
江松然的推断其实是对的,再给他一段时间,加上赵文渊的现场排查,他们应该也能查出来。
只是没有韩路一这么快罢了。
赵文渊看着两份图,脸色变得很难看。
他昨晚查了一整夜,什么GPU、驱动、配置、算子、服务、调度,全都查了,结果问题不在他能看到的任何软件层面。
而在机房布线。
还好韩总亲自来了,赵文渊心想。
江松然则在视频那边咽了口口水韩总他是怎么看出来的?他之前是不是连这个原始的网络拓扑图都没看过?
张彪这边,已经迅速叫现场的运维工程师过来,通过节点间测速确认了问题。
排查完之后,修复起来就容易了。还不到十分钟,刘然就带着两个人跑了过来。
“韩总,韩总!实在是不好意思。”刘然气喘吁吁的说,“不知道你已经到了,不然我肯定全程陪同的。我听说你这边发现了点儿问题?”
张彪上前解释了一下。
刘然的脸色有点儿难看了。
这个事明显是云垠做错了,明明是要讨好的客户,怎么第一件事就没办好。
“韩总,我的。”刘然赶紧说,“我现在就叫人来,加班加点儿给你换好。”
韩路一背后有国网电力投资,这是他巴结都巴结不好的资源。
韩路一对这些表面功夫倒是不在意,他现在只想看修复之后每秒请求数能达到多少。
现在是争分夺秒的时候,只要能做到三十以上,那就是胜利。
刘然带来的人真的是加班加点、全力以赴的在工作,几个小时之后,线按照拓扑图的要求重新接过了。
赵文渊再次运行了压测程序。
每秒请求数缓缓上升。
八。
十六。
二十七。
三十九。
五十一。
最后停在了五十一,离理论极限还差了一点点。
但是理论是理论,实际能做到这个水平,已经可以说相当厉害了。
这就是江松然设计的链路的含金量。
看到这个结果,在场的所有人都松了一口气,包括一直等着看结果的刘然。
韩路一看着机房里亮起来的一排排服务器的指示灯。
汤圆,他制作的第一款大模型,终于在属于自己的集群上运行起来了。
从这一刻开始,他有自己的通用大模型了,从头到尾,视界出品。
第二百四十五章 已省略
姜亦心最近压力有点儿大。
从参加工作到现在,满打满算不到一年,姜亦心已经做到了产品线的总负责人,直接汇报给代行CEO职责的苏念念。
说是火箭升职也不为过了。
现在汇报给姜亦心的下属,最年轻的一个也比她多五年的工作经验,更别提还有比她多工作十几年的李文。
如果别人遇到她这样的情况,会有什么感觉呢?
姜亦心不知道,但是她现在最常感觉到的是
怕被人拆穿。
就是那种,“其实我没有这么好,都是大家不小心被我骗到了,如果有一天被人看到我真实的一面,我就完蛋了”的感觉。
如果苏念念知道她的想法,一定会告诉她,职场中最重要的标准只有一个,不是年龄,不是工作经验,甚至不是行业地位、技术能力。
而是能够带来影响的能力。
在某些岗位上,就是赚钱的能力。
姜亦心虽然工作的时间短,但是她是第一个发现非技术人士这个潜在用户群体的,间接带来了开物的诞生。之后她又成功地执行了开物的本地化,把Kaiwu海外版推广了出去。更别提最近的御风,直接把源码科技的行业影响力带到了下一个层级,成为全球智能体编程领域的先行者。
可惜,苏念念没把这些想法告诉小姜总。
或者说,就算告诉了也没有用。
姜亦心会想,那些都是我碰巧发现的,碰巧成功了,如果之后我不能再碰巧成功了呢?我配不上当产品负责人。
这种害怕被人拆穿的压力,让她不停的压榨自己,每天第一个到办公室,最后一个走,回家之后也不敢休息,不停地读管理类的书籍、产品类的书籍、甚至心理学的书了解用户心理,才能做出更好的产品。
连以前刷小黄书、刷短剧的心情都没有了。
有的时候她会想,升职到底是不是好事呢?可是她既不愿意辜负韩路一和苏念念对她的期望,也不想错过让自己成长的机会,就这么矛盾的坚持着。
早晨到办公室,刚把一天的工作计划列完,姜亦心就被叫到了苏念念的办公室。
姜亦心进门的时候,正在桌上翻文件的苏念念抬头看了她一眼,把手中的文件放下,关心地问:“小姜,最近休息的不好?气色看起来有点儿差哦。”
姜亦心一愣,这么明显吗?我今天画了遮瑕啊。
“苏总,我挺好的。”姜亦心一边说一边拉开椅子坐下,“您找我有事?”
苏念念又仔细地端详了一下姜亦心,看这孩子,都没以前活泼了。
姜亦心被苏念念看得有点儿不自在,又不好催促,只好把目光挪到桌子上。
还好,苏念念很快就开口了:“叫你来,是有个好消息,韩总昨天来电话,汤圆就是我们自己的通用大模型,已经全量部署到张家口的机房了,接口和密钥你和赵总要,然后拉陈建业开个会,做个迁移方案来,把御风、开物的调用逐步迁移到汤圆上来。”
姜亦心惊奇地抬起头:“好啦?”
她原本根本没指望这个“自家”大模型能这么快做好,御风的可配置大模型的功能已经快写好了,准备到月底如果Nexus AI真把水星断供,就把这个功能开放出去,让用户自己配API。
这本来是不得已的最后计划。
没想到汤圆能用了,那抓紧时间,迁移也来得及。
姜亦心接了新任务,急匆匆的往外跑。
她回到工位的第一件事就是联系赵文渊:“赵总,听说汤圆已经就绪了,我们这边在准备接入的工作,请问有什么技术参数、API文档可以分享一下吗?”
很快赵文渊的回复就到了:“最基础的API文档刚写好,【链接】,后续更丰富的文档会陆续上线。”
很快就发来了第二条:“另外这是汤圆0.9的网页版【链接】,用公司电脑连上VPN访问。你先试用一下。”
最后一条:“API Key和Secret我之后通过安全方式传输给你。”
所谓API Key和Secret,就像是登录账号用的账户名和密码,只不过是配置给电脑和服务器的,让服务器可以登录去访问某些需要认证才能访问的资源。
这种东西不能直接在聊天里发,一旦泄露,就像是丢了密码一样,谁都可以假装成账号拥有者,想干什么就干什么。所以传输方式需要格外谨慎。
看到赵文渊发来的信息,姜亦心的第一反应是:“为什么是0.9?”
正式版不应该是1.0吗?
她把这个问题问了出去。
赵文渊回复得很快:“两者的架构一样,但是1.0还在训练中。”
那可以把训练中的那个叫1.1啊,姜亦心想。不过这不关她的事。
姜亦心打开了赵文渊发来的链接,是一个网页版的聊天界面,她之前看张彪用过,写商务函。
不过那个时候张彪用的还是0.2版,现在是0.9,应该强了不少吧。
这个大模型还有了一个卡通形象,是一个汤圆小人,圆圆胖胖的很可爱。
姜亦心看着这个网页,不知道怎么的,鬼使神差地打了一句话。
“我感觉很累。”
打完她就自嘲地笑了笑。作为从业者,她没少用AI聊天助手,国内的外国的都用过,自然也尝试和他们进行过“心理咨询”。
但是AI无非是说那些车轱辘话,刚听的时候还行,听多了就觉得腻味了。
什么“好问题,深刻的洞见”,什么“你不是脆弱,你只是没被看见”,都是套路。
被识破了套路的渣男就不再有吸引力了,AI也一样。
“你上一次洗澡是什么时候?”
看到汤圆的回答,姜亦心微微睁大了眼睛。
是什么时候呢?
今天早晨太赶了,没洗。昨晚太累了,也没洗。
是昨天早晨。
但是它为什么问我这个?
姜亦心记得汤圆有思维链(Chain of Thoughts,CoT)的功能,她找了一下,找到了“展开查看思考过程”的按钮,点了上去。
一行短短的灰色小字展开。
“已省略。”
第二百四十六章 世界那么大