“因为计算复杂度本身就比Transformer低。“
“再加上一些工程层面的trick......“
“推理速度应该能做到非常可观。“
他在白板上画了一个大致的系统架构图。
分为几个核心模块：
模型加载模块、请求分发模块、推理计算模块、结果返回模块。
还有一些辅助模块：
日志模块、监控模块、安全模块......
“整体架构就是这样。“
白迁放下马克笔：
“接下来我细化一下每个模块的技术方案。“
“然后交给潘思来分配任务。“
潘思点了点头。
“我这边已经在准备任务拆解了。“
他说：
“等白迁的方案出来，我就开始分工。“
效率很高。
毕竟都是老手了。
......
大约一个小时后。
白迁把详细的技术方案整理好了。
发到了公司内部的协作平台上。
潘思看完之后。
开始进行任务拆解和分配。
“白迁负责核心的推理计算模块。“
他一边说，一边在任务管理工具上创建卡片：
“这块技术难度最高，需要你来把关。“
白迁点了点头。
“没问题。“
“我负责请求分发模块和结果返回模块。“
潘思继续说道：
“这两块和系统架构关系比较大，我来处理。“
他看向孙宇：
“孙宇，你负责日志模块和监控模块。“
“这两块相对简单，但很重要。“
“一定要做得细致。“
孙宇立刻挺直了腰板。
“保证完成任务！“
他的声音很响亮。
态度很端正。
潘思满意地点了点头。
然后他看向沈妍：
“沈妍......“
他想了想：
“你负责模型加载模块吧。“
“这块涉及到一些数学层面的优化。“
“正好发挥你的特长。“
沈妍点了点头。
“好。“
最后，潘思看向陈林。
“陈总......“
他的语气有些迟疑：
“你这边......“
陈林笑了笑。
“别客气。“
他说：
“我给自己安排了两个任务。“
“第一个是协助白迁做推理计算模块的优化。“
“第二个......“
他顿了顿：
“我要写一些网络安全方面的程序。“
“放在推理服务里面。“
潘思愣了一下。
“网络安全？“
“对。“
陈林解释道：
“YanHai-30B要在全国范围内推广。“
“使用者包括科研院所、高校、企业，甚至还有政府部门。“
“安全方面必须做好。“
他的语气变得认真：
“不仅要防止外部的攻击。“
“还要确保用户的数据不会泄露。“
“这块我来亲自把关。“
潘思听完，若有所思地点了点头。
“确实。“
他说：
“安全问题不容小觑。“
白迁也点头附和。
“尤其是我们的服务要部署在超算中心的集群上。“
他说：
“万一被人攻破了，后果不堪设想。“
陈林笑了笑。
“所以我要先和超算中心那边沟通一下。“
他说：
“了解一下他们的网络安全防护策略。“
“不然到时候我写的安全程序和他们的防护系统打架......“
他摊了摊手：
“乐子就大了。“
众人都笑了起来。
“那陈总你先去沟通。“
潘思说：
“我们这边先开始干活。“
陈林点了点头。
“行。“
他起身，走回自己的工位。
拿起手机。
翻出了津门超算中心总工程师孟敬辉的联系方式。
拨了过去。
......
......
电话很快接通了。
“喂，陈教授？“
孟敬辉的声音从电话那头传来。
语气热情得很。
“孟总工，你好。“
陈林客气地打招呼：
“这次又要麻烦你了。“
“哎，陈教授你太客气了。“