都大学了,小学系统才来? 第360节

  一波接一波的利好消息。

  之前那一波大跌的跌幅早就收回来了。

  股市甚至还创出了新高。

  好像什么都没有发生过一样,只有那些上了过高杠杆导致爆仓的散户,成为了巨大波动的牺牲品

  陈林对此并不意外。

  大漂亮毕竟是蓝星第一的金融强国。

  对于金融市场的掌控能力是其他国家望尘莫及的。

  而且更关键的是......

  大漂亮那些科技巨头在AI硬件上的垄断式领先。

  陈林想起了一个多月前的新闻。

  NVDA发布了一个叫做“Context Memory Platform“的新架构。

  4个DPU支持100TB/net。

  每个GPU分配的存储增加到了16GB。

  消息一出。

  大漂亮股市的存储板块迎来一波疯涨。

  连泡菜国的叁丧电子都跟着喝了汤。

  直接创了股价新高。

  这就是硬件优势带来的话语权。

  无论软件层面多么努力。

  硬件上的差距始终是一道难以逾越的鸿沟。

  陈林深吸了一口气。

  收回了飘远的思绪。

  他在心里给自己打气。

  正是因为这样。

  自己的努力才更为重要。

  华夏在硬件上暂时追不上。

  那就在软件和算法上多下功夫。

  用更好的算法架构来弥补算力的不足。

  这正是演海一直在做的事情。

  “行了。“

  陈林自言自语道:

  “感慨归感慨,该干活还得干活。“

  他站起身。

  朝白迁和潘思的工位走去。

  ......

  ......

  白迁和潘思正在讨论刚才会议上的内容。

  看到陈林走过来。

  两人都抬起头。

  “陈总,有什么事?“

  白迁问道。

  陈林在他们旁边找了把椅子坐下。

  “计划有变。“

  他直接说道:

  “刚才廖部长打电话来了。“

  白迁和潘思对视了一眼。

  都露出了好奇的神色。

  陈林简单说明了一下情况。

  YanHai-30B要在全国范围内推广。

  科技那边非常重视。

  津门超算中心会提供算力支持。

  他们演海这边需要尽快把推理服务开发好。

  白迁听完,若有所思地点了点头。

  “推理服务的开发不算复杂。“

  他说:

  “但如果要支持大规模并发的话......“

  “确实需要花点时间做优化。“

  潘思也点了点头。

  “主要是部署和运维那块。“

  他补充道:

  “大规模集群的推理服务,稳定性是第一位的。“

  “不能出任何岔子。“

  陈林笑了笑。

  “所以......“

  他看着两人:

  “之前定下的神经发育程序融合YanHai-1.5B的研发计划,暂停一下。“

  “先把推理服务这块搞定。“

  他顿了顿:

  “计划不如变化嘛。“

  白迁和潘思都没有异议。

  毕竟推广YanHai-30B是一件大事。

  某种程度上比神经发育程序的研发还要紧迫。

  “那人员怎么安排?“

  潘思问道。

  陈林想了想。

  “推理服务这个项目不算大。“

  他说:

  “潘思你来当项目经理。“

  “白迁当架构师。“

  “我、沈妍、孙宇三个人打下手。“

  他笑着补充道:

  “够用了。“

  潘思和白迁都点了点头。

  这个配置确实够用。

  推理服务的开发虽然需要一定的技术功底。

  但和从零开始训练一个大模型相比。

  难度完全不是一个量级的。

  “那就这么定了。“

  陈林站起身:

  “尽快开干吧。“

  “目标是一周之内完成开发和测试。“

  “下周一正式部署上线。“

  “没问题。“

  白迁和潘思异口同声地回答。

  ......

  项目正式启动。

  白迁作为架构师。

  很快就把整体框架拿了出来。

  大模型推理服务这块。

  各大科技巨头其实已经做得非常成熟了。

  有很多现成的开源方案可以参考。

  什么vLLM、TensorRT-LLM、TGI......

  每一个都有大量的生产环境验证。

  白迁没有闭门造车。

  而是在这些成熟方案的基础上进行改造。

  针对YanHai-30B的特殊架构做了一些定制化的优化。

  “我们的架构天然适合做推理优化。“

  白迁一边画图,一边解释:

首节上一节360/428下一节尾节目录