一波接一波的利好消息。
之前那一波大跌的跌幅早就收回来了。
股市甚至还创出了新高。
好像什么都没有发生过一样,只有那些上了过高杠杆导致爆仓的散户,成为了巨大波动的牺牲品
陈林对此并不意外。
大漂亮毕竟是蓝星第一的金融强国。
对于金融市场的掌控能力是其他国家望尘莫及的。
而且更关键的是......
大漂亮那些科技巨头在AI硬件上的垄断式领先。
陈林想起了一个多月前的新闻。
NVDA发布了一个叫做“Context Memory Platform“的新架构。
4个DPU支持100TB/net。
每个GPU分配的存储增加到了16GB。
消息一出。
大漂亮股市的存储板块迎来一波疯涨。
连泡菜国的叁丧电子都跟着喝了汤。
直接创了股价新高。
这就是硬件优势带来的话语权。
无论软件层面多么努力。
硬件上的差距始终是一道难以逾越的鸿沟。
陈林深吸了一口气。
收回了飘远的思绪。
他在心里给自己打气。
正是因为这样。
自己的努力才更为重要。
华夏在硬件上暂时追不上。
那就在软件和算法上多下功夫。
用更好的算法架构来弥补算力的不足。
这正是演海一直在做的事情。
“行了。“
陈林自言自语道:
“感慨归感慨,该干活还得干活。“
他站起身。
朝白迁和潘思的工位走去。
......
......
白迁和潘思正在讨论刚才会议上的内容。
看到陈林走过来。
两人都抬起头。
“陈总,有什么事?“
白迁问道。
陈林在他们旁边找了把椅子坐下。
“计划有变。“
他直接说道:
“刚才廖部长打电话来了。“
白迁和潘思对视了一眼。
都露出了好奇的神色。
陈林简单说明了一下情况。
YanHai-30B要在全国范围内推广。
科技那边非常重视。
津门超算中心会提供算力支持。
他们演海这边需要尽快把推理服务开发好。
白迁听完,若有所思地点了点头。
“推理服务的开发不算复杂。“
他说:
“但如果要支持大规模并发的话......“
“确实需要花点时间做优化。“
潘思也点了点头。
“主要是部署和运维那块。“
他补充道:
“大规模集群的推理服务,稳定性是第一位的。“
“不能出任何岔子。“
陈林笑了笑。
“所以......“
他看着两人:
“之前定下的神经发育程序融合YanHai-1.5B的研发计划,暂停一下。“
“先把推理服务这块搞定。“
他顿了顿:
“计划不如变化嘛。“
白迁和潘思都没有异议。
毕竟推广YanHai-30B是一件大事。
某种程度上比神经发育程序的研发还要紧迫。
“那人员怎么安排?“
潘思问道。
陈林想了想。
“推理服务这个项目不算大。“
他说:
“潘思你来当项目经理。“
“白迁当架构师。“
“我、沈妍、孙宇三个人打下手。“
他笑着补充道:
“够用了。“
潘思和白迁都点了点头。
这个配置确实够用。
推理服务的开发虽然需要一定的技术功底。
但和从零开始训练一个大模型相比。
难度完全不是一个量级的。
“那就这么定了。“
陈林站起身:
“尽快开干吧。“
“目标是一周之内完成开发和测试。“
“下周一正式部署上线。“
“没问题。“
白迁和潘思异口同声地回答。
......
项目正式启动。
白迁作为架构师。
很快就把整体框架拿了出来。
大模型推理服务这块。
各大科技巨头其实已经做得非常成熟了。
有很多现成的开源方案可以参考。
什么vLLM、TensorRT-LLM、TGI......
每一个都有大量的生产环境验证。
白迁没有闭门造车。
而是在这些成熟方案的基础上进行改造。
针对YanHai-30B的特殊架构做了一些定制化的优化。
“我们的架构天然适合做推理优化。“
白迁一边画图,一边解释: