光芯片解决内存墙美国公司研发全新内存架构：10 TB容量能跑20万亿参数
快科技10月2日消息，如今的大模型参数量已经突破5万亿规模，逼近10万亿，面临的挑战已经不是算力够不够，而是内存墙限制越来越多。
美国一家初创公司Volantis日前宣布获得了8800万美元的A轮融资，该公司正在构建一种全新的AI推理架构，旨在平衡内存容量与带宽， 其首个系统A-1被设计用于超过20万亿参数的大模型，每个用户可以跑到10000Token/s的速度 ，同时还有更低的推理成本。
这个规模是什么概念呢？当前最强的Mythos/Fable大模型据说是5万亿参数级别的，但现在每个用户的速度不会超过100Token/s，A-1的规模是它的4倍，速度是100倍。
20万亿参数的大模型用FP16意味着40TB的内存，这样的需求即便是用上最强的Verra Rubin也很难满足，而且成本贵的要死，更别说提供10000Token/s的速度了。
A-1使用的方案是Volantis全新研发的架构，大量应用了光互连技术，将大量内存连接起来成为一个统一的内存池，单lane做到了24 Gb/s/lane， 光互联带宽达到了250 TB/s以上(宣传材料数字，官网上是240TB/s） ，远高于内存的带宽，比HBM也要高10倍以上——公司的宣传材料说提升了两个量级，这有点夸张了。
除了带宽大幅提升，该公司的技术还可以做到体积小了2500倍，能效更高，单bit能耗远低于 1 pJ/bit（<<1 pJ/bit）， 而容量可以达到10TB ，反正各项参数都是远超当前光互联技术水平的。
是真是假到明年就可以验证了，Volantis公司计划在2027年交付首批集成推理引擎给客户，到时候就能检验他们的新架构有没有水分了。
【本文结束】如需转载请务必注明出处：
新浪科技公众号
“掌”握科技鲜闻 （微信搜索techsina或扫描左侧二维码关注）
A社“AI末日”资本黑手被揪出，炒作焦虑为IPO圈钱！难怪仇视DeepSeek开源
中银基金换帅：风控“守门”，难破“偏科”
除了腾讯，还有谁愿意为燧原科技买单？
高光之作华为Mate 90系列发布：麒麟芯片全面突围，Mate开启“芯”纪元
12年从蛰伏到突围 一颗芯片与Mate的求索之路
两周年之后，《三角洲行动》如何让玩家不断找到下一局的理由？
华为Mate 90系列及全场景新品发布会举行，多款重磅新品亮相
9月新势力车企“战报”：零跑再破10万台，小米小鹏超4万台，多家车企将亮相巴黎车展
C罗要求葡萄牙主帅公开认错！已离开国家队集训营
自由航行，自有方向｜nova 16 Pro泡泡玛特Hirono小野联名款礼盒正式发布
存储涨价厂商赚麻：美光净利暴涨1078%！已签下26份长约
转转“神秘眼镜女”被造黄谣！本人回应已报警
新势力9月销量出炉：零跑连续3个月交付超10万辆，小米澎程首月交付超1万台
12年从蛰伏到突围 一颗芯片与Mate的求索之路
余承东的“地表最强SUV”卖爆！新款问界M9上市16周 交付破4万台
9月新势力车企“战报”：零跑再破10万台，小米小鹏超4万台，多家车企将亮相巴黎车展
2岁娃吃8个月儿童装银鳕鱼 体检血汞超标 多平台下架产品或删去儿童字样
男子擅自爬上动车车顶遭电击坠落，柳州站：经抢救暂无生命危险 目击者称看到列车高压线冒火花
巨石从天而降砸穿特斯拉天窗 致车门变形无法打开 情侣下车割草捡回一命
卖10件退8件！女装电商有多难：商家被逼用上了2.4米防拆丝带
500万放余额宝一天的收益冲上热搜 网友：500万也没法躺平
高速服务区新能源汽车集中充电 车主吐槽：像在排队打饭
高速充电充至80%被迫离场引热议 韩路：能加油非排队 有病！