Article Focus

内容阅读与观点延展

以清晰阅读路径承载正文、上下篇与推荐内容,让深度文章浏览更加专注自然。

3210亿参数塞进单张显卡,26 token每秒跑起来了内容展示

当前位置为资讯正文页面,可继续阅读上下篇或进入推荐阅读区域。

3210亿参数塞进单张显卡,26 token每秒跑起来了

以下内容由v66体育整理:

把总参数 3210亿 的模型塞进一台只有一张显卡的机器里,这件事现在有了开源方案。

免费开源工具「Project Maya」给出的思路很直接:不要求你把几百GB的模型权重全塞进显存,而是把显存、内存、固态硬盘拼成一个层级,条件凑齐就能跑。

它支持的模型清单不止一个:GLM-5.

3(744B)、GLM-5.

3-Flash(321B)、DeepSeek-V4.

1-Flash(748B)、MiniMax-M3.

1-Flash(428B),一套引擎、一块面板,对外提供与 OpenAI、Anthropic 兼容的接口。

GLM-5.

3-Flash 是这里的主角。

3210亿总参数,能写文章、写代码,也能读取图片内容。

公开的用户实测数据里,单张 RTX 3090 的配置跑出每秒 26 token ;

两张 RTX 5090 加一张 RTX 4090 的配置跑到每秒 148.

6 token 。

token 是模型处理文本的单位,这个数值越大,回答显示得越快。

不过两次测量的条件不同,光看显卡数量没法直接比速度。

并发方面,Project Maya 最多同时处理 8 个请求 ,面向多人使用和 AI 编程代理的场景。

about image

8 路并发不等于 8 倍生成速度,它的意义是把多个请求并行接住,而不是把单条回答加速八倍。

为什么装不进显存的模型能跑起来 关键在于 MoE,也就是混合专家结构。

模型内部准备了多个叫「Expert」的专门计算单元,常用的专家放在显卡显存里,接下来要用的挪到内存,剩下的存进固态硬盘,按需换入换出。

显存不够,就用内存和硬盘顶上。

另一层工夫是量化,把模型数值用更少的比特存下来。

GLM-5.

3-Flash 对应的版本有这么几档: Maya-XS :73.

4GB Maya-S :96.

5GB,标准版 Maya-S24 :面向 24GB 以下显存的显卡 Maya-M :116GB Maya-L :156.

3GB 官方零样本评测给出的精度保持率是:Maya-XS 为原 FP8 模型的 92.

4% ,Maya-S 为 97.

9% ,Maya-L 为 99.

2% 。

这组数字是特定评测题目的相对值,不等于所有问题的正确率。

跑起来到底要多少内存 官方文档给出的推荐显存加主内存合计:Maya-XS 为 88GB ,Maya-S 为 128GB ,Maya-L 为 192GB 。

最低运行条件是支持的显卡、32GB 主内存加固态硬盘。

但最低条件不等于能启动。

实际拿 64GB 主内存配一张 8GB 显存的显卡去启动,程序直接报「显存不足」,起不来。

想省显存,得先看清楚自己卡在哪一档。

对想在自己机器上跑大模型的人来说,Project Maya 多了一个选项。

代价是动手之前得把内存容量和固态硬盘性能这两笔账算清楚,否则卡在启动那一步,参数再大也只是一串数字。

特别

v66体育将持续关注后续动态。

觉得有用?分享给朋友

让更多人看到这篇内容

推荐阅读

Search
热点新闻
韦德:防库里最可怕的是他交出球之后,他站在场上就是一次助攻
韦德:防库里最可怕的是他交出球之后,他站在场上就是一次助攻

德维恩·韦德给出了一个可能出乎不少人意料的答案:防守斯蒂芬·库里最可怕的部分,未必是他手里有球的时候。 韦德在谈到防守库里的难点时表示,真正让防守者难受的,是库里把球传出去之后。“防守斯蒂芬·库里,对我来说,防他最可怕的部分是他把球交出去之后。这话放在一个持球时如此有活力的球员身上已经很说明问题了。但库里一旦把球交出去,就得小心了。”韦德说。 在韦德看来,库里传球后并不会停下来,他会继续绕掩护、重

中国球迷意难平!不止因为U19国足1-1塔吉克斯坦,更多是这五点!
中国球迷意难平!不止因为U19国足1-1塔吉克斯坦,更多是这五点!

北京时间11月14日,熊猫杯第二轮,U19国足对阵塔吉克斯坦,赛前U19国足首轮取得开门红,只要本场拿下胜利就能获得夺冠的主动权,但最终经过90分钟激烈鏖战,遗憾以1-1战平对手,纵观全场比赛,让球迷产生五点意难平! 比赛回顾: 第13分钟,王庚睿开出右侧角球,彭子鸣后点头球破门,国足1-0领先。仅1分钟后,塔吉克斯坦的巴赫塔里耶夫·拉马赞禁区左侧兜射远角扳平,比分回到1-1。后续国足持续施压,朱

舅舅开厂找我借50万周转,我让他抵押老宅,第二天他竟吊死在房梁
舅舅开厂找我借50万周转,我让他抵押老宅,第二天他竟吊死在房梁

警笛声由远及近,撕破了开源市老城区清晨的宁静。 刘兵拉开车门,一股混杂着潮湿霉味和老槐树花香的空气涌入鼻腔。 他抬头看了一眼眼前这栋青砖黛瓦的老宅,两扇朱漆木门半掩着,像一张欲言又止的嘴。 还没等他踏上台阶,一声凄厉到变了调的哭喊声从院子里猛地炸开,一个中年女人被两个人架着,跌跌撞撞地冲了出来。 “天杀的啊!我的天塌了啊!” 女人头发散乱,面如金纸,一见到穿着制服的刘兵,像是抓住了最后一根稻草,挣

左翼执政8年恐到终点,西班牙大选悬念拉满,极右翼有望登堂入室
左翼执政8年恐到终点,西班牙大选悬念拉满,极右翼有望登堂入室

西班牙11年来第六次大选,可能导致自佛朗哥去世以来极右翼首次进入政府。 西班牙人将于11月29日前往投票站,参加该国11年来的第六次大选。此次提前选举可能结束社会党领导的八年执政,并可能使极右翼政党自西班牙在佛朗哥将军去世后恢复民主以来首次进入政府。 为什么宣布提前选举,为什么重要? 西班牙社会党首相佩德罗·桑切斯于10月5日宣布提前选举,此前保守派人民党(PP)、极右翼Vox党和右翼、支持独立的

11部作品被主创丑闻拖累:从《纸牌屋》到《闪电侠》
11部作品被主创丑闻拖累:从《纸牌屋》到《闪电侠》

有些电影、剧集或游戏本来一切顺遂,直到幕后那个人变得无法与作品切割。导演的行为、演员的丑闻、创作者令人不安的私生活,都可能彻底改变观众对一部曾经喜欢的作品的感觉。有时争议甚至盖过作品本身,让人不愿再回头看。 这种错位感很具体:曾经带来娱乐的东西,突然附带了沉重的包袱。以下这些项目仍在,但名声已经受到不小的冲击。 《考斯比一家》(1984–1992) :比尔·考斯比的定罪和众多女性的指控,永久改变了