现在自己部署deepseek是不是配置要求比LLAMA低了很多

fۣۖ༒ۣfۣۖ

吃显存啊
大模型得24G显卡

zhai

我的电脑能上32B版本

何处不惹尘埃

吃显卡吧, 不太懂

----------------------------------------------------------------

小尾巴~~~~~

julie

要是你说的是r1的话, 个人应该不好部署. 要是你说的是蒸馏的千问或Llama, 我觉得还不如base model.

因为deepseek r1是MoE结构, 我估计拿CPU跑都不慢的. 以前我用老的服务器只用CPU跑也是MoE的WizardLM-2-8x22B, 一秒钟也有2, 3个token.

你要是有1T的内存, 可以试试用纯CPU跑.

水冰月

julie 发表于 2025-1-27 22:09
要是你说的是r1的话, 个人应该不好部署. 要是你说的是蒸馏的千问或Llama, 我觉得还不如base model.

因为d ...

纯cpu慢吗
还是没有区别。

karson

https://github.com/deepseek-ai/DeepSeek-V3/issues/241

请问我要运行推理，需要什么显卡配置

”DeepSeek-V3 采用 FP8 训练，并开源了原生 FP8 权重。“
参数量按700B算的话，大约就是700GB显存。

水冰月

julie 发表于 2025-1-27 22:09
要是你说的是r1的话, 个人应该不好部署. 要是你说的是蒸馏的千问或Llama, 我觉得还不如base model.

因为d ...

有128内存，x99的机器，可以纯cpu跑吗

louiejordan

julie 发表于 2025-1-27 22:09
要是你说的是r1的话, 个人应该不好部署. 要是你说的是蒸馏的千问或Llama, 我觉得还不如base model.

因为d ...

用显卡跑有什么要求？

艾比

M3 Macbook Air有没有推荐的版本部署

julie

水冰月 发表于 2025-1-29 00:38
有128内存，x99的机器，可以纯cpu跑吗

128G内存是跑不了deepseek r1的, 要大一点的内存才行. 即使能跑, 低的量化模型对生成质量有很大的影响, 生成结果可能很不好.

128G内存可以跑100G以内的量化模型, 就是速度会很慢. 因为r1模型是MoE架构的, 每次生成只依赖37B的参数, 所以会快. 如果是32B的千问, 速度还马马虎虎. 如果是70B的llama模型, 生成的会慢得多, 几乎受不了的.