全球主机交流论坛

标题: 集显、docker本地部署deepseek大模型 [打印本页]

作者: 云生 时间: 2025-1-28 22:48
标题: 集显、docker本地部署deepseek大模型
本帖最后由云生于 2025-1-28 22:49 编辑

https://v.douyin.com/if45L5qx/

deepseek r1 1.5B
最小的模型，可以用集显运行
docker 部署

作者: gspl 时间: 2025-1-28 22:49
客户端凑合用，又不是ai包子

作者: 非常店小二 时间: 2025-1-28 22:55
太香了

作者: VMISS 时间: 2025-1-28 22:55
不是很明白自己部署了有啥用？还需要自己训练么？

作者: 自然卷的气质 时间: 2025-1-28 22:56
集显显存能多大

作者: masir 时间: 2025-1-28 22:58
API便宜部署个毛线，多大量啊

作者: 你好，再见 时间: 2025-1-28 23:55
7b我都嫌废，这还1.5b

作者: Hetzner 时间: 2025-1-29 01:02
本帖最后由 Hetzner 于 2025-1-31 22:45 编辑

大模型，即大型语言模型(LLM)，是指基于Transformer 模型架构，具有大规模参数和复杂计算结构的超大型机器学习模型（超过10 亿个参数），通常由深度神经网络构建，对海量数据进行预训练处理。大模型的底层转换器包含一系列神经网络，分为编码器和解码器，且具有自注意力功能。

@william2ct 虚心接受改正，你是对的

作者: louiejordan 时间: 2025-1-29 01:05
集显就算了，6系A卡能不能跑？

作者: bobbylong 时间: 2025-1-29 06:24

louiejordan 发表于 2025-1-29 01:05
集显就算了，6系A卡能不能跑？

你OUT了，谁告诉你非要独立显卡跑的？一年前deep seek家的模型就不吃显卡了。

作者: q1028178000 时间: 2025-1-30 15:02

bobbylong 发表于 2025-1-29 06:24
你OUT了，谁告诉你非要独立显卡跑的？一年前deep seek家的模型就不吃显卡了。 ...

那吃内存？

作者: bobbylong 时间: 2025-1-31 10:48

q1028178000 发表于 2025-1-30 15:02
那吃内存？

可吃可不吃，小内存也可以跑大参数，就是慢

作者: ai海里打渔 时间: 2025-1-31 11:32

bobbylong 发表于 2025-1-31 10:48
可吃可不吃，小内存也可以跑大参数，就是慢

有多省？你部署671b了？

作者: grave_lyt 时间: 2025-1-31 11:40
8g显卡可以跑跑14b参数，亲测效果还行，开启联网搜索的情况下可以帮上点忙
和完整版的智力当然无法相比

作者: q1028178000 时间: 2025-1-31 20:58

bobbylong 发表于 2025-1-31 10:48
可吃可不吃，小内存也可以跑大参数，就是慢

想知道你说的小内存是 768GB 内存以下吗？我手里有几台128gb 的服务器。

欢迎光临全球主机交流论坛 (https://443502.xyz/)