全球主机交流论坛

标题: 4090 跑deepseek-r1:70b 一个简单的问题思考23分钟,还答非所问. [打印本页]

作者: 奧巴马 时间: 2025-1-30 12:55
标题: 4090 跑deepseek-r1:70b 一个简单的问题思考23分钟,还答非所问.
写过年喜庆对联.

作者: 低价vps大全 时间: 2025-1-30 12:59
本帖最后由低价vps大全于 2025-1-30 13:00 编辑

跑起来也没用啊， deepseek开源的都是假的，你这个本质还是llama, 标题都是DeepSeek-R1-Distill-Llama-70B

跟deepseek网页版完全不是一个东西，而不仅是参数大小不同。。

作者: 奧巴马 时间: 2025-1-30 13:05

低价vps大全发表于 2025-1-30 12:59
跑起来也没用啊， deepseek开源的都是假的，你这个本质还是llama, 标题都是DeepSeek-R1-Distill-Llama-70B
...

那个671B 好像不是.
他的主要贡献是https://github.com/deepseek-ai/DeepSeek-MoE 这个训练算法吧.

作者: yjx79802 时间: 2025-1-30 13:06
70B 爆显存了，32B我在4090跑就吃了19G显存，你怎么跑起来的70B。

作者: 奧巴马 时间: 2025-1-30 13:11
本帖最后由奧巴马于 2025-1-30 13:13 编辑

yjx79802 发表于 2025-1-30 13:06
70B 爆显存了，32B我在4090跑就吃了19G显存，你怎么跑起来的70B。

设置共享内存.你跑671B都可以.只不过.可能需要一天时间来思考.

作者: pykane 时间: 2025-1-30 13:16

低价vps大全发表于 2025-1-30 12:59
跑起来也没用啊， deepseek开源的都是假的，你这个本质还是llama, 标题都是DeepSeek-R1-Distill-Llama-70B
...

多学习一下开源吧。
Deepseek 有论文，有代码。
什么时开源，用提供的论文和代码，可以复现。这才是真正的开源。

在 Mac mini 24G 跑14B 速度没问题，32B 有一些吃力。
更大的模型，可以用多个机器分切运行组成一个。

作者: DogeLee2 时间: 2025-1-30 13:16
32b差不多了
其实真不如直接玩api

作者: 奧巴马 时间: 2025-1-30 13:25

奧巴马发表于 2025-1-30 13:11
设置共享内存.你跑671B都可以.只不过.可能需要一天时间来思考.

Loc mjj不是说已经干翻o1了吗？我准备用公司的8卡h100 架设试试！

作者: 奧巴马 时间: 2025-1-30 13:29

pykane 发表于 2025-1-30 13:16
多学习一下开源吧。
Deepseek 有论文，有代码。
什么时开源，用提供的论文和代码，可以复现。这才是真正 ...

我看了看代码，没有什值得关注的东西。论文也只是口上说！没人实际操作过，我准备用公司资源复现，如果真可以，可以给公司创造价值！

作者: 低价vps大全 时间: 2025-1-30 13:53

pykane 发表于 2025-1-30 13:16
多学习一下开源吧。
Deepseek 有论文，有代码。
什么时开源，用提供的论文和代码，可以复现。这才是真正 ...

多学习一下开源吧。
你这个数据集就是llama, 只不过你改进了下。
等于你用你的炒菜技术和调料，把别人的菜给炒了。

它这个开源就是假的，菜是qwen和llama的。只有它的网页版才是真的它自己的菜（openai说它偷了），偷不偷先不说，起码是它自己的，开源的这些都是它炒别人的菜拿给你了，当然确实加了调料改进了下。

作者: 苇名梁朝伟 时间: 2025-1-30 15:57
不如 T800

作者: xchiminer 时间: 2025-1-30 16:11
開源的是優化的算法和模型。不是語料。
說真的，ds的確優秀，但他現在的api提供的服務，大部分clean data 來源是gpt，所以不能完全說遙遙領先。只是ds的確很符合中國人思維，内卷（正面意義）。

作者: 千牛 时间: 2025-1-30 18:13
你4090跑个鸡毛70b，老老实实跑你的14b吧

作者: 9501767a 时间: 2025-1-30 18:32
敢开真的源？
刚开就得被告侵权

作者: 奧巴马 时间: 2025-1-30 18:50

千牛发表于 2025-1-30 18:13
你4090跑个鸡毛70b，老老实实跑你的14b吧

70b都是个弱智，14b有什么用？

作者: 千牛 时间: 2025-1-30 22:18

奧巴马发表于 2025-1-30 18:50
70b都是个弱智，14b有什么用？

电脑差就去买更好的，他弱智不影响你聪明

欢迎光临全球主机交流论坛 (https://443502.xyz/)