全球主机交流论坛

标题: 有没有大神会用gpu跑llama3 8b的 [打印本页]

作者: lilyhcn1 时间: 2024-5-8 15:23
标题: 有没有大神会用gpu跑llama3 8b的
有张3060，但不会用。求大神指点

作者: c782464295 时间: 2024-5-8 15:33
那么多教程，就是下载python装环境，下载模型和demo跑

作者: acpp 时间: 2024-5-8 15:35
直接用ollama简单点。

作者: Eureka 时间: 2024-5-8 15:37
本帖最后由 Eureka 于 2024-5-8 15:39 编辑

在用rs2000（8H16G）跑llama3 8B，加了各种prompt后，生成速度5.74tokens/s，速度还不错。

显卡可以试着多加几张，跑个llama3 70B，ollama支持多卡的，总显存有50G这样子就可以非常流畅的运行了。

作者: lilyhcn1 时间: 2024-5-8 19:07

Eureka 发表于 2024-5-8 15:37
在用rs2000（8H16G）跑llama3 8B，加了各种prompt后，生成速度5.74tokens/s，速度还不错。

显卡可以试着多 ...

找了挺多教程，没看懂。
是不是不能在windows平台下用，
windows平台好像只能用cpu跑，这个太慢了。

作者: isxuew 时间: 2024-5-8 19:25
ollama，windows下也可以用显卡，直接run就完事了

作者: Eureka 时间: 2024-5-8 19:29

lilyhcn1 发表于 2024-5-8 19:07
找了挺多教程，没看懂。
是不是不能在windows平台下用，
windows平台好像只能用cpu跑，这个太慢了。 ...

https://ollama.com/
windows上官网下载安装，然后打开cmd运行

ollama run llama3

复制代码

会自动下载几个G的模型，下载完然后就可以用了

GPU我是N卡，什么都没配置，直接就用上GPU了。

作者: lilyhcn1 时间: 2024-5-8 21:22

Eureka 发表于 2024-5-8 19:29
https://ollama.com/
windows上官网下载安装，然后打开cmd运行

！！！我也是这样啊，但GPU就没有用上。
那我重装试试

作者: Eureka 时间: 2024-5-8 21:51

lilyhcn1 发表于 2024-5-8 21:22
！！！我也是这样啊，但GPU就没有用上。
那我重装试试

据我的经验来看，运算的时候，GPU使用率不会太明显，只是显存会被占满，然后溢出，继续占用主板上的内存容量。

作者: isxuew 时间: 2024-5-8 21:57

lilyhcn1 发表于 2024-5-8 21:22
！！！我也是这样啊，但GPU就没有用上。
那我重装试试

只要看启动的时候的日志，就可以知道是cpu还是gpu了

作者: lilyhcn1 时间: 2024-5-9 08:19
本帖最后由 lilyhcn1 于 2024-5-9 08:25 编辑

Eureka 发表于 2024-5-8 21:51
据我的经验来看，运算的时候，GPU使用率不会太明显，只是显存会被占满，然后溢出，继续占用主板上的内存 ...

查看日志发现了，是CPU太渣了，无法启用GPU。
感谢

作者: lilyhcn1 时间: 2024-5-9 08:21

isxuew 发表于 2024-5-8 21:57
只要看启动的时候的日志，就可以知道是cpu还是gpu了

CPU does not have AVX or AVX2, disabling GPU support
发现了，是CPU太烂的原因。我换个稍好点的CPU

欢迎光临全球主机交流论坛 (https://443502.xyz/)