全球主机交流论坛

标题: 流出的类 GPT 模型 LLaMA 的运行效果 [打印本页]

作者: ByteCat 时间: 2023-3-5 18:34
标题: 流出的类 GPT 模型 LLaMA 的运行效果
相信大家都已经下载了 LLaMA 的模型来玩了，我今天也玩了一下，效果其实和想象的差很多。

运行环境：
GPU: RTX 4090
Weight: LLaMA-7B
在默认 FP16 下运行，会占用 22GB 左右的显存

总结：英文补全勉强能看，但好像还是挺差的，中文补全直接胡言乱语，和 GPT-3 相距甚远，可能还要作为模型基础继续针对训练，对普通用户来说基本没什么可用性

作者: 5700pgf 时间: 2023-3-5 18:36
下不动，更关键是没卡。。。。

作者: ByteCat 时间: 2023-3-5 18:52

5700pgf 发表于 2023-3-5 18:36
下不动，更关键是没卡。。。。

下载还好吧，我用qb直接跑满带宽了，主要是效果有点拉，而且有点烧钱，我用 4090 的24G才跑动最小的7B模型……

作者: 小旭 时间: 2023-3-5 18:52
人家烧掉上百亿才出现目前的程度而且每天还在增加自己玩儿根本不行除非数据全部拿到

作者: WZ-Software 时间: 2023-3-5 18:53
下不动，老哥能传一份网盘分流一下吗

作者: 5700pgf 时间: 2023-3-5 19:27

ByteCat 发表于 2023-3-5 18:52
下载还好吧，我用qb直接跑满带宽了，主要是效果有点拉，而且有点烧钱，我用 4090 的24G才跑动最小的7B模 ...

好像是有这个问题，QB可以下，ARIA2下不动，之前我有看到别人这样说

作者: CJ大牛赚美元 时间: 2023-3-5 19:49
提示: 作者被禁止或删除内容自动屏蔽

作者: 52naiba 时间: 2023-3-5 19:54
gpt好像170多PB的数据，

作者: colla 时间: 2023-3-5 21:11
效果好的肯定不会放出来

作者: antbt 时间: 2023-3-6 07:31
想达到GPT的效果，家里没矿就别想了；人家把算法和训练模型给你，你也运行不起来

作者: a87750530 时间: 2023-3-6 07:36
先安排上1万老黄的最新计算卡再考虑

欢迎光临全球主机交流论坛 (https://443502.xyz/)

Powered by Discuz! X3.4