关于跑AI大模型硬件升级的求助

各位技术大神们，大家好！我最近在跑AI大模型时遇到了一些硬件瓶颈，显存不足且CPU运行太慢，严重影响了模型的运行效率。我纠结于到底是升级多几张显卡还是直接换成好一点的CPU更具性价比，所以想来听听大家的意见。

AI大模型在自然语言处理、计算机视觉等领域展现出了强大的能力，能够实现诸如文本生成、图像识别、语音翻译等多种复杂任务。随着模型规模的不断增大，其对硬件资源的需求也日益增长。为了能够更好地利用这些大模型，深入研究其性能和应用场景，我决定在本地搭建运行环境，但目前的硬件配置已经难以满足需求。

方案一：加几张显卡
计算要求满足了，但是内存还是不够，ollama只会用专用显存不会用共享显存，一旦超出显存就会开始用cpu。显卡一旦堆得太多就会价格飞涨，暂时不考虑用电。

方案二：换个好点的cpu
内存满足了，速度还是问题，还有我该升级单核性能还是多核性能。然后这玩意升高了价格也容易蹭蹭往上涨，也暂时不考虑用电。

综上所述，升级多几张显卡和更换好一点的CPU都有各自的优势。对于我来说，价格是一个非常重要的考虑因素。因此，在预算有限的情况下，升级显卡和换cpu那个才是更有性价比的选择呢？求大神的建议。

内存我认为暂时够用了，也不考虑内存

你是单纯的运行啊

我ollama下了一个小时还没完，干脆撒手不干了

好

Gr3yPh4ntom 发表于 2025-2-10 11:56
我ollama下了一个小时还没完，干脆撒手不干了

开个加速器几分钟就下好了

有时候我开着也会这样，我就ctrl+c停了然后在↑，enter重新下载就好了，非常奇怪也不知道为什么

IORR_神机 发表于 2025-2-10 11:44
你是单纯的运行啊

当然不是

Redstone_NOOB 发表于 2025-2-13 19:39
当然不是

那你的生产力得有多少啊，居然不够用

IORR_神机 发表于 2025-2-14 16:21
那你的生产力得有多少啊，居然不够用

我微调个0.5b的小模型都要满载运行10分钟，，，

Redstone_NOOB 发表于 2025-2-14 19:06
我微调个0.5b的小模型都要满载运行10分钟，，，

那就先不用本地部署呗