前言
本来觉得A卡 在AI的时代没啥前途,有前途的显卡都在 皮衣黄的NV显卡那边,结果DeepSeed的炸裂发布,打破了NV的垄断。AMD的 部分显卡也能被支持了,这其中就包含RX6800,得益于具有16G显存,可以支持本地化部署16B规模的大模型。
本文分为两部分,一、平台介绍,讲述第成本平台如何搭建及平台对应优势;二、DeepSeek的本地部署及外观UI安装。
第一部分:RX6800显卡
作为一款2020年的显卡,距今也已经有4-5个年头了,发布出来就进入矿场,市面上留存的较少。
作为当时的中高端显卡,其做工和质量还是值得一说的。采用了过肩高的加强筋设计。配合两大一小三个风扇组成散热系统。
中间较小的风扇带有LED灯光效果,与侧面的LOGO灯条呼应。
接口方面使用了1个HDMI + 3个DP接口的组合。
散热风扇支持智能启停,在低负载下不转动。
显卡厚度为2.5个PCI插槽标准
显卡有一半的背板,这也是这款显卡当时最为被诟病的,美观性和对于散热片的支撑性都没有做到完美。
双 8pin接口设计。显卡功耗近300W,官方推荐搭配700W的电源。
6热管散热器,还做了镀镍,比技嘉厚道。
支持PCIE4.0标准的显卡接口,金手指状态尚可,没有过度氧化。
作为一款过时的显卡,总结为:又不是不能用。
第二部分:
一:安装Ollama
如果想要在本地运行 DeepSeek 需要用到 Ollama 这个工具,这是一个开源的本地大模型运行工具。
通过可以访问 https://ollama.com/ 进入 Ollama 官网下载 Ollama ,下载时有三个系统的安装包可选择,这里只需要选择下载我们电脑对应的操作系统版本即可,这里我选择的是 Windows 版本。
Ollama 安装包下载完成后直接双击安装即可。
现在的Ollama 安装完成后已经不需要打开电脑的CMD,也就是命令提示符,Ollama会直接提供一个蓝色背景窗口便于安装大模型。
打开后在命令提示符窗口中输入 ollama help 并按回车键,这个操作是为了验证这个软件是否安装成功,如果没有报错的话则表示这个软件安装成功。
二:下载部署 DeepSeek 模型
回到 https://ollama.com/ 网址中,在网页上方搜索框中输入 Deepseek-r1,这个 Deepseek-r1 就是我们需要本地部署的一个模型。
点击 Deepseek-r1 后会进入详情界面,里面有多个参数规模可供选择,从 1.5b 到 671b 都有。
需注意的是,这里我们需要根据自己电脑的硬件配置来选择模型大小,下面是一个模型大小配置参考表格,大家可根据自己的电脑配置来自行选择,当然了,部署的本地模型越大,使用的深度求索效果就越好。我这里用到的是16G显存的 RX6800,性能也与RTX4070接近,选择了14B。
强调一下,表格里的这些AMD显卡是支持GPU运算的,其它的A卡也能安装,但是不支持GPU计算,只能CPU计算。CPU 计算很慢,本地部署的意义不大。
命令复制完成后回到命令提示符窗口,将刚刚复制的命令粘贴到命令提示符窗口中并按回车键即可下载模型。
模型下载完成后,我们就直接可以在命令提示符面板中使用它了。
以后如果我们需要再次使用 Deepseek 这个模型的话,我们可以直接打开命令提示符窗口,只需要再次在命令符提示窗口中输入上面复制的指令即可。
三:可视化图文交互界面 Chatbox
虽然我们可以在本地正常使用 Deepseek 这个模型了,但是这个 AI 工具的面板是非常简陋的,很多人使用不习惯,这时我们就可以通过 Chatbox 这个可视化图文交互界面来使用它。
点击 https://chatboxai.app/zh 进入 Chatbox 官网,下载Chatbox 本地客户端,当然也可以直接使用网页版。
安装本地版之后,进入 Chatbox点击使用自己的本地模型。
点击后会进入模型提供方选择界面,这里选择 Ollama API 。
重启 Ollama 程序后,我们需要将 Chatbox 设置界面关闭并重新打开,重新打开 Chatbox 设置界面后即可选择 Deepseek 模型了,选择后 Deepseek 模型后点击保存即可。
接下来只需要在 Chatbox 中新建对话即可使用 Deepseek 模型了,以下图为例,上方是它的思考过程,下方是它给出的答案。
这个平台部署就到这,感觉现在的使用还是挺快速的,后续再深入挖掘垂域的应用状态,不管是写文章还是做视频,都能给提升效率。
四:资源消耗情况
win10, win键 + G 组合键,可以显示系统资源占用率。
我的内存是16GB,用了 77%,即使用了 12.GB。
多次测试,发现显卡和显存(VRAM)资源利用率 55% 左右。
16GB 显存,55% 就是 8.8GB,当然操作系统也占用了不少。
我估计 DeepSeek R1 模型至少用了 7GB 显存。
顺便说,之前看一些别的16G 显卡占用,也是14B模型的情况下 能达到90% ,与平台配置和显存的带宽应该都有关系。
总结
DeepSeek的本地部署门槛还是比较低的,同时对于A卡的友好远比其他离线AI工具要强。当然这里有个目前支持A卡的表格可以参考。
本文来自:什么值得买