今天来将由《蓝创精英团队》带来一个Ubuntu 显卡环境的安装,主要是想记录下来,方便以后快捷使用。
主要的基础环境
1. 显卡驱动 (nvidia-smi)
2. CUDA (nvidia-smi 可查看具体版本)
3. cuDNN (cuda 深度学习加速库)
4. Conda python环境管理(Miniconda3)
Nvidia 驱动安装
先更新一下基础环境信息
sudo apt update
sudo apt-get install g++
sudo apt-get install gcc
sudo apt-get install make
查看当前服务器的可用驱动版本
ubuntu-drivers devices
我们选择 标记有 recommended(建议安装) 的驱动来进行安装。
sudo apt install nvidia-driver-535
安装完毕后,执行 nvidia-smi 是看不到结果的,这个时候是需要重启电脑的.
reboot
重启后,执行命令,就可以看到显卡驱动安装完成了。
nvidia-smi
从图上也可以看到显卡驱动已经安装,也能看到CUDA 版本是需要 12.2版本的
CUDA 安装
打开官网
https://developer.nvidia.com/cuda-toolkit-archive
选择下列跟上图看到的CUDA 版本
然后,选择 本地安装相关选项。
只需要执行红色圈内的命令就可以了.
wget https://developer.download.nvidia.com/compute/cuda/12.2.0/local_installers/cuda-repo-ubuntu2204-12-2-local_12.2.0-535.54.03-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2204-12-2-local_12.2.0-535.54.03-1_amd64.deb
sudo cp /var/cuda-repo-ubuntu2204-12-2-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda
cuDNN安装
打开官网并登录账号
https://developer.nvidia.com/rdp/cudnn-download
选择跟CUDA版本一样的版本进行下载。
也可以 自己服务器直接 wget 下载链接在服务器进行下载。(下载会直接下载到当前路径下)
下载完毕后,在当前目录下执行脚本
执行Shell 脚本
sudo dpkg -i cudnn-local-repo-ubuntu2204-8.9.7.29_1.0-1_amd64.deb
会提示要安装公钥
sudo cp /var/cudnn-local-repo-ubuntu2204-8.9.7.29/cudnn-local-08A7D361-keyring.gpg /usr/share/keyrings/
然后,继续安装
sudo dpkg -i cudnn-local-repo-ubuntu2204-8.9.7.29_1.0-1_amd64.deb
sudo apt-get update
安装完毕后,继续安装cuDNN库和cuDNN示例
也可以在上面执行的命令里看到此路径
cd /var/cudnn-local-repo-ubuntu2204-8.9.7.29/
此路径下有相应的安装包
sudo dpkg -i libcudnn8_8.9.7.29-1+cuda12.2_amd64.deb
sudo dpkg -i libcudnn8-dev_8.9.7.29-1+cuda12.2_amd64.deb
sudo dpkg -i libcudnn8-samples_8.9.7.29-1+cuda12.2_amd64.deb
至此 cuDNN就安装完毕了
Miniconda3 安装
这个安装就简单了,直接执行命令即可
wget -c https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
chmod 755 Miniconda3-latest-Linux-x86_64.sh
sh Miniconda3-latest-Linux-x86_64.sh
然后,慢慢的回车,输入yes,输入yes,最后还要退出登录,重新登录,即可。
conda 常用命令
conda create --name test python=3.8 //创建环境
conda activate test //切换环境
conda deactivate //退出环境
conda env remove -n test //移除环境
conda env list //查看环境列表
结束
一个基本的ubuntu 显卡环境就部署完成了,可以部署开源的大模型,清华的ChatGLM3大模型或者LangChain模型,以及其他的AI相关的项目。