前言
之前安装的系统，几经折腾后，gpu的驱动崩溃，nvidia-smi报错，ollama也终于完全跑到了cpu上。
不得已重新安装系统，此次安装完成后，此台机器将只用于大模型的运行，不再安装其它的开源尝鲜软件避免出现崩溃。
安装过程
一、驱动安装
1. 查看显卡型号，并下载对应的驱动程序
lspci | grep -i nvidia
在Nvidia的网站，找到所需的驱动
将驱动下载到本地
==这里一定注意：确保GCC升级到了12版本==
要将GCC升级到12版本，你可以按照以下步骤操作：
1. 首先，添加Ubuntu Toolchain PPA（如果还没有添加）：
Copy
`sudo add-apt-repository ppa:ubuntu-toolchain-r/test sudo apt update`
2. 安装GCC-12：
Copy
`sudo apt install gcc-12 g++-12`
3. 安装完成后，你可以使用 `update-alternatives` 来管理不同版本的GCC：
Copy
`sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-12 120 --slave /usr/bin/g++ g++ /usr/bin/g++-12`
4. 如果你想将GCC-12设置为默认版本，可以运行：
Copy
`sudo update-alternatives --config gcc`
然后在交互式提示中选择对应的编号。
5. 验证新版本：
Copy
`gcc --version`
这应该会显示GCC 12的版本信息。2. 驱动程序安装
sudo ./NVIDIA-Linux-x86_64-550.107.02.run -no-x-check -no-nouveau-check -no-opengl-files
随着版本的变化，提示的对话内容也可能发生变化，主要几点：32位可以选择不安装，是否安装自动配置，选择：是
安装以后nvidia-smi就可以正常的运行和打开了。
二、cuda安装
使用Nvidia显卡必须把cuda安装上，否则大模型的效果无法显现出来。
打开下面的网址：
https://developer.nvidia.com/cuda-12-4-1-download-archive?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=22.04&target_type=deb_local
根据系统环境进行选择：
选择后会显示安装步骤：
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pinsudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600wget https://developer.download.nvidia.com/compute/cuda/12.4.1/local_installers/cuda-repo-ubuntu2204-12-4-local_12.4.1-550.54.15-1_amd64.debsudo dpkg -i cuda-repo-ubuntu2204-12-4-local_12.4.1-550.54.15-1_amd64.debsudo cp /var/cuda-repo-ubuntu2204-12-4-local/cuda-*-keyring.gpg /usr/share/keyrings/sudo apt-get updatesudo apt-get -y install cuda-toolkit-12-4
逐步执行即可！
三、更新环境变量
export PATH=/usr/local/cuda-12.4/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-12.4/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
四、安装cudnn
为了更好的发挥Nvidia的性能，还需要安装上cudnn，安装方法和cuda基本一样。
打开下面的链接：
https://developer.nvidia.com/cudnn-downloads?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=22.04&target_type=deb_local
选择系统环境后，显示出安装步骤：
wget https://developer.download.nvidia.com/compute/cudnn/9.2.1/local_installers/cudnn-local-repo-ubuntu2204-9.2.1_1.0-1_amd64.debsudo dpkg -i cudnn-local-repo-ubuntu2204-9.2.1_1.0-1_amd64.debsudo cp /var/cudnn-local-repo-ubuntu2204-9.2.1/cudnn-*-keyring.gpg /usr/share/keyrings/sudo apt-get updatesudo apt-get -y install cudnn
从第一步开始安装直到全部完成。
安装后可以运行一个 cuDNN 样例来验证：
cd /usr/src/cudnn_samples_v9/mnistCUDNN
sudo make clean && sudo make
./mnistCUDNN`
如果编译和运行成功，你应该看到一条成功消息。
