直通GPU的虚拟机安装ollama

根据您的系统环境和需求，以下是详细的步骤：

1. 安装NVIDIA驱动

1.1 添加ELRepo源

sudo dnf install -y https://www.elrepo.org/elrepo-release-9.el9.elrepo.noarch.rpm

1.2 安装NVIDIA驱动

# 方法A：从ELRepo安装（推荐）
sudo dnf install -y kmod-nvidia

# 或者方法B：从NVIDIA官方安装
# 先安装依赖
sudo dnf install -y kernel-devel kernel-headers gcc make dkms

# 下载驱动（访问 https://www.nvidia.com/Download/index.aspx 获取最新版）
wget https://us.download.nvidia.com/XFree86/Linux-x86_64/535.154.05/NVIDIA-Linux-x86_64-535.154.05.run
sudo chmod +x NVIDIA-Linux-x86_64-*.run
sudo ./NVIDIA-Linux-x86_64-*.run

1.3 验证安装

# 重启系统
sudo reboot

# 检查驱动
nvidia-smi

2. 安装Ollama

2.1 下载安装Ollama

# 方法A：使用官方脚本
curl -fsSL https://ollama.com/install.sh | sh

# 方法B：手动下载安装
curl -L https://ollama.com/download/ollama-linux-amd64 -o ollama
chmod +x ollama
sudo mv ollama /usr/local/bin/

2.2 配置systemd服务

# 创建ollama用户
sudo useradd -r -s /sbin/nologin -d /usr/share/ollama ollama

# 创建服务文件
sudo tee /etc/systemd/system/ollama.service << 'EOF'
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
Type=exec
User=ollama
Group=ollama
ExecStart=/usr/local/bin/ollama serve
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
Environment="HOME=/usr/share/ollama"
Environment="OLLAMA_MODELS=/usr/share/ollama/.ollama/models"
Environment="OLLAMA_HOST=0.0.0.0"

[Install]
WantedBy=default.target
EOF

2.3 设置目录权限

sudo mkdir -p /usr/share/ollama/.ollama
sudo chown -R ollama:ollama /usr/share/ollama

2.4 启用并启动服务

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama
sudo systemctl status ollama

3. 验证安装

3.1 检查Ollama运行状态

# 检查服务状态
systemctl status ollama

# 检查API是否可用
curl http://localhost:11434/api/tags

3.2 测试GPU支持

# 拉取并运行一个模型测试
ollama run llama3.2:latest
# 或者在容器外测试
curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2:latest",
  "prompt": "Hello",
  "stream": false
}'

4. 配置优化（可选）

4.1 创建模型存储目录

sudo mkdir -p /data/models
sudo chown -R ollama:ollama /data/models
# 修改OLLAMA_MODELS环境变量指向此目录

4.2 设置防火墙

# 如果需要远程访问
sudo firewall-cmd --permanent --add-port=11434/tcp
sudo firewall-cmd --reload

5. 常见问题解决

5.1 如果驱动安装失败

# 检查内核版本
uname -r

# 确保内核头文件匹配
sudo dnf install kernel-devel-$(uname -r)

5.2 如果GPU不被识别

# 查看NVIDIA设备
lspci | grep -i nvidia
# 查看驱动加载
lsmod | grep nvidia

5.3 Ollama启动问题

# 查看日志
journalctl -u ollama -f

完成以上步骤后，您的RTX 3060应该可以在openEuler 24.03上正常工作，并通过Ollama使用GPU加速运行大语言模型。