Linux配置Ollama

Ollama配置笔记

一、Ollama简介

Ollama是一个开源项目，旨在简化大规模语言模型的使用和部署。它允许用户在本地或云端运行各种语言模型，而不需要依赖外部API或第三方服务。Ollama支持模型的快速加载和推理，并提供易于使用的命令行工具和API，使得开发者能够方便地与模型进行交互。

Ollama的特点包括：

1. 本地部署：用户可以在自己的机器上运行模型，提高数据隐私和安全性。
2. 多模型支持：支持多种语言模型，用户可以根据需要选择合适的模型。
3. 高效推理：优化推理过程，提升响应速度。
4. 灵活性：可以与其他工具和框架集成，方便构建复杂的应用。

Ollama官方地址：Ollama

二、配置环境

1. Ubuntu24.04.1
2. 内存单通道DDR4 32G，处理器 Intel Xeon Gold 5218 4X8核，硬盘128G

三、配置Ollama

1.安装Ollama

(1) 访问Ollama官网选择Linux，执行官方提供的安装方法：

1. curl -fsSL https://ollama.com/install.sh | sh

复制代码

这个方法的优点是一键安装，开箱即用，非常方便，缺点是国内的原因，下载极慢而且极不稳定，亲测通过科学上网的方式依旧无法安装。

(2) 另一个办法就是访问Ollama的Linux版Github主页：ollama/docs/linux.md at main · ollama/ollama · GitHub

使用Manual install方法：

1. curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
2. sudo tar -C /usr -xzf ollama-linux-amd64.tgz

复制代码

这个方法的优点是比第一种要快一些，但依旧不稳定，经常断开连接，可能是我科学上网的方式有问题。

（3）以上两种方式我都尝试了，但始终没有成功，所以有了如下手动下载解压的方法。

首先使用一台科学上网的电脑访问：https://ollama.com/download/ollama-linux-amd64.tgz下载ollama的Linux压缩包，然后将压缩包复制到用户目录下解压即可使用。

命令如下：

1. sudo apt update
2. sudo apt upgrade curl
3. curl -O https://ollama.com/download/ollama-linux-amd64.tgz
4. tar -xzvf filename.tar.gz

复制代码

我使用Windows下载的压缩包，并将其拷贝到了我的虚拟机中，为了方便下载我已将压缩包上传至百度网盘：

链接: https://pan.baidu.com/s/1y4DVyOzku-vMSzb0WZABnw 提取码: 2zmn

下载完成后到该目录执行tar -xzvf filename.tar.gz解压即可。

此时Ollama已经下载安装完成，执行

1. ollama serve

复制代码

启动Ollama服务。执行

1. ollama -v

复制代码

查看Ollama服务是否成功启动。

2.配置Ollama远程访问

Ollama服务启动后，默认只可本地访问，访问地址：

http:127.0.0.1:11434

想要实现外部访问需要修改其配置文件。

执行如下命令打开配置文件

1. sudo nano /etc/systemd/system/ollama.service

复制代码

将如下内容复制到配置文件中：

1. [Unit]
2. Description=Ollama Service
3. After=network-online.target
5. [Service]
6. ExecStart=/usr/bin/ollama serve
7. User=ollama
8. Group=ollama
9. Restart=always
10. RestartSec=3
11. Environment="OLLAMA_HOST=0.0.0.0:11434"
13. [Install]
14. WantedBy=default.target

复制代码

修改完成后重启服务：

1. sudo systemctl daemon-reload
2. sudo systemctl enable ollama

复制代码

此时在浏览器中访问：http://0.0.0.0:11434出现如下页面即说明服务启动成功。

3.运行模型

此处选用的是qwen2.5:3b模型。运行

1. ollama run qwen2.5:3b

复制代码

即可调用模型，首次调用需要下载模型，后续调用无需下载。

执行Ollama list可查看已经下载的模型信息